教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

大數(shù)據(jù)知識培訓:Hadoop的生態(tài)系統(tǒng)分別是什么?(下)

更新時間:2022年07月15日10時50分 來源:傳智教育 瀏覽次數(shù):

好口碑IT培訓

  基于Hadoop的可擴展性,它能夠便捷地單一服務器向上千臺服務器進行擴展,上節(jié)內(nèi)容我們講到了Hadoop的生態(tài)系統(tǒng)組件,本節(jié)我們將把剩余的生態(tài)組件介紹完畢。

  1.HBase分布式數(shù)據(jù)庫

  HBase是Google Bigtable克隆版,它是一個針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關(guān)系數(shù)據(jù)庫不同,HBase采用了BigTable的數(shù)據(jù)模型:增強的稀疏排序映射表(Key/Value),其中,鍵由行關(guān)鍵字、列關(guān)鍵字和時間戳構(gòu)成。HBase提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問,同時,HBase中保存的數(shù)據(jù)可以使用MapReduce來處理,它將數(shù)據(jù)存儲和并行計算完美地結(jié)合在一起。

  2.Zookeeper分布式協(xié)調(diào)服務

  Zookeeper是一個分布式的,開放源碼的分布式應用程序協(xié)調(diào)服務,是Google的Chubby一個開源的實現(xiàn),是Hadoop和HBase的重要組件。它是一個為分布式應用提供一致性服務的軟件,提供的功能包括配置維護、域名維護、分布式同步、組服務等用于構(gòu)建分布式應用,減少分布式應用程序所承擔的協(xié)調(diào)任務。

  3.Hive基于Hadoop的數(shù)據(jù)倉庫

  Hive是基于Hadoop的一個分布式數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,將SQL語句轉(zhuǎn)換為MapReduce任務進行運行。其優(yōu)點是操作簡單,降低學習成本,可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計,不必開發(fā)專門的MapReduce應用,十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

  9.Flume日志收集工具

  Flume是Cloudera提供的一個高可用,高可靠的,分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng),F(xiàn)lume支持在日志系統(tǒng)文件中定制各類數(shù)據(jù)發(fā)送方,用于收集數(shù)據(jù);同時,F(xiàn)lume提供對數(shù)據(jù)進行簡單處理,并寫到各種數(shù)據(jù)接收方(可定制)的能力。

0 分享到:
和我們在線交談!