全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    簡單介紹YARN資源管理框架的體系結(jié)構(gòu)【大數(shù)據(jù)文章】

    YARN是一個通用的資源管理系統(tǒng)和調(diào)度平臺，它的基本設(shè)計思想是將MRv1(Hadoop1.0中的MapReduce)中的JobTracker拆分為兩個獨立的任務(wù)，這兩個任務(wù)分別是全局的資源管理器ResourceManager和每個應(yīng)用程序特有的ApplicationMaster。其中，ResourceManager負責整個系統(tǒng)的資源管理和分配，而ApplicationMaster負責單個應(yīng)用程序的管理。接下來，我們通過一張圖來描述YARN的體系結(jié)構(gòu)，具體如圖1所示。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |YARN,YARN資源管理框架的體系結(jié)構(gòu)

  • 

    Zookeeper分布式系統(tǒng)的集群架構(gòu)介紹

    Zookeeper對外提供一個類似于文件系統(tǒng)的層次化的數(shù)據(jù)存儲服務(wù)，為了保證整個Zookeeper集群的容錯性和高性能，每一個Zookeeper集群都是由多臺服務(wù)器節(jié)點(Server)組成，這些節(jié)點通過復(fù)制保證各個服務(wù)器節(jié)點之間的數(shù)據(jù)一致。只要當這些服務(wù)器節(jié)點過半數(shù)節(jié)點可用，那么整個Zookeeper集群就可用。下面我們來學習Zookeeper的集群架構(gòu)，如圖1所示。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |Zookeeper分布式系統(tǒng),Zookeeper集群角色

  • 

    Spark的集群安裝與配置簡介【大數(shù)據(jù)技術(shù)文章】

    要規(guī)劃的Spark集群包含一臺Master節(jié)點和兩臺Slave節(jié)點。其中，主機名hadoop01是Master節(jié)點，hadoop02和hadoop03是Slave節(jié)點。接下來，分步驟演示Spark集群的安裝與配置，具體如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-29 |傳智播客 |Spark的集群安裝與配置簡介

  • 

    什么是Scala？Scala發(fā)展歷程簡介

    Scala是Scalable Language的簡稱，它是一門多范式的編程語言，其設(shè)計初衷是實現(xiàn)可伸縮的語言、并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-28 |傳智播客 |Scala發(fā)展歷程簡介

  • 

    Windows系統(tǒng)中怎樣下載安裝Scala插件？

    IDEA工具可以自動識別代碼錯誤和進行簡單的修復(fù)、以及IDEA工具內(nèi)置了很多優(yōu)秀的插件，所以現(xiàn)在大多數(shù)的Scala開發(fā)程序員都會選擇IDEA作為開發(fā)Scala的工具。接下來，以Window操作系統(tǒng)為例，分步驟講解如何在IDEA工具上下載安裝Scala插件，具體步驟如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-28 |傳智播客 |如何下載安裝Scala插件

  • 

    HBase分布式數(shù)據(jù)庫有哪些特點？HBase簡介

    HBase是一個高可靠性、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，它起源于2006年Google發(fā)表的BigTable論文。在2008年，PowerSet的Chad Walters和Jim Keller受到了該論文思想的啟發(fā)，從而把HBase作為Hadoop的子項目來進行開發(fā)維護，用于支持結(jié)構(gòu)化的海量數(shù)據(jù)存儲。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-28 |傳智播客 |HBase分布式數(shù)據(jù)的特點

  • 

    什么是Sqoop，Sqoop在開發(fā)中起到什么作用？

    　　Sqoop是Apache旗下的一款開源工具，該項目開始于2009年，最早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，并在2013年，獨立成為Apache的一個頂級開源項目。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-16 |傳智播客 |Sqoop是什么

  • 

    Hadoop集群怎么通過UI界面實現(xiàn)集群的管理

    想要通過外部UI界面訪問虛擬機服務(wù)，還需要對外開放配置Hadoop集群服務(wù)端口號。這里，為了后續(xù)學習方便，就直接將所有集群節(jié)點防火墻進行關(guān)閉即可，具體操作如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-16 |傳智播客 |Hadoop集群集群的管理和查看

  << < 1 ... 8 9 10 11 12 13 14 ... 38 > >>