全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    Combiner組件創(chuàng)建和使用演示【大數(shù)據(jù)文章】

    Combiner組件是MapReduce程序中的一種重要的組件，如果想自定義Combiner，我們需要繼承Reducer類，并且重寫reduce()方法。接下來，我們針對詞頻統(tǒng)計(jì)案例編寫一個(gè)Combiner組件，演示如何創(chuàng)建和使用Combiner組件 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-12 |傳智播客 |Combiner組件

  • 

    MapReduce程序在本地運(yùn)行的模式怎樣設(shè)置？

    MapReduce程序的運(yùn)行模式主要有兩種：本地運(yùn)行模式和集群運(yùn)行模式，集群運(yùn)行模式只需要將MapReduce程序打成Jar包上傳至集群即可，比較簡單，這里不再贅述。下面我們以詞頻統(tǒng)計(jì)為例，講解如何將MapReduce程序設(shè)置為在本地運(yùn)行模式。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-05 |傳智播客 |MapReduce本地運(yùn)行的模式設(shè)置

  • 

    Mapper類中的map()方法怎么用？

    MapReduce程序會(huì)根據(jù)輸入的文件產(chǎn)生多個(gè)map任務(wù)。Hadoop提供的Mapper類是實(shí)現(xiàn)Map任務(wù)的一個(gè)抽象基類，該基類提供了一個(gè)map()方法，默認(rèn)情況下，Mapper類中的map()方法是沒有做任何處理的。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-04 |傳智播客 |Mapper類中的map()方法怎么用

  • 

    InputFormat接口的定義代碼怎么設(shè)置？

    Hadoop中有五個(gè)編程組件，分別是：InputFormat、Mapper、Reducer、Parttioner、OutputFromat和Canbiner，其中Canbiner的作用是對Map階段的輸出的重復(fù)數(shù)據(jù)先做一次合并計(jì)算，所以不屬于必屬件。本節(jié)課就來對MapReducer的InputFormat組件做一個(gè)簡單介紹 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |InputFormat接口的定義代碼設(shè)置

  • 

    Watch機(jī)制的顯著特點(diǎn)有哪些？Watch簡介

    在ZooKeeper中，引入了Watch機(jī)制來實(shí)現(xiàn)這種分布式的通知功能。ZooKeeper允許客戶端向服務(wù)端注冊一個(gè)Watch監(jiān)聽，當(dāng)服務(wù)端的一些事件觸發(fā)了這個(gè)Watch，那么就會(huì)向指定客戶端發(fā)送一個(gè)事件通知，來實(shí)現(xiàn)分布式的通知功能。Watch機(jī)制在事件中有以下4個(gè)特點(diǎn)： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |Watch機(jī)制簡介

  • 

    Znode儲(chǔ)存結(jié)構(gòu)是怎樣的？節(jié)點(diǎn)類型有幾種？

    Zookeeper的底層是一套數(shù)據(jù)儲(chǔ)存結(jié)構(gòu)，其中的節(jié)點(diǎn)，我們稱之為znode。Zookeeper中數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)和標(biāo)準(zhǔn)文件系統(tǒng)非常類似，擁有一個(gè)層次的命名空間，也是使用斜杠(/)進(jìn)行分割，兩者都是采用樹形層次結(jié)構(gòu)。不同的是，標(biāo)準(zhǔn)文件系統(tǒng)是由文件夾和文件來組成的樹，而Zookeeper是由什么來組成的樹呢?下面我們來看一下Zookeeper數(shù)據(jù)存儲(chǔ)結(jié)構(gòu) 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |Znode的儲(chǔ)存結(jié)構(gòu)和節(jié)點(diǎn)類型

  • 

    簡單介紹YARN資源管理框架的體系結(jié)構(gòu)【大數(shù)據(jù)文章】

    YARN是一個(gè)通用的資源管理系統(tǒng)和調(diào)度平臺(tái)，它的基本設(shè)計(jì)思想是將MRv1(Hadoop1.0中的MapReduce)中的JobTracker拆分為兩個(gè)獨(dú)立的任務(wù)，這兩個(gè)任務(wù)分別是全局的資源管理器ResourceManager和每個(gè)應(yīng)用程序特有的ApplicationMaster。其中，ResourceManager負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配，而ApplicationMaster負(fù)責(zé)單個(gè)應(yīng)用程序的管理。接下來，我們通過一張圖來描述YARN的體系結(jié)構(gòu)，具體如圖1所示。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |YARN,YARN資源管理框架的體系結(jié)構(gòu)

  • 

    Zookeeper分布式系統(tǒng)的集群架構(gòu)介紹

    Zookeeper對外提供一個(gè)類似于文件系統(tǒng)的層次化的數(shù)據(jù)存儲(chǔ)服務(wù)，為了保證整個(gè)Zookeeper集群的容錯(cuò)性和高性能，每一個(gè)Zookeeper集群都是由多臺(tái)服務(wù)器節(jié)點(diǎn)(Server)組成，這些節(jié)點(diǎn)通過復(fù)制保證各個(gè)服務(wù)器節(jié)點(diǎn)之間的數(shù)據(jù)一致。只要當(dāng)這些服務(wù)器節(jié)點(diǎn)過半數(shù)節(jié)點(diǎn)可用，那么整個(gè)Zookeeper集群就可用。下面我們來學(xué)習(xí)Zookeeper的集群架構(gòu)，如圖1所示。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-03 |傳智播客 |Zookeeper分布式系統(tǒng),Zookeeper集群角色

  << < 1 ... 7 8 9 10 11 12 13 ... 35 > >>