大數(shù)據(jù)培訓(xùn)：Hadoop框架中怎么來優(yōu)化?

更新時(shí)間:2023年11月23日11時(shí)00分來源:傳智教育瀏覽次數(shù):

好口碑IT培訓(xùn)

　　(1)調(diào)優(yōu)Hadoop參數(shù)。當(dāng)前Hadoop系統(tǒng)配置參數(shù)已經(jīng)超過了190個(gè)，該如何調(diào)整這些參數(shù)，使得Hadoop運(yùn)行的更快，是一種優(yōu)化的思路。

　　(2)優(yōu)化應(yīng)用程序。我們知道m(xù)apreduce解析數(shù)據(jù)文件是迭代逐行解析的，如何在迭代的情況之下去編寫高效率的應(yīng)用程序，也是一種優(yōu)化思路。

Hadoop框架中怎么來優(yōu)化？

　　(3)從系統(tǒng)實(shí)現(xiàn)的角度出發(fā)進(jìn)行優(yōu)化。這種優(yōu)化方式難度大是因?yàn)樗驹贖adoop的實(shí)現(xiàn)機(jī)制角度，比如根據(jù)當(dāng)前Hadoop設(shè)計(jì)和實(shí)現(xiàn)上的缺點(diǎn)進(jìn)行源碼級(jí)的修改。難度大但是效果也最為明顯。

　　(4)調(diào)整linux內(nèi)核參數(shù)。

上一篇：特別大的數(shù)據(jù)，怎么發(fā)送到excutor中? 下一篇：抽象數(shù)據(jù)類型指的是什么？有哪些特征？