全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    RDD為什么要進(jìn)行數(shù)據(jù)持久化？持久化操作步驟

    在Spark中，RDD是采用惰性求值，即每次調(diào)用行動(dòng)算子操作，都會(huì)從頭開(kāi)始計(jì)算。然而，每次調(diào)用行動(dòng)算子操作，都會(huì)觸發(fā)一次從頭開(kāi)始的計(jì)算，這對(duì)于迭代計(jì)算來(lái)說(shuō)，代價(jià)是很大的，因?yàn)榈?jì)算經(jīng)常需要多次重復(fù)的使用同一組數(shù)據(jù)集，所以，為了避免重復(fù)計(jì)算的開(kāi)銷(xiāo)，可以讓Spark對(duì)數(shù)據(jù)集進(jìn)行持久化。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |RDD數(shù)據(jù)持久化操作,持久化機(jī)制,RDD,Spark

  • 

    如何遠(yuǎn)程登錄Hadoop虛擬機(jī)和開(kāi)啟SSH服務(wù)？

    完成虛擬機(jī)的安裝和網(wǎng)絡(luò)配置，雖然可以正常使用，但是工作中還需要遠(yuǎn)程操縱服務(wù)器進(jìn)行各項(xiàng)操作，所以就需要對(duì)虛擬機(jī)實(shí)行配置遠(yuǎn)程登錄和SSH免密登錄，進(jìn)行相關(guān)操作。接下來(lái)，就分別對(duì)這兩種服務(wù)配置進(jìn)行說(shuō)明和詳細(xì)講解。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |Hadoop虛擬機(jī),SSH服務(wù),遠(yuǎn)程登錄虛擬機(jī)

  • 

    如何使用HBase分布式數(shù)據(jù)庫(kù)？常見(jiàn)的Java API類(lèi)型有幾種？

    HBase是由Java語(yǔ)言開(kāi)發(fā)的，它對(duì)外提供了Java API的接口。接下來(lái)，通過(guò)Java API來(lái)操作HBase分布式數(shù)據(jù)庫(kù)，包括增、刪、改以及查等對(duì)數(shù)據(jù)表的操作，具體操作步驟如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-22 |傳智教育 |HBase的Java API操作步驟,常見(jiàn)的Java API

  • 

    RDD是如何操作數(shù)據(jù)轉(zhuǎn)換的？RDD轉(zhuǎn)換算子API示例

    RDD處理過(guò)程中的“轉(zhuǎn)換”操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD，每一次通過(guò)Transformation算子計(jì)算后都會(huì)返回一個(gè)新RDD，供給下一個(gè)轉(zhuǎn)換算子使用。面，我們通過(guò)結(jié)合具體的示例對(duì)這些轉(zhuǎn)換算子API進(jìn)行詳細(xì)講解。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |RDD,轉(zhuǎn)換算子,RDD數(shù)據(jù)處理

  • 

    Scala語(yǔ)言是什么？有什么特點(diǎn)？如何安裝？

    Scala于2001年由瑞士洛桑聯(lián)邦理工學(xué)院(EPFL)編程方法實(shí)驗(yàn)室研發(fā)，它由Martin Odersky(馬丁·奧德斯基)創(chuàng)建。目前，許多公司依靠Java進(jìn)行的關(guān)鍵性業(yè)務(wù)應(yīng)用已轉(zhuǎn)向或正在轉(zhuǎn)向Scala，以提高應(yīng)用程序的可擴(kuò)展性和整體的可靠性，從而提高開(kāi)發(fā)效率。Scala是Scalable Language的簡(jiǎn)稱(chēng)，它是一門(mén)多范式的編程語(yǔ)言，其設(shè)計(jì)初衷是實(shí)現(xiàn)種可擴(kuò)展的語(yǔ)言，并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性?；谶@個(gè)目標(biāo)與設(shè)計(jì)，Scala具有以下顯著的特性。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |Scala語(yǔ)言是什么,Scala特點(diǎn)

  • 

    怎樣使用Spark Shell來(lái)讀取HDFS文件？

    使用Scala語(yǔ)言開(kāi)發(fā)單詞計(jì)數(shù)Spark程序，現(xiàn)有文本文件words.txt(讀者需要在本地創(chuàng)建文件并上傳至指定目錄)在HDFS中的/spark/test路徑下如果使用Spark Shell來(lái)讀取HDFS中的/spark/test/ words.txt文件，具體步驟如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-21 |傳智教育 |Shell讀取文件,運(yùn)行Spark

  • 

    Scala的控制結(jié)構(gòu)語(yǔ)句有幾種？各語(yǔ)句的語(yǔ)法格式是什么？

    在Scala中，控制結(jié)構(gòu)語(yǔ)句包括條件分支語(yǔ)句和循環(huán)語(yǔ)句。其中，條件分支語(yǔ)句有if語(yǔ)句、if...else語(yǔ)句、if...else if...else語(yǔ)句以及if...else嵌套語(yǔ)句;循環(huán)語(yǔ)句有for循環(huán)，while循環(huán)和do...while循環(huán)。條件分支語(yǔ)句和循環(huán)語(yǔ)句的語(yǔ)法格式具體如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-17 |傳智教育 |控制結(jié)構(gòu)語(yǔ)句的語(yǔ)法格式

  • 

    IDEA工具開(kāi)發(fā)WordCount單詞計(jì)數(shù)程序的相關(guān)步驟有哪些？

    Spark作業(yè)與MapReduce作業(yè)同樣可以先在本地開(kāi)發(fā)測(cè)試，本地執(zhí)行模式與集群提交模式，代碼的業(yè)務(wù)功能相同，因此本書(shū)大多數(shù)采用本地開(kāi)發(fā)模式。下面講解使用IDEA工具開(kāi)發(fā)WordCount單詞計(jì)數(shù)程序的相關(guān)步驟。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-17 |傳智教育 |開(kāi)發(fā)WordCount單詞計(jì)數(shù)程序的相關(guān)步驟,Spark

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>