全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    ReduceTask的工作機(jī)制【傳智大數(shù)據(jù)文章】

    Reduce大致分為copy、sort、reduce三個(gè)階段，重點(diǎn)在前兩個(gè)階段。Copy階段，簡(jiǎn)單地拉取數(shù)據(jù)。Reduce進(jìn)程啟動(dòng)一些數(shù)據(jù)copy線程(Fetcher)，通過(guò)HTTP方式請(qǐng)求maptask 獲取屬于自己的文件。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-26 |傳智教育 |ReduceTask的工作機(jī)制

  • 

    開(kāi)發(fā)Scala程序的步驟是什么？

    完成Scala環(huán)境和IDEA工具的安裝。接下來(lái)，就通過(guò)打印“Hello World”的例子來(lái)演示如何使用IDEA工具開(kāi)發(fā)Scala程序，具體步驟如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-25 |傳智教育 |開(kāi)發(fā)Scala程序的步驟

  • 

    Flink中watermark的生成規(guī)則及其功能【大數(shù)據(jù)面經(jīng)】

    通常，在接收到source的數(shù)據(jù)后，應(yīng)該立刻生成watermark；但是，也可以在接收source后，應(yīng)用簡(jiǎn)單的map或者filter操作，然后再生成watermark。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-15 |傳智教育 |watermark生成規(guī)則及其功能

  • 

    Redis、傳統(tǒng)數(shù)據(jù)庫(kù)、HBase以及Hive的區(qū)別

    關(guān)系型數(shù)據(jù)和Hive都是支持SQL引擎的數(shù)據(jù)庫(kù)；Redis和Hbase都是NoSQL 類型的Key/vale數(shù)據(jù)庫(kù)，支持簡(jiǎn)單的行列操作，不支持SQL引擎。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-15 |傳智教育 |Redis,傳統(tǒng)數(shù)據(jù)庫(kù),HBase,Hive

  • 

    Hive安裝教程——嵌入模式

    嵌入模式下，元數(shù)據(jù)保存在Derby數(shù)據(jù)庫(kù)中，且只允許一個(gè)會(huì)話連接，若嘗試多個(gè)會(huì)話連接時(shí)會(huì)報(bào)錯(cuò)。下面講解Hive安裝之嵌入模式的配置步驟。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-15 |傳智教育 |Hive安裝教程

  • 

    怎樣操作Spark SQL性能調(diào)優(yōu)？

    參數(shù)默認(rèn)false。當(dāng)設(shè)為true，parquet會(huì)聚合所有parquet文件的schema，否則是直接讀取parquet summary文件，或者在沒(méi)有parquet summary文件時(shí)候隨機(jī)選擇一個(gè)文件的schema作為最終的schema。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-14 |傳智教育 |Spark SQL性能調(diào)優(yōu),操作Spark SQLt調(diào)優(yōu)

  • Kafka數(shù)據(jù)存儲(chǔ)【大數(shù)據(jù)文章】

    Kafka是一個(gè)高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它在實(shí)時(shí)計(jì)算系統(tǒng)中有著非常強(qiáng)大的功能。把topic中一個(gè)parition大文件分成多個(gè)小文件段，通過(guò)多個(gè)小文件段，就容易定期清除或刪除已經(jīng)消費(fèi)完文件，減少磁盤占用。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-12 |傳智教育 |Kafka,Kafka數(shù)據(jù)存儲(chǔ)

  • 

    Hadoop實(shí)現(xiàn)join的有幾種方法？【大數(shù)據(jù)面試題】

    Hadoop實(shí)現(xiàn)join有三種方法，第一種是reduce side join，它是一種最簡(jiǎn)單的join方式，其主要思想如下： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-01-12 |傳智教育 |實(shí)現(xiàn)join,Hadoop,大數(shù)據(jù)面試題

  << < 1 2 3 4 5 6 7 8 9 ... 38 > >>