全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    如何選擇好的大數(shù)據(jù)培訓機構(gòu)？

    目前來說大數(shù)據(jù)培訓機構(gòu)太多了，各種各樣的都有，不過水平怎么樣就很少有人知道。那么如何挑選靠譜的培訓機構(gòu)呢?傳智播客為大家總結(jié)了幾點： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-12-12 |傳智播客 |大數(shù)據(jù)培訓,大數(shù)據(jù),大數(shù)據(jù)培訓機構(gòu)

  • 

    hbase數(shù)據(jù)庫介紹

    hbase是bigtable的開源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫nosql的數(shù)據(jù)庫系統(tǒng)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-26 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    大數(shù)據(jù)離線階段我們應該學習的是模塊開發(fā)的結(jié)果導出

    MySQL，Oracle到Hadoop的HDFS，并從Hadoop的文件系統(tǒng)導出數(shù)據(jù)到關(guān)系數(shù)據(jù)庫。由Apache軟件基金會提供。 Sqoop：“SQL 到 Hadoop 和 Hadoop 到SQL”。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-16 |傳智播客 |大數(shù)據(jù),Scala

  • 

    學好Zookeeper Java API是大數(shù)據(jù)基礎加強的必修

    Zookeeper 是在 Java 中客戶端主類，負責建立與 zookeeper 集群的會話， 并提供方法進行操作。 org.apache.zookeeper.Watcher 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-16 |傳智播客 |Zookeeper,大數(shù)據(jù)

  • 大數(shù)據(jù)離線階段Day8之MapReduce工作機制詳解

    整個Map階段流程大體如上圖所示。簡單概述：input File通過split被邏輯切分為多個split文件，通過Record按行讀取內(nèi)容給map(用戶自己實現(xiàn)的)進行處理，數(shù)據(jù)被map處理結(jié)束之后交給OutputCollector收集器，對其結(jié)果key進行分區(qū)(默認使用hash分區(qū))，然后寫入buffer，每個map task都有一個內(nèi)存緩沖區(qū)，存儲著map的輸出結(jié)果，當緩沖區(qū)快滿的時候需要將緩沖區(qū)的數(shù)據(jù)以一個臨時文件的方式存放到磁盤，當整個map task結(jié)束后再對磁盤中這個map task產(chǎn)生的所有臨時文件做合并，生成最終的正式輸出文件，然后等待reduce task來拉數(shù)據(jù)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    面試題之趣味邏輯題

    1.給定a、b兩個文件，各存放50億個url，每個url各占64字節(jié)，內(nèi)存限制是4G，讓你找出a、b文件共同的url? 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    面試題之hadoop相關(guān)

    首先map task會從本地文件系統(tǒng)讀取數(shù)據(jù)，轉(zhuǎn)換成key-value形式的鍵值對集合 　　使用的是hadoop內(nèi)置的數(shù)據(jù)類型，比如longwritable、text等 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)，hadoop

  • 

    Scala編譯器安裝

    1.1. 安裝JDK 因為Scala是運行在JVM平臺上的，所以安裝Scala之前要安裝JDK。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-09-30 |傳智播客 |大數(shù)據(jù),Scala

  << < 1 ... 29 30 31 32 33 34 35 36 37 38 > >>