全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    什么是數(shù)據(jù)倉庫？大數(shù)據(jù)的數(shù)據(jù)倉庫有哪些特點？

    數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的，但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用于支持企業(yè)或組織的決策分析處理，基于數(shù)據(jù)倉庫的定義，數(shù)據(jù)倉庫此處有四個特點： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-02 |傳智教育 |數(shù)據(jù)倉庫特點,數(shù)據(jù)倉庫

  • 

    hadoop虛擬機如何安裝和配置JDK?

    Hadoop是由Java語言開發(fā)的，Hadoop集群的使用依賴于Java環(huán)境，因此在安裝Hadoop集群前，需要先安裝并配置好JDK。接下來，就在前面規(guī)劃的Hadoop集群主節(jié)點hadoop01機器上分步驟演示，如何安裝和配置JDK，具體如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-02 |傳智播客 |JDK的安裝和配置

  • 

    Linux系統(tǒng)安裝虛擬機的網(wǎng)絡(luò)配置方法

    虛擬機在安裝和克隆之后，雖然能夠直接使用，但是此時虛擬機的IP是動態(tài)生成的，在不斷的開停過程中很容易改變，非常不利于實際開發(fā);通過Hadoop01克隆的虛擬機(假設(shè)克隆了2個虛擬機Hadoop02和Hadoop03)則完全無法動態(tài)分配到IP，直接無法使用。因此，虛擬機在安裝和克隆之后還需要對虛擬機的網(wǎng)絡(luò)都分別進行配置。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-02 |傳智教育 |虛擬機網(wǎng)絡(luò)配置,Linux系統(tǒng)網(wǎng)絡(luò)

  • 

    HDFS讀寫流程介紹，HDFS讀數(shù)據(jù)和寫數(shù)據(jù)的原理是什么？

    Client(客戶端)對HDFS中的數(shù)據(jù)進行讀寫操作，分別是Client從HDFS中查找數(shù)據(jù)，即為Read(讀)數(shù)據(jù);Client從HDFS中存儲數(shù)據(jù)，即為Write(寫)數(shù)據(jù)。假設(shè)有一個文件1.txt文件，大小為300M，這樣就劃分出3個數(shù)據(jù)塊，我們根據(jù)這三個模塊分別講解HDFS文件讀數(shù)據(jù)和寫數(shù)據(jù)的原理。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-01 |傳智教育 |HDFS讀寫流程,HDFS讀寫數(shù)據(jù)的原理

  • 

    MapReduce程序怎樣設(shè)置本地運行模式?

    MapReduce程序運行模式有本地運行模式和集群運行模式，集群運行模式只需要將MapReduce程序打成Jar包上傳至集群即可，下面我們以詞頻統(tǒng)計為例，講解如何將MapReduce程序設(shè)置為在本地運行模式。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-12-01 |傳智教育 |MapReduce兩種運行模式

  • 

    Scala算術(shù)操作符重載怎樣使用？

    ?Scala算術(shù)和操Scala中算術(shù)操作符(+、-、*、/、%)的作用和Java是一樣的，位操作符(&、|、>>、<<)也是一樣的。特別強調(diào)的是，Scala的這些操作符其實是方法。例如，a+b其實是a.+(b)的簡寫，接下來，我們通過Scala交互式Shell編程講解操作符的使用，具體示例代碼如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-18 |傳智播客 |Scala算術(shù)和操符

  • 

    大數(shù)據(jù)的兩種計算框架優(yōu)劣對比，哪個更適合開發(fā)？

    Hadoop與Spark兩者都是大數(shù)據(jù)計算框架，但是兩者各自都有自己的優(yōu)勢，到底哪個更適合開發(fā)使用，下面對兩者做一個簡單對比： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-18 |傳智播客 |Spark與Hadoop對比

  • 

    如何操作MapReduce的性能調(diào)優(yōu)？

    使用Hadoop進行大數(shù)據(jù)運算，當數(shù)據(jù)量極其大時，那么對MapReduce性能的調(diào)優(yōu)重要性不言而喻，尤其是Shuffle過程中的參數(shù)配置對作業(yè)的總執(zhí)行時間影響特別大。下面總結(jié)一些和MapReduce相關(guān)的性能調(diào)優(yōu)方法，主要從五個方面考慮：數(shù)據(jù)輸入、Map階段、Reduce階段、Shuffle階段和其他調(diào)優(yōu)屬性。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-11-18 |傳智播客 |MapReduce的性能調(diào)優(yōu)方法

  << < 1 ... 6 7 8 9 10 11 12 ... 38 > >>