全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    大數(shù)據(jù)培訓(xùn)：HDFS的高可用框架

    在HDFS中，NameNode是系統(tǒng)的核心節(jié)點(diǎn)，它存儲(chǔ)了各類元數(shù)據(jù)的信息，并負(fù)責(zé)管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問(wèn)。但是，在Hadoop1.0版本中，NameNode只有一個(gè)，一旦這個(gè)NameNode發(fā)生故障，就會(huì)導(dǎo)致整個(gè)Hadoop集群不可用，也就是發(fā)生了單點(diǎn)故障問(wèn)題。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2022-06-28 |傳智教育 |大數(shù)據(jù)培訓(xùn),HDFS高可用框架

  • 

    大數(shù)據(jù)基本的業(yè)務(wù)分析應(yīng)該包括哪些流程？怎樣收集數(shù)據(jù)？

    大數(shù)據(jù)分析有完善的操作步驟，先分析什么，后分析什么，各個(gè)分析點(diǎn)之間都有邏輯聯(lián)系，體系化的分析形成，使工作更加高效便捷，數(shù)據(jù)更有說(shuō)服力。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-04-22 |傳智教育 |大數(shù)據(jù)業(yè)務(wù)分析步驟,數(shù)據(jù)的收集,整理,展現(xiàn)和工作報(bào)告

  • 

    大數(shù)據(jù)Hadoop版本介紹，1.0版本和2.0對(duì)比有哪些缺點(diǎn)？

    Hadoop發(fā)行版本分為開(kāi)源社區(qū)版和商業(yè)版，社區(qū)版是指由Apache軟件基金會(huì)維護(hù)的版本，是官方維護(hù)的版本體系。商業(yè)版Hadoop是指由第三方商業(yè)公司在社區(qū)版Hadoop基礎(chǔ)上進(jìn)行了一些修改、整合以及各個(gè)服務(wù)組件兼容性測(cè)試而發(fā)行的版本。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-04-14 |傳智教育 |大數(shù)據(jù)Hadoop,HDFS,MapReduce

  • 

    Spark SQL如何實(shí)現(xiàn)Hive數(shù)據(jù)倉(cāng)庫(kù)的操作？

    Apache Hive是Hadoop上的SQL引擎，也是大數(shù)據(jù)系統(tǒng)中重要的數(shù)據(jù)倉(cāng)庫(kù)工具，Spark SQL支持訪問(wèn)Hive數(shù)據(jù)倉(cāng)庫(kù)，然后在Spark引擎中進(jìn)行統(tǒng)計(jì)分析。接下來(lái)介紹通過(guò)Spark SQL操作Hive數(shù)據(jù)倉(cāng)庫(kù)的具體實(shí)現(xiàn)步驟。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-04-14 |傳智教育 |Hive數(shù)據(jù)倉(cāng)庫(kù)的操作, Spark SQL實(shí)現(xiàn)Hive數(shù)據(jù)倉(cāng)庫(kù)的操作

  • 

    怎樣操作DataFrame？不同操作風(fēng)格有什么區(qū)別？

    DataFrame提供了兩種語(yǔ)法風(fēng)格，即DSL風(fēng)格語(yǔ)法和SQL風(fēng)格語(yǔ)法，二者在功能上并無(wú)區(qū)別，僅僅是根據(jù)用戶習(xí)慣，自定義選擇操作方式。接下來(lái)，我們通過(guò)兩種語(yǔ)法風(fēng)格，分別講解DataFrame操作的具體方法。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-04-14 |傳智教育 |DataFrame操作，DataFrame的常用操作

  • 

    怎樣使用Spark方法完成RDD的創(chuàng)建？

    Spark可以通過(guò)并行集合創(chuàng)建RDD。即從一個(gè)已經(jīng)存在的集合、數(shù)組上，通過(guò)SparkContext對(duì)象調(diào)用parallelize()方法創(chuàng)建RDD。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-23 |傳智教育 |Spark方法創(chuàng)建RDD

  • 

    Schema怎樣實(shí)現(xiàn)反射機(jī)制推斷？

    在Windows系統(tǒng)下開(kāi)發(fā)Scala代碼，可以使用本地環(huán)境測(cè)試，下載文件后計(jì)算機(jī)無(wú)法像人一樣直觀的感受字段的實(shí)際含義，通過(guò)反射機(jī)制可以推斷包含特定類型對(duì)象的Schema信息，因此我們需要先完成Schema的開(kāi)發(fā)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-23 |傳智教育 |Schema，RDD轉(zhuǎn)化之Schema的開(kāi)發(fā)

  • 

    多種方法創(chuàng)建DataFrame【大數(shù)據(jù)技術(shù)文章】

    創(chuàng)建SparkSession對(duì)象可以通過(guò)“SparkSession.builder().getOrCreate()”方法獲取，但當(dāng)我們使用Spark-Shell編寫(xiě)程序時(shí)，Spark-Shell客戶端會(huì)默認(rèn)提供了一個(gè)名為“sc”的SparkContext對(duì)象和一個(gè)名為“spark”的SparkSession對(duì)象，因此我們可以直接使用這兩個(gè)對(duì)象 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-23 |傳智教育 |創(chuàng)建DataFrame,

  << 1 2 3 4 5 6 7 8 9 ... 35 > >>