全部 Python+大數(shù)據(jù)新聞動(dòng)態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問題 技術(shù)問答

• • 

    大數(shù)據(jù)spark3.2從基礎(chǔ)到精通

    Spark是大數(shù)據(jù)體系的明星產(chǎn)品，是一款高性能的分布式內(nèi)存迭代計(jì)算框架，可以處理海量規(guī)模的數(shù)據(jù)。本課程基于Python語(yǔ)言學(xué)習(xí)Spark3.2開發(fā)，課程的講解注重理論聯(lián)系實(shí)際，方便快捷，深入淺出，讓初學(xué)者也能快速掌握。讓有經(jīng)驗(yàn)的工程師也能有所收獲。學(xué)習(xí)完成后可以勝任高級(jí)級(jí)別的大數(shù)據(jù)相關(guān)崗位。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-14 |傳智教育 |大數(shù)據(jù)spark3.2從基礎(chǔ)到精通

  • 

    大數(shù)據(jù)Hive+Spark離線數(shù)倉(cāng)工業(yè)項(xiàng)目實(shí)戰(zhàn)

    本套課程大數(shù)據(jù)技術(shù)架構(gòu)，解決工業(yè)物聯(lián)網(wǎng)制造行業(yè)的數(shù)據(jù)存儲(chǔ)和分析、可視化、個(gè)性化推薦問題。一站制造項(xiàng)目主要基于Hive數(shù)倉(cāng)分層來存儲(chǔ)各個(gè)業(yè)務(wù)指標(biāo)數(shù)據(jù)，基于sparkSQL做數(shù)據(jù)分析。核心業(yè)務(wù)涉及運(yùn)營(yíng)商、呼叫中心、工單、油站、倉(cāng)儲(chǔ)物料。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-14 |傳智教育 |Hive+Spark離線數(shù)倉(cāng),數(shù)倉(cāng)工業(yè)項(xiàng)目

  • 

    Hadoop中哪些地方使用了緩存，作用分別是什么?

    在Hadoop中，緩存機(jī)制主要用于提高M(jìn)apReduce任務(wù)的性能。以下是Hadoop中使用緩存機(jī)制的幾個(gè)地方以及它們的作用，DistributedCache：DistributedCache可以將文件或者歸檔文件緩存在集群中的每個(gè)節(jié)點(diǎn)上，以便在任務(wù)運(yùn)行期間快速訪問。通過將常用的數(shù)據(jù)預(yù)先加載到內(nèi)存中，可以避免多次讀取相同的數(shù)據(jù)，從而提高任務(wù)的性能。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-14 |傳智教育 |Hadoop緩存,DistributedCache,FileSystem緩存

  • 

    用Mapreduce怎么處理數(shù)據(jù)傾斜問題?

    在 MapReduce 中，數(shù)據(jù)傾斜指的是在Reduce階段中某個(gè)Reducer處理的數(shù)據(jù)量過大，導(dǎo)致該Reducer的處理時(shí)間過長(zhǎng)，從而導(dǎo)致整個(gè)任務(wù)的運(yùn)行時(shí)間變長(zhǎng)。下面是一些處理數(shù)據(jù)傾斜問題的技術(shù)... 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-14 |傳智教育 |Mapreduce,數(shù)據(jù)傾斜

  • 

    什么是不可變類？

    不可變類是指一旦創(chuàng)建對(duì)象后，其狀態(tài)(屬性值)就不能被修改的類。這意味著，不可變類的對(duì)象是不可變的，無法被修改。在Python中，可以通過將類的屬性設(shè)置為只讀來創(chuàng)建不可變類。一種簡(jiǎn)單的方法是使用namedtuple，它是一個(gè)工廠函數(shù)，用于創(chuàng)建具有固定字段的類。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-13 |傳智教育 |不可變類,函數(shù)參數(shù),哈希表元素

  • 

    大數(shù)據(jù)就業(yè)一般工資多少？

    大數(shù)據(jù)行業(yè)的工資因地區(qū)、公司規(guī)模、職位級(jí)別和個(gè)人經(jīng)驗(yàn)等因素而異。以下是根據(jù)我所掌握的信息提供的大致參考：一線城市(如北京、上海、深圳、廣州)的大數(shù)據(jù)從業(yè)者工資普遍較高，其中大型互聯(lián)網(wǎng)企業(yè)和金融機(jī)構(gòu)的工資水平更高，高級(jí)職位的年薪可以達(dá)到數(shù)十萬甚至百萬以上。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-09 |傳智教育 |大數(shù)據(jù)就業(yè)一般工資多少

  • 

    Flask有哪些優(yōu)勢(shì)和特點(diǎn)？Flask簡(jiǎn)介

    Flask默認(rèn)依賴Werkzeug WSGI工具包和Jinja2模板引擎，它只保留了Web開發(fā)的核心功能，沒有用戶認(rèn)證、表單驗(yàn)證、發(fā)送郵件等其他Web應(yīng)用程序框架通常擁有的功能。開發(fā)者若需要給Flask程序添加額外的功能，可以在Flask官網(wǎng)找到相應(yīng)的擴(kuò)展包進(jìn)行開發(fā)。Flask之所以如此受歡迎，離不開其自身具備的幾個(gè)特點(diǎn)。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-08 |傳智教育 |什么是Flask,Flask有哪些優(yōu)勢(shì)和特點(diǎn),Flask簡(jiǎn)介

  • 

    如何在大量的數(shù)據(jù)中找出不重復(fù)的整數(shù)?

    利用Hash的方法，把這2.5億個(gè)數(shù)劃分到更小的文件中，以確保每個(gè)文件的大小超過可用的內(nèi)存大小。接著針對(duì)每個(gè)小文件來說，所有的數(shù)據(jù)可以一次性被加載到內(nèi)存中，因此可以使用字典或者set來找到每個(gè)小文件中不重復(fù)的數(shù)。當(dāng)處理完所有的文件后就可以找出這2.5億個(gè)整數(shù)中所有的不重復(fù)的數(shù)。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2023-03-07 |傳智教育 |如何在大量的數(shù)據(jù)中找出不重復(fù)的整數(shù)

  << < 1 ... 26 27 28 29 30 31 32 ... 48 > >>