教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

問答>python+大數(shù)據(jù)開發(fā)>Hive數(shù)據(jù)模型中的分區(qū)是指的什么?

Hive數(shù)據(jù)模型中的分區(qū)是指的什么?

來源傳智教育2022年04月08日 14時54分42秒

分區(qū)的概念是根據(jù)“分區(qū)列”的值對表的數(shù)據(jù)進行粗略劃分的機制,在Hive存儲上的體現(xiàn)就是在表的主目錄(Hive的表實際顯示就是一個文件夾)下的一個子目錄,這個子目錄的名字就是定義的分區(qū)列的名字。分區(qū)是為了加快數(shù)據(jù)查詢速度設計的,例如,現(xiàn)在有個日志文件,文件中的每條記錄都帶有時間戳。如果根據(jù)時間來分區(qū),那么同一天的數(shù)據(jù)將會被分到同一個分區(qū)中。這樣的話,如果查詢每一天或某幾天的數(shù)據(jù)就會變得很高效,因為只需要掃描對應分區(qū)中的文件即可。

  注意:分區(qū)列不是表里的某個字段,而是獨立的列,根據(jù)這個列查詢存儲表中的數(shù)據(jù)文件。

和我們在線交談!