首頁人工智能技術(shù)資訊正文

獨立同分布IID(independent and identically distributed)

更新時間:2021年05月13日16時41分來源:傳智教育瀏覽次數(shù):

好口碑IT培訓(xùn)

1.獨立同分布(i.i.d.)

在概率統(tǒng)計理論中，如果變量序列或者其他隨機(jī)變量有相同的概率分布，并且互相獨立，那么這些隨機(jī)變量是獨立同分布。

在西瓜書中解釋是：輸入空間中的所有樣本服從一個隱含未知的分布，訓(xùn)練數(shù)據(jù)所有樣本都是獨立地從這個分布上采樣而得。

2.簡單解釋 — 獨立、同分布、獨立同分布

(1)獨立：每次抽樣之間沒有關(guān)系，不會相互影響

舉例：給一個骰子，每次拋骰子拋到幾就是幾，這是獨立;如果我要拋骰子兩次之和大于8，那么第一次和第二次拋就不獨立，因為第二次拋的結(jié)果和第一次相關(guān)。

(2)同分布：每次抽樣，樣本服從同一個分布

舉例：給一個骰子，每次拋骰子得到任意點數(shù)的概率都是六分之一，這個就是同分布

(3)獨立同分布：i.i.d.，每次抽樣之間獨立而且同分布

3.機(jī)器學(xué)習(xí)領(lǐng)域的重要假設(shè)

IID獨立同分布即假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是滿足相同分布的，它是通過訓(xùn)練數(shù)據(jù)獲得的模型能夠在測試集獲得好的效果的一個基本保障。

4.目前發(fā)展

機(jī)器學(xué)習(xí)并不總要求獨立同分布，在不少問題中要求樣本數(shù)據(jù)采樣自同一個分布是因為希望用訓(xùn)練數(shù)據(jù)集得到的模型可以合理的用于測試數(shù)據(jù)集，使用獨立同分布假設(shè)能夠解釋得通。

目前一些機(jī)器學(xué)習(xí)內(nèi)容已經(jīng)不再囿于獨立同分布假設(shè)下，一些問題會假設(shè)樣本沒有同分布。

猜你喜歡：

什么是集成學(xué)習(xí)？集成學(xué)習(xí)算法簡介？

最新資訊