教育行業(yè)A股IPO第一股(股票代碼 003032)

全國(guó)咨詢/投訴熱線:400-618-4000

人工智能中的概率值大小如何測(cè)試?[軟件測(cè)試培訓(xùn)]

更新時(shí)間:2019年11月06日18時(shí)04分 來(lái)源:傳智播客 瀏覽次數(shù):

很多人都在玩抖音,并且越玩越嗨,究其根源就是抖音根據(jù)個(gè)人愛(ài)好進(jìn)行的精準(zhǔn)視頻推薦,那么問(wèn)題來(lái)了,精準(zhǔn)度怎么測(cè)試呢? 其實(shí)精準(zhǔn)度就是一個(gè)概率值,并且像抖音這樣的推薦系統(tǒng)通常是使用人工智能分類算法實(shí)現(xiàn)的,而分類算法有個(gè)AUC指標(biāo)可以很好的衡量概率值的大小評(píng)測(cè)是否合適。本文就通過(guò)兩步來(lái)介紹怎樣通過(guò)分類算法的AUC指標(biāo)來(lái)評(píng)測(cè)類似抖音推薦系統(tǒng)的推薦精準(zhǔn)度。

一、了解TPR與FPR指標(biāo)

·目標(biāo)

了解TPR與FPR的定義以及作用

·步驟

1.了解AI模型分類算法的4個(gè)關(guān)鍵定義

TP:抖音推薦的視頻確實(shí)是用戶想要的視頻

TN:抖音沒(méi)推薦的視頻確實(shí)是用戶不想要的視頻

FP:抖音推薦的視頻是用戶不想要的視頻

FN:抖音沒(méi)推薦的視頻是用戶想要的視頻

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分別用于衡量推薦精準(zhǔn)度圖形的橫縱坐標(biāo)

二、了解SOC以及AUC

·目標(biāo)

掌握SOC、AUC的定義以及作用

·步驟

1.SOC曲線圖的定義

ROC曲線的橫軸就是上面提到的FPR,縱軸就是上面提到的TPR,其圖形如下圖藍(lán)色線段所示:

越接近于左上角表示衡量的概率值越合理

概率值測(cè)試

2.AUC指標(biāo)

• AUC的概率意義是隨機(jī)取一對(duì)用戶喜歡的視頻和用戶不喜歡的抖音視頻,將用戶喜歡的視頻優(yōu)先于用戶不喜歡的視頻進(jìn)行推送的概率值,因此這個(gè)值越大越好

• 從幾何意義上看AUC就代表SOC曲線的面積。代表了系統(tǒng)將用戶喜歡的視頻按照概率值從大大小進(jìn)行排序的分類能力,因此AUC可以很好的衡量公司開(kāi)發(fā)的推薦系統(tǒng)推薦的概率值也就是精準(zhǔn)度是否合理

總結(jié)

本文以抖音為例提出了怎樣測(cè)試推薦系統(tǒng)推薦的精準(zhǔn)性,從界面上是看不出來(lái)哪個(gè)視頻推薦給用戶的概率值應(yīng)該是更高的,而通過(guò)實(shí)現(xiàn)推薦系統(tǒng)的分類算法自帶的AUC指標(biāo)進(jìn)行衡量可以很好的評(píng)測(cè)這個(gè)概率值,同時(shí)這個(gè)概率值的評(píng)測(cè)往往也是推薦系統(tǒng)的測(cè)試重點(diǎn)和難點(diǎn)。

本文來(lái)自:傳智播客軟件測(cè)試學(xué)院 test.itcast.cn

0 分享到:
和我們?cè)诰€交談!