10
2020
08

准确率Accuracy的局限性分析

前提问题分析:


Hulu的奢侈品用户广告主们希望把广告定向投放给奢侈品用户。Hulu通过第三方数据平台(DMP)拿到了一部分奢侈品用户的数据,并以此为训练集合测试集,训练和测试奢侈品用户的分类模型。该模型的分类准确率超过了95%,但在实际广告投放过程中,该模型还是把大部分广告投给了非奢侈品用户,还肯能是什么原因造成的?


准确率的局限性


准确率是指分类正确的样本占总样本的比例:


Accuarcy=


Nc是正确分类的样本个数,Nt是总样本的个数


准确率是样本分类问题中最简单也是最直观的评价指标。但存在明显的缺陷。


比如负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率。所以,当不同类别的样本比例非常不均衡时。占比大的类别往往成为影响准确率的最主要因素。


 


明确了这一点,这个问题就解决了。显然奢侈品用户只占hulu会员的一小部分,虽然模型的整体分类准确率高,但不代表对奢侈品用户分类准确率也很高,在线上投放过程中,我们之后对模型判定的奢侈品用户进行投放,因此,对奢侈品用户 判定的准确率不够高就放大了。为了解决这个问题,可以使用更为有效的平均准确率(每个类别下的样本准确率的算术平均)作为模型评估的指标。

« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。