热点资讯

神秘顾客平台通过看模子在这个任务上的领路

发布日期：2024-03-16 01:45 点击次数：170

MIT新晋副培植何恺明神秘顾客平台，新作簇新出炉：

对准一个横亘在AI发展之路上十年之久的问题：数据集偏差。

该洽商为何恺明在Meta技巧与刘壮配合完成，他们在论文中指出：

尽管昔时十多年里业界为构建更大、更各样化、更全面、偏差更小的数据集作念了许多奋力，但当代神经网罗似乎越来越善于”看透”并运用这些数据聚积潜伏的偏差。

这不禁让东说念主怀疑：咱们在搁置数据集偏差的战争中，确切取得了奏凯吗？

数据集偏差之战，在2011年由著明学者Antonio Torralba和Alyosha Efros提议——

Alyosha Efros恰是Sora两位一作博士小哥（Tim Brooks和William Peebles）的博士导师，而Antonio Torralba也在本科技巧指引过Peebles。

其时他们发现，机器学习模子很容易“过拟合”到特定的数据集上，导致在其他数据集上领路欠安。

十多年昔时了，尽管咱们有了更大、更各样化的数据集，如ImageNet、YFCC100M、CC12M等，但这个问题似乎并莫得得到根蒂惩办。

反而，跟着神经网罗变得越来越高大，它们“挖掘”和运用数据集偏差的才能也越来越强了！

服务行业：地产/物业管理、通讯IT行业、金融保险、医疗卫生、快消品行业、汽车行业、家电家居、交通旅游、零售餐饮、公共服务业等

为了分析这个问题，何恺明团队联想了一个捏造的”数据集分类”任务。

听名字你可能就猜到了：给定一张图像，模子需要判断它来自哪个数据集。通过看模子在这个任务上的领路，就不错了解它们捕捉数据集偏差的才能。

当代AI安谧看透不同数据集

在践诺中团队发现，各样当代神经网罗架构，如AlexNet、VGG、ResNet、ViT等，在数据集分类任务上领路出惊东说念主的一致性：它们险些皆能以特别80%的准确率远隔不同数据集的图像！

更令东说念主吃惊的是，这个发当今各样不同的条目下皆相配矜重：

无论是不同的数据集组合、不同的模子架构、不同的模子尺寸、不同的检修数据量，如故不同的数据增强容貌，神经网罗经久能安谧”一眼看透”图像的数据集开首。

那么，神经网罗是怎样作念到这少量的呢？是靠单纯的操心，如故学到了一些更普适的规则？

为了揭开答案，团队作念了一系列对比践诺。他们发现，要是把不同的数据集连忙混在一齐，神经网罗就很难再远隔它们了（准确率着落到了33%）。这诠释，郑州满意度调查公司神经网罗并不是在单纯地操心每一张图像，而是确切学到了一些数据集独到的方式。

更兴味的是，即使在自监督学习的开采下，神经网罗也展现出了惊东说念主的”数据集辨识力”。在这种开采下，模子在检修时并没灵验到任何数据集的标签信息，但当在这些自监督学习到的特征上检修一个浅陋的线性分类器时，它依然能以特别70%的准确率远隔不同的数据集！

通过这一系列的践诺，何恺明、刘壮等东说念主的洽商给咱们敲响了警钟：尽管这十年咱们一直在奋力构建更大、更各样化的数据集，但数据集偏差这个问题似乎并莫得得到根蒂惩办。相背，当代神经网罗越来越善于运用这些偏差来取得高准确率，但这可能并不代表它们信得过学到了鲁棒、普适的视觉倡导。

论文的终末，作家号令悉数AI社区再行注目数据集偏差这个问题，并再行念念考如安在算法和数据两个层面上来搪塞这一挑战。

CVPR最好论文作家的通力配合

本文是何恺明在Meta技巧，与Meta洽商科学家刘壮配合完成。

当今，何恺明仍是精良在MIT上岗，担任电气工程与运筹帷幄机科学系的助理培植。他的“开学第一课”开课即火爆，在youtube上仍是有2.9万的播放量。

和何恺明相通，刘壮本科毕业自清华，而且亦然CVPR最好论文奖得主——他是CVPR2017最好论文DenseNet的第一作家。

2017年，刘壮从清华姚班毕业，参加加州大学伯克利分校攻读博士学位，师从Trevor Darrell，是贾扬清的同门师弟。

博士毕业后，刘壮参加Meta AI Research责任。在此之前，他仍是在Meta实习了一年多时候，技巧和谢赛宁配合，发表了ConvNeXt。