Facebook利用10亿张社交软件图片,训练AI新算法
admin
03-10
0

Facebook研究人员日前发布了一个新的人工智能模型SEER,SEER模型可以利用互联网上任何一组随机的、未被标记的图像进行学习。Facebook这一“突破”虽然还处于早期阶段,但团队预计该“突破”将导致计算机视觉领域的一场"革命"。

Facebook利用10亿张社交软件图片,训练AI新算法

SEER是SElf-SupERvised(自我监督[学习])的英文缩写,SEER的训练用了10亿张公开的Instagram图片,这些图片是未经人工策划过的。即图片没有做过通常用于算法训练的标签和注释处理,但SEER仍然能够自主地利用数据集一边学习一边处理数据,最终可以在物体检测等任务上达到最高的准确度。

SEER用的这种方法被称为「自我监督学习」,自我监督学习在人工智能领域已经非常成熟,可以直接从用于训练的信息创建学习系统,不必依靠经过仔细标记的数据集训练如何执行任务,例如识别照片里的对象,或翻译一段文字等任务。

自我监督学习最近在科学界受到大量关注,因为这个方法,意味着对人类标注数据的需要少很多,标注数据是一项费力费时的任务,是大多数研究人员都不愿做的事情。同时,由于自监督模型不需要经人工策划的数据集,因此可以利用更大、更多样化的数据集。

在某些领域(尤其是自然语言处理领域),自我监督学习方法已经取得了突破性的进展。许多利用无标记文本训练的算法使得诸如答疑、机器翻译、自然语言推理等应用取得了各种进展。

相比之下,计算机视觉还没有完全投入自我监督学习的革命之中。Facebook AI Research的软件工程师Priya Gopal称,SEER标志着计算机视觉领域的第一次。她告诉记者,"SEER是第一个完全自我监督的计算机视觉模型,是利用互联网的随机图像进行训练的,而相比之下,计算机视觉领域现有的自我监督方面的工作,都是利用经大量编辑过的ImageNet数据集进行训练。"

ImageNet实际上是个由数百万张图片组成的大规模数据库,这些图片都被研究人员标注了标签,ImageNet面向广大计算机视觉界开放,目的是推动人工智能的发展。

Facebook的研究人员以该项目的数据库,作为基准评估SEER的性能,他们发现,自监督模型在低照、物体检测、分割和图像分类等任务上的表现优于最先进的监督型AI系统。

Goyal表示,"SEER仅利用随机图像进行训练,性能却优于现有的自我监督模型。这个结果基本上表明,我们在计算机视觉中不需要像ImageNet这种经高度策划过的数据集,利用随机图像进行自我监督学习已经可以产生非常高质量的模型。"

由于自我监督学习需要的精密程度较高,研究人员在这方面的工作也并非没有挑战。在涉及到文本时,人工智能模型要做的是赋予单词特定的意思;但对于图像而言,算法必须给每个像素赋予一个对应的概念,同时要考虑同一个概念在不同图片中的各种角度、视图和形状。

换句话说,研究人员处理图像时,需要大量的数据以及可以复杂的信息库中推导出所有可能的视觉概念的模型。

Goyal和她的团队为了达到这个目的,在Facebook AI自我监督学习方面的现有基础上,开发了名为「SwAV」的新算法,SwAV算法将那些显示相似概念的图像分类为不同的组。Facebook科学家们还设计了一个深度学习算法的卷积网络,该卷积网络可以模拟人脑中神经元的连接模式,以及为图像中的不同对象赋予不同的重要性。

该系统用了10亿Instagram图的强大数据集,至少规模是够大了。Facebook的团队用了V100 Nvidia GPU和32GB内存,模型规模增大后,团队也只得用模型去套可用的内存。但Goyal解释说,下一步的研究将有助于确保计算能力可以适应新系统。

她表示,"我们要在越来越多的GPU上训练模型时,GPU之间的通信需要足够快速,以达到实现更快训练的目的。这样的挑战可以通过开发明确的软件和研究技术得到解决,开发的软件和技术能够针对特定的内存和运行时间预算行之有效。" 

因此,在SEER付诸实际使用案例之前还有一些工作要做。但Goyal认为,SEER技术的影响不应该被低估。她表示,"SEER技术使得我们现在可以利用大量丰富的互联网随机图像训练大型模型,可以在计算机视觉领域取得各种进展。"

Goyal称,"这一突破,可以实现计算机视觉领域的自我监督学习革命,其和我们在自然语言处理里看到的涉及文本的自我监督学习革命有些类似。"

SEER在Facebook内部可以用在广泛的计算机视觉任务上,包括自动生成图像描述、帮助识别违反政策的内容等等。SEER技术在Facebook以外的地方也可以在图像和元数据有限的领域发挥作用,比如医疗成像。

Facebook的团队呼吁各方面做更多的工作,以推动SEER进入下一个发展阶段。Facebook团队还开发了基于PyTorch的多用途库,可用于自我监督学习,库名为「VISSL」,已开源,目的是鼓励广泛的AI社区使用该技术进行测试。

相关内容

2021年人工智能制造业龙...
1、科大讯飞(002230):科大讯飞主要致力于语音、语言识别应用...
07-21
foxmail漂亮的邮件签...
如何设置电子邮件签名 首先,我们打开客户端,点击右上角的菜单图...
06-26
现货黄金和黄金td的区别
国内黄金td交易俗称国内金,交易的区域性仅限国内,成交量及活跃度远...
05-20
摄影大奖被授予AI生成图像...
4月18日消息,最近,一位摄影家在世界著名摄影奖项中获奖,但他却主...
04-20
马斯克被曝明面上呼吁暂停A...
4月12日消息,据两位知情人士透露,尽管特斯拉首席执行官埃隆·马斯...
04-13
市场资金为AI抛弃新能源?...
4月6日,半导体借势AI持续强势攀升,同花顺半导体及元件(8811...
04-12

热门资讯

美育,不应是单纯的专业训练 美育,不应是单纯的专业训练。【教育探索】。我们必须重视美育的三对关系——美育理想与美育现实、美育理论...
2个团队智力拓展训练游戏 通过一些有趣的智力拓展小游戏能够释放团队被禁锢的思维,培养大家对文体活动的爱好并且活跃团队氛围,下面...
揭秘嫦娥四号年轻团队:成功是差... 航天人摆出的嫦娥四号 CE-4 字样 他们用青春的激情、 火箭的速度逐梦星辰大海, 他们用“舍我其谁...
线上线下相结合促教师培训特色发... 天津师范大学基于诺尔斯成人学习理论,线上线下相结合,逐步形成了“以高质量的培训方案为基
从细节抓起 乐动体育带给孩子们... 篮球是一个充满技巧与观赏性的全身运动项目。不管是日常锻炼还是平时兴趣,都是不错的一个选择。随着经济水...
重庆江北企业拓展训练基地 拓展训练中我们经历了背摔、孤岛求生、盲人方阵、七巧板、毕业墙,让...
记北京理工大学3+2多国本硕连... 团队齐心青春激扬——记北京理工大学3+2多国本硕连读拓展训练秋高气爽的九月,北京理工大学3+2多国留...
佛山野外拓展训练方案 [3746]佛山野外拓展训练方案_广州畅领者拓展训练是指通过专业的机构,对久居城市的人进行的一种野外...
拓展训练项目《鼓动人心》最新游... 活动简介:鼓动人心是拓展训练中的团队合作项目。在小组间的对抗中,靠一两个人的努力是远远不够的,只有借...
引爆社群共创能量,成都这个国际... 9月28日,一场完全由麓湖国际社区业主共创的大型社区节日——麓湖渔获节,在一派欢声笑语中圆满落下帷幕...