主页 > X嗨生活 >李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G >

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

雷锋网 (公众号:雷锋网) AI 科技评论报导:中国计算机学会 CCF 举办的中国计算机大会 CNCC 2017 已于 10 月 26 日在福州市海峡国际会展中心开幕。参加会议的人数众多,主会场座无虚席。雷锋网 AI 科技评论也派出记者团全程参与大会报导。

26 日上午开幕式结束后,多位特邀嘉宾进行了现场演讲,主题涵盖计算机科学发展中的新技术和应用、自然语言利净额、AI 如何服务于人、人工智能在讯息平台的应用等等。史丹佛大学副教授、谷歌云首席科学家、机器学习界的标杆人物之一的李飞飞进行了题目为「Visual Intelligence: Beyond ImageNet」的演讲。

李飞飞首先介绍了视觉对生物的重要性,以及计算机视觉在物体识别任务中的飞速发展。然后继续与大家讨论了计算机视觉的下一步目标:丰富场景理解,以及计算机视觉与语言结合和任务驱动的计算机视觉的进展和前景。场景理解和与语言结合的计算机视觉进一步搭起了人类和计算机之间沟通的桥樑,任务驱动的计算机视觉也会在机器人领域大放异彩。李飞飞介绍的自己团队的工作也丰富多样、令人振奋。

李飞飞首先介绍了构建视觉智能中的第一个里程碑,那就是物体识别。人类具有无与伦比的视觉识别能力,认知神经科学家们的许多研究都展示出了这一现象。李飞飞在现场与听众们做了一个小互动,在萤幕上闪过一系列持续时间只有 0.1 秒的照片,不加任何别的说明,而观众们还是能够识别到有一张中有一个人。

MIT 教授 Simon Thorpe 在 1996 年的一个实验中,也通过记录脑波的方式表明,人类只需要观察一张复杂照片 150ms 的时间,就能辨别出其中是否包含动物,不管是哺乳动物、鸟类、鱼,还是虫子。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

这种对複杂物体的快速视觉识别能力是人类视觉系统的基本特质,而这也是计算机视觉中的「圣杯」。在过去的 20 年中,物体识别都是计算机视觉社区研究的重要任务。 ImageNet 就是起到了贡献的数据集之一。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

从 2010 年以来,从 2010 到 2017,ImageNet 挑战赛的物体识别错误率下降到了原来的十分之一。到 2015 年,错误率已经达到甚至低于人类水平。这基本表明计算机视觉已经基本攻克了简单的物体识别问题。

计算机视觉研究当然不会止步于 ImageNet 和物体识别,这仅仅是人类丰富视觉感受的基础。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

下一个关键步骤就是视觉关係的识别。这项任务的定义是:「把一张照片输入算法模型中,希望算法可以识别出其中的重点物体,找到它们的所在位置,并且找到它们之间的两两关係」。

两张照片都是人和羊驼,但是发生的事情完全不同。这就是单纯的物体识别所无法描述的了。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在深度学习时代之前,这方面也有不少的研究,但多数都只能在人为控制的空间中分析空间关係、动作关係、类似关係等寥寥几种关係。随着计算力和数据量的爆发,在深度学习时代研究者们终于能够做出大的进展。这需要卷积神经网络的视觉表徵和语言模型的结合。

在李飞飞团队 ECCV2016 的收录论文中,他们的模型已经可以预测空间关係、比较关係、语义关係、动作关係和位置关係,在「列出所有物体」之外,向着场景内的物体的丰富关係理解迈出了坚实的一步。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

除了关係预测之外,还可以做无样本学习。举个例子,用人坐在椅子上的照片训练模型,加上用消防栓在地上的图片训练模型。然后再拿出另一张图片,一个人坐在消防栓上。虽然算法没见过这张图片,但能够表达出这是「一个人坐在消防栓上」。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

类似的,算法能识别出「一匹马戴着帽子」,虽然训练集里只有「人骑马」以及「人戴着帽子」的图片。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在李飞飞团队的 ECCV 2016 论文之后,今年有一大堆相关论文发表了出来,一些甚至已经超过了他们模型的表现。她也非常欣喜看到这项任务相关研究的繁荣发展。

在物体识别问题已经很大程度上解决以后,李飞飞的下一个目标是走出物体本身。微软的 Coco 数据集就已经不再是图像+标籤,而是图像+一个简短的句子描述图像中的主要内容。

经过三年的準备后,李飞飞团队推出了 Visual Genome 数据集,包含了 10 万张图像、420 万条图像描述、180 万个问答对、140 万个带标籤的物体、150 万条关係以及 170 万条属性。这是一个非常丰富的数据集,它的目标就是走出物体本身,关注更为广泛的对象之间的关係、语言、推理等等。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在 Visual Genome 数据集之后,李飞飞团队做的另一项研究是重新认识场景识别。

场景识别单独来看是一项简单的任务,在谷歌里搜寻「穿西装的男人」或者「可爱的小狗」,都能直接得到理想的结果。

但是 当你搜寻「穿西装的男人抱着可爱的小狗」的时候,就得不到什幺好结果 。它的表现在这里就变得糟糕了,这种物体间的关係是一件很难处理的事情。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

如果只关注了「长椅」和「人」的物体识别,就得不到「人坐在长椅上」的关係;即便训练网络识别「坐着的人」,也无法保证看清全局。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

他们有个想法是,把物体之外、场景之内的关係全都包含进来,然后再想办法提取精确的关係。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

如果有一张场景图(graph),其中包含了场景内各种複杂的语义信息,那场景识别就能做得好得多。其中的细节可能难以全部用一个长句子描述,但是把一个长句子变成一个场景图之后,我们就可以用图相关的方法把它和图像做对比;场景图也可以编码为数据库的一部分,从数据库的角度进行查询。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

李飞飞团队已经用场景图匹配技术在包含了许多语义信息的场景里得到了许多不错的量化结果。不过,这些场景图是谁来定义的呢?在 Visual Genome 数据集中,场景图都是人工定义的,里面的实体、结构、实体间的关係和到图像的匹配都是李飞飞团队人工完成的,过程挺痛苦的,他们也不希望以后还要对每一个场景都做这样的工作。所以在这项工作之后,他们也正在把注意力转向自动场景图生成。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

比如这项她和她的学生们共同完成的 CVPR2017 论文就是一个自动生成场景图的方案,对于一张输入图像,首先得到物体识别的备选结果,然后用图推理算法得到实体和实体之间的关係等等;这个过程都是自动完成的。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

这里涉及到了一些迭代信息传递算法,李飞飞并没有详细解释。但这个结果体现出的是,这个模型的工作方式和人的做法已经有不少相似之处了。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

这代表着一组全新的可能性来到了人类面前。借助场景图,们可以做讯息提取、可以做关係预测、可以理解对应关係等等。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

QA 问题也得到了更好的解决。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

还有一个研究目标是,给图片配上整段的说明文字。

当李飞飞在加州理工学院读博士的时候做过一个实验,就让人们观察一张照片,然后让他们尽可能地说出自己在照片中看到的东西。当时做实验的时候,在受试者面前的屏幕上快速闪过一张照片,然后用一个别的图像、墙纸一样的图像盖住它,它的作用是把他们视网膜暂留的讯息清除掉。

接下来就让他们尽可能多地写下自己看到的东西。从结果上看,有的照片好像比较容易,但是其实只是因为我们选择了不同长短的展示时间, 最短的照片只显示了 27 毫秒,这已经达到了当时显示器的显示速度上限;有些照片显示了 0.5 秒的时间,对人类视觉理解来说可算是绰绰有余了。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

对于这张照片,时间很短的时候看清的内容也很有限,500 毫秒的时候他们就能写下很长一段。进化给了我们这样的能力,只看到一张图片就可以讲出一个很长的故事。

在过去的 3 年里,CV 领域的研究人员们就在研究如何把图像中的讯息变成故事。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

他们首先研究了图像说明,比如借助 CNN 把图像中的内容表示到特徵空间,然后用 LSTM 这样的 RNN 生成一系列文字。这类工作在 2015 年左右有很多成果,从此之后我们就可以让计算机给几乎任何东西配上一个句子。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

比如这两个例子,「一位穿着橙色马甲的工人正在铺路」和「穿着黑色衬衫的男人正在弹吉他」。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

这都是 CVPR2015 上的成果。两年过去了,李飞飞团队的算法也已经不是最先进的了,不过那时候确实是是图像说明这个领域的开拓性工作之一。

沿着这个方向继续做研究,他们迎来的下一个成果是稠密说明,就是在一幅图片中有很多个区域都会分配注意力,这样有可以有很多个不同的句子描述不同的区域,而不仅仅是用一个句子描述整个场景。 在这里就用到了 CNN 模型和逻辑区域检测模型的结合,再加上一个语言模型,这样就可以对场景做稠密的标注。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

比如这张图里就可以生成,「有两个人坐在椅子上」、「有一头大象」、「有一棵树」等等。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

另一张李飞飞的学生们的室内照片也标出了丰富的内容。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在最近的 CVPR2017 的研究中,他们让表现迈上了一个新的台阶,不只是简单的说明句子,还要生成文字段落,把它们以具有空间意义的方式连接起来。这样我们就可以写出「一只长颈鹿站在树边,在它的右边有一个有叶子的桿子,在篱笆的后面有一个黑色和白色的砖垒起来的建筑」,等等。虽然里面有错误,而且也远比不上莎士比亚的作品,但我们已经迈出了视觉和语言结合的第一步。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

而且,视觉和语言的结合併没有停留在静止的图像上,刚才的只是最新成果之一。在另外的研究中,他们把视频和语言结合起来。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

比如这个 CVPR2017 的研究,可以对一个说明性视频中不同的部分做联合推理、整理出文本结构。这里的难点是解析文本中的实体,比如第一步是「搅拌蔬菜」,然后「拿出混合物」。如果算法能够解析出「混合物」指的是前一步里混合的蔬菜,那就棒极了。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在语言之后,李飞飞还介绍了任务驱动的视觉问题。对整个 AI 研究大家庭来说,任务驱动的 AI 是一个共同的长期梦想,从一开始人类就希望用语言给机器人下达指定,然后机器人用视觉方法观察世界、理解并完成任务。

这是一个经典的任务驱动问题,人类说:「蓝色的金字塔很好。我喜欢不是红色的立方体,但是我也不喜欢任何一个垫着 5 面体的东西。那我喜欢那个灰色的盒子吗?」那幺机器,或者机器人,或者智能体就会回答:「不,因为它垫着一个 5 面体」。它就是任务驱动的,对这个複杂的世界做理解和推理。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

李飞飞团队和 Facebook 合作重新研究这类问题,创造了带有各种几何体的场景,然后给人工智能提问,看它会如何理解、推理、解决这些问题。这其中会涉及到属性的辨别、计数、对比、空间关係等等。

在这方面的第一篇论文 用了 CNN+LSTM+注意力模型,结果算不上差,人类能达到超过 90% 的正确率,机器虽然能做到接近 70%了 ,但是仍然有巨大的差距。有这个差距就是因为人类能够组合推理,机器则做不到。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

而在 ICCV 上,他们介绍了新一篇论文中的成果。借助新的 CLEVR 数据集,把一个问题分解成带有功能的程序段,然后在程序段基础上训练一个能回答问题的执行引擎。这个方案在尝试推理真实世界问题的时候就具有高得多的组合能力。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

在测试中也终于超出了人类的表现。

李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

模型的实际表现当然不错。比如这个例子里,我们提问某种颜色的东西是什幺形状的,它就会回答「是一个立方体」这样,表明了它的推理是正确的。它还可以数出东西的数目。这都体现出了算法可以对场景做推理。热力图也展示出了模型正确地关注了图中的区域。

图像相关的任务说了这幺多,李飞飞把它们总结为了两大类

    首先是除了物体识别之外的关係识别、複杂语意表徵、场景图;在场景 gist 之外,我们需要用视觉+语言处理单句标注、段落生成、视频理解、联合推理; 李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G李飞飞最后展示了她女儿的照片,她只有 20 个月大,但视觉能力也是她的日常生活里重要的一部分,读书、画画、观察情感等等,这些重大的进步都是这个领域未来的研究目标。

    李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

    视觉智慧是理解、交流、合作、交互等等的关键一步,人类在这方面的探索也只称得上是刚刚开始。

    李飞飞大神演讲全纪录:让 AI 描述图片準确率达 70%,G

    延伸阅读

    NVIDIA 成为推动台湾 AI 革命推手!携手科技部,4 年培育 3000 位人工智慧专家 CPU 与 GPU 到底差在哪?NVIDIA 找来流言终结者主持人 Demo 让你瞬间搞懂
      照片挑对了,旅客当然立刻下订!旅游巨头 Expedia 携手 NVIDIA 用 AI 挑出最能打动你的饭店照片
    全球 AI 晶片争霸战来了!Nvidia、Intel、Google、IBM、微软 AI 晶片特色一次报你知
    Intel 追赶 NVIDIA,推出运算速度快十倍的 VPU 超级晶片

上一篇: 下一篇: