李杉 编译自 Wired
量子位 出品 | 公众号 QbitAI
目前在用的所有人工智能都是二流的,就像一个愚蠢的蜥蜴大脑,对世界的复杂性一无所知。所以,它才需要大量的数据。我们想要构建的更像是哺乳动物的大脑。
说出这番话的,是哈利·瓦尔普拉(Harri Valpola),44岁,人工智能创业公司The Curious AI Company创始人。
△ 哈利
对目前人工智能进步速度充满失望的哈利,有着似乎遥不可及的目标:他做梦都想创造一个思维互联网,一个由相互连接的人工智能组成的互联网。
“从我们的角度来看,它就像一个巨型大脑。”他说。
他创立的Curious AI位于芬兰赫尔辛基,有20名员工,刚刚获得了367万美元融资。这样的数字和众多科技公司相比简直不足挂齿,但考虑到这家公司什么实际产品都没有,完全着眼于研究,可以算是一笔不小的投资。
给一家不接地气的研究所,投入几百万美元,背后有什么道理可讲?
公司投资者Balderton Capitald的合伙人Daniel Waterhouse说,他们寄希望于研究的过程中可能出现一些产品和商业机会,而且,哈利也已经组建了世界级的团队。
在这种语境下,“世界级”意味着具有学术天赋的人才。
哈利自己,就有着无可挑剔的学术背景。他是芬兰神经网络先驱Tuevo Kohonen的学生,曾在阿尔托大学(Aalto University)研究人工大脑长达20年。
但是,直到2007年离开学术界,将自己的理论应用到现实问题中的“脏数据”时,他才意识到自己的研究中缺少什么。
未成功的革命
哈利想将20年的理论研究付诸实践,为它们找到用武之地。
于是,他参与创立了ZenRobotics,一个专门为智能机器人开发“大脑”的创业公司,想要在人工智能领域掀起一场革命。
△ ZenRobotics
不过,“掀起革命”只是创业之初的“计划”,面对种种残酷的物理现实,实验室里效果一流的技术难以应对。
他们遇到的第一个问题是数据。
在计算机模拟的环境做研究时,机器人可以“看到”周围的一切。但放到公司的业务上,就需要让机器人在混乱而复杂的物理世界中工作,遇到的都是派不上用场的“脏数据”,可见度远没有那么高。
第二个问题,是以往训练机器人的方式并不可取。
在模拟环境中训练机器人,总是要运行上百万次测试来找到有效的方法,但这在现实世界中根本行不通。
就像它们的造物主——人类一样,现实世界中的机器人行动迟缓,拥有笨重的形体。还没来得及发展出什么技能,就被禁锢在了反复的日常之中。
走出象牙塔的哈利终于认识到:“在现实世界中,交互是一种非常稀缺的资源。我做出不少惊人结果的那些技术,都局限在模拟环境里。”
革命是掀不起来了,ZenRobotics改变方向,为机器人找了一个更简单的目标:从工业废料中筛选有用的原材料。
找到新目标的ZenRobotics融资1100万英镑,还吸引了一批全世界规模最大的回收公司,但是,哈利还是很失望。
解决数据问题
2015年,哈利揣着原本的梦想离开了ZenRobotics,想再试一次。
于是,就有了Curious AI。
△ Curious AI的三位联合创始人,从左到右分别为:CTO Antti Rasmus、CEO Harri Valpola和COO Timo Haanpää,还有一位联合创始人Mathias Berglund没有出现在照片中
在这家新公司,哈利和他的同事们解决了在ZenRobotics遇到的很多难题。
首先,是数据上的困难。
哈利的应对方法很简单:“清洗脏数据的最佳方法,就是让电脑去做。”在他2015年发表的一篇论文中,描述了一个“阶梯网络(ladder network)”,这种神经网络可以通过向结果中注入噪声的方式,来训练自己应对复杂的情形,就像老师在测试中故意留下错误,借此让学生保持警惕一样。
借助这个阶梯网络,电脑即使没有大量预先标记的样例,依然可以进行学习。业内人士将这类技术称作“半监督式学习”。
在用业内常用的基准数据集MNIST测试时,哈利等人的系统只使用了100个经过标记的训练样例,却准确识别了几乎99%的图像。顶尖计算机科学家称赞其“令人印象深刻,具备顶尖水准”。
这篇论文的题目是Semi-Supervised Learning with Ladder Networks,感兴趣的同学可以去arXiv阅读:https://arxiv.org/abs/1507.02672
哈利继续开发这项技术,想把它用到更多的数据集上。在今年的NIPS会议上,他会展示这个阶梯网络的“堂弟”,名叫“刻薄的老师”(Mean Teacher)。
这一次,他们改进了原来的系统,用来自谷歌街景的房屋编号图片进行测试,结果显示,效果超过了之前的程序,而使用的训练样例甚至更少。
“我在论文中看到的结果很好,半监督式学习仍在继续改进,还打破了另一项纪录。”蒙特利尔大学计算机科学教授Yoshua Bengio说,他是深度学习领域的领军人物之一。
“刻薄的老师”论文标题很长,它叫做:Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results,感兴趣的同学还是可以去arXiv:https://arxiv.org/abs/1703.01780