2019苏州人工智能产业年会心得笔记
目录
核心总结：
角度一：从深度学习展开：
1.可解释性工作必须开展。
深度学习在实际应用中最大的短板就是却反可解释性，小错不犯，一犯就是大错。真正的实际应用不允许出现这种情况。这也严重阻碍了很多技术的落地应用。
思路：知识图谱+NLP。从知识和语义下手，是机器从学习数据到理解含义，才能真正做到可解释。
2.数据采集仍十分缺乏。
深度学习依赖大量数据，但现在很多应用场景的数据极其欠缺，严重限制了深度学习在各行业实际应用的落地及发展。
思路：更多更好的传感器+联邦学习
角度二：从人工智能展开：
1..从人类本身学习——思路方面
人工智能的发展应用在大局上应以人类智能为主，机器智能为辅。高中教育方针是培养学生的基本知识与基本能力。这个方针同样适用于人工智能的发展。当前的人工智能，尤其是深度学习，大多是在知识（数据）层面碾压人类从而导致性能超越人类，但远远没有理解能力（基本能力）。这也是深度学习缺乏解释性的原因。
2.从人类本身学习——人体方面
脑科学的研究，脑机接口的研究等都是下一步的研究热点。神经网络与人类大脑中的神经元相差甚远，通过学科交叉，从脑科学中去真正模仿神经网络与学习模式，或许能打开新的天地。
第一天——暖场视频
第一代人工智能：知识驱动，符号学习。
第二代人工智能：数据驱动，机器学习。
第三代人工智能：可解释、鲁棒性。安全、可靠和可信。
第三代人工智能三个应用方向：金融，医疗，智能制造
两个重量级的人工智能大会：
中国人工智能大会
世界人工智能大会
迁移学习：
联邦学习：解决数据孤岛问题 隐私保护
在保护数据隐私的基础上进行数据的共享，建立更大的模型
第一天——上午两场主题演讲
从智能系统或智能体含义处理的角度看认知计算
杨学山
1.人工智能发展面临瓶颈。
26年来没有重大发展。ai奇迹短期难再现，深度学习技术潜力已近天花板。——2019年5月26日，张钹院士采访。
2.认知计算如何破局也不清晰
计算智能、感知智能、认知智能：
计算智能：快速计算、记忆存储
↓ 提高感知能力，即加入视觉、听觉、触觉能力
感知智能：机器主动感知视觉、听觉、触觉等
↓ 提高认知能力，在完成识别能力，加入推理和抽象，提高泛化能力
认知智能：能理解会思考、有概念、意识、推理能力
3.人的智能究竟具备何种特质？
4.人的信息处理究竟如何进行
从视网膜开始，就是人理解的含义。根本不是符号。
5.理解认知计算
把输入从符号变成含义感知。所有输入均理解。
6.自动化系统的信息处理究竟如何进行
7.自动化系统中信息的属性
8.人与自动化系统的计算异同在哪里？
9.感知——含义计算为基础的认知计算模式
10.可实现吗？
认知苹果，梨。万事开头难。
海上目标智能信息感知与融合技术研究
何友
亚丁湾海域，每3天一次抢劫，抢劫全程15分钟结束。需要全域感知。
军用人工智能还处于人工智能阶段，民用人工智能则发展快，可带领军用人工智能发展。
第一天——下午汇报第一场
1.人工智能推进物联网、传感器技术创新与应用
关键词：物联网，传感器技术，创新与应用，产业角度
数据的应用可以保密，但数据的采集应该共享。
5g+互联网，打破行业壁垒。各个行业、公司掌握着非常全面但各有侧重的数据，数据合起来很全，但分开就很散。如果能实现数据的共通，打破行业壁垒，将非常方便。但这也将带来就业等社会问题。如ETC与高速杆，高速都变成了ETC通行，但依旧有个杆拦着，因为牵扯几十万的就业岗位
。
5g在相当长的时间依旧解决人联网（人与人的连接）。
云、边、端：云指云计算。边指边缘计算。端指设备
5g是一个过程，不是一蹴而就的事情。
网络带宽 成本问题
结论：传感器技术决定着系统功能的优劣。
2.人工智能，大教育，大健康
机器人，人机交互
理解是人工智能的核心难题。知其然，知其所以然。
3.当前人工智能技术特点与发展趋势
李修全
深度学习使感知智能率先到商用化门槛。
不完全信息博弈任务，2019进展巨大。dota2，成本巨大。算力门槛提高。
开源框架发展迅速。工业tf，学术pytorch。
软硬件协同（cuda等），人工智能现在发展特点。
方向：智能计算前移。语音识别芯片，ai摄像头新品。（边缘计算）
4.迁移学习，人工智能的最后一公里
杨强
迁移学习，解决小数据的方案。
行业性质，用户隐私，商业利益，三者导致小数据和数据孤岛。
迁移学习：举一反三。
joint learning。？（某张ppt提了一句，没看懂）
最近在做联邦学习，解决数据孤岛。（说明是热点，中国人工智能大会上也有）
联邦学习：数据不动，模型来回跑。参数在企业间沟通，参数包加密。
联邦+迁移。尤其在跨领域，效果更好。例如银行+监管。
这中间，数学加密演化，分布式算法演化是关键。
5.平安智能化医疗战略与实践
平安：金融和医疗。
6.我国人工智能研究基金资助与展望
尖峰对话：
企业家：技术与业务结合，可解释性让人信服。定型定量的指标非常欠缺。
人工智能（新事物、新技术）的两个阶段：
第一阶段：探索。物理思维，举一反三，联想思维。
第二阶段：总结理论。需要数学。
不完全信息博弈，（打扑克，炒股）现在实际需要解决的问题。
第一天——下午汇报第二场：
1.认知智能的商业未来。
2.百度风投，产业智能化。
ai并未寒冬，实体行业寒冬，导致相对寒冬。
ai使企业有精力个性化业务。（迁移学习）（以人为准则，先达到人类程度）
3.人工智能，零售服务，阿里巴巴
4.华为计算芯片
从xx运算到向量运算再到矩阵运算，下一步发展方向是什么？
芯片好做，但要有需求引领，芯片做出来才有用。
卡脖子，尖峰对话
卡脖子：地基不牢，基础硬件和底层框架一旦撤走，后果不堪设想
第一天——晚上查阅资料补充：
参考资料1：CCAI 2019 | 张钹：走向第三代人工智能_人类
http://www.sohu.com/a/326202104_505819
参考资料2：张钹院士：人工智能技术已进入第三代
http://www.acfic.org.cn/fgdt1/zjgd/201906/t20190612_128914.html
参考资料3：知识图谱是什么？与传统知识表示的区别-电子发烧友网
http://m.elecfans.com/article/804786.html
1. 什么才是“智能”该有的样子——要有理解
什么是“智能”该有的样子？
既然当前人工智能取得的成果还存在不少局限，那么，什么才是“智能”该有的样子？
张钹的答案是：要有理解。
以问答系统为例，计算机之所以能够给出问题的答案，并不是因为它理解了人类在说什么，而是依靠大量的数据检索，寻找或匹配出了与问题相对应的答案。它可以回答“美国总统是谁”，但如果你问“特朗普是个人吗”，它大概会懵掉。
现在的深度学习本质是基于概率统计，什么叫做概率统计？没有那么玄，深度学习是寻找那些重复出现的模式，因此重复多了就被认为是规律（真理），因此谎言重复一千遍就被认为真理，所以为什么大数据有时会做出非常荒唐的结果，因为不管对不对，只要重复多了它就会按照这个规律走，就是谁说多了就是谁。
2.深度学习并非全能——五个条件
特别是对于业外的人，都认为我只要掌握了大数据，利用深度学习说不定还能搞出奇迹来，于是大家做了很多很多预测，比如在多短时间内计算机会在什么事情上能超过人。
但实际上，在这个之后，奇迹并没有发生，按照我的估计，今后也不会大量发生。准确一点说，今后或许会在个别领域取得进展，但是不会像之前预计的那样全面开花。特别是中国市场乐观的认为“中国市场大、数据多，运用又不受限制，所以将来奇迹一定会发生在中国”。
结果很多企业在做的时候发现，不是那么回事。从目前的情况来看效果最好的事情还是这两件：图像识别、语音识别。我看了一下，中国人工智能领域20个独角兽30个准独角兽企业，近80%都跟图像识别或者语音识别有关系。
虽然当前人工智能的进步让人刮目相看，但是张钹认为，这些成功是因为场景都满足了以下五个条件：
第一个是必须具备充足的数据，充足不仅仅是说数量大，还要多样性，不能残缺等。
第二个是确定性。
第三个是最重要的，需要完全的信息，围棋就是完全信息博弈，牌类是不完全信息博弈，围棋虽然复杂，但本质上只需要计算速度快，不要靠什么智能，可是在日常生活中，我们所有的决策都是在不完全信息下做的。
第四个是静态，包括按确定性的规律演化，就是可预测性问题，在复杂路况下的自动驾驶就不满足这一条；实际上它既不满足确定性，也不满足完全信息。
第五个就是特定领域，如果领域太宽他做不了。单任务，即下棋的人工智能软件就是下棋，做不了别的。
经济观察报：就是说在满足这五个条件的前提下，目前的人工智能是胜任部分工作的？
张钹：如果你的工作符合这五个条件，绝对会被计算机替代，符合这五个条件的工作特点很明显，就是四个字“照章办事”，不需要灵活性，比如出纳员、收银员。如果你的工作富有灵活性和创造性，计算机绝对不可能完全代替，当然部分代替是可能的，因为其中肯定也有一些简单和重复性的内容。如果认识到这一条就会认识到人工智能仍处于发展阶段的初期。不是像有些人估计的那样“人工智能技术已经完全成熟，而进入发展应用的阶段”。
因此张钹提出，人工智能的核心应该是知识表示和不确定性推理。因为人类智慧的源泉在哪？在知识、经验、推理能力，这是人类理性的根本。对人工智能来说最重要的能力是知识，而非数据。
3.人工智能未来的方向——第三代人工智能
张钹表示，人工智能实际上经历过两代，第一代是符号推理，第二代就是目前的概率学习，它最大的问题是不可解释和不可理解。
为什么人工智能需要可解释性？
假如人工智能将来越来越多地应用到实践中，那么人类就必须要知道，计算机是如何“想”的。比如智能驾驶汽车要上路，如果人类不清楚工作原理，那如何放心的把生命安全托付给计算机？
张钹：我们的结论是，只依靠深度学习很难到达真正的智能。这是很严峻的结论，因为如果有这样的问题，在决策系统里头是不能用这样的系统，因为它会犯大错。我在很多场合讲过，人类的最大的优点是「小错不断、大错不犯」，机器最大的缺点是「小错不犯，一犯就犯大错」。这在决策系统里头是不允许的，这就显示人跟机器的截然不同，人非常聪明，所以他做什么事都很灵活，这就使得他很容易犯各种各样的小错。但是他很理性，很难发生大错。计算机很笨，但是很认真，小错误绝对不会犯，但是它一犯就是天大的错误。刚才把那个把噪声看成知更鸟，这不是大错吗？你把敌人的大炮看成一匹马，不是大错吗？但是人类不会发生这种错误，人类只会把骡看成驴，但是计算机的识别系统会把驴看成一块石头。原因在哪儿？原因还是 AI 的理解能力问题。
因此张钹提出要建立可解释、鲁棒性强（即性能稳定，抗干扰能力强等状态）的人工智能理论和方法，发展安全、可靠和可信的人工智能技术。他提倡发展第三代人工智能。
4.为何一定要可解释性——机器智能与人类智能
经济观察报：有一种观点认为我们强调的“白盒”（可理解性）它实际上是从人的思维来强调的，但是通过大数据、概率统计工具离散到连续的投射，它实际上是机器的思维，你不一定需要它给你一个解释，只要正确的答案就可以了？
张钹：目前有两种意见，一种观点认为智能化的道路是多条的，不是只有一条路能通向智能，我们通过自然进化产生了自然智能，那么我们为什么不能通过机器产生机器智能？这个智能和自然智能不会是完全一样的，条条大路通罗马，我们通过自然进化获得的智能也不见得是最佳的。这个观点我赞成，机器智能与人类不相同，其实是有好处的，恰恰可以互补，发挥各自的长处。
但是从长远来看，必须得走人类智能这条路，为什么？因为我们最终是要发展人机协同，人类和机器和谐共处的世界。我们不是说将来什么事情都让机器去管去做，人类在一边享受。我们要走人机共生这条路，这样机器的智能就必须和人类一样，不然没法共处，机器做出来的事情，我们不能理解，我们的意图机器也不知道，二者怎么能合作？
经济观察报：就是必须具有可解释性？
张钹：是，就是可解释性，你要它做决策，你不理解它，飞机就让它开，谁敢坐这架飞机？所以目前的阶段，车和飞机还是不能完全让机器开的。为什么司机坐在上面我们放心？因为我们和他同命运，要撞死一块撞死，机器和你可不是同一命运，它撞不死，你撞死了。
有的人非常脱离实际的去想这个问题，这是不对头的，人类怎么会去那样发展机器呢（注：指把人类的命运全部交给机器）？人类不会去那么发展的，有些人在那边担忧什么机器人统治人类，我说这最多只能算远虑。
5.如何做到让机器理解——数据+知识
张钹：这个目前我们有两条路，一个是和数学结合，一个是和脑科学结合。你想想如果没有新的数学工具，没有来自于脑科学启发下的新思路，哪来的新理论？另一方面是要把数据驱动和知识驱动结合起来，因为通过数学、脑科学上寻求突破是比较艰难的，前面这件事现在则完全能够做。
自动驾驶不可能对付突发事件，如果这个突发事件它没见过，它就解决不了。怎么来解决这个问题呢？实际上就是要解决从「Without」到「With」理解的问题。
人工智能现在有两种基本方法，一种是用符号模型来模拟理性行为，符号模型可以表达信息的内容，所以它是在一个语义的符号空间里头，但是非常不幸，这个离散的符号表示，数学工具很难用，很多数学工具用不上去，所以它发展很慢。
另一种是在模拟感性行为的时候，我们用的是特征空间的向量，向量就是数，可以把所有的数学工具都用上，优化的工具、概率统计的工具全部用上。所以数据驱动方法这几年发展非常快，再难的问题，下围棋非常难吧，计算机也可以「算」出来。但是它有一个非常大的缺陷，它是在特征空间里，缺乏语义。我们用数据去训练一个模型，所谓「黑箱学习法」，加上你的数据质量不高，很难学出有用的东西。什么叫概率统计？重复多了就是真理。如果数据质量差，充满了「谎言」。谎言重复多了，就变成真理了。
我们现在想出的解决办法是这样的，就是把这两个空间投射到一个空间去，这个空间叫做语义的向量空间。也就是说我们把符号变成向量，同时把特征空间的向量变成语义空间的向量。怎么做？一是通过 Embedding（嵌入）把符号变成向量，尽量保持语义不变，可惜现在的方法都会引起语义的丢失，我们只能在投射的过程中让语义丢失得少。第二方面做的工作比较少，就是 Raising（提升），把特征空间提升到语义空间去，这主要靠学科交叉，靠跟神经科学的结合。只有这些问题解决以后，我们才能够建立一个统一的理论，因为过去的感知和认知是不同的处理方法，大家说不到一块，如果我们能够投射到同一空间去，我们就可以建立一个统一的理论框架，这是我们的目标。在语义空间处理就可以解决理解问题，但是这项工作是非常艰巨的
介绍一项我们现在做的工作。人工神经网络为什么不能得到语义信息呢？人脑的神经网络为什么可以呢？差别就在这里，我们现在用的人工神经网络太简单了，我们正想办法把脑神经网络的许多结构与功能加进去，我们这里只用了「稀疏发电」这一性质，就可以看出一些效果，人脸、大象或者鸟的轮廓，神经网络可以把它提取出来。
还有一个办法就是把数据驱动跟知识驱动结合起来。刚才讲了，人的智能没法通过单纯的大数据学习把它学出来，那怎么办？很简单，加上知识，让它有推理的能力，做决策的能力，这样就能解决突发事件。我们现在做的工作就是把这些结合起来，这是我们的基本思路，知识也好，数据也好，都投射到同一空间，然后都用同样的数学方法进行处理，这方面我们已经做了不少工作。
第二天——知识智能分论坛：
1.主动模仿学习
迁移学习：如何做到知识迁移（下一步方向）
离线和在线
2.自然语言与理解
周国栋
3.偏标记学习
强监督学习：充分且唯一
弱监督学习：周志华18年综述
4.教育
5.xlnet
迁移+微调
6.图神经网络与认知推理
多跳知识问答