[LIVEWORX主题]
欢迎回到LIVEWORX 2020。
我叫Andia Winslow，是今天
直播活动的主持人。
我们已经收到了
一些来自工业界的
顶尖技术思想领袖的来信。
现在，如果你不能参加之前的会议，
记得一定要在LiveWorx点播目录上查看，
从今天到6月19日，你都可以看到。
这个在线图书馆有超过100个额外的优秀的
内容直播节目。
另外，请留意即将收到的电子邮件，
以便在一整年内仍可访问我们的内容存档。
现在，让我们开始下一个直播——
人工情感智能或情感
人工智能，它是什么以及它的重要性。
Rana el Kaliouby博士是Affectiva的首席执行官和联合创始人。
麻省理工学院媒体实验室的一个分支，Affectiva创造并定义了
情感人工智能类别。
能够从面部和语音中检测出细微差别的
人类情感和复杂认知状态的软件。
El Kaliouby博士是情感人工智能的先驱，
也是《女孩解码：一位科学家
通过将情感智能引入科技
来重塑人类的探索》一书的作者。
我非常高兴欢迎Rana el Kaliouby博士。
谢谢你，Andia。
很高兴今天能和你们在一起。
我的使命是在技术使我们失去人性之前
人性化技术，通过在我们的设备和技术中
建立情感智能和同理心。
在这样做的过程中，我的目标是重新想象
人机界面以及
人与人之间的联系。
我们都被突然抛入到这个
以虚拟方式工作的宇宙中。
这就是我们与团队成员的联系方式。
我们在网上学习，我的意思是，我的孩子
就是这样学习的。
我们以虚拟的方式和朋友和家人联系。
但是，总是少了些什么。
有些东西不一样了。
这就是我们所有的非语言信号
在虚拟环境中缺失的概念。
人工智能扮演着传统上由人类完成的角色，
比如协助驾驶我们的汽车，
协助我们的医疗保健，帮助我们提高生产力，
甚至可能雇佣你的下一个同事。
问题是我们需要在人类和人工智能之间建立一个
新的社会契约。
建立在相互信任基础上。
当然，我们需要信任人工智能，
围绕这一点有很多对话。
但更重要的是，人工智能需要信任我们人类。
毕竟，在做正确事情上，
我们记录并不完美。
不幸的是，已经有很多例子表明
这种信任出了问题。
一个推特聊天机器人一夜之间就变成了种族主义者，
自动驾驶汽车出了致命事故，
面部识别技术
歧视某些人群——
特别是有色人种的女性。
为了重建这种信任，让我们看看人类是如何做到的。
每天我们都会做出成千上万的决定，
包括相互信任，
在我们的个人和职业关系中。
有时这种信托是基于合法的
条款和条件。
但更常见的是，这是基于我们之间的隐性的、非言语的、微妙的暗示，
在建立信任的核心
是我们用同理心的互相交流。
今天的科技有很多智商——
很多认知智力，但没有情商——
没有情商。
这就是缺少的部分。
所以，在我的整个职业生涯中，我一直在问，
如果技术能像我们一样识别人类的情感，
那会怎样呢？
如果你的电脑能分辨
微笑和洋洋得意地笑的区别呢？
两者都涉及下半部的脸，
但两个笑容有非常不同的含义。
那么，我们怎样才能构建出理解人类的人工智能呢？
方法是看看人类是如何做到的。
只有7%的交流方式是基于
我们实际使用的词汇。
93%是非语言的，分为面部表情
和手势——
我经常这么做——
38%的语调，
你说话的速度有多快，你的声音有多少能量？
我的职业生涯很多时候都集中在脸部上。
脸部是一张传达人类情感的非常强大的画布。
面部情绪学已经存在200多年了。
这个叫Duchenne的家伙，曾经用电刺激
我们的面部肌肉来描绘这些面部肌肉是如何运动的。
谢天谢地，我们不再那样做了。
然后在20世纪70年代末，Paul Ekman和他的团队
发布了面部动作编码系统——
一种客观方法，将每一个面部肌肉运动映射到
一个动作单元，映射到一个代码。
所以，举个例子，当你微笑的时候——和我一起试试——
当你微笑的时候，你在拉动颧骨肌肉，
这基本上就是唇角拉或者动作单元12。
当你皱眉或皱眉时，这是动作单元4，
这是皱眉。
它通常是一种消极情绪的标志，
比如困惑或愤怒。
这些面部肌肉大约有45块，
要成为一名合格的传真编码员或面部读取员
需要大约100个小时的训练——
非常辛苦，非常耗时。
对每一分钟的视频进行编码
需要你花大约5分钟的时间观看
视频慢动作，然后说，哦，啊哈，我看到了，
我看到了眉毛抬起来或斜视。
我们不需要再这么做了。
相反，我们使用计算机视觉、机器学习和深度学习
来自动训练算法来检测
这些面部表情。
我们使用数十万个微笑、
洋洋得意的笑和皱眉的例子
来训练这些算法。
而深度学习网络能够提炼出
这些微笑之间的共同点，
这些皱眉之间的共同点，这就是它的学习方式。
因此，为了简化它，这个过程的第一步
是三角定位脸部的位置，
找到像眉毛、嘴或鼻子这样的
面部标志。
然后你把这个区域输入一个深层的神经网络，
这个神经网络能够提取出
面部正在发生的表情，并将这些表情
映射到一些情绪和认知状态。
从喜悦、惊讶、愤怒、厌恶
到更复杂的状态，如疲劳、注意力、
认知超负荷、困惑等等。
在过去几年的工作中，
我们积累了世界上最大的情感库。
我们收集了900万和120万张面部视频——
每个人都可以选择加入并同意了——
在全世界90个国家。
这大致相当于大约50亿个面部框架。
它是迄今为止最大的
实际情绪反应库。
我们利用这些数据进行训练，
同时也验证了我们的算法。
这项技术的应用如此之多，
足以改变工业。
我的大愿景是，在未来几年里，
我们将看到情感人工智能
成为事实上的人机界面。
基本上我们和我们的设备的交互方式
就是我们彼此交互的方式。
通过谈话。
我们已经在Alexa和Siri这样的对话设备上
看到了这一点。
通过感知。
再说一次，我们已经开始看到
有摄像头的设备了。
但也许最重要的是，通过移情
和情商。
有很多应用程序。
我将集中讨论几个问题。
第一个应用程序是量化消费者
在情感上如何与周围的产品和品牌
打交道。
我们的工作方式是向人们发送调查，
让他们观看一段内容。
它可能是一个在线视频广告，可能是一个电影预告片，
可能是一个真正的电视节目，可能是学习内容。
但我们的想法是要捕捉
人们对这些内容的情感投入
和情感反应。
我们让人们打开相机——
同意并选择加入非常重要——
然后我们就能捕捉到这些时时刻刻的
反应。
我们的技术正被25%的《财富》全球500强企业
以及领先的市场研究公司所使用，
这些公司利用我们的技术量化消费者
和观众对其内容的情感反应。
我觉得给你看一个
我们测试过的视频广告会很有趣，
我们已经取得了权限可以公开分享。
我们一起看吧。
[音乐 - TONY DALLARA，“COME PRIMA”]
[意大利歌曲]
呃，妈妈抢到了先机。
今天，我们在全球范围内测试了超过50000个广告。
这个广告在所有广告中排名前10%
位于第90个百分位。
它获得了非常强烈的情感参与，
这是我们的表达得分。
它赢得了很多微笑。
你可以看到每个看过广告的人的
微笑曲线，我们可以从中
记录数据。
这个特别的广告真正吸引人的是，
如果你比较一下人们第一次看到它的时候，
那是绿色的实线。
第二次观看它，
是绿色的虚线。
你可以看到人们对这则广告有记忆。
他们期待着广告真正有趣的地方，
甚至在那一幕开始之前他们就笑了，
这正是你想要的。
而且，更重要的是，我们带着观众
踏上了一段情感之旅，最终
在与品牌揭晓相吻合的结尾处
得到了非常积极的回应。
同样，我们从研究中知道，
这些指标都是非常积极的。
我喜欢这个特别的例子，因为
这是可口可乐和联合利华等品牌
利用这一技术真正推动在线视频
广告，让广告变得更加包容和进步的一个例子。
但他们必须以一种深思熟虑的方式做到这一点。
他们能够捕捉到这些对广告的潜意识的
本能反应。
我们也知道，从我们对这些品牌的大量研究中，
我们将情感反应与实际的消费者行为
联系起来，这种
情感旅程和积极的情感反应
与诸如销售提升、购买意向和活力
之类的事情高度相关。
因为我们已经在全球测试了50000个广告，
我们能够创建基准。
例如，我们知道，在美国，
宠物护理和婴儿护理广告最能引起人们的享受。
有趣的是，在加拿大，谷类食品广告
最能引起人们的兴趣。
不幸的是，电信广告几乎没有
任何乐趣。
它们看起来很无聊。
因此，这些数据真的非常有洞察力，
为品牌和营销人员
提供了新颖的见解，有助于
他们围绕媒体支出
以及如何优化广告内容做出决策。
不仅仅是广告，
你还可以用电视节目生成同样类型的数据。
这是我最喜欢的例子之一。
这是一个情景喜剧，我们为哥伦比亚广播公司测试了一段时间。
它叫Friends With Better Lives。
它播出的时间并不久。
它的成绩不太好。
但在这里，你又看到了微笑曲线。
我们把场景的角色
叠加在曲线上。
你可以看到有两个特别的角色，
每次他们出现的时候都不好笑。
他们基本上是这个微笑曲线的低谷。
而且，再一次强调，非常，非常有趣的数据，
制作者能够利用这些数据
来转换这些人物角色。
从理解人们对内容的
情感投入这个话题转到
另一个我们花费了
大量时间的领域。
它是未来的交通工具。
当我们刚开始在这个领域工作时，
世界各地的许多汽车制造商
都与我们接洽，他们希望将我们的情感感应技术
重新用于汽车。
要那样做的话，我们需要看看，
人们在车里的表现，尤其是司机。
所以我们开始收集一些数据。
我们公司的很多人都非常怀疑这一点，
也许是因为人们知道
仪表板上会有一个摄像头，
他们就不会有任何有趣的情绪
或认知反应。
我们错了。
所以我要给你们看一些视频片段的例子。
同样，这些人知道相机
在他们的车里，他们安装了相机，
他们同意了，但是我们还是看到了非常有趣的
驾驶行为。
在这个特殊的案例中，这位父亲驾驶着这辆车。
他昏昏欲睡。
有四种程度的困倦。
他基本上睡着了。
你还可以看到
他刚学会走路的女儿在后座。
非常非常不安全的驾驶。
我当然可以理解。
有很多次，当我们旅行的时候，
我从长途旅行回来，当我开车送我的孩子时
还在经历时差，感到筋疲力尽。
所以我挺有同感的。
但这是一个简单的、技术可以选择的例子。
你可以在这里看到，这项技术
能够检测出诸如闭眼、张嘴
和睡意程度等情况。
你可以想象汽车在这种情况下是如何干预的。
这是另一个例子。
她在开车。
她开车时也在发短信，所以很分心。
哦，她手里拿着两个电话，
所以她很心烦意乱。
她的眼睛没有看路。
她的手没有放在方向盘上。
你不会愿意坐在她开的车上。
但是，这又是一个例子，技术可以通过
观察她的目光行为，
她的头部姿势信息，也可以
将其与物体检测等结合起来。
所以我们可以发现她手里不仅有一部手机，
而是有两部手机。
我们可以将其标记为注意力高度分散的驾驶员。
再说一次，这辆车可以以某种方式进行干预。
你可以想象，如果这是一辆特斯拉，
它可以跳到半自动模式，
它基本上是说，等一下，
我在这个时刻会比你做得更好，
让我在来掌控局面。
我们与麻省理工学院的先进车辆技术小组合作
进行了大量的研究，
在那里我们进行了有史以来
第一次大规模的驾驶员行为研究。
在这个特殊的例子中，
你看到的是66号参与者。
她是女性。
她22岁了。
她的星期一驾驶情况都连接在星期一的那一行中。
她星期二的驾驶情况都连接在星期二那一行，
以此类推。
你可以看到她这周很累。
在一天的开始有很多
打哈欠的事情发生。
在周末和一天快结束的时候，
会有很多积极的表达。
俗语说一幅画胜过千言万语。
我相信一个视频更有价值。
所以我就给你们展示她晚上对比早上再对比晚上的
驾驶行为的例子。
再说一次，这些都是用我们的算法挖掘出来的。
所以我们基本上调用了纱线分类器
来检测她在所有驾驶期间的
所有打哈欠行为。
你可以看到她早上经常很累。
你可以想象，如果这是一个反复出现的模式，
那么车已经知道
她会筋疲力尽。
也许有人主动建议，
考虑到司机的个人资料，这辆车可以向她提出建议。
现在对比一下她的下午驾驶行为。
你可以看到她看起来已经清醒多了。
她更活泼，更多微笑，
有更积极的表情。
再次，如果这辆车有她的司机简介，
它可以定制和个性化的
驾驶体验，基于她的情感体验。
因此，我们正与多家汽车制造商密切合作，
重新设想这种运输体验。
不仅在今天的汽车中，我们可以
将注意力集中在驾驶员身上，而且在未来的汽车中，
我们真的可以看到一种现有的传感解决方案，
它可以同时观察驾驶员和车内
其他乘客。
以及车里的其他东西。
有没有落下一个孩子？
你把手机忘了吗？
车上有多少人？
他们的状态是什么？
你能对音乐、内容、灯光等
进行个性化设置吗？
但是，当然，在这场
全球大流行病期间，
我们很多人不再在车上花太多时间。
而且，事实上，我们中的很多人把更多的时间
花在视频会议和虚拟活动上。
通过技术建立人际关系真的很难。
这主要是因为交流的主要方式是
非语言的。
有时候，当我们参加这些虚拟会议、
虚拟活动和视频活动时，
你并没有真正地利用观众的精力
和表达方式。
我自己也有这种感觉。
我刚刚为我的书《女孩解码》启动了新书发布会，正如我提到的。
3月、4月和5月，我本应该
为我的新书发布会不断地旅行，
但我不得不改变成虚拟的新书发布会
和虚拟的新书演讲。
太不同了，因为在现场环境中，
我可以看到观众。
我可以看到你们所有人，我可以感受到你们的精力。
我可以根据你和我相处的方式
来定制、个性化和调整我的内容。
当我进行虚拟对话时，通常是单向对话，
或者至少在我看来是单向对话。
我觉得很痛苦也很不安。
但我认为这是一个改变的机会。
如果我们整合情感人工智能，
作为一种聚集观众反应的方式，
匿名捕捉你所有的面部表情。
我不需要看每个人的脸。
事实上，那会让我在演讲时不知所措，
但如果我能时时刻刻地追踪到
你的积极或消极的一面——
你是否用心投入了这些内容，
这将是非常强大的信息，
让我能够定制和了解
观众的参与程度。
所以我想给你们举一个例子。
就在zoom的内部团队会议上，
我们记录了团队的反应。
您可以在这里看到总计的响应。
当然，有不同的方法来可视化这些数据，
但是我们能够跟踪每个人，
我们可以汇总人们的微笑和反应。
他们实际上是在谈论——这是
在三月初，就在大流行刚爆发的时候。
我们在讨论会发生什么，
以及在家工作的事情。
人们分享他们的故事。
能看到有很多同情心和微笑的行为。
所以我们可以追踪那些。
现在把它与一个大家都不感兴趣的
无聊会议相比。
你可以看出区别。
我们能够量化这些数据以实现实时参与，
但也可以在事后进行分析。
同样，在在线学习环境中，
如果教师能像在现场教室中那样
测量学生的情感投入，
会怎么样。
一个很棒的老师就是这么做的，对吧？
你感受到了学生的参与，
然后你可以个性化的学习体验。
最大限度地提高学习效果。
同样，在心理健康方面也有应用。
今天当你走进一个医生的办公室，
他们不会问你
体温或者血压，
他们会测量一下。
那么，如果医生能客观地
测量你的感受，就像他们能测量
其他生命体征一样，会怎样呢？
不幸的是，精神健康的黄金标准
仍然是1到10分——
你有多沮丧？
你有多想自杀？
你现在有多痛？
我们可以引入情感人工智能，
并以一种能够客观衡量心理健康状况的方式
应用它。
其中一个领域是非常贴近我的内心深处，
我探索的第一个情感人工智能的应用就是
关于自闭症的。
自闭症患者在阅读和理解
非语言信号方面有困难。
他们尤其觉得脸部让人不知所措。
有时他们会完全避开脸部。
它们完全避免面部和眼部接触。
所以我们和一家叫做Brain Power的公司合作。
他们使用谷歌眼镜和我们的技术
帮助自闭症患者以一种非常有趣和游戏化的方式
学习这些非语言信号。
所以我要给你们看一段视频。
你在屏幕上看到什么？
妈妈。
8岁的马Matthew Krieger被诊断出患有自闭症。
他和其他孩子相处的很多麻烦
就是他觉得自己很有趣。
他感觉不到也许情况不是这样
或者其他小朋友觉得烦或者是生气了。
Matthew的母亲Laura为他报名
参加了一项由Ned Sahin主持的临床试验。
我想知道自闭症患者的大脑里
发生了什么。
事实证明父母也很想知道。
你可以看一段时间，
即使把脸转过去再转回来看，你也会得到分数。
Sahin的公司Brain Power
在Matthew使用的谷歌眼镜中使用了Affectiva的软件。
这些游戏试图帮助他理解
面部表情如何与情绪对应，
并学习社交线索。
关键的生活技能之一是理解
他人的情绪。
另一个是他们说话的时候
朝他们的方向看。
看着你的妈妈，当它是绿色的时候，你就得分了，
当它开始变成橙色和红色的时候——
得分就慢下来了。
我正在看着你。
你是在看我。
就在几分钟后，Matthew目光的不同
让他母亲感到很激动。
我想哭。
为什么？
因为，当你看着我的时候，
让我觉得你以前没有真正地看过我，
因为现在你看我的眼光不一样了。
Brain Power在美国各地家庭中部署了
大约有400个谷歌眼镜系统。
他们试图回答的主要问题是——我们
已经看到，当孩子们
戴着眼镜时，他们在社交和非语言
理解方面有所改善。
关键问题是当他们摘下眼镜时会发生什么。
这种学习是不是一概而论？
这项技术在心理健康方面也有
其他应用。
例如，一个早期检测帕金森氏症的系统。
Erin Smith——她现在是斯坦福大学的学生。
早在她高中三年级的时候，
她就给我们发过电子邮件，说我一直在看
这部关于帕金森氏症的纪录片，
我想利用你们的技术。
要多少钱？
我记得我们的销售主管问我该怎么回答她？
她不可能负担我们的技术。
我说免费给她。
她到底要怎么用我们的技术？
Erin消失了几个月又回来了。
她与Michael J. Fox基金会合作，
建立了这个系统来识别帕金森患者的
面部生物标志物。
她继续从事这项研究。
非常鼓舞人心的年轻女子。
我为我们在她的旅程中扮演一个小角色
而感到骄傲。
我们也知道抑郁症有面部和声音的
生物标志物。
基于这些信号，我们做了很多工作标志出
自杀的意图。
这是我们正在与Steven Benoit教授
和其他人合作的工作。
但这引出了一个非常重要的话题，
那就是，好吧，这项技术
有很多应用，我们该在哪里适可而止？
我对人工智能的伦理发展
和部署AI的概念充满激情。
不仅仅是承认它有太多的
潜在好处，而且也承认
这项技术可能被滥用，
并且承认这项技术的意外后果。
几年前，当我们
为公司筹款时，一家机构找我们，
想给我们很多钱——
当时是4000万美元，这对我们的小初创公司来说
是一大笔钱——
条件是他们想把这项技术用于
测谎和监视。
这确实不符合我们尊重人们隐私
和需要征得人们同意的核心价值观。
并承认，作为用户，
这些数据是非常私人的。
如果我要分享它，
我需要知道到底是谁在使用它，
它是如何被使用的，以及它对我有什么好处？
所以我们花了很多时间来思考
这种权力不对称——
分享这些非常私人的数据，
我能得到什么回报。
关于它真正酷的一点是，业界
正在率先定义这些最佳
实践和指导原则。
我们是一个叫Partnership on AI组织的一部分。
它是由科技巨头发起——
亚马逊、谷歌、脸书、微软。
此后，他们邀请了许多像Affectiva这样的
初创公司。
但也有其他利益相关者，如ACLU和国际特赦组织。
我是FATE委员会的一员，
它是公平、负责、透明和公正的人工智能。
我们的任务是围绕深思熟虑的监管
制定这些指导方针。
我们需要监管，但它需要被深思熟虑。
我们不想完全浪费创新，
但同时，我们真的
需要思考，我们应该在哪里适可而止，
这种经过深思熟虑的监管是什么样子的。
而且，归根结底，我的使命
是在技术使我们失去人性之前使其人性化。
我希望我们把重点放在人身上，
而不是人造的。
最后，如果这让你对情绪人工智能
及其应用程序和它的含义
开始有点好奇的话，我会把一本签名的书
送给前三个在我的社交媒体上发表评论的人——
LinkedIn、Facebook、Twitter、Instagram——使用
#LIVEWORX和#GIRLDECODED标签，写下对这个直播的
评论或问题。
谢谢您。
[LIVEWORX 主题]
感谢你加入我们，El Kaliouby博士。
多么吸引人的演讲。
今天的第三节直播到此结束。
下一个小时，
我们将了解公司如何利用基于SAAS的CAD、PLM
和增强现实技术作为关键工具，
使其不仅能够在中断中生存下来，而且能够接受这一新常态。
我们休息一会儿就回来。
[LIVEWORX主题]