当前位置: 100md首页 > 医学版 > 医学资料 > 资料下载2021
编号:6295
AI思维从数据中创造价值的炼金术.pdf
http://www.100md.com 2020年12月2日
第1页
第9页
第13页
第25页
第50页
第286页

    参见附件(9088KB,295页)。

     解析大数据与人工智能如何为商业赋能。

    既是基础书,又是思维神书,AI思维从数据中创造价值的炼金术由丁磊著,逻辑清晰,文字轻松,没有堆砌佶屈聱牙生僻专用名词与概念,也没有一大堆看不懂的公示和数据。梳理了一套自己的逻辑,从什么是AI,AI思维的核心,背后逻辑,具体落地,问题和不足,未来发展等等出发,告诉读者AI到底是个啥,能给我们日常带来什么帮助,已经融入到生活的哪些领域中去。

    ai思维丁磊预览

    图书亮点

    智能时代,知道趋势,更要知道怎么做。

    从理论到实践,一本书讲透人工智能如何落地,如何优化和扩大业务,创造价值。

    “数据科学50人”之一、PayPal全 球消费者数据科学部创办人,深度分析机器学习的内在逻辑,洞见大数据与人工智能如何赋能商业。

    人工智能优化业务、落地实践、创造价值全链条解析,帮助读者掌握运用AI思维在业务端落地的思维方式和方法,把握时代的机遇和发展方向。

    中国平安首 席科学家肖京作序,国际人工智能协会(AAAI)主席杨强,费埃哲(FICO)全球副总裁兼中国区总裁王世今等联袂推荐。

    内容简介

    人工智能如何为商业赋能?

    随着大数据、物联网和5G等技术的发展,人工智能早已进入我们的生活,并作为核心驱动力,对各行各业进行了深刻的塑造和改变,推动着商业模式、经济结构甚至国家战略的升级革新。

    人工智能是未来的发展趋势,这已是共识。但是,我们对人工智能的了解,很多还囿于智能机器人和无人驾驶汽车等吸引眼球的领域,对它之于其他商业领域的价值,缺乏必要的系统化行业落地框架和实践。

    浸淫人工智能领域近20年,指导过多家知名企业AI业务的丁磊指出,人工智能不仅仅是一种先进技术,其核心意义是一种分析数据的思维模式。他据此提出AI思维这一模式。这是一种通过数据驱动决策的思维模式,包括数据、模型、算力和业务模式四要素。从数据出发,通过模型和算力形成决策,最终在业务中产生价值。

    数据+人工智能+场景=价值。

    这本书总结了人工智能优化各类业务、落地实践、创造价值的全过程。作者从人工智能的原理到逻辑,从人工智能在商业领域的业务模式到案例分析、在行业中的应用和发展,一一进行解读,为读者从宏观到微观、从理论到实践,逐步揭开人工智能的神秘面纱,帮助读者了解系统框架,掌握运用AI思维赋能商业的思维方式和方法,把握时代的机遇和发展方向。

    作者介绍

    丁磊

    美国俄亥俄州立大学人工智能专业博士,美国哥伦比亚大学博士后,持有斯坦福大学高级项目管理证书。

    人工智能商业化落地先行者 ......

    书名:AI思维:从数据中创造价值的炼金术

    作者:丁磊

    出版时间:2020-05-01

    ISBN:9787521716375

    中信出版集团制作发行

    版权所有·侵权必究推荐序

    “AI思维”——人工智能的落地指南

    肖京

    近年来,AI越来越成为万众瞩目的焦点。随着大数据、物联网和5G(第5

    代移动通信技术)等技术的发展,“万物皆可AI”不再仅仅是一个美好的愿

    景,人工智能早已进入我们的生活,并作为核心驱动力,对各行各业进行了

    深刻的塑造和改变,推动着国家战略、经济结构和商业模式的升级革新。纵

    观生活的方方面面,人工智能已经和我们的日常生活连接在了一起,并且与

    每个人都息息相关。智能革命是大势所趋。

    人工智能可以分为弱人工智能、强人工智能和超人工智能。目前人工智

    能处在弱人工智能阶段,这意味着人工智能的能力是针对特定领域的,它只

    在某些方面比人强。因此,人工智能作为一个赋能的体系帮助行业升级换

    代,一定要跟具体的应用领域深度融合在一起。人工智能的应用领域非常广

    泛,在零售、工业、金融、教育和医疗等行业中起着越来越重要的作用。人

    工智能的落地也迫使人类社会重新分工,促使这些传统行业迅速转型与升

    级。

    我们日常生活的方方面面都需要决策,不论是应用于哪种业务场景下的

    人工智能系统,想要发挥作用,都需要通过模型来解读数据并作用于业务,达到优化决策的效果。思维的高度决定了决策的质量,因此,如果说人工智

    能是未来社会发展趋势的话,那么我们有必要做一些相关知识的普及和思维

    的传播。人工智能技术不仅可以改变我们的生活方式,当它转化为一种思维

    时,更能真正地为我们的人生带来裨益。

    我与丁磊博士在人工智能领域有颇多的交流,我们都认为人工智能不应

    该是浮于表面的概念。人工智能具有深刻的内涵,值得我们静下心来研究,也值得生活中的每个人去理解。人人都能学AI,人人都能懂AI,AI也能为人

    人所用。丁磊博士在人工智能领域工作近20年,总结出了一套颇具特色的人

    工智能知识体系和思维方式——“AI思维”。AI思维是一种通过数据驱动决策的思维模式,包括数据、模型、算力和业务模式四要素。从数据出发,通

    过模型和算力形成决策,最终在业务中产生价值。因此,AI思维的基础在于

    数据,核心在于模型,实现在于算力,应用在于业务模式。从这种意义上

    说,本书深入浅出,从“道”“法”“术”“器”“用”“势”几个方面循

    序渐进地向读者介绍了从数据中创造价值的“炼金术”。

    毋庸置疑,人脑和人工智能在处理信息上存在相似之处,我们对事物的

    认识可以分为四个阶段:信息、经验、规律和思维。这是一个动态的过程,从单个信息的联系中形成经验,在经验中发现规律,再提炼升华出思维。思

    维阶段,也是方法论层次的总结,进一步指导实践,不断找出更多的规律和

    结论。人工智能的底层逻辑就是数学规律,万丈高楼平地起,从底层逻辑中

    衍生出人工智能的知识体系。人工智能落地意味着从数据中产生价值,在这

    个过程中人工智能既是方法和工具,也是思维逻辑,可以指导行业的应用和

    发展。

    未来的时代一定是智能化的时代,人工智能作为各个行业的风口,也必

    然会成为未来社会的发展趋势。《AI思维》总结了人工智能落地实践的全过

    程,并且具有优化各种业务的突出价值。而对于个人来说,AI思维可以帮助

    我们更深入地理解我们所处的时代,把握时代的机遇和发展方向,最终帮助

    我们更好地生活和工作。这是人工智能的使命,也是我们理解人工智能的意

    义。

    1. 此推荐序作者肖京博士,现任中国平安集团首席科学家、集团执委,曾获第九届吴文俊人工

    智能杰出贡献奖。前言

    数字时代,既是机遇,也是挑战。互联网、大数据、人工智能的发展使

    得生产、商业和生活的各个领域都发生了改变,新生信息层出不穷,知识总

    量爆炸式增长。面对这个日新月异的时代,我们——渺小的个体,有限的精

    力,受限的知识面——唯有不断更新自我,提升认知,才不至于被激烈而残

    酷的竞争所淘汰。

    我们要改变原有的认知方式,如果单靠知识填充,难以达到质的改变,需要转换思维模式。我一直相信,万事万物皆有规律,只有快速把握规律,才能理性认识存在,提升思维能力,抓住时代脉搏。当然,数字世界也不例

    外,数据之中也有规律性。在利用人工智能(AI)发现和挖掘数据规律与价

    值的实践中,我认识到人工智能不仅是一种技术方法,其中蕴含了一种思维

    逻辑,也就是AI思维,这才是人工智能的真正精髓,它集中体现在对数据理

    解方面的优势,能够帮助我们突破认知局限,从而找到自身的真正优势,获

    得展现个体主动策略优势的收益。

    我与人工智能的故事早在20年前就开始了。世纪之交入学浙江大

    学,“形上谓道兮,形下谓器”的校歌时至今日仍不时回荡在我的耳边。我

    对人工智能的探索便开始于在浙江大学读书的阶段。大学四年,我

    从“器”的层面了解人工智能、机器学习、模糊数学以及神经网络等领域。

    当时,越来越多的富媒体数据出现在互联网上,我便猜测人工智能接下来的

    使命是让计算机自动理解这些数据,从而增进用户的效率和体验。读博士

    时,我毫不犹豫地将当时相对冷门的人工智能作为专业方向,因为我深信人

    工智能将成为信息技术的下一范式。

    我对AI思维的认识和总结,是从实践中不断丰富而来的。在美国博士毕

    业后,我先后经历过高等研究院所、国际大型企业以及各个阶段的创业公

    司,服务过IBM(国际商业机器公司)、亿客行(Expedia)、Orbitz(旅程

    网)和PayPal(贝宝)等公司。在硅谷,我也成为将人工智能运用于深度商

    业运营的早期实践者和探路人之一。早在2011年,我领导建立的人工智能系

    统在全球最大的在线旅游平台亿客行上线,通过电商网站访客的行为信号,精准预测访客线上消费行为,并以此为基础投放恰当的广告。这是业内较

    早、规模较大的电商行为预测和智能营销平台,至今仍优化着全球数以亿计

    的用户体验。后来,作为PayPal全球消费者数据科学部的创立者和负责人,我在电商、支付和广告领域通过人工智能和深度学习技术,领导团队开发了

    基于大数据的消费者动机预测引擎、精准推荐引擎以及最佳行动引擎,大幅

    度提升了全球数百万商家的赢利性和数亿用户的购物体验,并因此受邀在哈

    佛大学、麻省理工学院等学校做专题演讲。

    在美国工作期间,我同样关注国内人工智能的应用和发展,发现国内人

    工智能的研发与商业运用之间存在脱节的问题。而后我应邀回国工作,致力

    于发掘人工智能在行业中新的增长点。在百度金融任职首席数据科学家期

    间,我负责金融领域的数据挖掘和变现,通过大规模特征挖掘和深度学习技

    术,从海量的互联网数据中提取金融相关变量,提升金融产品的市场竞争

    力,运用人工智能帮助金融机构升级换代,促进普惠金融的健康发展。

    从对人工智能模型的攻坚克难到运用人工智能帮助企业解决业务问题,在长期实践中,我逐渐体会到,人工智能作为一种技术,可以用于商业活动

    中,处理数据,提高效率,提升体验。但是,人工智能远不仅是一种技术。

    当下人人都在说人工智能,但往往都说不清。自从1956年达特茅斯会议“人

    工智能”的概念正式提出,人工智能既经历过至暗时刻,也经历过辉煌岁

    月。什么是人工智能?这是一个很多人在尝试回答,但是又感觉力不从心的

    问题。

    提到人工智能,大众的认知普遍是无人驾驶、视觉识别、语音识别或者

    是像AlphaGo(阿尔法围棋)那样的机器人等,但其实这些只是人工智能的具

    体应用,只是人工智能的冰山一角,却在很多人心中成了人工智能的代名

    词,这说明目前对人工智能的认识还有局限性。运用于商业各个领域以及工

    业生产、日常生活中的人工智能是有共通之处的,可以从“器”的层面总结

    升华出“道”,即一套特有的思维模式——AI思维。人工智能不仅仅是一种

    先进技术,其核心意义是一种分析数据的思维模式。深受我的合作导师、计

    算机视觉之父黄煦涛等几位学术大师的影响,我深信一切现象和对应的数据

    必有规律性,而AI思维就是发现和发掘这种规律性的强大工具。

    AI思维,简单来说就是从大量数据中形成模型,进而对未知情况做出最

    佳预测的思维模式。这样的预测无论对个人、组织还是社会整体,都有积极的意义,能够避免经验主义带来的主观、片面的判断。AI思维的基础在于数

    据,核心在于模型,实现在于算力,应用在于业务模式。AI思维与大数据相

    伴相生,恰如炼油的过程,大数据是原油,AI思维则是从原油中提炼产品产

    生价值的“炼金术”。

    AI思维也是对现有科学体系进行“数据驱动”升级的方法论。人工智能

    给社会带来的价值远不只哗众取宠的“黑科技”,也不只是给人们带来便捷

    或者帮助企业重塑商业模式,它最终能够关乎民生的方方面面。无论是在零

    售还是金融行业,抑或是在医疗和教育领域,通过AI思维你都能更快速、更

    直接、更准确地预测个体的行为或表现结果,从而既能满足行业发展本身的

    需求,又能在实践中创造出前所未有的价值,将先进的经验和知识惠及所有

    人。想象一下,通过人工智能,所有的病人可以获得全球最优秀医生的诊断

    和治疗,所有的孩子可以获得全球最先进的教育方法的培养,我们生活的世

    界将会变得怎么样?“千百支蜡烛可以被一支蜡烛点燃,而那支蜡烛的生命

    不会因此缩短。”在人工智能时代,每个人的数据都可以转化为知识,帮助

    别人并由此受益。

    我 阅 读 过 很 多 面 向 大 众 的 人 工 智 能 方 面 的 书 籍 , 其 中 讲

    述“器”和“用”的居多,很少涉及“道、法、术”层面。而且,“器”的

    介绍较容易变成“动物园”模式,仅仅介绍了人工智能算法,没有总结上升

    到理论和法则的高度,而“用”层面的案例也主要集中在智能机器人和无人

    驾驶汽车等吸引眼球的领域,缺乏必要的系统化行业落地框架和实践。这也

    难怪读者很容易将人工智能误认为是明天的科技,或将人工智能局限地认定

    在几个特定的领域。在这样的理解下,很难把握人工智能的思想精髓,人工

    智能对个人和社会的潜在影响也大打折扣。所以,本书试图打破这种局限,分为八章,精心设计“道、法、术、器、用、势”体系,旨在避免上述的问

    题,既包括AI思维的方法论,也包括AI思维在行业中的应用和发展,帮助读

    者从宏观到微观、从理论到实践,一步步、一层层地通过系统性框架,逐渐

    脱下人工智能神秘的外衣,帮助读者理解AI思维的实质以及对每个人的价值

    和意义。这是我创作本书的初心,但也深知长路漫漫,任重道远。

    具体来说,本书第一章从“道”的层面阐述AI思维内在逻辑和价值,用

    AI思维来思考问题;第二章从“法”的层面介绍AI思维的底层逻辑,从规律

    的角度了解AI思维;第三章从“术”的层面讲解AI炼金术如何通过数据驱动

    决策,形成一套从数据到价值的完整方法论;第四章从“器”的层面引入人工智能落地所涉及的方法和模型,模型在AI思维中具有核心位置;第五、六、七章从“用”的层面分别介绍数字化赋能、人工智能平台化思维和人工

    智能实战案例;第八章从“势”的层面介绍人工智能落地过程中存在的挑战

    和相应的对策,期待人工智能未来的发展。

    本书的章节分别从不同角度逐一阐述AI思维的价值和意义,大部分内容

    都以“数据+人工智能+场景=价值”作为核心逻辑,希望任何一个不想在新经

    济中落伍的人,在阅读本书之后,都能理解AI思维,并对工作和生活有所助

    益。第一章

    AI思维是时代机遇

    理论上……假如有这么一台计算机,能存储世界上所有的事实,同时拥

    有完美的程序,能以数学方式表达世界所有不同部分之间的所有关系,我们

    就能完美地预见未来。

    —《原则》—

    人工智能的概念自1956年的达特茅斯会议诞生至今,曾经受到万众瞩

    目,也曾陷入低谷,黯淡无光。互联网、虚拟现实、增强现实、区块链等新

    技术如雨后春笋般不断涌现,但千帆过尽,人工智能仍然安如磐石,屹立不

    倒。2016年人工智能机器人AlphaGo战胜韩国九段围棋国手李世石之后,人工

    智能强势进入大众视野。近年来,中、美、英、俄等越来越多的国家将人工

    智能的发展上升到国家发展战略和规划,各行各业也都想利用人工智能抢占

    先机、推陈出新,而普通人的生活也因为人工智能的点缀而愈加便捷和丰

    富,把不可能变成可能。

    万物皆可人工智能的时代已经到来,如果不想淹没在来势汹涌的人工智

    能浪潮里,墨守成规、故步自封显然是行不通的,只能拥抱未来,提升认

    知,获得助力。但是,你真的了解人工智能吗?你知道人工智能是如何与商业碰撞迸发出火花的吗?你知道人工智能如何从数据中产生价值的吗?理解

    事物,就要抓住其核心理念。AI思维就是人工智能的核心理念。那么首先,我们要从“道”的层面理解AI思维内在逻辑和价值,从AI思维的角度,理解

    人工智能。大赚1 000亿美元的秘密

    如果你读过《从0到1》这本书,应该对PayPal这个公司有所了解——硅

    谷创投教父、PayPal创始人彼得·蒂尔便是这本书的作者。另外,PayPal黑

    帮(PayPal Mafi a)的说法也由来已久。2002年的时候,eBay(亿贝)以15

    亿美元的价格收购了PayPal,当时PayPal公司的许多重要员工纷纷选择创

    业,自立门户。PayPal也因此成为硅谷史上创业者群体最多的一家公司,这

    些人被称为PayPal黑帮。黑帮成员们创建了领英(LinkedIn)、YouTube(优

    兔)、Yelp(美国最大点评网站)、Space X(太空探索技术公司)和特斯拉

    (Tesla)等多家大名鼎鼎的公司,有着十分强大的社会影响力。

    PayPal是美国一家提供在线支付服务的公司。马云当年受PayPal的启

    发,创立了支付宝。PayPal近几年市值的增幅非常显著,远高于同期纽交所

    和纳斯达克的增幅。PayPal公司2015年的市值接近400亿美元,到2019年上半

    年市值增加至3倍多,已经快1 300亿美元了——这个体量的市值,在美股互

    联网公司里位居前十。

    PayPal能如此快速发展起来,很大程度上是得益于人工智能系统提供的

    强大动力。我在2012年初加入PayPal公司,负责建立了PayPal全球数据科学

    平台。当时PayPal对数据的加工和利用还相对比较滞后,不能跟谷歌这样的

    搜索引擎公司相提并论。值得庆幸的是,在2012年,PayPal公司把营销、广

    告、数字化方向的人工智能团队收拢在一起,整合构建了在硅谷都颇有影响

    力的PayPal数据科学部。而后,数据科学部经过数年的努力,在PayPal用户

    端内容的个性化呈现、为商家定制的“千人千面”广告推荐,以及在核心产

    品体验的提升上,全都通过人工智能进行了系统性的升级改造。

    当时,虽然PayPal在全世界大多数国家和地区都有用户,可最大的市场

    还是在美国,但是美国国内的用户数已经非常饱和,短时间内无法再有太大

    的增量。既然开发新用户的难度很大,PayPal决定另辟蹊径,那就是增加每

    位用户的交易额。为了增加用户的交易额,PayPal数据科学部的任务就是为

    PayPal所有的用户精准推荐商家和商品。理想情况下,PayPal想知道用户在每一个时间点可能会有哪些需求:比

    如为了周五晚上聚会,你打算到日用品网站购买些派对用品;或者周日中

    午,你会想去餐厅吃一顿大餐。有了关于这些需求的预测后,通过定向推荐

    全渠道精准的广告,PayPal可以把消费者和最能打动他们的产品或服务连接

    在一起,从而提高每位用户的消费金额,实现巨大的增量商业价值。

    知易行难,PayPal用了两年多的时间,才成功地建立了自己的人工智能

    平台。这个平台主要由消费者动机预测引擎、精准推荐引擎以及优化客户生

    命周期的最佳行动引擎构成,而这几个引擎均部署在大数据平台之上,跟海

    量的底层数据衔接,面对动态的业务需求能够自动地构建解决方案。

    其中,动机预测引擎通过人工智能,预测用户在某一个时间点的行为,包括点击广告、兑现优惠券、购买商品等;精准推荐引擎连接用户和他可能

    感兴趣的商家或商品,做出恰当的推荐;最佳行动引擎则通过人工智能优化

    在每一个时间点,商家采用什么样的策略,能够最有效地提升用户的价值。

    三个引擎相互结合,就有了精准理解消费者行为的能力,就像找到打开宝库

    的“芝麻开门”,把最恰当的商品和商家服务送到消费者面前。

    人工智能平台为PayPal带来了成倍的交易增长速度。通过人工智能的精

    准预测、推荐和优化,PayPal的营销活动平均响应率提升了2~3倍,部分营销

    活动的点击率和兑现率超过5倍,总体投资回报率(ROI)也得到大幅提升,对公司基本面产生很大的影响。但是,通常来说,人工智能对公司的影响并

    不一定立刻体现,而是随着时间的推移,逐步释放出来。当人工智能平台已

    经有一定的规模以后,所带来的业务加速的增量会变得更大。2014年底,PayPal实现了19.4亿美元的利润,比2012年底提升了近30%;2015年的利润甚

    至超过了母公司eBay。随后PayPal从eBay剥离,单独上市,至今市值已经增

    长了数倍。

    2018年我接受第一财经的采访,发表过一篇访谈文章《最好的数据科学

    家,就是把自己给“干掉”》。为什么数据科学家要把自己“干掉”呢?人

    工智能提升业绩依赖的主要是平台,而不是仅仅靠几位优秀的数据科学家。

    当然,搭建一个平台需要专业而尽职的团队,但是落地投产以后,优秀的人

    工智能平台可以独立运行,而不再依赖于某位数据科学家本身。换句话说,人工智能平台就像给机械化的工厂装上了一个“大脑”,在保持高生产效率

    的情况下,还能千人千面地提供个性化的产品服务,这就是人工智能平台化的魅力所在,也是数据科学家被“干掉”的原因所在。如果一个企业已经形

    成了人工智能平台化的运营方式——正如PayPal对用户的人工智能精准推荐

    体系,可以实时对全球的三亿用户进行智能推荐,这套体系是可以持续发挥

    价值的,并且随着时间的推移,用户的黏性越来越强,数据的积累越来越

    多,这个价值会释放得更加厉害。

    现今很多人使用的今日头条、抖音也有内容推荐系统,它们推荐的内容

    确实是有黏性的。随着用户的使用,积累和沉淀的数据越来越多,平台内容

    的推荐也就越来越精准,这样就会赢得更多用户的青睐。所以,在以人工智

    能为核心的智能经济里,只要在恰当的方向上建立了相应的人工智能平台和

    体系,人工智能就会通过不断的学习形成正向的反馈。正向反馈对应的是业

    绩更加快速的增长,最终形成一个极具规模的叠加效应,而不是简单的线性

    增长。这样的叠加效应,依赖于人工智能平台本身的演化,并随着时间的推

    移产出更多的增量价值。

    利己也利竞争对手

    亿客行是全球最大的在线旅游公司之一,业务遍及全球,2007年通过与

    艺龙的合作正式进入中国市场。在人工智能的支持下,亿客行在广告变现领

    域满载而归。2010年时,亿客行的广告营收在1亿美元左右,这个数字对于行

    业巨头来说不是特别大。2011年,我帮亿客行开发了一套人工智能系统。这

    套系统上线以后,亿客行的广告营收获得了大幅度的提升。在这个过程中,亿客行坚持了一件事情:通过人工智能系统预测用户在网站上产生购买行为

    的概率,也就是预测一个访客在网站上转化为交易用户的概率。

    人工智能具体预测什么事情呢?如果用户打开亿客行网站或者在手机

    App(应用程序)上搜索一个行程,比如从北京到洛杉矶的航班,亿客行的人

    工智能系统可以实时地预测这个用户的真正行为目标和意图。系统在用户点

    击“搜索”按钮的这一瞬间触发几百个用户相关的行为数据维度的分析,非

    常迅速地产出预测结果,通常在几十毫秒内完成。如果这个用户真正要购票

    的话,人工智能不会给你弹出广告,免得打扰用户,干扰即将发生的交易;

    如果用户只是试探性查询,只是想要对比下不同网站的购票价格,人工智能

    就会给用户弹出竞争性的广告。什么是竞争性的广告呢?这些广告主本身并没有入驻亿客行,所以这些

    竞争性广告相当于是从站外引入的。正因为这些站外商家和本网站主营内容

    相似,对于想要比价或者试探性查询的客户来说,这类广告是具有高意向性

    的广告,广告的点击率远高于平均水平,所以这类竞争性广告的卖价比一般

    的展示性广告,也就是我们经常在网站页面上看到的横幅广告也要高很多。

    这个模式成立的关键点在于,亿客行通过人工智能预测引擎,可以很准确地

    预测出来亿客行网站的某个访客是真正来购票的,还是只是来亿客行对比下

    价格,对比完就离开,到别的网站去买票的。

    这个预测引擎搭建完成以后,它的直接效果是把大量不购买的网站流量

    做了广告的变现。有统计数据表明,这类不购买的用户占了总访客数的97%。

    用户既然来网站只是看看,并不购买,那么,网站给用户推荐一个相关类型

    广告,用户只要点击了广告,广告主就会给网站付费。同时,预测引擎也做

    到了完备的风险控制,否则如果用户真来网站上购买产品,而网站给用户推

    荐了竞争性的广告,对网站来说就会造成亏损。

    用户如果真的打算去国外游玩,在亿客行上搜游玩行程,多半看不到这

    种竞争性广告,因为亿客行的广告策略不允许降低网站本身的交易额。但是

    如果用户只是搜着玩儿,或者看完价格以后要到别的旅游网站或者航空公司

    去购票,用户多半会看到这类竞争性的广告,而用户的每次广告点击都会给

    亿客行带来收入。

    亿客行的人工智能系统能够预测出来哪些人会购买,哪些人不会买,从

    而做到精准的广告推荐,这样既增加了额外的广告收益,又控制了潜在的对

    网站本身交易的风险。由于人工智能对每位访客的意图做出了准确的预测,这套人工智能广告系统在2011年上线之后,亿客行的广告营收稳步增长,到

    2018年已经超过10亿美元。

    亿客行部署的人工智能预测引擎,是人工智能商业化一个早期的实践,后来这个系统的延伸版用在更多的在线交易场景下,也被美国风险投资商经

    纬创投、红点创投等国际知名风投公司所追捧。通过人工智能的精准预测,网站实时了解到用户的真正意图,把更恰当的内容呈现给用户,从而做到网

    站经营者、广告主和用户的多方共赢。

    BAT 做金融的秘密武器人工智能在金融领域中也大有可为。举一个例子,假如一个人刚踏入社

    会,参加工作时间很短,每个月收入不高。如果他去银行申请贷款,会得到

    什么样的答复呢?因为收入太低,银行没有很多流水记录,贷款申请会被拒

    绝,这很可能是当前银行基于现有数据做出的决定。

    但是,让我们换一个视角来看,同样是这个人,在大数据的棱镜下,他

    经常参加网络课程和社会福利活动,爱好音乐和阅读,喜欢软件开发的交

    流。如果给这么一个人审批,作为金融机构的审批人员,会不会批准他的申

    请呢?在这种视角下,金融机构很有可能会给他提供一些信贷服务,因为他

    的兴趣爱好广泛,行为健康向上。虽然在金融领域没有强大的数据支持,但

    是他在社交和专业活动等方面正面且稳定的行为,可以作为金融机构审批信

    贷的参照依据。金融行业审批贷款的趋势是使用更多种类的非金融属性数

    据,通过人工智能来解读这些数据,使其能预测一个人的信用和风险水平,从而服务金融机构的风险控制需求。

    如何通过人工智能深度分析大数据并在金融场景下使用,是一批想进入

    金融领域的互联网公司面临的问题。在阿里和腾讯都投身金融业务之后,百

    度在2015年才姗姗来迟,正式开发金融业务。当时百度的金融业务并不被业

    界所看好,一个很重要的原因是,虽然百度有很多关于互联网用户的行为数

    据,却不像消费数据那样与金融有强相关性,怎样通过这些看似与金融无关

    的数据去开展金融业务,是百度进入金融行业时亟须解决的一大难题。百度

    想到的是,通过人工智能将二者联系起来。

    2016年初,百度高层找到我,希望我帮助百度在信贷场景用好人工智

    能。也就是说,通过人工智能去精准预测用户在金融上的表现。所谓金融上

    的表现,通俗来讲,就是一个用户借了钱后有多大的可能性会逾期不还。如

    果用户还钱概率很高,那么这个信贷业务就能够赚钱。但是如果逾期不还的

    人数较多,那这个业务就肯定要赔。我需要帮助百度解决的问题,就是用人

    工智能预测用户借款后会不会按时还钱。

    举一个具体例子,如果某位小企业主的公司出现了经营问题,他想找金

    融机构申请一笔个人贷款,那这笔贷款对金融机构来说风险很高,因为他很

    可能逾期不还。通过借款人的行为数据可以分析得知,贷款是大概率用作个

    人的流转,还是要用作企业经营。这是两类不同类型的借款,借款人如果打

    着个人借款的幌子去填企业的坑,对金融机构来说风险相当高。在这种场景下,人工智能通过对大量行为数据和金融表现数据的分析,可以得出相应的

    结论,因而对这些人来说,如果他们来申请个人贷款,金融机构就应该拒

    贷,不把钱借给他。此外,还有很多在金融上有重要意义的数据,例如,借

    款人是一个日常生活稳定的人,还是一个居无定所的人。通过人工智能的深

    度分析,借款人的不同行为在金融上都对应了不同的逾期和风险概率,这些

    概率成为金融决策规则的一部分,帮助金融机构更安全地提供信贷服务,同

    时扩大放贷规模。虽然人工智能做出的预测不可能百分之百地准确,但是我

    们已经可以实现非常高的准确率,这对金融业务的开展仍然有相当大的帮

    助。

    当时我估算过,风险控制上的预测准确率每提升1个点,带来的增额收入

    接近1亿元。基于这样一个人工智能风险管理体系,在控制风险的情况下,把

    流量逐渐打开用于金融业务,度小满金融(原百度金融)与金融机构合作的

    资产规模不断增长,在一年左右的时间里累计发放贷款超过3 800亿元,为50

    多家银行合作伙伴创造了近100亿的利息收入,真正让人工智能赚钱,且风险

    可控。

    传统金融机构的人工智能转型

    人工智能的一个重要意义在于它能帮助各行各业转型升级。例如对于银

    行而言,如何能够低成本精准获客是一大痛点。截至2018年末,我国商业银

    行机构数量已经达到了4 000家以上,其中国有大型商业银行5家、邮储银行1

    家、股份制商业银行12家、城市商业银行134家、住房储蓄银行1家、民营银

    行17家、农村商业银行1 262家、农村合作银行33家、农村信用社965家、村

    镇银行1 562家、外资法人银行39家,银行间的同业竞争十分激烈。而互联网

    金融公司的兴起无疑更增加了银行拓展客户与业务增长的难度。互联网金融

    平台以效率高、体验好吸引客户,银行如果止步不前,不注重提高用户体

    验,由此造成的客户流失可能会越来越明显。

    另一方面,随着商业银行不良贷款率的居高不下,信用卡业务、贷款业

    务的风险控制也成为银行关注重点。根据银保监会发布的银行业主要监管指

    标数据,2019年一季度末,商业银行不良贷款余额2.16万亿元,较上年末增加957亿元,不良贷款率为1.80%。随着银行业务扩张、客户下沉,客户的金

    融属性越发稀疏,贷款业务的风险控制也成为痛点。

    2018年,我参与领导了百度与中国农业银行的“金融大脑”项目,在客

    户画像、精准营销、信用评价、风险监控、智能投顾和智能客服等方面为农

    业银行提供人工智能服务,从营销、风控到运营、决策,全领域为农业银行

    的智能化转型赋能。

    金融大脑平台是农业银行的核心人工智能系统,以它为核心的人工智能

    金融平台解决方案,为农业银行打造了全领域的人工智能能力体系,这在业

    内是首举。金融大脑平台包括感知引擎和思维引擎两大服务引擎,实现统一

    的智能服务,在大范围多场景下集成了人工智能核心技术。感知引擎和思维

    引擎就像人的左脑和右脑,让计算机程序像人一样不但能看、听、说,还能

    针对外部环境的变化做出最优的决策,帮助农业银行更好地开展金融业务。

    其中,感知引擎可以进行人脸识别、活体识别、OCR(光学字符识别)、语音

    识别、自然语言处理、语音合成,在保证银行业务安全可靠的同时,不断提

    升用户的体验。思维引擎则基于机器学习,在营销和风控的核心业务领域,帮助农业银行在快速变化的市场环境中高效、准确地做出决策,提升业务效

    果。

    作为农业银行人工智能的核心系统,金融大脑为智能应用提供人工智能

    基础能力的支撑。在智能营销领域,思维引擎构建精准营销模型库,实现多

    渠道协同的智能化系统营销,助力信用卡年新增发卡连续突破1 000万张。智

    能推荐营销响应率达到自然增长的4倍有余,单次营销活动可为行内节约营销

    费用1 000万元以上。举个例子,对于银行机构来说,一个通常的广告推送渠

    道就是发短信。整天收到来自不同银行的各种各样的短信,用户会十分反

    感,因此对于银行而言,短信一定要发得精准。短信发得不精准会导致两个

    结果,一是用户被骚扰了,可能会退订短信,或者对银行产生负面的认知;

    二是发送短信也有成本,虽然单条短信价格很低,但是随着量级的上升,成

    本也会变得可观。在中国农业银行,我们通过对大量过往用户行为习惯的分

    析,建立了精准的营销响应模型。这个模型可以帮助我们发现哪些用户看到

    营销短信之后,会产生积极的行为和反馈。这些产生响应的用户才是营销活

    动应该选取的目标用户。这样基于人工智能的营销让短信只发送给高意图人

    群,不会打扰其他用户,降低了营销成本。在智能风控领域,农业银行的信用分模型和反欺诈模型提供的服务,实

    现了实时、精准的智能化风控,有效防控了风险。其中,信用分模型可以预

    测识别出风险客户,比如在自助申请和自动审批的网贷产品“网捷贷”准入

    场景中识别出92%的不良客户。反欺诈模型在日均7 000万笔的掌银(掌上银

    行)交易过程中,可提供毫秒级响应的实时监控,每天平均预警交易可达1万

    笔,有效地保障了交易安全。

    以上讲述了4个我亲身参与的行业巨头的案例,其中既有比较传统的银行

    业,通过人工智能实现成功转型;也有互联网科技业,通过人工智能大规模

    增加效益。无论在传统行业还是在新兴产业,数据和人工智能都产出了史无

    前例的商业价值。当然,从数据到价值的跃变涉及方方面面的许多环节,需

    要相互配合、相互衔接,无论哪个环节出现问题不能有效解决,都会阻碍最

    终价值的产生,不少人工智能项目也因此以失败告终。我在多年的行业实践

    过程中,总结出一套行之有效的人工智能方法论——AI思维——来解决这些

    问题。这几个案例只是一个铺垫,算是了解AI思维的热身环节,后面我们会

    从概念到实操等各个角度,以及金融、零售等多个行业,具体详细地阐释根

    据多年行业经验凝练而成的AI思维。寻找你的“阿尔法”

    世界的变化越来越快,10年前的许多知识已经被贴上了“落后”的标

    签;10年前毫不费力空手套白狼的赚钱思维,现在却不再行之有效。我们总

    在抱怨这个时代的趋势变幻莫测,难以把握,却没有人静下心来寻找问题的

    根源。其实,问题的根源正在于我们的认知。人类的认知是有局限性的,不

    仅受到个人知识背景和社会经历的影响,更受制于自身的喜忌偏好。书本上

    的知识是权威的,但更新太慢,实际操作价值较低。他人的经验看起来颇有

    一番道理,但每个人的情况不同,别人的经验在你身上也许就失效了。世界

    变化这么快,我们怎样才能不停地刷新认知呢?

    大多数人可能会选择去上编程课或者英语补习班,或者在知识付费的时

    代中多学几门网课,多加几个“知识星球”,以达到“刷新认知”的目的。

    但是问题在于,如此获得的知识,大多是碎片化的。也许会有人去读MBA(工

    商管理硕士),但动辄百万的学费让许多人望而生畏。很多方式是在原本平

    庸的思维里机械地填充信息,并不会使我们的认知产生质的变化。

    要从质的层面去做认知提升,不仅要提升认知能力,还应该转化思维模

    式。而我们要谈的AI思维,是一种时代前沿的思维模式,也许能够为你提供

    一种新的路径。AI思维可以在一定程度上解决我们的认知局限性的问题,帮

    助我们进行认知升级。它不同于目前很多人对人工智能的认知,他们眼中的

    人工智能等同于机器人、无人驾驶、人脸识别或者语音识别等,但这只是人

    工智能的具体应用,只是人工智能的冰山一角。我们要阐述的是AI思维,可

    以说是人工智能的真正精髓,是人工智能冰山的内核,它能够帮助我们找到

    自身真正的优势,获得真正展现我们个体主动策略优势的超额收益,从而使

    我们的生活和事业蒸蒸日上。

    赫布理论:人脑学习的机制

    AI思维与人脑思维有些相似,为了让你更好地理解,首先,我们需要知

    道人脑的学习机制。在各类经验学习的过程中,无论是视觉、听觉,还是更复杂的决策,人脑都有着它独特的思维机制。

    为了研究总结大脑的思维机制,加拿大生理心理学家唐纳德·赫布在

    1949年提出了赫布理论。赫布理论表明,人脑中有许多神经元,前一个神经

    元通过突触——一个连接不同神经元的结构——持续向后一个神经元产生刺

    激。在这样的情况下,两个神经元之间的传递效能增加,形成细胞回路;如

    果这种刺激持续重复,突触传递的效能不断增加,人脑就记住了这两个事物

    之间存在的联系。比方说,我们在上学的时候,打铃就代表要上课或者下

    课,也就是说当铃声响起时,一个神经元被激发,而同一时间出现的上课或

    下课的场景会激发附近的一个神经元,经过多次这样的刺激之后,它们之间

    的联系会被默认下来,这就是人脑的学习机制。这种学习模式又称作“赫布

    型学习”,人无时无刻不在接触新的事物,建立事物之间的联系和规律,人

    的大脑也是无时无刻不在进行着赫布型学习。

    宏观上,人们从经验中受到刺激时,人脑就学习到了事物之间的相关

    性,从而总结出相关的规律。如图1-1所示,经验改变了人脑的回路,通过习

    得的规律,我们可以快速分类新的问题,从而形成判断乃至做出决策。所

    以,人类对新问题的判断,来自过往的经验。

    图1-1 人类习得规律示意图

    有人估计过,人脑通过神经元的激活来阅读理解信息的速度是每天

    1MB(兆字节)左右。然而,信息的产生速度至少是每天2.5EB 。所以,人

    脑通过神经元的激活来处理信息的速度,远远跟不上新信息产生的速度。换

    言之,我们的认知是有限的,如果你还是以每天1MB的速度来处理信息、解读

    这个世界,那么注定跟不上这个不断更新的时代步伐。

    羊群效应人脑不但处理信息的速度非常有限,而且常常不经思考便追随大众的想

    法。经济学里有一个专门描述经济个体从众跟风心理的名词——羊群效应,将人类与羊群遇事的反应相类比。羊虽然看起来也是成群结队,但是十分散

    乱,最常看到的就是它们毫无目的地左冲右撞。然而在羊群之中,一旦有一

    只羊先行,其他的羊也会不假思索地跟随,也不管前面是否有狼或者身旁是

    否有更好的草。反观人类自身,羊群效应所导致的盲从行为往往会让人陷入

    骗局或遭到失败。每个人的认知都有局限性,做出的判断有可能是不准确

    的。那么,在羊群效应下的人盲目相信别人的认知,跟随别人的做法,做出

    来的判断不准确的可能性更大,也不能为其带来收益或者规避风险。

    人类的群居性使得与他人的交互成为人类生存的前提。因此,人的认知

    必然受他人的影响。相应地,人的大脑在处理信息时,会或多或少地受到外

    部环境的影响。这种影响有时是有意识的,有时是无意识的,往往使得人的

    认知缺乏客观性,甚至不由自主地从众,得出与周围多数人一致的结论。此

    外,人的认知还受到自身能力的限制。这种能力一方面体现于人的记忆力,也就是说,成为我们认知的信息基础能有多少;另一方面则体现于已有的技

    能和工具,以及它们在多大程度上能为我们的认知过程提供服务。

    正是因为人类的认知存在这些无法避免的问题,思维方法才显得愈加重

    要。我们的思维决定了我们的认知过程,决定了我们如何从历史经验中形成

    对当前事物的看法和对未来的预判。我们每天都面临着许多决策:在哪安家

    落户,和谁共度余生,如何出类拔萃……小的决策也许会影响你一天的心

    情,大的决策则会影响几年甚至是一生的生活质量。一种好的思维能最大限

    度地把我们的认知能力从束缚中解放出来,帮助我们做出最优的决策,而AI

    思维正是这样一种能够解放我们认知能力的强大思维。

    AI思维

    如前所述,过往的经验确实能帮助我们做决策,尤其当我们不得不基于

    模糊的信息进行判断时,经验能发挥巨大的作用。然而,在信息爆炸、算法

    决策高度发达的今天,光靠以往经验做判断、做决策的思维模式已经显现出

    弊端,掌握着大量数据和科学决策工具的人,早已成为你前面的领跑者。落后于时代的思维,带来的是慢于时代发展的速度,其产生的收益必定比他人

    低,而且会越来越低。

    本质上,人工智能模拟的是人脑,但又不同于人脑。AI思维是从数据产

    生模型,如果遇到新的输入,人工智能就能通过模型做出准确的预测。AI思

    维与人脑思维的相似点在于,AI思维也是通过对过往的分析习得规律,得出

    结论,但是AI思维分析过往数据的过程是不同的。

    那么数据是什么?数据是人类经验的数字化形式。如图1-2所示,就像人

    从经验中获得规律一样,人工智能能够根据数据形成模型。一旦遇到新场景

    的输入,模型就能做出判断、产生预测。人工智能的这种思维能够充分利用

    数据,尽量减少主观臆断,以我们想达到的目标为中心,挖掘规律,形成模

    型,运用模型,产生预测。人工智能就好比一个可预知未来的水晶球,掌握

    了AI思维,你就可以做出科学意义上最佳的决策,产出前所未有的收益。

    图1-2 人工智能习得规律示意图

    就像过去的互联网思维一样,在互联网出现之前,一个人只能与周围的

    几十个人产生联系,而有了互联网之后,与世界各地任何人、无数人产生联

    系成为可能。而人工智能出现之前,人只能借助过往经验或者周遭环境等有

    限的信息做出判断;而借助人工智能,人们能够发现和挖掘无数的相关信息

    和数据来做预测和决策,而做出最优决策也是AI思维的一大特点。从广义上

    来看,人工智能具有感知、认知和决策的能力。决策就是通过上述模式而产

    生的,比如在股市中,人工智能可以根据历史数据生成模型,然后来指导股

    市决策。人工智能的感知和认知功能包括感知图像、理解语言、识别语义信

    息等,它的逻辑和股市决策是一样的,也是一种预测,只是预测的目标不一

    样。例如,人工智能在进行人脸识别时,也是根据许多人脸数据生成模型,然后遇到一个新的人脸数据,这个模型就能判断出它是否是特定的那个人

    脸。在商业世界里有一个名词阿尔法(alpha)收益。经常买基金的朋友应该

    都知道,阿尔法收益是相对于贝塔(beta)收益而言的,贝塔收益是一种基

    准收益,而阿尔法收益是在贝塔收益期望之上的超额收益,是积极操作所带

    来的投资回报。就好比我们理财一样,央行的基准活期年利率是0.35%,就是

    说我们有1万元放在银行存活期,一年可以赚到35元,而央行年利率提高

    0.1%,我们就多赚10元钱,这个就类似于贝塔收益。但是我们用这1万元钱去

    买余额宝、理财通、股票,投资房产,可能收益翻倍,这个多出来的收益,就是我们积极操作所带来的阿尔法收益。1%的阿尔法就意味着比市场带来的

    投资回报多了1%。毋庸置疑,无论在哪个市场,你都希望能跑赢它,都希望

    能找到属于自己的正向阿尔法。AI思维的作用就在于它能带着你的认知更上

    一层楼,赋予你跑赢大盘、产生高阿尔法的能力。

    相较于人脑1MB的处理速度,人工智能可以用任意高的算力为你工作,而

    且不分昼夜,不知疲劳。人工智能的能力和速度,足以帮助我们寻找到梦寐

    以求的阿尔法。有了人工智能,你还担心跟不上时代变迁的步伐吗?

    股市:智能投顾发现阿尔法

    传统上,一个金融分析师配一个程序员,就是量化交易在金融公司的常

    规形式。分析师出策略,程序员把策略转写为代码,输入到交易程序里。但

    问题在于,策略是分析师自己设计的,它实际上还是一种主观策略。如果在

    量化交易中投入人工智能,就能使机器自己通过历史数据生成策略模型,进

    而预测将来的走势,从而寻找金融市场的阿尔法。现在很多的智能投顾,就

    是通过这样的模式来运作的。

    那么让我们来看一下,人工智能是如何在投资顾问领域创造出价值的。

    英仕曼集团是全球最大的对冲基金公司之一,它从2014年就开始使用智能投

    顾进行自动交易决策,并且获得了巨大收益。2015年8月,美元暴跌,全球股

    市暴跌,引发大量抛售。但英仕曼的智能投顾在此之前就洞察了市场,并迅

    速从下跌中获利。而在美国股市下跌约3%后,该系统又发现了买入的机会,重新回到市场。人工智能参与决策,为英仕曼集团规模最大的一只基金贡献

    了大约一半的利润。通过AI思维,英仕曼集团在动荡的股票市场中跑赢了其

    他公司,产出了大量的阿尔法。那为什么英仕曼集团依靠人工智能就能够在惨烈的股市中杀出重围并大

    量获利呢?具体来说,传统的金融投资还是要靠策略分析师这样的专业人士

    来做判断,但是由于人固有的认知局限性和经验的限制性,在面对一些大的

    变动时,也会出现不知所措的情况,这时做出的判断往往有一定的主观性。

    但人工智能具有强大的计算能力和信息分析处理能力,能够快速准确地分析

    金融资产在历史上的表现数据和各种外部环境等各种因素,例如宏观经济、就业情况、社媒舆情等,然后根据分析结果预测金融资产的未来表现,从而

    避免金融分析师决策的主观性和局限性。

    房市:美国房产网站Zillow股价两年涨七倍的秘密

    杜甫诗云:“安得广厦千万间,大庇天下寒士俱欢颜。”中国人自古以

    来就讲究安土重迁,对房子钟情千年。不论经济发展如何波动,房价不但居

    高不下,还一路水涨船高。不论别的行业发展如何不景气,人们对于买房的

    热情毫不衰减。房子对于人们的重要性不言而喻,房子是人生的一笔重要投

    资这件事也毋庸置疑。所以,选房和买房也要寻找房屋市场的阿尔法。

    在买卖双方的房地产交易市场上,什么东西是最重要的?毫无疑问是全

    面而准确的房产信息。在传统的房地产中介业中,由于房主不清楚自己房屋

    的市场价值,买主也不是很了解理想房屋的实际价值,房屋买卖市场的买家

    和卖家都一头雾水,十分茫然。中介公司便利用这种信息不对称从中抽取丰

    厚的佣金。这种情况持续了多年,直到2006年,一家房产网站Zillow横空出

    世,在美国一上线便引发了轰动。因为它提供的房屋价值评估业务,解决了

    房屋买卖市场这种信息不对称的问题,并给予客户充分的知情权,这在一定

    程度上颠覆了传统的中介业。

    Zillow的房屋价值评估业务是凭借其自行研发的人工智能系统建立起来

    的,其具体运作过程如下:利用Zillow上的房屋估值系统Zestimate,可以了

    解到房屋的地理位置、建筑面积、卧室数量、卫生间数量、房屋照片、周边

    环境等多维度的数据,再结合类似房屋的价值范围、历史价格、价格折扣、价值波动等数据,通过人工智能模型,计算出房屋目前的市值以及未来的升

    值空间。对于房主来说,他们可以清楚自己房屋的估值,对于自己的房屋有一个合理的定价和预期,而对于买家来说,他们也能够以合适的价格买到称

    心如意的房屋,形成共赢的局面。

    目前,Zillow公司已经运用这些模型为超过1亿个美国房屋提供了房屋估

    值。《华尔街日报》曾将Zillow的估价和美国1 000个房屋的实际售价进行比

    较,结果显示,两者的中值偏差为7.8%,接近于Zillow自己估算的7.2%。这

    就是AI思维的一个实例,从中我们也能看到人工智能的优势,不仅可以处理

    大量复杂、凌乱、看似没有规律的数据,也可以避免一些人为的主观因素,做出客观的最佳决策。

    婚事:约会和恋爱的科学决策

    柏拉图说过,每个人都被上帝分成了两半,被分开的人太多了,我们很

    难找到正确的另一半,但是我们仍然想找寻到称心如意的人生伴侣。有人相

    信缘分,但如果每天宅在家里,社交圈不大,可挑选的范围也必然受限。随

    着互联网的发展,人们的交流渠道拓宽了,又出现了新的交友方式——在线

    约会。新事物的产生又伴随着新的问题。互联网时代在线约会的核心问题在

    于可挑选的对象太多,用户常常不知道谁是对的人,不知道到底该从何开

    始。这时,为了帮助用户更好地找到称心如意的对象,提供智能匹配就显得

    尤其重要。

    以前提供这种匹配服务的是传统的媒婆,但是媒婆手里的单身人士数量

    是有限的,也就是说,她的用户数量很少,所以她可以对这些用户的信息了

    如指掌,可以轻松地对这些用户的信息进行评估,然后给每个人提供一个最

    佳匹配。然而,当我们处理数百万的用户信息时,在一个超大的候选库里选

    择最佳的约会对象时,人工的判断就显得不现实,而且也不那么准确了。因

    此,在数据大爆发的现在进行婚配,我们十分需要借助AI思维来为用户找到

    最有可能的匹配。

    美国的婚恋网站eHarmony开发了一种基于人工智能的智能匹配系统来解

    决这些问题。那智能匹配是什么呢?简单来说,就是通过掌握的约会人的信

    息来评估不同人之间的约会相容性,从而建立起相应的匹配。你可能会

    对“约会相容性”这个词有疑问,约会相容性指的是约会双方的相似度以及二者相互接纳的满意程度。建立在约会相容性基础上的匹配约会,有最大的

    可能性获得成功,并获得长期的满意度。

    那这个智能匹配系统是如何运行的呢?首先,根据相容性分级来减少潜

    在匹配池。相容性分级由用户提交的心理自测结果以及年龄、所在地等构

    成,若用户之间出现年龄意向不符合或者所在地相隔太远等情况,就会从彼

    此的匹配池中删除,为以后的匹配削减一些不必要的信息。其次,基于文

    本、图像和其他维度的统计数据等,通过人工智能生成潜在人选之间的相容

    性。最后,相容性低的人就会被筛选掉,相容性高的人就会被匹配到一起,这样就可以为每位用户找到最佳的约会人选。婚恋行业大量的数据表明,即

    使在婚恋这个看似非常主观的领域,人工智能也能为它服务的人群带来阿尔

    法。

    也许你以为自己不可能摆脱“羊群”,不敢与众不同;也许你以为自己

    只能成为一波又一波的“韭菜”,面对股市一片红海畏缩不前;也许你以为

    自己打拼半生,也买不到一套合适的心爱的房子;也许你以为你终其一生也

    找不到属于自己的合适伴侣,只能随随便便找个人将就。但看完这本书你会

    知道,这些都是你的“以为”,都是你认知的局限性。或许,在五年前、十

    年前,这些“你以为”是真的,但现在,有了人工智能,有了AI思维,我们

    就能突破认知的天花板,跟上时代的步伐,找到属于自己的阿尔法。AI思维的核心价值

    文字出现以前,人们结绳记事。这种不够清晰的记载方式使人们对宇宙

    和世界的认知一直停滞不前。后来,人们发明了文字,世界开始清亮,宇宙

    不再混沌,人类的思维逐渐变得清晰。从这层意义上说,人工智能和文字一

    样,都是承载和提升思维的工具。文字推动原始社会走向文明,AI思维赋予

    现代社会更多发展的可能性。

    基于人工智能的个性化学习方案让你在短时间内掌握更多需要的知识,基于人工智能的智能匹配社交帮你更容易找到灵魂伴侣,基于人工智能的房

    屋评价系统让买房不再是糊涂的选择,基于人工智能的战略规划让国家的发

    展充满了更多的可能性。可以说,AI思维是这样一种“修身齐家治国平天

    下”的思维方法。要想掌握AI思维,需要了解的事情有很多。我们不妨先从

    AI思维的要素开始,开启这段新的旅程。

    AI思维的要素

    人工智能早在1956年美国的达特茅斯会议上就被提出,但直到2016年,才开始被大众熟知,近几年才开始被普遍运用在社会生活中的各行各业。这

    是为什么呢?原因在于,以前很多人工智能所必需的要素还没有发展起来。

    随着互联网的普及,人们对于人工智能的研究更加深入,这几年这些要素有

    了突飞猛进的发展。那么,AI思维得以实现,需要依赖于哪些要素呢?

    第一个要素就是大数据。

    我们处在一个数据井喷的年代,无论是企业业务环节产生的数据,还是

    个人移动设备里面的数据,信息量都非常大,并且这个数据量在近几年呈爆

    炸式增长。如图1-3所示,根据智研咨询发布的《2017—2023年中国大数据应

    用行业市场全景调查及未来前景预测研究报告》,全球数据总量的年增长率

    将维持在50%左右;并预测,到2020年,全球的数据总量将达到40ZB(1ZB=1

    万亿GB)。我们想想20年以前,个人计算机里面的数据可能只有区区几十兆,而现在的数据都是以TB或者PB作为单位的数量级。我们知道AI思维建立

    在对数据学习的基础上,数据越多,人工智能学会的东西越多,人工智能做

    出的判断决策就越准确,越具有实用性。所以说,大数据的形成是AI思维的

    一个要素。

    图1-3 全球数据总量统计图

    第二个要素是模型。

    我们的大脑由许多神经网络连接而成,每天能帮助我们做各种各样的决

    策。早期的人工智能模型包括人工神经网络,它本质上是对大脑,也就是我

    们自有神经网络的模拟。这种模型在20世纪80年代就已经被发明出来了,它

    能够帮助我们从数据中提炼出知识。而今我们在人工神经网络的基础上有了

    更深的研究,产生了一系列的深度学习模型,其实可以把深度学习模型理解

    为传统的神经网络模型的加强版。一般的人工智能模型随着数据量的增加,预测效果会提升,但很快达到瓶颈。而深度学习的预测效果随着数据量的增

    加,会持续提升。深度学习强大的学习能力决定了它能够更好地模拟人类大脑的运算机

    制,它最擅长的是理解和识别图像、视频、声音、文本这样的数据。通过对

    图像进行深度学习,它实现了人脸识别,比如支付宝刷脸支付;通过对声音

    的深度学习,实现了音频自动转换为文字,比如讯飞听见能够一键录音转文

    字;通过对文本的深度学习,人工智能已经能够独立创作,比如微软的人工

    智能机器人小冰出版了原创诗集《阳光失了玻璃窗》。

    深度学习不但能为人工智能提供技术支撑,其发展也为人工智能在各个

    领域的应用提供了无限的可能。ImageNet是计算机视觉领域很著名的一个图

    像识别竞赛,是该领域的“奥赛”。很多专家、学者都会参与,微软、谷

    歌、百度等科技公司也是该比赛中的佼佼者。在ImageNet竞赛中,随着深度

    学习的发展,图像识别能力有了很大的提升,从2010年到2015年这5年间,错

    误率从30%左右缩减到5%。5%的错误率已经基本上匹配了人对图像识别的错误

    率,这促进了人工智能在更为广阔的图像识别领域的应用。除了图像识别以

    外,语音识别的发展也依赖于深度学习。20世纪50年代,第一个语音识别系

    统Andry只能够识别10个英文数字;而现在,深度学习助力语音识别,应用于

    市场上的语音识别系统对普通话的识别准确率高达95%,百度、搜狗、讯飞的

    语音识别的错误率维持在3%,比人类识别语音5.7%的错误率更低,这为人工

    智能在语音识别的各个领域展开布局提供了强有力的支持。所以说,深度学

    习的不断发展也促进了人工智能应用的不断普及。

    第三个要素是算力。

    AI思维的实现需要很强的计算能力的支撑。我们想到计算能力,首先想

    到的可能是电脑、手机等智能设备,它们能提供一部分算力。对我们做人工

    智能来说,这样的算力是不够的。我们需要一个大规模的计算机集群,需要

    成百台上千台计算机连接在一起,进行大规模的运算。谷歌X实验室推出的谷

    歌大脑就是将16 000台计算机的处理器连接在一起,这样强大的算力使其具

    有强大的自主学习能力,成为全球最大的人工智能大脑之一。

    除了计算机集群,算力还需要GPU的架构。GPU全称是Graphics

    Processing Unit,就是我们常说的图形处理器,是一种专门在电脑和移动设

    备上进行图像运算工作的微处理器。与之相对应的是CPU,即中央处理器,其

    功能主要是解释计算机指令以及处理计算机软件中的数据。GPU的架构有别于

    传统CPU的架构,能够很好地支持深度学习模型的运算。你可能对GPU这个名称很陌生,其实你可能早已接触过它。如果你是一名电子游戏爱好者,不管

    你玩王者荣耀还是和平精英,都需要GPU的支持来实现游戏中人物的移动及其

    他图像变换。GPU现在已经发展到了第四代,它提供的强大算力能够支撑人工

    智能的开展以及落地。

    强大算力的加持,使人工智能有了更为广阔的发展空间。例如,2019年8

    月,人类在强大算力的支持下首次成功重建了果蝇大脑神经元的3D模型。果

    蝇一直以来都是生物学领域公认的研究动物,但为什么一直到2019年才建出

    第一个果蝇大脑神经元的3D模型呢?因为果蝇的大脑有10万多个神经元,要

    想建立一个完整的3D模型,需要强大的算力支持,而这个条件是先前并不具

    备的。2019年,在谷歌、剑桥大学以及霍华德·修斯医学研究所的合作下,研究人员将果蝇的大脑切割成7 042个40纳米的超薄切片,并用透射电子显微

    镜生成切片的图像。这些图像像素高达40万亿以上,数量共计2 100万张。数

    千块谷歌开发的深度学习加速芯片Cloud TPU(Tensor Processing Unit)为

    这些图片数据的处理提供了算力,最终才生成了人类历史上第一个果蝇大脑

    神经元的3D模型。

    第四个要素是业务模式。

    我们知道,人工智能要落地,必须在一个场景中去实践它。例如,在金

    融领域,传统上我们的银行机构只对征信良好的用户发放贷款,而征信记录

    不良的用户就得不到相应的贷款服务。单纯使用人力去判断一个用户的信用

    是件费时费力的事情,工作效率极其低下。但通过人工智能,我们能在很短

    的时间内对用户的信用状况进行分析和判断,决定是否向其提供贷款服务。

    这样不但减轻了银行工作人员的工作负担,还提高了工作效率。基于人工智

    能迅速准确且不知疲倦的特点,它还能为更多更大的用户人群提供贷款服

    务,扩大业务范围。基于这些人的大数据,通过人工智能模型和算力,还能

    对用户的信用状况进行分级,不但能够判断是否提供贷款,还能判断向这个

    用户提供多少金额最合适。人工智能为金融机构的工作提供了参考依据,这

    就是一种基于人工智能的业务模式。实际上,这样的商业模式,把传统的银

    行和金融机构的业务模式推广到了更大的用户群,帮助我们实现了普惠金融

    的理想。当然,除此之外,人工智能还能运用在更多的领域,还有更多的创

    新业务模式。正是因为有了这些创新业务模式,人工智能才能顺利地在各行

    各业落地,帮助企业产出价值。如前所述,AI思维的基础在于数据,而核心在于模型,实现在于算力,应用在于业务模式。只有大数据、模型、算力、业务模式这四个要素同时存

    在,并行发展,人工智能的价值才能得以体现,AI思维才算完整。这是从具

    体要素角度对AI思维的阐述,下面我们从认识论的角度展开对AI思维价值的

    理解。

    DIKW金字塔

    认识论是关于知识来源和知识判断的理论,认识论将人们的认识过程定

    义为DIKW金字塔,认为认识分为四个层次,如图1-4所示,最底下一层是数据

    ( data ) , 数 据 上 面 是 信 息 ( information ) , 信 息 上 面 是 知 识

    (knowledge),知识再上面是智慧(wisdom)。DIKW金字塔的名字就是取了

    每一层的首字母组合而成的。在DIKW金字塔中,越靠下的层级包含的内容就

    越多,每往上一层,内容就比下一层更加凝练,更富有价值。原始数据虽然

    数量庞大,但有用的信息全都淹没其中。信息是由数据加工处理而成,信息

    在实践中被升华提炼产生了知识,而智慧又是对知识的凝聚总结,它是金字

    塔的塔尖,能够长久地影响人类。图1-4 DIKW金字塔示意图

    需要强调的是,所谓信息,指的是根据业务需求处理好的有特定意义的

    数据。从数据到信息的转换是传统信息处理中比较专注的领域,通过数据库

    系统和数据处理软件,把相对粗糙的数据转化为信息。而从数据和信息到知

    识,是AI思维所涉及的领域,这个转化过程与数据库运算不同,因为它不是

    机械的数据规整和变换,而是通过人工智能完成的,是认识层面一个巨大的

    跃迁。

    AI思维的关键在于生成知识。你可能会问,人工智能为什么产生的

    是“知识”呢?首先我们要知道,知识就是人类对物质世界以及精神世界探

    索的结果总和,也就是对规律的总结。我们在前面讲过,AI思维中的模型可

    以类比人脑思维中的规律,也就是说,模型体现出来的就是知识本身。随着

    数据源源不断地更新,模型体现出的知识也会不断刷新,针对新的输入产生

    预测,为我们的决策提供支持。

    著名统计学家拉瑟福德·罗杰斯(Rutherford Rogers)曾说过:“我们

    被淹没在信息中,急切需要知识。”互联网的发展使我们突破了时间和空间

    的限制,能够获得来自世界各地的信息。但在信息爆炸的今天,我们对信息

    的获取是呈平方数增长的,在获取大量信息的同时,我们无法辨别哪些信息

    是对的,哪些信息是有用的,产生了深深的“知识焦虑”。而现在人工智能

    做的就是把大量无序的信息变成有用的知识,缓解人们的“知识焦虑”。

    AI思维带来认知化革命

    在当代,数据是一种重要资产。数据反映了事物的原理和规律,当你找

    到它的规律后,就可以去预测未来的事情。如果将数据比作原油,那么人工

    智能就是从原油中提炼各种高价值产品的加工厂,它的重要性可见一斑。从

    数据中发现知识、洞察和规律,这本身不是一个新的概念,几百年前就有过

    这样的实践——譬如说,开普勒从几百页关于天体位置的数据中,提炼并总

    结出了天体运动的三定律,至今仍被使用。现在,在AI思维的帮助下,我们

    借助大规模计算的方法,从海量的数据中自动地学习知识和规律。那么,从

    实际应用的角度出发,作为一个数据驱动的决策框架,AI思维都带来了哪些

    价值?首先,数据驱动的人工智能框架可以带来个性化的体验。人工智能可以

    根据用户的历史浏览记录、成交记录对用户的喜好建立模型,得出各商品或

    内容和用户喜好的相近程度,并把相近程度排行最高的商品或内容推荐给用

    户。例如,当我们进入一些购物网站,可能会发现许多这样个性化的体验,若你之前购买过衣服,它可能会给你推荐其他的搭配商品,若你之前购买过

    图书,它可能会给你推送同类型书单。数据驱动下的人工智能框架带来的个

    性化体验让网站不再千篇一律,网站给出的每一条推荐都是根据用户需求调

    整和优化后得出的,真正实现了千人千面的精准体验。对于用户来说,这样

    省去了他们检索的时间,还更加符合他们的需求,带来了更好的用户体验,对于网站来说,这样可以提高网站的浏览量、点击率,还能提高商品的销

    量。此外,人工智能带来的这种个性化体验也能为我们的生活提供更多的便

    利,带来更多的幸福感,例如现在的智能家居系统,可以提供自动控温等贴

    心服务,提升了家居的安全性、便利性、舒适性,并且环保节能,让你感觉

    到这就是最适合你的,为你量身定做的家。

    其次,数据驱动的人工智能框架可以带来细粒度的行业策略。行业策略

    细粒度意味着企业的经营会更加精细化。例如,企业可以把一个产品的目标

    客户群简单地划分为一定年龄范围的男性或女性,但这样的客户群划分显然

    没有针对性。利用数据驱动的人工智能框架进行目标客户群划分,得到的结

    果更加详细,比如我们不仅可以考虑基于年龄、性别这样的因素,还可以交

    叉考虑包含更多维度,例如兴趣爱好、行为习惯等的目标客户群,从而得到

    细粒度的营销策略。以视频软件芒果TV为例,为了提高视频的点击率,芒果

    TV运用人工智能来判断向用户推送视频的类型和内容。比如,追求放松娱乐

    的白领一族会收到《快乐大本营》的相关推送,喜爱烧脑解密的年轻人群会

    看到《明星大侦探》的相关广告。而随着用户观看视频数量的上升,人工智

    能的推送方案也会更加个性化,细化到满足每一个用户的需求。与传统方式

    相比,人工智能提供的细粒度视频推送方案为芒果TV提高了30%的点击率,真

    正实现了精细化运营。

    最后,数据驱动的人工智能框架可以带来知识和洞察。我们去学校或者

    从经验中可以学习到知识,而数据驱动的人工智能框架可以赋予我们持续高

    效地从数据中学习知识、挖掘洞察的能力。这些知识和洞察可能不是列在教

    科书上的条条框框,但却一定是从数据中实时地、最大体量同时也是最有效

    获取的,并能够运用于业务实践中。例如美国哈佛大学地球与行星科学系的布伦丹·米德(Brendan Meade)教授团队通过深度学习分析了来自世界各地

    的地震数据集,发现了余震发生的规律,在此基础上开发了一套能够预测余

    震的智能系统。这套系统为避免余震二次伤害,顺利进行灾后救援和恢复工

    作提供了很大的帮助。

    AI思维不是捷径,但它却可以帮你更加快速地抓住事情的本质,找出用

    户的需求,洞察世事的发展,进行准确的预测,产出更大的价值。这是科学

    探索的目标动力,也是人类实践的追求所在。

    著名的科技思想家凯文·凯利(Kevin Kelly)说人工智能是认知化。如

    果说电力化带来了人工的动力,那么认知化带来了人工的智能。大量的实践

    表明,在感知方面,包括视觉、听觉、语言理解等,人工智能可以接近人

    脑。前文已经提到过,现在的图像识别错误率已经控制在5%,基本和人脑识

    别错误率持平;在专业决策方面,在海量数据的支持下,人工智能甚至可以

    超越人脑。例如,在金融风控领域,通过人工智能输出模型的KS值(通常用

    来衡量风险识别有效性的一个指标),可以做到40%~50%甚至更高,有效地控

    制住风险。基于人工智能的快速信贷审批,效果可以超越传统的人工方法。

    在传统出版业,一个编辑编辑一本书至少需要一个月的时间,但全球最大的

    中文期刊网龙源期刊开发了一个人工智能编辑平台“知识树”,它是一个能

    够根据定义内容自动编辑图书的智能系统,可以在一天之内完成一本图书的

    编辑工作,极大地提高了图书编辑工作的效率,缩短了图书出版的周期。

    AI思维是一种“数据驱动决策”的思维,它不怂恿你去追逐虚无缥缈的

    白日梦,而是教你学会用数据筹码四两拨千斤。不论你研究的是什么领域,从事的是什么职业,通过AI思维,你都能从数据中理出头绪,更加快速、直

    接、准确地预测出研究对象的行为或者结果。绳锯木断,水滴石穿,掌握了

    以小博大的AI思维,你不但是一个梦想家,也能成为一个真正创造价值的实

    干家。

    1. BAT即百度、阿里巴巴、腾讯。

    2. 1EB=1 024PB=1 048 576TB=1 099 511 627 776MB。第二章

    AI思维的底层逻辑

    当爱因斯坦说“上帝不掷骰子”的时候,他错了。鉴于黑洞给予我们的

    暗示,上帝不仅掷骰子,而且往往将骰子掷到我们看不见的地方以迷惑我

    们。

    —《时间简史》—

    本章旨在讲清楚AI思维中的“法”,即法则和规律,也就是从数学规律

    的角度,阐述AI思维的底层逻辑。AI思维,尤其是其核心——模型,是在数

    学和统计算法基础上发展起来的,必然受到数学和统计规律的制约。只有理

    解了这些制约,才能理解人工智能与生俱来的局限性,只有了解了这些局限

    性,我们才能扬长避短地使用AI思维,更好地享受人工智能给我们带来的实

    际价值。无论在日常生活还是在商业活动中,我们知道,从来就没有解决一

    切问题的“银弹”,任何事情都不能一蹴而就。社会对人工智能不切实际的

    预期,多半来自对其底层逻辑的一知半解。很多时候大家没有听说过,也无

    暇去理解人工智能实用性背后的法则。并且,在众多的商业包装下,人们越

    来越多地去追捧短平快的“成果”和高流量的媒体曝光,而不去关注支撑应

    用的基础性逻辑。这种“知其然而不知其所以然”的做法,不会带来长远的发展,所以,在深入讲述AI思维的“术”和“器”之前,我们必须先来理解

    它的底层逻辑,任何想运用AI思维解决实际问题的人都应该知晓并从中获得

    启发。模型的泛化能力

    首先,我们来回顾一下AI思维。AI思维能够帮助我们捕捉数据的本质特

    征,根据数据的特征形成模型。在新场景中针对新的输入信息,模型就能做

    出判断、产生预测。模型使用的一大类场景是分类,也就是预测新的输入所

    对应的类别。那么,什么是分类呢?如果我们手里有一张照片,你要做的是

    判断这种张照片里是否有动物出现,你通过眼睛获得了这张照片的视觉特

    征,这时,你的大脑已经下意识地做出了一个判断、一个分类。这个问题的

    回答结果就只能是“有”或者“没有”,这是一种分类,叫作二分类问题。

    但是并不是所有的分类都可以用是与否这样一分为二的判断来解决,还

    有很多东西需要人们去分辨它属于多种类别中的哪一类。我们还是拿这张照

    片举例。当你已经判断出这张照片里有一只小动物后,你还需要判断这是一

    只什么动物。你会根据这只动物的体型、体毛、耳朵、眼睛、嘴巴等特征,判断它是猫、狗、兔子,还是其他什么动物。这也是一种分类,叫作多分类

    问题。

    在日常生活中,我们每个人都避免不了和他人对话,我们要说,要表

    达,也要聆听、理解他人的话。其实我们识别对话中的声音信号,从中提取

    所说的字和词语,也是一个分类的过程。商务印书馆的《现代汉语词典》是

    目前较权威的大型现代汉语词典,第7版收录的词将近7万条,其中包括了

    字、词、短语、熟语、成语等。也就是说,在我们聆听的时候,为了理解这

    些声音信号的意义,我们的大脑都在将它们中的片段分类成这些字或词之

    一,这就是一个多分类的过程。但是有的时候,我们也会混淆一些读音比较

    相近的词,比如说“建议”和“坚毅”、“升起”和“盛气”,这说明人脑

    的分类也不是完美无瑕的。

    我们的视觉要对看见的东西进行分类,我们的听觉要对听见的东西进行

    分类,我们的味觉要对尝到的东西进行分类……感官的分类可以帮助我们更

    加完整地认识这个世界。可见,对外界事物的分类能力是人们认知的重要组

    成部分,可以说,每时每刻我们都在对现实世界中的输入信号做出分类,分

    类的准确与否直接影响我们生活和工作中决策的质量和效果。正如人一样,分类也是人工智能进行感知和认知的重要工具。在机场部

    署的人工智能模型可以识别出通过安检的人是否和证件上的照片一致,刷脸

    打卡的人工智能模型也在很多机构运用起来,无须戴工卡便可知道人的身

    份,许多手机的刷脸支付功能可以识别出你是否是该手机的主人来决定是否

    支付,极大地提高了资金的安全性。在语音识别领域,主流的人工智能识别

    模型对常见词语输入分类的准确率已超过97%。除了感知图像、声音领域,人

    工智能模型的分类还可以用在更多的场景,做出人类都难以达到的准确预

    测。例如,在营销领域,人工智能模型需要预测客户的喜好度和倾向性等,相当于对未知客户行为的分类。在金融信贷领域,人工智能模型能对客户的

    风险进行评级,也就是对客户将来风险度的预测,从而将客户分为高风险和

    低风险客户,并辅以不同的策略。可以说,通过分类,许多常见的问题都可

    以在人工智能的分类框架下进行考虑。

    分类模型的数学基础

    向量指一个同时具有大小和方向,且满足平行四边形法则的几何对象,如图2-1所示。简单地说,向量是有序的数字列表。人工智能中用到的数据一

    般是以向量的形式表示的。按一定的次序排列在一起的变量(x1,x2…

    xn),依次表示事物的各种特征。举个例子,我们打算用过去一年在服装、饮食、住房、出行、健身、娱乐、美容、奢侈品这8个类别的消费金额来研究

    一个人的消费习惯。那么,这8个数字构成了一个八维的向量:(x1,x2,x3,x4,x5,x6,x7,x8),其中每一个变量对应了一个类别的消费金额。

    不同类型的人,上述向量的数值也不同,美食爱好者的x2有比较高的数值,高消费地区的租房客的x3会比较高,注重外貌容颜的人x7比较高……图2-1 向量示意图

    这里面的每一个变量叫作向量的一个维度,人工智能中的向量也常被叫

    作特征向量,因为它描述了事物的特征。要注意的是,向量中变量是按照一

    定顺序排列的,顺序变了,向量也就变了。我们举例的向量只有八维,是一

    个简化的例子,在现实中,人工智能处理的向量通常是高维的,在商业应用

    中可以达到上百维、上千维甚至更多,在处理基因数据时,可以达到百万维

    以上。正因为人工智能可以理解高维度的向量,而不是像人脑一样只能分析

    少数几个变量,所以人工智能会给我们带来更深入、更有效的知识和洞察。

    在数学上,分类要做的是,将一个预测函数作用在个体的特征向量上,得到想要的输出结果。如前所述,人工智能中个体的数据是以向量形式来表

    示的。以图片识别为例,为了识别图片中的物体种类,首先我们要建立一个

    预测函数f,预测函数f作用在图片的特征向量x上,得到一个类别f(x),比

    如说“小猫”“小狗”或者“兔子”。当然,在现实中的图片识别应用中,人工智能可以识别出任意类别物体的图片。

    这个看似简单的过程其实是非常强大和灵活的,基本上所有人工智能分

    类的过程都可以抽象成这样,其中预测的目标是跟具体业务相关、需要提前

    获知的信息。就像之前提到的亿客行案例一样,网站需要预测一个访客的价

    值高低。如果我们可以准确地识别一个访客是否具有高购买的可能性,并将

    其应用于电商领域,根据访客价值定制营销策略,就能取得优秀的阿尔法。让我们来看看如何设计高价值用户预测的分类模型。首先,我们需要收

    集历史上具有高价值或者低价值客户的标记,以及各自行为的特征向量。这

    个分类问题的目标是将任何一个新的访客分为两类之一。所谓高价值、低价

    值就是看客户一定时间里在网站的购买额度,超过一定金额的定为高价值客

    户,反之则是低价值客户。这样,我们有了模型训练所需的数据集,可以根

    据这些数据训练的模型预测一个网站访客价值的高低,即使之前他没有在网

    站上消费过。既然这个模型的作用这么大,那么我们接下来就具体看一下,它是如何被训练出来的,又是如何进行预测的。

    模型的训练和预测

    在人工智能领域,机器学习是产生模型的途径和方法论。和我们的学习

    一样,分类问题的机器学习框架也分为训练和预测这两个最基本的环节。

    训练环节中需要给定一个训练集,通过训练集中的标记样本{(x1,y1),…,(xN,yN)}训练出一个预测函数f,也就是我们的预测模型。标

    记样本是由第1个到第N个输入数据x以及与其相对应的输出数据y组成的。在

    预测环节中,我们要对在训练环节中形成的预测模型输入一个新样本x,使用

    f输出预测值y=f(x)。需要注意的是,在训练环节中,由于样本是给定的,所以样本的标记是已知的,但在预测环节中,使用的都是新数据,所以样本

    的标记是未知的。

    任何分类模型都要经过这两个环节。在训练环节中,机器通过分析训练

    集学习模型,发现其中的规律,并以预测模型f的形式产出。在预测环节中,碰到新的样本,即使模型先前没有见过这个样本,仍然能够输出相应的分

    类。正如人的思维方法是从经验中学习规律,人工智能通过训练环节从数据

    中学习模型。训练环节使用了何种模型,以及模型训练的质量,决定了模型

    的有效性,其中最重要的指标是模型在新样本上的预测效果。

    如果一个模型能够对新样本进行有效的预测,就可以在实际使用中产生

    效益。比如,一个模型成功地预测了某位用户购买某款商品的概率为80%,那

    么商家可以积极地向该用户推送自家的该商品,用户经常接收到自己喜欢的

    商品的信息,下单的概率也会有所上升。成功地预测出用户是否会购买,帮

    助商家提高销量,这样的模型才是有实际意义的。泛化能力是模型的核心

    一个模型能带来多大的价值,取决于模型预测的准确率有多高。而模型

    预测的准确率又依赖于模型的泛化能力(generalization ability)。也就

    是说,在一定程度上,模型的泛化能力决定了一个模型最终能迸发出多大的

    能量。那么泛化能力到底是什么呢?

    泛化能力是用来描述模型对新样本的预测能力的。我们在日常生活中也

    称之为举一反三或学以致用的能力。机器学习的目的是学到隐含在数据背后

    的规律,对具有同一规律、训练集以外的数据,模型也能给出合适的预测。

    这就是泛化能力的表现。

    泛化能力体现了模型智能水平的高低,如果一个模型只在训练数据上能

    准确地分类,作用是很小的,因为这充其量是模型“记住”了各种输入和对

    应的类别,在新的场景中没有办法做出准确预测。

    在进一步讲泛化之前,我想先讲一个故事。我有一对情侣朋友,女生是

    一个中国姑娘,叫郭霓禾,男生是英国人,叫安德费汀。郭霓禾是一个牙科

    医生,她诊病的程序十分烦琐,一个简单的牙疼,她会给病人量体温、测视

    力、检查血压,有时甚至还要检查心电图,除此之外,她还会询问病人一些

    无关的信息,比如身高、体重以及最近吃过什么。她饱读各种医学类书籍,还研究过各种偏方,最后再结合她的临床经验,总结出一些独特的治病规

    律。如果一个新的病人的所有指标符合她总结出来的规律,她才能判断这个

    人的患病情况,如果情况不符合,她就无法做出判断。比如有一次一个病人

    牙疼,经过检查和询问,她发现这个病人体温37℃,视力0.8,身高1.7米,体重70千克,是在吃了西红柿之后智齿开始发炎。于是她就总结出一个体温

    37℃、视力0.8、身高1.7米、体重70千克的人会在吃了西红柿之后引发智齿

    发炎的规律。刚刚好,安德费汀也符合这几个条件,有一次安德费汀智齿也

    发炎了,但因为安德费汀没有吃西红柿,郭霓禾认为他不符合自己总结出的

    规律,诊断安德费汀的牙疼不是因为智齿发炎引起的。而安德费汀是一个股

    票投资分析师,对于自己的经验和能力十分自信,他认为凭借自己的经验,只需要看一下股票的走势,就可以判断一只股票到底是应该买入还是卖出。

    他根本不考虑政策、大盘环境、主力资金进出等变化因素,每天只看一下电脑屏幕上股票的涨跌状况就做决定。这样的判断显然十分不科学,导致了他

    的大部分积蓄都被套牢在股市。

    郭霓禾和安德费汀两个人都各有特点。郭霓禾对待事情很认真,看事情

    很全面,但是由于她顾及的事情太多太细,有时可能会过度重视一些无关紧

    要的特质,总结出一些没有作用的规律,比如那些奇怪的指标与智齿发炎其

    实并没有关系,只是那个病人刚好在智齿发炎前是那样的身体状态,刚好吃

    了西红柿,这样过度关注无关因素反而妨碍了病因的评估。安德费汀则正好

    相反,他看事情太片面,没有综合考虑影响股市涨跌的因素,导致他的判断

    和股市的实际情况产生了很大的偏差,成为被迫割肉那一批人。

    故事讲完了,我想告诉你,郭霓禾和安德费汀其实都是我虚构的朋友,他们的名字其实就是过拟合(overfi tting)与欠拟合(underfi tting)的

    谐音。过拟合和欠拟合是两类统计学现象,有这两种现象的模型,不具备良

    好的泛化能力。

    在统计模型中,由于模型太过复杂而拟合了训练样本中的噪声,以至于

    输出的结果与真实值相差很大,就像郭霓禾诊断病人一样,这就是过拟合。

    欠拟合则刚好相反,是由于模型过于简单,以至于得到的模型难以拟合训练

    数据,就像安德费汀没有考虑到影响股市的其他因素,而导致判断错误。

    我们总是希望在机器学习训练时,机器学习模型能在新样本上有很好的

    表现。过拟合时,模型过于复杂,把训练样本学得过分好了,就很可能把一

    些训练样本自身的特性当成所有潜在样本的共性。这样一来,模型的泛化性

    能就下降了。欠拟合时,模型又过于简单,无法很好地学到训练样本的一般

    性质,所以不论在训练数据还是预测数据中,表现都很差。

    过拟合就是过多学习了一些不必要的数据特征。比如你的模型需要区分

    男人和女人,模型学习了训练样本中所有男人和女人的特征。如果训练样本

    中的女人刚好都穿了红色的衣服,过拟合的模型就可能会把穿红色衣服作为

    区分男人和女人的一个特征。我们都知道,穿什么颜色的衣服并不能作为区

    分人的一个特征,这时模型学习的这个特征就属于过度学习。过度学习不仅

    毫无作用,甚至还会对模型的预测结果产生误导,比如出现了一个新的预测

    样本,是一个穿红色衣服的男人,模型很有可能会根据他穿了红色衣服这个

    特征就把他识别为女人。欠拟合与过拟合正好相反,它对于训练样本的特征

    学习得不够充分,导致训练出来的模型不能很好地进行预测。而且,由于欠拟合的模型没能很好地捕捉到数据特征,它不但不能对新的样本数据进行预

    测,在训练集中的样本数据时表现也不是很好。比如你要参加一场考试,考

    试前做了许多模拟题,发现有一些知识点你还不明白,在模拟题中你有部分

    题目做不出来,这就是没有很好地掌握训练样本的规律。当你要对新样本进

    行预测时,也就是当你去参加这场考试时,考试结果也不会很好。不论是过

    拟合还是欠拟合,都会使模型不能很好地输出预测结果,所以,在机器学习

    中,这两种现象都是需要极力避免的。

    图2-2形象地展示了拟合的几种情况。我们有一些数据样本,大致呈二次

    函数形式,可以看出,用二次函数来做拟合最合适的是图2-2中间的图像。但

    是如果我们不采用二次函数呢?比如,我们用线性的函数来拟合它,我们可

    以得到如图2-2中左图的直线,这显然没有很好地拟合训练样本数据,更不用

    说预测数据了。我们用高次函数来拟合,可能会得到如图2-2右图那样的曲

    线,显然,这并不是我们想要的模型,它把个别数据的偶然偏离也当成了共

    性,而过度拟合了进去。

    图2-2 函数拟合示意图

    通常,解决欠拟合的方法包括:(1)增加新特征,也可以考虑加入特征

    各种形式的组合,来增大模型可操作的空间;(2)尝试非线性模型,比如非

    线性支持向量机(SVM)、决策树、深度神经网络(DNN)等模型。

    解决过拟合的方法包括:(1)交叉检验,即拿出大部分样本进行模型训

    练,留小部分样本用模型进行预测,并通过调节这小部分样本上的预测误差

    来得到较优的模型参数;(2)特征选择,从已有特征中选择部分特征以减少

    模型所用特征数;(3)正则化,即为原始模型引入额外信息来限制模型的复

    杂度;(4)增加训练数据在一定程度上可以避免过拟合。真正的泛化能力需要回避过拟合和欠拟合,一个好的模型必须真正把握

    数据的底层规律,既不比数据本身复杂,也不比数据本身简单。人工智能行

    业的趋势是要用越来越复杂的模型来尝试做出更好的泛化效果,这需要我们

    更加谨慎地看待:如果训练数据量不够多,或者并不支持复杂的模型假设,那么,很有可能我们只是在过拟合,而不是在产出优质可泛化的模型。什么

    样的模型既不过拟合,也不欠拟合,是运用AI思维时需要考虑的核心问题。方差和偏差的权衡

    我想大家都听说过差不多先生的故事。差不多先生做什么事情都是马马

    虎虎,差不多就好,但是最后差不多先生就因为这差一点的“差不多”害死

    了自己。我想,谁都不想“差一点”,包括人工智能。当机器学习建立了一

    个模型,当然希望这个模型有很好的预测效果,但是很多时候我们发现,这

    个模型还是差一点,它在预测方面会出现或多或少的问题。而这个“差一

    点”的问题很多时候是出在“偏差”和“方差”这两个方面。并且在实践中

    我们发现,这个“差一点”是可以弥补的,只要权衡好偏差和方差之间的关

    系,就能够帮助我们更好地运用AI思维解读数据。那么,什么是偏差,什么

    是方差呢?我们如何才能权衡好偏差和方差之间的关系呢?

    偏差和方差概述

    在机器学习中,机器从训练数据中学习到模型。任何有监督的机器学习

    的目标都是在给定训练数据的情况下,对输入变量和输出变量之间的映射关

    系(下文称为“真实函数”)进行最佳估算。既然是估算,肯定就会有误

    差。通常,机器学习的预测误差可分为三部分:偏差、方差以及不可减少的

    误差。其中,不可减少的误差是无论采用什么模型都不可能被减少的误差,因为这种误差是由未知变量引起的。比如一个预测用户是否会买车的模型能

    根据用户的收入、职业、年龄、家庭状况等一系列数据进行预测,但是这个

    预测不一定完全精准。因为一个用户是否会买车不只会受这些变量的影响,还会受生活方式等的影响,而像生活方式这样的变量通常是不可知的,因此

    这种误差是不可减少的,但是,偏差和方差是可以通过机器学习模型进行影

    响的。

    偏差描述的是在使用不同的训练数据时,预测值的平均值与真实值之间

    的差距,即模型本身的精准度,反映的是模型本身的拟合能力。偏差的产生

    是因为为了使真实函数更容易学习,而对模型的假设做了简化。偏差高意味

    着模型是欠拟合的。方差衡量的是在使用不同的训练数据时,真实函数的估算值所改变的

    量,也就是预测值的波动情况,它反映的是模型的稳定性。方差的产生是因

    为为了使模型的预测结果更加符合真实数据,而对模型提出了更加复杂的假

    设。方差高意味着模型是过拟合的。

    下面我们用一个更直观的例子来说明一下偏差和方差。假如有一个视力

    不好的人想要学习射击,那么他不管练习多少次,也不能打中靶心。但是如

    果这个人的视力很好,对环境的敏感度很高,瞄准时还能考虑到风速、风向

    等环境因素,那么经过训练后,他就很容易打中靶心。如果我们此时给他换

    一个环境,而他不能迅速适应这个环境的话,他的射击也不会有之前那样高

    的命中率。

    在这个例子中,靶心代表的是真实值,若这个人视力不好,他的拟合能

    力相对而言就不高,无论怎么练习都不能很好地命中靶心,也就是预测值和

    真实值之间存在差距,产生了偏差。假如这个人视力没有问题,而且他能够

    根据环境因素来改变射击的方式以此来提高命中靶心的概率,也就是为了使

    输出更好地符合真实值,而提出了更多的条件假设,但是他又没有完全掌握

    这种方式,环境一发生变化他的命中率就会下降,这就说明了提出的假设越

    多,稳定性就越低,就越容易产生方差。

    在图2-3中,第一行的两个靶,射击的痕迹都十分靠近靶心,说明其拟合

    能力比较好,也就是偏差小;第一列的两个靶,射击的痕迹都十分集中,这

    说明其稳定性非常好,也就是方差小。图2-3 偏差与方差示意图

    在数学领域有一个概念叫作“参数”。在研究问题时,我们经常会在模

    型中引入一些变量来描述数据的变化,这些变量就是参数。一般来说,在机

    器学习中,参数化的模型会有相对较高的偏差,这样它们学习起来很快,也

    更容易理解,但是高偏差就意味着它对模型做了很多的假设,在训练过程

    中,不是每个数据都可以完美拟合,因此,这个模型就不那么灵活。反之,如果这个模型对真实函数提出的假设很少,那么这个模型的偏差就很低,几

    乎能拟合每一个数据,但是这样的模型近乎一种对数据的记录,预测性能就

    不足了。低偏差机器学习模型的例子包括:决策树、K-最近邻和支持向量

    机。高偏差机器学习模型的例子包括:线性回归、线性判别分析和逻辑回

    归。

    用机器学习模型是通过训练数据来对真实函数进行估算,模型或多或少

    都会产生一定的方差。理想情况是,训练数据集的改变对真实函数的估算结

    果不会产生很大影响,这意味着该模型能够很好地计算出输入和输出变量之

    间隐藏的底层映射。如果模型的方差过高,训练数据对其产生的具体影响明

    显,那么训练的细节就会较大地影响到描述映射函数的具体参数。如果模型

    的方差较低,训练数据对其产生的具体影响很小,那么训练的细节对描述映

    射函数的具体参数的影响也会很小。泛化误差:偏差和方差的权衡

    任何有监督的机器学习模型的目标都是做到低偏差和低方差,也就是说

    该模型应达到很好的预测性能。但是在机器学习中,偏差和方差二者又不可

    兼得,偏差减少必将增加方差,方差减少必将增加偏差。造成这种现象的原

    因是,当我们想要尽量减少模型的偏差时,我们就会尽可能多地保证模型在

    训练样本上的准确度,但是这样学习出的模型就会过度拟合,反而降低了其

    预测能力,增加了模型的不确定性,也就是方差增加了;相反,我们在追求

    模型的低方差时,会增加许多对模型的假设和限制,虽然这提高了模型的稳

    定性,但是忽视了拟合程度,偏差也随之提高了。所以为了模型能够拥有更

    好的预测能力,我们需要权衡偏差和方差的关系。

    我们通过在具体情况下选择模型的复杂度来达到偏差和方差的权衡,寻

    找这个权衡的过程就叫作泛化误差的优化。研究发现,模型的泛化误差可以

    通过偏差的平方、方差以及不可减少的误差相加而得出:

    模型的泛化误差=偏差2

    +方差+不可减少的误差

    模型的泛化误差还可以通过更加形象的方式来表示,如图2-4所示,随着

    模型复杂程度的上升,模型的偏差越小,方差越大,图2-4中最上方的那条

    线,表示的就是模型的泛化误差。我们要找的方差和偏差的最佳权衡点就是

    图中虚线所在之处,此时模型的复杂程度处于最佳状态,模型的泛化能力最

    好。图2-4 模型的泛化误差示意图

    我们从图2-4中可以很容易地发现,偏差和方差之间是存在冲突的。虽然

    大多数情况下,我们不能计算实际的偏差和方差项,但是对偏差和方差的把

    握为模型预测性能的优化提供了思维框架。

    模型的复杂度:VC维度

    前面我们讲到,模型的偏差和方差与模型的复杂度是有关系的。模型的

    偏差会随着模型复杂度的上升而下降,而模型的方差会随着模型复杂度的上

    升而上升。那我们是怎么来定义和量化一个模型的复杂度的呢?为了定义和

    量化一个模型的复杂度,我们引入一个新的概念:VC维度(Vapnik-

    Chervonenkis Dimension)。VC维度是根据提出者统计学家弗拉基米尔·万

    普尼克(VladimirVapnik)和数学家亚历克塞·泽范兰杰斯(Alexey

    Chervonenkis)的名字来命名的。大自然的智慧是无穷的,它赋予我们聪慧的大脑,也在冥冥之中提示我

    们寻找规律,让我们首先从大自然的角度来理解VC维度。海豚经过训练可以

    打乒乓球、钻火圈,被称为世界上最聪明的动物,海豚大脑的重量占海豚体

    重的1.7%。平时我们总会用“蠢萌”这个词来形容的狗,它的大脑重量仅占

    它体重的0.8%。经过对多种动物大脑重量占它体重比例的研究以及这些动物

    日常表现的观察,科学家们提出,大脑重量占体重的比重越大的动物越聪

    明。人类大脑的重量占人体重的2.1%,是地球上所有生物中占比最大的,这

    也充分证明了上述观点。大脑占的比重越大,说明脑细胞相对就越多,也就

    是大脑的复杂度越高。如果从VC维度的角度来看,大脑的VC维度越高,就越

    聪明。

    接下来,让我们从理论的角度来了解一下VC维度。首先我们需要了解一

    下分类器。分类是AI思维考虑的重要问题:比如我们要将顾客分为高购买价

    值和低购买价值两类,以此来决定我们的精准营销方案。在人工智能中,这

    些数据的分类是通过分类器进行的,而分类器的复杂程度取决于它能够准确

    分类的数据的多少。假如现在要用分类器为一组数据点分类,那么这种分类

    器的VC维度的定义就是:对于每个可能的数据点的标记,单个分类器可最多

    分类的数据点个数。但是需要注意的是,这里有一个隐含条件,就是不要求

    对在同一直线上的点分类。比如:如图2-5中前三张图所示,在二维空间上,一个线性分类器的VC维度是3,因为它可以对任意三个点进行准确分类,无论

    它们如何排列。但是如图2-5中第四张图所示,单个线性分类器无法对四个点

    进行准确分类,即使它们不共线。

    图2-5 二维空间线性分类器示意图

    如果要判断分类器的VC维度就要看它能够对几个不共线的点进行分类。

    通过上述图片所示,我们可以直观地看出来,二维空间中单个线性分类器可

    以分类的最大数量是3,所以这种线性分类器的VC维度是3。而随着分类器能准确分类数据的增多,VC维度也会相应地增加。因此,VC维度是描述模型复

    杂程度的一种方法。

    VC维度是反映泛化误差与训练误差关系的重要指标,正如以下公式所

    示:

    其中N指的是训练样本数量,d指的就是VC维度,δ指的是一个概率相关

    的参数。虽然这个公式看似十分复杂,但是仅从数量关系的角度看,VC维度

    与泛化误差和训练误差的差值呈现正相关,VC维度越大,泛化误差和训练误

    差的差值就越大。而我们现在已经知道了VC维度代表的就是模型的复杂度,所以模型的复杂度与泛化误差和训练误差的差值也呈现这样一个正相关关

    系。那么,模型VC维度的法则在现实中有什么意义呢?

    首先我们要知道,VC维度并不是越大越好,但是根据上述公式可以发

    现,训练样本的数量位于分母位置,VC维度位于分子位置,如果分子分母的

    数量同时扩大,也就是说训练样本数量和VC维度同时扩大,泛化误差和训练

    误差的差值可能并不会发生显著改变。换言之,如果在训练样本的数量越来

    越多的情况下,提升VC维度,也就是使用更加复杂的模型可能是一个更加合

    理的选择。所以,模型VC维度的大小是要根据训练数据的多少来进行选择

    的。只有选择了合适的VC维度模型,人工智能才能产出实际价值,为各行各

    业提供优质的服务。

    我们现在使用的人工智能都是经过了漫长的发展才达到现在可以普遍应

    用的水平,例如语音识别从1952年就已经出现了,但当时的语音识别建立在

    一个数据量很小的基础上,所以当时它只能识别出10个英文数字的发音,虽

    然这是语音识别的开端,具有划时代的意义,但它也确实不能进入应用阶

    段。随着语音识别马不停蹄地发展,训练语料库越来越大,相应地,语音识

    别模型的VC维度也在不断升高,随之而来的是语音识别的错误率也越来越

    低。目前,主流智能语音识别的准确率已经超过97%,比通常人工转录的准确

    率还要高。我们之前提到过的图像识别领域的“奥赛”ImageNet比赛也反映出这样

    的趋势。从2000年开始,每年冠军参赛模型的VC维度都在不断上升,与之相

    对应的,冠军模型识别图片的错误率在不断下降,在这背后,冠军模型面对

    的其实是数据量越来越大的现状。不论是在语音识别、图像识别还是在其他

    人工智能应用上,都体现了这个规律:几十年前,数据量很小,人工智能技

    术刚刚起步,模型不需要很高的VC维度来处理数据,所以当时建立的一些模

    型都很简单。但随着时代的发展,数据量的增加,为更好地解决层出不穷且

    越来越复杂的问题,提供更优质的服务,近几年新建立的模型都呈现出VC维

    度越来越高、复杂程度越来越高的趋势。

    与此同时,各种新兴行业也通过VC维度的提升有了新的发展。2019年8月

    2日,腾讯人工智能实验室研发的人工智能系统叫作绝悟,它在王者荣耀世界

    冠军杯中战胜了职业选手,证明了现在的人工智能也可达到电竞职业玩家的

    水平。8月3日,绝悟在中国国际数码互动娱乐展览会(ChinaJoy)上参与的

    504场1对1人机对战中,获胜率为99.8%,输掉的那一场是输给了国内最顶尖

    的专业玩家。绝悟之所以能取得如此高的胜率,正是因为选择了具有合适VC

    维度的模型。

    这些年,中国电竞在世界级比赛中也获得了不俗的成绩:2018年雅加达

    亚运会电子竞技表演赛中斩获2金1银、“英雄联盟”S8全球总决赛捧得冠军

    奖杯。这说明中国电竞业正在逐步崛起,电竞职业选手的能力也逐渐逼近世

    界水平。这时如果发明出电竞人工智能,也会希望它达到世界级水平。但

    是,电竞人工智能所要面临的问题是十分复杂的。以王者荣耀为例,它作为

    一个团队作战游戏,双方每方5位参与者要在英雄搭配、技能应用、路径调换

    及团队协作等方面面临大量、持续而且即时的选择,其操作可能性高达1020

    000

    种。因此,绝悟在训练过程中选择的是VC维度极高的深度强化学习模型。

    在短短半个月的训练周期内,绝悟每天的训练强度相当于人类训练440年的

    量。与此同时,绝悟在训练中用了384块GPU。在这样高等级算力的支持下,VC维度高的模型的训练下,绝悟的电子竞技能力直线上升,达到了世界级电

    子竞技选手的水平。

    “权衡”二字出自南朝刘勰的《文心雕龙》:“权衡损益,斟酌浓

    淡。”古人早已告诉我们,要懂得权衡才能找到处理事情的最佳方法。通过

    权衡偏差和方差平衡模型的复杂程度和稳定程度,找到最合适的模型;通过权衡各种条件,找到最合适的VC维度,这样打造出来的模型才是真正能解决

    问题的模型。弱水三千只取一瓢饮,虽然选择很多,我们只要最合适的那一

    个。这和AI思维是一脉相承的,通过权衡各种复杂条件做出最佳的决策,不

    但可以帮助我们解决各种复杂的商业问题,还能使我们在激烈的行业竞争中

    脱颖而出。相关性和因果性

    伏尔泰说过:“雪崩的时候,没有一片雪花是无辜的。”那雪山是随着

    片片雪花的飘落而崩塌,还是因为那场忽降的大雪而崩塌?笛卡儿说

    过:“我思故我在。”那我们是随着思考而越发感觉到自己的存在,还是真

    的因为我们在思考才有了自身的存在?骆驼到底是随着稻草的增多而被压

    垮,还是因为最后一根稻草太沉而倒下?关于相关性和因果性的思考一直以

    来都存在,机器学习模型发现的便是输入变量和预测目标之间的相关性。相

    关性不同于因果性,因果性对应的是传统科学研究的范畴,相关性则是AI思

    维所关注的理念。相关性对于我们研究许多变量因子之间的相互关系有着很

    大的帮助。

    事实上,将两个一起出现的事物关联起来是人类与生俱来的学习能力。

    比如说,人都怕衰老,因为衰老意味着生命的流逝;人们到了一定年纪就会

    喜欢照镜子,去看是不是自己脸上哪个区域又出现了皱纹,或者白发是不是

    又增多了,因为白发和皱纹是衰老的迹象,这对于大部分人来说可能都不是

    个好消息。我们一看到脸上有皱纹、头上有白发,就知道人开始进入衰老

    期,其实就是因为我们将皱纹、白发与衰老建立起了联系,根据这个联系在

    脑海中反映出它们之间的相关性。但是,从科学角度来说,并不是“皱

    纹”“白发”带来了人体的衰老,它们只是衰老的表象,人体衰老的根本原

    因在于细胞代谢能力的降低。也就是说,皱纹和衰老之间并不存在因果性,仅仅是内涵及外在表现形式的一种相关性。

    人体是一个复杂的存在,除了会经受自然衰老以外,还会生各种各样的

    疾病。在流行病学领域,相关性也比因果性常见得多。例如,最近很多上班

    族觉得自己气血不足,所以在他们中间流行起了“泡枸杞、吃红枣”的养生

    法。这是为什么呢?难道就因为上班族每天都得对着电脑、手机十几个小

    时,又恰恰显出了气色差、无力等贫血迹象,就能说明是辐射引起的贫血

    吗?这些社交媒体制造的类似焦虑言论背后,其实埋着将相关性歪曲为因果

    性的雷。虽然不排除某种性质的贫血跟电子产品的辐射有一定关联,但贫血

    和人们使用电子产品的比例并不能断定两者之间的因果性。实际上,白领群体的“贫血”概率与机体的运动代谢下降和饮食结构的

    不合理有关。白领群体长时间坐在工位上,对着电脑、手机,身体代谢变

    慢,血气调动不起来,这才导致了医学上的贫血现象。此外,上班族工作压

    力大、饮食不规律,忽略了机体基础营养的正常补给,长年累月,影响身体

    机能的修复,这也是引起气血不调的原因之一。所以,如果将此类的表述换

    成“随着全球气温升高,贫血人群的数量也在急速上升”,同样也能推

    出“全球温度升高容易引起贫血”的结论,这显然十分荒谬。

    虽然相关性没有因果性来得一针见血,但是相关性能一定程度地揭露问

    题所在。作为内在问题的一种肉眼可见的表征,相关性自有它的用武之地;

    至于如何应用,我们会在后面的内容中进行更详细的阐述。现在让我们先来

    看一下相关性与因果性的定义。

    什么是相关性

    相传,如果南美洲亚马孙河流域热带雨林中的一只蝴蝶慵懒地扇动几下

    翅膀,可能会在两周之后导致美国得克萨斯州刮起一场铺天盖地的龙卷风

    ——如果一定要说这两件事之间存在关系的话,那这个关系也是微乎其微

    的。

    那么,如何衡量相关性的程度呢?我们可以定义相关系数,规定相关系

    数的取值范围在-1到1之间,两个事物之间的相关系数越接近0,就表明两者

    的相关性越低。对比双方数据时,如果一方数据往高走的时候,另一方数据

    也在上升,就说明二者正相关,它们的相关系数在0与1之间。如果一方数据

    往高走的时候,另一方数据下降,那么二者为负相关,相关系数在-1与0之

    间。相关系数的绝对值越大,相关性越强。相关系数越接近于0,相关性越

    弱。

    举个例子,负相关性就好比饮食健康程度和生病次数之间的关系。一般

    来说,饮食健康程度越高,生病次数就越少,即饮食健康程度和生病次数是

    负相关的。不相关(相关系数为0)的数据,看起来就是一组均匀的数据点,没有什么明显的趋势。当然也有正相关的例子。譬如多年未见的朋友比小时

    候长得更加高大、健壮了,体重也重得多。身高和体重之间就是一种正相关

    的关系。一般来说,身高每长高一厘米,体重也会相应地有所增加。但是在运用相关性进行分析的时候要十分注意。国外有个网站Spurious

    Correlations,讲的是虚假的相关性。这个网站上列了许多啼笑皆非的例

    子,这些例子中的每一对数据看似都有很高的相关性,实际上却不存在任何

    合理的解释。比如说,有人发现在某些年份,美国在科技领域投入的资金和

    上吊自杀人数,相关系数高达99.79%。这其实体现的就是一种虚假的相关

    性,真正具有相关性的两者要有一个关联的基点。就这个例子而言,人们并

    不会因为美国在科技领域投入多少,就去考虑上吊自杀的事情,所以两者不

    存在一个关联的基点,也就不存在真正的相关性。网站上列举的另一个虚假

    相关性的例子——人均芝士消耗量和新增土木工程博士数,相关系数高达

    95.86%。95.86%表面上代表着非常高的相关性,但实际上,两者之间并没有

    合理的联系。造成如此高的相关系数的原因也许只是随着时间推移,社会发

    展,各项指标正好同步变大而已。所以在使用相关性概念的时候,我们也要

    考虑两个变量内在的联系和可解释性,单纯的相关系数可能没有意义。

    什么是因果性

    证明因果,首先要证明两个事件有关联。这种关联一般来说是一种常见

    的现象,比如一些老人喜欢说的“爱笑的人都很善良”,“满脸愁容、精神

    颓废的人都很苦命”,“筋络粗壮的都很奔波”,等等,是根据一种静止表

    象来推测动态发展倾向。虽然关联现象不一定意味着因果关系,但认识到或

    者察觉到它,却是一个很好的起点。如果某两个事件显示出一定的相关性,往往会引起研究者的注意,吸引他们去发掘其中可能存在的因果关系。

    从日常生活到严谨的科学实验室,想要证明事件之间有无关联或密切程

    度的方法有很多。就像前面说的,从统计学的角度,能够通过数据分析看出

    两个事件之间是否存在正相关和负相关的关系,如果不存在关联就不存在因

    果,因为关联关系是因果关系的基础。当确定两个事件之间存在关联后,我

    们再进一步分析两个事件之间的细节规律,建立起一个假设,即它们之间发

    生的先后关系的推测。想要验证这个推测,首先可以预设是某一事件导致的

    另一事件,这个结论成立的两个条件是:第一,一个事件发生在另一个事件

    之前;第二,前一个事件的出现能预测另一个事件的出现。因果关系的链条是单一的。上述条件只是证明了两者之间存在链条,我

    们还要进一步检验事件之间链条的单一性,也就是排除掉其他可能的混淆变

    量。所谓混淆变量,就是发生在前一事件以外的其他事件导致了后一个事件

    的发生,这就违反了因果关系链条的单一性,这个因果关系就不是那么明确

    地能够成立了,需要再往深一步去挖掘其真实的因果关系链条。比如,在众

    所周知的狐假虎威的故事当中,每一次狐狸出现,森林里的动物们都十分害

    怕,四散而逃,但是动物们逃走并不是因为狐狸,而是因为狐狸的身后跟着

    百兽之王老虎。在这个故事中,老虎就是那个混淆变量,狐狸出现与动物们

    逃跑之间并不存在链条的单一性,也就是因果关系并不成立。

    去掉混淆变量的常见方法是设计实验组和对照组。实验组,就是在这一

    组样本中对某一因素做处理。对照组,就是不做任何处理,直接放置,然后

    观察两组现象的差别。要证明因果,就是需要实验组出现预设的现象,而对

    照组不出现预设现象。如果实验组因为做了某一因素的处理而出现预设现

    象,对照组未做任何处理而没有出现预设现象,就能证明某一因素的改变导

    致了预设现象的出现,而没有这一改变就不能导致相应现象出现。

    例如,最近喝各种养生茶变得流行起来,有些人喜欢清淡的,有些人接

    受不了苦味,有些人却偏偏喜欢特别苦的。如果我们想要知道是哪一种原料

    导致了茶的苦味,就可以进行一次对照实验。例如,我们的推测是里面的苦

    菊导致了苦味,那么我们需要泡两杯茶,一杯花果茶的茶包原料不变,照常

    加水泡开;将另一杯花果茶的茶包原料里的苦菊挑拣出来,再加水泡开。如

    果品尝后发现前一杯茶带有苦味,而后一杯茶没有苦味,则验证了我们的推

    测是正确的,即苦菊是导致这杯茶带苦味的原因,苦菊与茶的苦味之间的因

    果性成立。当然,我们还可以做更多推测,比如考察是哪种材料导致了奇怪

    的味道,等等。

    相关性大于因果性

    在日常工作生活中,我们更需要关注相关性,而不是强求因果关系,也

    就是说,只需要知道“是什么”,而不总是需要知道“为什么”。这能使人

    跳过洼地,快速地获取结果。这种思维方式推翻了自古以来人们更加注重因

    果关系的惯例,使我们理解现实和做出决定的最基本方式受到挑战。但是不破不立,破而后立,相关性的思维方式也让一切事物变得看起来很简单。AI

    思维从数据中训练出模型,但它从不思考为什么这样做,这让模型训练变得

    简单直接,体现出相关性思维的特点。

    从传统的因果性思维转向相关性思维是AI思维最突出的一个特点,传统

    的因果性思维是说我们一定要找到一个原因,推出一个结果来。而基于AI思

    维的预测没有必要找到原因,不需要证明这个事件和那个事件之间有一个必

    然、先后关联发生的因果规律。在相关性思维中,如果出现了某些迹象,数

    据统计的高概率会显示出相应的结果。那么,当我们发现这些迹象时,需要

    做的就是根据这些迹象去预测结果,做出决策。这和以前的思维方式不一

    样,和传统科学的思维不一样。虽然同样基于数据,但是传统科学要求找到

    准确的因果关系。

    但是,在这个纷乱复杂的社会关系里面,充满了差异性,不同的人在不

    同的时间节点可能会为了不同的原因去做一件同样的事情。比如,有的人觉

    得紫外线太强怕被晒黑,有的人觉得阳光刺眼,有的人觉得雨季要到了,这

    时他们都可能会买一把伞。不论中间的思考过程有多曲折,各自的理解如何

    大相径庭,他们最终都指向同一个结果。其实,我们在很多时候,最终为的

    也不过是这个结果罢了,所以在这期间耗费过多的精力去寻找里面的因果关

    系并非那么必要,毕竟在这个节奏如此快的社会,等你从头到尾都想得一清

    二楚的时候,这个事情可能早就不值得办了。

    所 以 人 工 智 能 时 代 的 思 维 更 像 “action!” ( 行 动 指

    令)、“reaction!”(立刻反应)这样一种直线思维。也就是说,你听到或

    者看到一个明显的指令或者迹象,你不需要去追究太多,只需要按惯例做出

    反应就可以。只要我发出这个口令,就一定能够得到一个既定的、预期内的

    回应,这就可以了。就像在运送快递时,如果有玻璃制品这样易碎的物品,快递盒子外面一般会有“易碎物品,小心轻放”的提示。看到这个提示,快

    递员不需要知道盒子里面是什么物品,也不需要知道它为什么易碎,他只需

    要在送快递过程中做到小心轻放,不让盒子中的物品破碎就可以了。

    全世界的商界人士都在高呼人工智能时代来临的优势:早在很久以前,商家就明白了相关性销售的精髓。比如,商家很容易根据你买东西的数量知

    道你家有多少人吃饭,你是单身还是一大家子。将牛肉干等一些简便的下酒

    食品与各种酒品摆在一起,也能很大程度地提升销售业绩,因为很多时候这些关联是更契合人性的。比如,你只喝酒,难免肠胃寡淡,根据人体自然需

    求,会需要同时补充一些重口味的小吃。喝酒就是为了爽快,谁会为了几块

    钱的小吃而折损了喝酒的享受呢?抓住了这些关联也就抓住了人性,从而能

    实现高销售。数据透露出来的信息有时确实能起到出人意料的效果。比如,下雨或者高温暴晒的时候,往往订外卖的人数会激增,这时候在办公区附近

    的餐馆都会提前做好“备战模式”,例如提前预备好外卖餐盒、准备好外卖

    常点的菜品,这些老板不需要去考虑究竟是因为下雨、暴晒的时候大家觉得

    出门麻烦而选择订外卖,还是因为这种天气下大家心情不好而选择点外卖,他只需要根据天气变化采取相关行动就可以。

    这些例子共同说明了一个道理:用相关性思维方式来思考问题、解决问

    题的做法值得关注。寻找原因在以前被视为理所当然,但是大数据推翻了这

    个论断。过去寻找原因的信念正在被更为实用的相关性所取代。随之而来产

    生了一个值得思考的问题:在探求因果关系转变为注重相关关系的过程中,我们怎样才能既不损坏奠定社会繁荣和人类进步的因果推理基石,又能真正

    推动社会的进步呢?需要强调的是,转向相关性,并不是要抛弃因果关系这

    块科学基石,而是通过相关性更加快速直接地解决问题。

    在当今这个信息化的时代,只要能够得到充足的数据,加之用高效的AI

    思维寻找到相关性信息,就可以预测用户的行为,为企业做出准确决策提供

    支撑。比如,金融行业非常注重风险的把控,以往我们识别金融风险最常用

    的方式就是查看客户的过往征信记录,寻找各种渠道去打探对方的信誉。这

    个过程不但耗时、费力,还未必能够保证信息全面。

    有了人工智能加持之后,金融机构就可以通过数据建立模型,识别出客

    户相关的异常行为以及异常关系,为金融决策提供广泛、确切的有效信息。

    在这个领域中,人工智能能够帮助解决金融信用体系中的关键问题。那么人

    工智能是如何在这个过程中发挥作用的呢?首先需要构建人工智能模型,然

    后通过模型实现特征分析,进而根据模型的输出判断异常。比如说现在我们

    要判断是否给某个客户贷款。为了解决这个问题,金融机构就要对该客户以

    往的行为进行分析。如果金融机构通过人工智能分析发现,这个客户曾经多

    次逾期还款,收入不稳定、工作情况变动大,那么这就意味着他不是一个很

    好的贷款对象,因为财务状况不稳定与出现财务问题之间有很大的相关性,放贷给他可能会影响到钱款的正常收回,导致出现损失。相反,如果客户过往的财务状况稳定,并且有着合理的发展规划,就说明他是一个值得信赖的

    客户。向这样的客户贷款,风险较低,相对安心。

    尽管在过往,这些工作也能通过人工粗略地进行,但是由于细枝末节的

    信息不计其数,而人力始终是有限的,在这种情况下,人工的分析自然容易

    出现疏漏。此外,人工耗时长,对于金融这个看重时效性的行业来说,是一

    个重大的弱点。相比之下,人工智能通过自身的模型学习,能够在短时间内

    就发现隐患,使得应对决策能够正确有效地实施。所以,在商业社会

    里,“action!”“reaction!”的行为模式是更为合理,也是适用更广的。

    细究其中,你会发现,事实上所有事件的处理方式都在遵循相关性原则,无

    论你把事情考虑得多么周全,仍然可能出现问题;在应急的当下,你也一定

    是运用了相关性来处理绝大部分问题。而且根据人们使用的情况来说,在生

    活的方方面面,它都饶有成效。有时候,相关性可能就是人们所说的“下意

    识”,看到或者听到某些事物,条件反射地设想出下一秒产生的结果,下意

    识地为这个结果做出反应。

    哲学上讲,联系是指一切事物、现象、过程及其内部诸要素之间的相互

    影响、相互作用和相互制约,也就是说,万物之间都是存在相关性的。也许

    你没有意识到相关性的存在,但就像你看到打雷就知道要下雨一样,人们无

    时无刻不在使用着相关性思维。相关性这种通过分析不同事件之间的联系,由起点直接到终点的思维方式,是AI思维能够快速准确地进行预测的内在逻

    辑。物有本末,事有始终,掌握了相关性,你就能事半功倍地得到想要的结

    果。数据的规律性

    我们已经知道,人工智能的发展和应用离不开大数据的支撑。但是大数

    据意味着数据的数量越来越庞大,质量越来越难保证,真实性越来越难判

    断。对于人脑来说,随着数据的不断增加和积累,要在铺天盖地且良莠不齐

    的数据中找到我们所需要的那一份信息,无异于大海捞针;但对于人工智能

    来说,这并不是什么难事。我们不禁好奇,人工智能到底是如何办到的呢?

    从表面上来看,我们所接触的信息是杂乱的、无序的,但是事物之间的

    联系是普遍的。例如世上万物形态各异,但是组成这些物体的元素都是相同

    的,也就是化学元素周期表中的一百多种元素;世界上没有完全一样的两个

    人,但是我们的染色体数量同样都是23对。人工智能要处理的数据同样也是

    这样,我们通过深入分析和研究,就会发现数据和数据之间是存在共通规律

    的。

    对于数据来说,这种本质的规律性可以反映在数据内在的几何结构上。

    这个几何结构并不是我们日常生活中所常见的,而是存在于一个更加复杂的

    空间,复杂到可能有些超出我们的直观想象。例如我们都知道一张照片是由

    许多像素点组成的,当我们随手拍了一张1 920×2 560像素的自拍时,这些

    像素间便互相组合形成不同的维度。也就是说,这张照片所对应的数据就是

    由4 915 200个维度组成的,即使我们的肉眼只能看到一张平面的照片。人工

    智能处理和理解的数据,其实都是高维的;我们将这些数据所在的空间称为

    高维空间。要想掌握数据的内在规律性,就要先对高维空间进行了解。

    高维空间的几何学

    我们一般会认为我们生活在三维的立体世界中,但很多物理科学家认

    为,空间不只有三个维度,并对空间维度的相关问题争论不休。

    爱因斯坦在他的《相对论》中提出,整个世界是由时间和空间组成的,时间就是第四维。时间作为一个坐标,确立了三维空间在一维的时间轴上的排列。世界著名理论物理学家丽莎·蓝道尔教授在一次核裂变实验中发现少

    量粒子突然凭空消失了。她推断这些粒子可能去了我们看不到的“五维空

    间”。英国著名物理学家霍金在物理学和宇宙学领域同样具有高度权威。霍

    金在给出宇宙模型时提出,只用四个维度来描述宇宙是不够的,粒子、星球

    运动、宇宙引力等现象都不能用四维来很好地解释。他提出,至少要用十一

    个未知数才能将宇宙描述清楚,也就是说,宇宙至少是由十一个维度组成

    的。虽然我们感受不到如此多的维度,但这并不代表它们不存在。就像我们

    听不到超声波,看不见紫外线一样,我们感受不到的那些维度只是蜷缩隐藏

    起来了而已。

    平时我们最多只能感受到时间和空间,如此玄幻的多维度可能会让你疑

    惑。简单来说,任何一级低维空间都是高一级空间的横截面,例如,一维的

    线是二维的平面的横截面。也就是说,任何一维空间除被本维空间的特有维

    度确立外,还以横截面的形式在高一维空间中有所体现,如图2-6所示,如以

    宽为轴移动一维的线,就形成了二维的平面。理论上,生活在三维世界的我

    们完全有可能以时间为轴进入四维世界,也就是我们通常说的打开了“时空

    隧道”。

    图2-6 一维至四维空间示意图

    物理领域高维空间的提出帮我们打开了探索这个高深莫测的世界的大

    门;相应地,人工智能领域中也存在高维空间。人工智能处理的数据涉及各

    个领域,这些数据都可以被看成空间里的一个个点。不同的数据点所在的高

    维空间,也就是数学中的欧氏空间。

    对一个给定的欧氏空间来说,它的维度是确定的:N维欧氏空间有N个独

    立的维度。欧氏空间给我们提供了高维空间的坐标系和距离的概念,任何数据在欧氏空间都是以向量的形式存在的。人工智能分析的每一条数据,都可

    以在欧氏空间中转换到给定维度的坐标系里,对应到欧氏空间中的某一个

    点。基于这样的结构,我们就可以精准地刻画我们想要描述和理解的个体。

    人工智能就是这样准确快速地在海量的数据中表示出我们感兴趣的那一份信

    息的。

    虽然欧氏空间通常是高维空间,但当我们分析数据内部结构的特点时,就会发现,数据的内部存在一定的规律性,并且这些规律性可以被用来解释

    为什么“美女”都长得很像,以及动画片是怎么生成的。接下来,让我们一

    起来了解数据内部到底有什么样的规律。

    线性规律:佳丽的特征脸

    图2-7是多位参加“韩国小姐”选美比赛的佳丽的照片。这些佳丽面容都

    十分秀丽,我们细看会发现每一位佳丽长得都不一样,但总体来看又十分相

    像。由于这场比赛发生于整容业十分发达的韩国,很多人表示这些佳丽仿佛

    是多胞胎一样,也有不少人在质疑她们是出自同一条整容流水线的同时,又

    纷纷感叹被称为亚洲四大“邪术”之一的韩国整容技术的高度一致性。

    为了更好地理解这些佳丽脸部存在的规律,我们对这些佳丽的脸部图像

    做了处理,形成了她们的特征脸。特征脸是反映这些佳丽脸部主要变化特征

    的一组“模板”。为了更加直观地反映出这些佳丽长相的相似性,我们又从

    这些佳丽的特征脸中挑选了其中十张,如图2-8所示,这十张特征脸包括了这

    些佳丽脸部图像的主要变化。图2-7 佳丽照片样例

    图2-8 佳丽照片产生的特征脸

    显然,每位佳丽的脸都有和特征脸不同的地方。接下来,我们要对每个

    人的脸部做重建。重建就是把一个佳丽的脸投影到特征脸,然后再线性组合

    起来,这样就得到了重建之后的佳丽的脸。如图2-9所示,上面一行是原始图

    像,下面一行是原始图像投影到上述特征脸后的重建图像,通过对比我们可

    以发现,对应的上下两图之间的误差其实很小。图2-9 佳丽照片的原始图像和重建图像

    然后我们将每张佳丽的脸部图像投影到特征脸上,分析出这些脸部图像

    在特征空间中是怎样分布的。图2-10表示的是对于这些佳丽的脸部图像,不

    同特征脸所对应的权重,从中我们可以看到,大部分特征差异都集中在前几

    个特征脸上。也就是说,前几个特征脸捕捉了佳丽脸部特征绝大部分的变

    化。

    通过上述分析,我们可以看出,这些佳丽在外貌上是有规律可循的。这

    个规律就是,不论她们在外貌上各有什么样的特征,但是如果把她们的外貌

    投影到一个平面,也就是我们所说的线性空间中,她们的外貌基本上在特征

    脸构成的线性空间上都能找到很好的表示。

    这种基于数据的线性规律的“特征脸”,在我们的日常生活中有着广泛

    的应用。比如在一些重大考试中,传统的人工核验身份证和准考证费时费

    力,而且很容易出错。针对这个问题,有人发明了一套基于人脸数据的线性

    规律的考场人脸识别系统。这套系统是要核验考生和二代身份证上的人是否

    一致,所以要提前提取考生的面部图像信息,对二代身份证上的照片进行预

    处理。在保证照片大小、考生面部位置一致的基础上,拿这些图像生成这些

    考生的特征脸,并将其定义为一个面部空间。在此之后,将考生的面部图像

    全部投影到面部空间上,计算出每一个人脸图像在该空间上的相关分布位

    置。经过这样的处理,我们就可以用这套系统进行人脸识别了:只需要将待

    识别的人脸图像投影到这组特征脸上进行对比,就可以知道该人脸是否是人

    脸库中的人脸。图2-10 特征脸权重折线图

    数据的线性规律源于数学上在线性空间的投影,它去除了数据中不重

    要、不显著或者没有用的信息,只保留最本质、所有数据共同拥有的特征,所以投影后形成的数据比原始数据更简洁,更具有普遍性。不论是选美小姐

    的特征脸,还是考生的特征脸,都是依赖于这类图像数据的内在线性规律

    性,将信息尽可能地简化,降低了数据处理的复杂性,更好地把握数据的本

    质特点。

    非线性规律:流形学习

    前面讲了数据的线性规律,我们再来讲一下数据的非线性规律。什么叫

    作数据的非线性规律?我们这里用一个直观的例子来说明一下。如图2-11所

    示,这幅图叫作“瑞士卷”。我们所生活的三维空间是一个平坦的欧氏空

    间;瑞士卷与我们所生活的三维空间不同,它是一个曲面。与我们日常所见的平面相比,曲面有很多不同的特点。譬如,我们在图

    2-11所展示的瑞士卷上取两个点:A和B,如果要从A点到B点,直观上,我们

    所要经过的路线应该是两点之间那条弯曲的线,而不是像在三维空间中简单

    地通过A点到B点之间的直线过去。数学上,流形是局部具有欧氏空间性质的

    空间,它能够帮助我们更好地理解数据中“曲面”的概念。人工智能对非线

    性结构的研究认为,数据的非线性规律实际上是由一个低维流形映射到高维

    空间所产生的。一些高维中的数据会产生维度上的冗余,实际上这些数据用

    一个比较低的维度就能表示了。例如这个三维的瑞士卷,其本质是三维空间

    中的二维流形。

    图2-11 瑞士卷示意图

    通过上述对瑞士卷的描述,我们就很容易理解,非线性规律并不是存在

    于平面之中,而是在曲面上。发现数据的非线性规律的方法叫作“流形学

    习”。流形学习是在著名的科学杂志《科学》(Science)中被提出来的,引

    起了人工智能界的极大关注。它假设数据均匀采样于一个高维欧氏空间中的低维流形,即从高维数据中恢复低维流形结构,并求出相应的映射关系,以

    实现数据的智能分析或者数据可视化。

    流形学习可以用于研究人脸数据。例如,我们从已有的人脸数据库中选

    择一些人脸图像。经过流形学习分析,就会发现这些人脸图像由于拍摄角

    度、光线或者是表情姿势的不同,呈现出不同的特征。如图2-12左边的图所

    示,每幅图像对应空间中的一个点。为了让可视化结果更加明确,图2-12右

    边的图中简化保留了十幅最有代表性的图像。

    图2-12 人脸高维空间示意图

    对上图仔细分析我们可以发现,这些代表性的面部图像显示在空间的不

    同部分。人脸图像被分割成两部分。左侧部分包括闭着嘴的面部图像,右侧

    部分包括张口的面部图像。这是因为在我们的面部图像被投射到更低维的空

    间时,图像中的相邻点在低维空间中更近,图像中的远点在低维空间中更

    远,所以形成了我们现在看到的排列顺序。经过观察我们可以发现,这些图

    像是按照人脸的表情和姿势来分布的,这就是隐藏于其中的分布规律。通过

    这个实验,我们发现了这些人脸图像所构成的流形,那些在线性空间表示不

    了的姿势和表情,在人脸的非线性结构之中都可以表示出来。

    近年来,准确地刻画人体动作成为多个领域的研究热点。而随着人工智

    能的兴起和发展,越来越多的人开始从全新的角度理解人体动作,例如根据

    人体动作数据的非线性规律来建立人体动作模型。利用数据的非线性结构来

    建立动作模型有广泛的实用性,例如用于动作识别或者动画生成。下面我们

    就从这两个方面来了解非线性规律下的人体动作模型。人体动作识别是计算机视觉领域的一个重要问题。比如说,在体育或者

    医疗场景下经常需要准确地识别出人体的动作。以前如果想要对人体动作进

    行精准的识别,需要用多个摄像机或从多个视角拍摄记录人体动作。虽然这

    样生成的模型可以识别出人体的动作,但这一般是在实验室环境中进行的,过程繁复,效率低下。随着流形学习的发展,人们开始尝试通过人体动作的

    非线性规律来构建动作模型。通过这种方式来建立动作模型,仅用一个摄像

    机拍摄即可,然后通过流形学习方法对拍摄的视频进行分析,利用动作数据

    的非线性流形结构来形成动作模型。这样生成的动作模型,对于站立、转身

    和行走等十三种动作类型的识别错误率仅在1%左右,可以在自然环境下应

    用,比如可以用于识别比赛中运动员或者医院中病人的动作。

    下面再来了解用于动画生成的人体动作模型,它可以帮助动画师生成自

    然流畅的动画人物的运动过程,让角色动画的创作过程变得更加便捷。传统

    动画制作分为两种,一种是逐帧动画,需要动画师一帧一帧地进行绘画制

    作,虽然效果真实细腻,但是制作时间极长,制作负担很大,最终输出的文

    件量也很大;另一种是补间动画,需要通过计算机自动补帧来生成动画,虽

    然减轻了工作负担,但是生成的人物动作会出现不自然不连贯的现象。近年

    来基于流形的动作模型越发成熟,可以将动画制作置于流形空间中,而不是

    用传统动画制作的方式进行。根据这个思路,需要自动学习在非线性流形中

    的大量人物动作数据,这样形成的动作模型就可以用来自动合成动画。如图

    2-13所示,动画师如果想要生成人物在某条弯曲的道路上奔跑或行走的动

    画,可以直接通过调取关于奔跑或行走的流形数据,轻松生成真实自然的人

    物动画序列。

    图2-13 人物动画序列示意图

    对于佳丽来说,特征脸揭示了她们脸部图片数据的线性规律;对于人体

    动作而言,非线性结构提供了更好地运用相应数据的框架。但需要特别注意

    的一点是,不论是具有线性规律的数据还是具有非线性规律的数据,都是具

    有许多维度的高维数据,要想找到这些数据的规律,都需要将其投射到更低

    的维度。这个更低维度预先是不确定的,我们通过人工智能模型的分析和处

    理,最终在恰当的低维度空间里更好地表示了数据内在的结构。天不言而四时行,地不语而百物生,天地万物都有其运行的规律。本节

    讨论的数据内在的规律性是AI思维的底层逻辑之一,也是基于几何结构的人

    工智能模型形成的基础。理解这些规律,可以帮助我们更好地理解数据本

    身,帮助我们在使用人工智能时“知其然”更“知其所以然”,构筑一个更

    加完整的AI思维体系。第三章

    AI炼金术:数据产生价值

    这正是历史知识的矛盾。知识如果不能改变行为,就没有用处。但知识

    一旦改变了行为,本身就立刻失去意义。我们拥有越多数据,对历史了解越

    深入,历史的轨迹就改变得越快,我们的知识也过时得越快。

    —《未来简史》—

    方法论是以解决问题为目标的体系或系统。在方法论的指导下我们会有

    一个纵观全局的广阔视野,有一套统筹全局的落地方法。缺乏方法论的指

    导,不论多么充满智慧的思维都难逃纸上空谈的结局。AI思维就是从理论到

    实践的一套完整的思维,它既有理论层面关于人工智能的认识,也有实践层

    面指导人工智能落地的方法论。本章旨在讲清楚AI思维中的“术”,也就是

    从方法论的角度阐述AI思维是如何从数据中得出决策,创造出源源不断的价

    值的。数据量越发庞大,以术理事,AI炼金术可理清纷繁复杂的数据;新问

    题层出不穷,以术驭事,AI炼金术可将数据为我所用,优化业务结果;面临

    抉择犹豫不决,以术成事,AI炼金术可通过深度学习等人工智能模型驱动决

    策。接下来就让我们了解一下,AI炼金术到底是如何从数据中创造出价值

    的。从数据到价值的历程

    在人工智能的整个生态系统中,数据既是根本,也是重点。在人类社会

    中,数据无处不在,而且生生不息,越来越多。我们每天的所看所感都可以

    转化为数据,这些数据就是各种行为和现象的记录。特别是在互联网如此发

    达的当下,我们能够接触和获取到的数据更为多维、多样而且庞杂。当然,这对于人工智能的运用来说,完全是一件好事,因为人工智能的运行离不开

    数据的支持。对于人工智能来说,数据更多,就相当于炼油厂运来了更多的

    原油,人工智能就能够更好地运作,为人类的生产、生活增添价值。人工智

    能通过数据驱动决策而产生的变现是我们能够真实看到的,比如优化提升的

    用户体验,实打实的业绩、利润,或者是口袋里不断飙升的年终奖。

    关于数据的重要性,我们先从奈飞(Netflix)的案例说起。奈飞最出名

    的身份是世界最大的在线影片租赁服务商,但它同时也是美国的流媒体巨

    头,业务广泛,也涉足影视剧拍摄。奈飞想在好剧频出的美剧圈拍摄出一部

    像《权力的游戏》《生活大爆炸》《破产姐妹》这样的高人气剧集,于是它

    开始探索——究竟该怎么做呢?据统计,奈飞在全世界的订阅用户总量达3

    300万;每天,用户都会在奈飞的网站上产生3 000多万个行为,订阅用户会

    在网站上给出400多万个评分和300多万次搜索请求,询问剧集播放时间等。

    奈飞借助这些大数据进一步分析——通过分析几千万用户的观影历史、观影

    题材内容、故事情节、演员选择以及对不同影视剧的评分等数据,决定拍摄

    一部有关一位参议员的连续剧,这部剧就是政治题材的人气美剧《纸牌

    屋》。该剧一经播出就获得了巨大成功,在美国及40多个国家和地区成为最

    热门的在线剧集之一。因为这次新鲜的尝试,奈飞前所未有地获得了112项艾

    美奖提名,也让美剧巨头HBO(Home Box Offi ce)电视网18年来第一次失去

    了剧集霸主的地位。

    《纸牌屋》的惊人成就离不开奈飞数以亿万计的数据的支持。由此可

    见,数据是新时代商业取胜的重要因素。就像上面说的,奈飞通过对大量受

    众数据的分析,采取合理决策方案,最终获取了极大的效益和声誉。所以数据是AI思维的基础,要从数据产生价值,就要利用人工智能通过对数据的深

    度分析,引导决策者做出最优决策,从而落地价值。

    如何把数据变为价值,主要涉及两个问题。第一个问题,什么样的数据

    在场景中有价值?无论是在电商行业、广告行业、教育行业,还是生产制造

    行业,企业的负责人都会不约而同地考虑他们要在网站或者设备、机器上收

    集什么样的数据。其实,只要是有效数据,都能为之所用,只不过要如何用

    或者用来做什么各不相同罢了。第二个问题是,如何通过人工智能让这些数

    据产生价值?这个问题已经得到了初步的解答:人工智能从诞生到现在已经

    经历了几十个年头,所以行业内已经有比较通用的模式应用人工智能,从而

    可以从数据中提取价值。

    人工智能的应用并非只对行业的格局产生影响,实际上,它与我们的日

    常生活也息息相关。现代人每天奔波于公司与家的两点一线中,一旦有了节

    假日这样属于自己的时间,大部分人都会选择出门逛街看风景、到商场购

    物,或是看一场热映的电影,抛掉平日工作的紧张,让身心彻底放松。所

    以,我们都希望自己能够得到全方位的引导和服务,而不想再在这方面花费

    大量时间和精力了。但是,一般情况下,商家并不能很清楚地知道哪些顾客

    需要什么样的商品,所以尽管每天都有很多顾客路过店家门口,却并不能实

    现有效转化。另一方面,消费者难得有了一个放松休闲的机会,却因为没能

    够快速、准确地找到相关商品或者服务而影响了大好心情。为解决这些问

    题,人工智能就派上了用场:商家可以通过人工智能对顾客数据进行分析,预测顾客需求,根据需求定期向顾客推送商品或者服务的信息;用户接收到

    信息,也不必为自己在休息时去哪里、做什么这样的问题而绞尽脑汁,只需

    要放假时直接去商家店里选择自己心仪的商品和服务就可以了。最终的结果

    很大概率是产生了交易。换言之,人工智能为商业活动带来了实际价值。

    从AI思维角度来说,人工智能可以从数据中提取价值,可只有数据是不

    够的,数据量还必须充足。如果没有对足够的数据进行分析,或者对数据的

    利用不够恰当,都可能导致决策失误。决策一旦失误,自然会影响到整个行

    为最终诉诸的回报,也就是我们所说的价值。

    数据产生决策:为了懂你,我学了很多知识有了充足的数据,就等于是为人工智能这个系统备足了原料,接下来我

    们就来看一下,AI炼金术是如何从数据中挖掘出价值的。如图3-1所示,这整

    个过程包含了四个步骤。我们将通过全球知名的高端化妆品品牌兰蔻使用人

    工智能机器人促进销量的案例来进行仔细分析。

    图3-1 从数据产生价值的过程示意图

    第一步,从数据产生决策。消费者千千万,每个人都有各自的喜好和适

    用款,所以他们的行为是多样的;而从人的单方面观感上又很难判断哪类

    人、多少人喜欢怎样的商品、怎样的服务,适合怎样的款式。为此,兰蔻引

    入人工智能机器人,并使其化身为兰蔻专柜导购中的一员。要使人工智能机

    器人胜任这个岗位需要做很多前期准备,其中最重要的两点是——第一,熟

    记并灵活运用所有产品信息、卖点和美妆知识;第二,快速明确顾客需求,推荐给顾客真正需要的东西。从具体场景来说,兰蔻专柜的大部分顾客是女性,但不同女性对化妆

    品、护肤品的需求千差万别。有的人注重爆款,有的人注重功效,有的人注

    重成分,甚至有人买化妆品只是为了试色。对于过往的真人导购来说,首

    先,他们必须了解每一种产品的功效、成分、适用人群等,才能很好地应对

    顾客的层层“拷问”。其次,导购还需要熟悉不同肤质、不同肤色、不同脸

    型的顾客适合的美妆产品,才能留住顾客的心。人工智能机器人导购员如何

    掌握这样的“读心术”呢?一方面,人工智能机器人通过与顾客进行对话交

    流,理解和预测出顾客的需求;另一方面,人工智能机器人还需要从多种来

    源的数据中挖掘获取美妆行业的知识,并通过分析整合,为用户进行精准的

    推荐与引导,让顾客享受到愉悦的购物体验。

    决策到行动:为了提高顾客满意度,我使尽浑身解数

    第二步,从决策到具体行动。从数据到决策的过程让我们知道了不同用

    户的需求,为具体行动提供了方向。具体行动是要深入到个体,根据目标用

    户的具体喜好来分析的。为了让用户的体验最优化,人工智能机器人做足了

    功课,不遗余力地提高顾客的满意度。在给顾客进行推介交流时,人工智能

    机器人可以像真人导购一样为大家进行对话式个性化推荐。

    在对话的场景下,人工智能机器人可以通过三种方式向顾客进行推介。

    首先是要理解顾客的语言来分析对方需求,例如,对方说:“我这几天脸上

    皱纹有点多,皮肤也很干,有什么产品推荐吗?”人工智能机器人能够根据

    对这些语句的理解和分析,进行智能推荐:“试试具有滋润功效的小黑

    瓶!”其次,人工智能机器人可以通过人脸属性识别来了解用户需求。例

    如,有顾客问:“我这个年纪适合用什么呀?”人工智能机器人能够通过对

    该顾客面部的扫描识别,发现对方有皱纹、年龄偏大,并非常情感化地回

    复:“皱纹不可怕,推荐塑颜紧致系列哦!”最后,基于前期大量的知识学

    习和数据输入,人工智能机器人能够进行多元数据挖掘与推荐。比如,当有

    顾客表露:“我要一只鬼怪色口红送人。”人工智能机器人能够将这些信息

    与内置的数据库匹配,给出精准引导:“鬼怪色的色号是290,超美,在口红

    区!”或者当顾客问道:“最近换季,有什么推荐呢?”人工智能机器人也

    能根据所学知识为顾客解忧:“试试水光润系列,深入补水还能抗氧化,非

    常火,广受好评哦!”有些顾客拿不准自己的偏好,可能会问:“我想买个眼霜,最近流行的哪种比较好呀?”此时,人工智能机器人会根据以往的消

    费者数据,提供合理的推荐:“今天已经有19个顾客小姐姐询问过小黑瓶大

    眼精华眼霜呢,要不要试试?”

    无论是哪一类顾客、哪一种需求,人工智能机器人都能根据大量的数据

    基础,依靠人工智能进行分析,为顾客提供高质量的推荐。这样,在精准给

    到高质量信息的情况下,人工智能机器人提高了顾客的满意度。

    个体产生结果:真是太能干了!

    第三步,个体产生结果。在得到了这一系列的推荐后,顾客开始做出相

    应的行动。在此之前,兰蔻专柜的负责人曾表示:“有时候顾客太多,难免

    有照顾不周的地方,如何提升服务质量、给顾客最佳的体验,是我们一直思

    考的事情。”而当人工智能机器人加入后,迎送宾客、为顾客解答疑问、推

    荐化妆品、漫游行走寻找指定产品等工作都可以全权交给人工智能机器人去

    做,并且这样能给顾客带来趣味性、多样化的购物体验。在场受到人工智能

    机器人帮助的顾客都惊叹:“真是太能干了!”

    更准确地来说,人工智能机器人在为导购人员提供更好的帮助的同时,也为顾客带来了更智能的服务,让他们拥有“上帝之感”,开启了顾客愉快

    的购物体验。在现场,有位女士问:“能帮我找一下大粉水吗?”“人工智

    能机器人带你去看看吧。”这位女士感叹:“万万没想到,接待自己的居然

    是一个机器人!”

    以往人们去化妆品专卖店购物,进门不到三分钟就会有好几个美容导购

    员寸步不离地进行推销,即使有些人已经有了选购的目标,导购员依然会跟

    在身后不厌其烦地介绍。这些导购员的过度热情令人十分尴尬,也使得导购

    员这一角色备受争议。但是如今,导购机器人的出现解决了这类问题,同时

    也满足了顾客对咨询、引导的需要。

    实现价值:人工智能服务于人类的一次探索第四步,实现价值。说到价值,人工智能机器人的出现,满足了顾客的

    购物需求,给顾客带来了美好的休闲体验。这对于商家来说又意味着什么

    呢?或者说,商家从中获得了什么呢?这次兰蔻与人工智能机器人的跨界合

    作,是美妆与人工智能的一次探索。目前,人工智能已经落地多个行业,有

    效地辅助着人们的工作。有了“美妆知识+机器人”这样的人工智能解决方

    案,导购能够从基础的重复性劳动中解放出来,学习更多的专业知识和技

    巧,提升个人服务能力。这也就意味着,商家能够在减少许多人力成本的同

    时,更好地在导购层面提升质量。除此之外,人工智能机器人还可以基于人

    脸属性识别和顾客历史消费数据等,进行精准营销。比如,针对陌生的女性

    顾客优先推荐促销信息,或者为有商品咨询记录的顾客提供定制化的商品介

    绍、引导等购物服务。这样,给商家带来的最终的价值是,他们能够获取极

    高的顾客购买率。

    人的认知有时候是一个很主观的过程,在化妆品领域更是如此。可能这

    几天周围的人都在讨论豆沙色的口红或者玫瑰香的粉底液,你就直观地认为

    他们一定喜欢这类化妆品,或者说全国、全世界范围内的顾客都会喜欢这个

    款式。但有时候人们的讨论焦点的触发动机并不是单一的,这些动机在日常

    的对话中并不能准确体现出来,那么这样的主观揣测就未免过于武断。有些

    顾客之所以买豆沙色的口红,是因为这款口红刚好是她喜欢的演员或者偶像

    代言的;有些顾客之所以买豆沙色的口红,是因为刚好有套衣服与之相配。

    这种阶段性的需求可能过段时间就不灵了。如果始终按照之前的需求为顾客

    推荐,就可能会出现顾客需要粉底液而为她推荐防晒霜的“错配”现象。在

    这一方面,人工智能可以精准地抓取顾客在方方面面留下的迹象进行组合判

    断,更全面、更精准、更客观地判断出你究竟对哪种化妆品里的哪种因素

    更“来电”。所以,我们要摒弃下意识的主观感受,恰如其分地挖掘、利用

    好数据。

    这四步完成,实际上我们就走完了从数据到价值的一次旅程:人工智能

    机器人通过对大量数据进行学习,了解顾客的需求,定向合理地推荐一些符

    合受众品位的化妆产品。对于顾客来说,他们能够及时获取最符合自己兴趣

    和心意的产品,满足了自身愉悦购物的需求;对于商家而言,顾客对感兴趣

    产品的咨询和光顾次数,就直接影响了顾客的购买率。

    这是一个从数据出发,到价值为止的过程。但一次业绩的提升并不是终

    点,人工智能还会把这一次的数据反馈到模型里,从而提升下一轮的决策质量,也就是说,数据和人工智能会持续地为我们带来价值。所以对于像兰蔻

    这样的商家和企业来说,运用人工智能其实就是了解顾客需求的过程,并能

    够有效地提升服务。

    到这儿我们总结一下,AI思维的核心竞争力是去平均化的能力。所谓的

    平均化思维,指的是无差别化,每个人、每个产品都同质化;而去平均化,则是肯定人与人、环境与环境的差异性,不同的人有不同的想法和喜好,根

    据这些差异化需求产出差异化体验。我们可以通过数据和人工智能准确理解

    每个人的潜在动机,从而最优化决策,达到各自理想的目标。如能合理使

    用,无疑将带来更高的生产力和更合理的资源利用方式,产生新的价值。AI

    炼金术便能从数据中产生价值,同时它也是AI思维的具象表现形式。

    通过人工智能决策来实现价值的源头是数据,所以,数据的广度和精确

    度决定了人工智能能够为人类做出多大的贡献。数据越多,越能更全面地反

    映个体的实际行为与想法,人工智能的预测就会越精准。如果赋予人类预测

    的能力的话,我想大多数人都会选择先预测一下自己的命运。所谓“知生死

    安天命”,随着人类身体数据的累积,人工智能对病人的死亡时间预测的准

    确率也有望更加精准。相关资料显示,科学家通过人工智能解读数据,利用

    200万份电子病历来进行人工智能深度神经网络的训练,全方位审查患者家族

    史、用药情况、各项体质指数、食物摄入等因素,进而能够预测机体的未

    来。目前,这一人工智能模型已经能够依据大量的数据提前12个月预测到患

    者的死亡时间,准确率达90%。研究团队还将这一预测结果与英国国家统计署

    的死亡记录、英国癌症注册记录等数据库的死亡数据进行了比对,之后又将

    这套人工智能模型与两项标准的预测方法进行比较,结果显示,这一新模型

    的准确率比之前的预测方法高了10.1%。

    根据上面这些数据,科学家们不仅能够预测到很多原本无法定论的结

    果,而且还能了解到影响人生命期限的多种因素,从而使人们根据这些结果

    对自身生活习惯进行调整,达到延长生命的目的。例如,科学家在实验中对

    受试者的水果、蔬菜、肉类、奶酪、谷物、鱼类、酒精等食品摄入的量做了

    考查,找到最利于生命体健康的饮食摄入比例,在病人治疗期、康复期对其

    饮食结构进行调整,使其达到促进机体代谢健康的目的。这也是人工智能通

    过数据进行预测的价值所在。新制度经济学的鼻祖、诺贝尔经济学奖获得者罗纳德·科斯曾说

    过:“如果你拷问数据到一定程度,它会坦白一切。”大数据包罗万象,能

    够将许多看似并不相关的事件联系在一起,使我们能够更加清晰明了地把握

    事物发展的趋势,跟上瞬息万变的社会潮流。谁掌握了大数据,谁就掌握了

    主动权,不仅能够决策世事,更能够成全自己。但数据就像一片汪洋大海,望不到边际,我们自己很难游上岸;这时就需要人工智能做舟——长风破浪

    会有时,直挂云帆济沧海。AI如何做出决策

    前面我们讲了从“数据”到“价值”的历程,大数据的出现使人工智能

    的决策更高效更聪明。数据加人工智能,为我们在决策时提供了无数个在以

    前无法实现甚至是无法想象的可能性。那么人工智能是如何一步步地将“数

    据”转化为“决策”的呢?如图3-2所示,从“数据”产生“决策”的具体过

    程是这样的:首先要通过对历史数据的特征处理产生特征数据,然后通过机

    器学习产生预测模型,之后需要通过模型评估来产生回测效果。在回测中检

    验合格的模型就可以投入生产,生产过程中如果有新的个体数据输入,就会

    通过生产模型得到预测分数,根据预测分数的高低和其他因素进行业务优

    化,产生针对个体数据的业务决策。模型本身也要受到监控,监控的目的是

    产生质量报告,来确保模型正常运行。这一整套框架被称为“人工智能决策

    引擎”,接下来我们将对它进行详细了解。

    图3-2 人工智能决策引擎示意图

    数据和特征处理毋庸置疑,数据是当下这个时代很重要的一种资产。我们经常提到的大

    数据有“3V”:Volume,即数据量,以往数据量少,以MB、GB为单位,但是

    随着互联网的发展,数据不断积累,现在数据量已经发展到了以PB、EB、ZB

    为单位表示;Variety,即多样性,根据数据的结构是否统一,将数据分为结

    构化数据、半结构化数据以及非结构化数据;Velocity,即速度,指的是数

    据的产生速度越来越快。

    那么数据是如何产生的呢?首先,社会在发展、人类在生活,就会有源

    源不断的新数据涌现出来。无论是机器生产还是市场营销活动,都沉淀了越

    来越多的数据。其次,随着互联网的发展,知识的权威性不断下降,任何人

    都可以成为信息的发布者,数据就这样不断地积累,数量越来越多。最后,随着学科的不断发展,人们描述同一类型事物的角度越来越多,例如随着基

    因科学的发展,现在用来描述基因的指标维度非常多,比如说,每个人的

    DNA(脱氧核糖核酸)分子是由约30亿个碱基对按精确的顺序排列而成的,一

    个碱基对就对应了一个维度,那么一个人的DNA分子就有几十亿个维度。像这

    样的例子其实还有很多,数据就这样不断积累到了一个非常庞大的数量。

    通常,在各种各样的业务过程中形成的历史数据很杂乱,并且分散在不

    同的数据库和数据表里,不够系统化。为了更好地利用它们,我们需要把它

    们整合在一起,得到一套结构明确、条理清晰、便于理解的系统化数据。比

    如说现在需要处理一份在过去两年时间里形成的顾客在不同商家的消费行为

    数据,由于顾客消费行为的多变性以及商家的多样性,这份数据的数据量庞

    大且类型多样。而人工智能会对这些复杂的数据做特征处理,特征处理是通

    过对原始数据的处理和加工,将原始数据维度转换为特征数据的过程,特征

    是数据中所呈现出来的重要特性,通常是通过数据维度的计算、组合或转换

    得到的。经过特征处理,数据就被加工成了机器学习能够理解的数据形式。

    过去,特征处理都是通过单台计算机进行,处理效率比较低。2005年,由阿帕奇(Apache)基金会所开发的哈杜普(Hadoop)可以将多台计算机连

    接在一起形成计算机集群,提供分布式并行的特征处理和分析功能,实现对

    复杂数据的快速、可靠的计算。由于其技术的高效性,对特征处理能力的提

    高,特征处理变得越来越容易,所以特征处理的门槛越来越低。到2008年左

    右,越来越多的公司意识到大数据时代分布式并行计算的重要性,同样地,这也为人工智能处理大数据提供了完善的基础设施。但特征处理的过程通常也是枯燥而繁重的,看不到直接有用的结果。如果卡在这步,对企业来说,人工智能就无法落地。

    机器学习和优化

    做好了特征处理,下一步就是机器学习。机器学习,就是在特征上建立

    模型的过程,这里需要选择合适的预测模型,运用历史数据学习出模型。机

    器学习在各行各业都开始应用,例如在零售领域,通过发放优惠券来刺激老

    顾客、吸引新顾客是常用的营销手段,但是随机投放优惠券往往效果不明

    显,在某种程度上还会打扰到顾客,这样不仅造成了营销成本的浪费,还会

    降低品牌的声誉。为改善营销效果,一些零售商采用机器学习来进行营销。

    机器学习根据大量消费数据学习出预测模型,能够预测顾客是否需要某种类

    型的优惠券,以此来决定是否向该顾客投放优惠券。这样不但使真正需要的

    顾客享受到了优惠,还改善了商家自身的营销效果。

    机器学习的过程,其实和人类通过经验总结生活规律再来指导我们之后

    的生活是相类似的。我们通过生活规律来指导的是以后遇到的事情,同样

    地,机器学习需要预测的也是将来。未雨绸缪,早为之所,商家可以根据机

    器预测提前做很多事情来促进顾客的消费,在最短的时间内抢占市场份额,扩大利润,也为自己争取更多时间,使自己更加灵活地应对一些突如其来的

    市场变 ......

您现在查看是摘要介绍页, 详见PDF附件(9088KB,295页)