2017-2018中国商业智能行业研究报告.pptx
2017-2018中国商业智能行业研究报告,2,中国企业精细化运营的需求正在爆发商业智能,帮助企业实现数据驱动认知到数据驱动决策的转变商业智能主要应用于金融、电商、物流、出行等领域中国AI论文成果达到国际一线水平技术方面,商业智能的未来将从强调单一技术,到各学科、分支、算法等融会贯通技术以外,企业、技术供应商对场景的理解是产业升级的关键商业智能的落地是一项系统工程,企业的工程实践能力有待增强,摘要区别于能够实现海量数据的管理、简单分析与可视化的传统商业智能,艾瑞的此份商业智能报告将聚焦于人工智能技术如何用于商业智能决策,实现商业经营的智能化与自动化。报告核心观点,3,商业智能概述商业智能核心技术剖析商业智能典型应用场景商业智能典型公司案例商业智能的挑战与未来,12345,4,来源:XX研究及绘制。,ETL抽取转换装载,数据仓库,数据挖掘OLAP,可视化分析结果,企业内部数据结构化数据,企业外部数据非结构化数据,传统商业智能的延伸智慧营销、金融风控、动态定价、智能客服、智能投研分析等人工智能与其他相关技术,智能化,自动化,本报告重心,传统商业智能,商业智能行业概念界定商业智能的下一步,智能化与自动化商业智能(BI,Business Intelligence)概念的提出可追溯至1958年,通常将其视为把企业中现有数据转化为知识,帮助企业做出明智的业务经营决策的工具。过去的商业智能不能给出决策方案,也不能自动处理企业运行过程中遇到的问题。借助于人工智能与其他相关学科的技术进步,现代商业智能已能在特定场景中实现商业经营的智能化与自动化。因此,本报告聚焦于将人工智能技术用于商业智能决策,试图对人工智能在商业落地的真实现状进行说明,凸显AI技术(不包括智能语音、计算机视觉等感知智能)在现阶段应用的价值。传统BI为商业经营的智能化与自动化奠定基础,5,来源:XX根据专家访谈、XX等研究绘制。,互联网高速发展,海量数据为各领域创新技术的探索与应用创造基础条件,网络浏览数据,商城下单记录,运营商数据,通讯数据,GPS,过度依赖,数据覆盖更多人群有效拓展业务范围,动态数据即时更新避免在市场环境变化、客群转移、产品迭代时基于存量历史数据建模所导致的模型性能衰减、准确率下降,数据质量决定模型可能上限结合模型和算法逼近物理上限高维度数据提升模型表现改变模型对单一变量的,商业智能与大数据大数据为商业智能的发展提供土壤互联网、移动互联网高速发展,海量、高维度且可实时接入更新的数据随之而来,为机器学习等前沿技术在各领域中的探索及落地提供可能,进一步拓展了被服务人群且显著提升服务质量。另一面,产业缺乏通用标准约束,数据在采集及流转过程中污染程度不一,数据加密不规范引致的数据泄露时有发生,数据孤岛亦成为企业业务发展的掣肘(如金融方面,企业多为基于自身平台积累的独有数据做征信,评分适用范围将大大受限),通用标准的建立需要政府及产业界的共同努力。大数据对商业智能的贡献,时间递归神经网络,无监督学习,Decision Tree,Random Forest,强化学习,Machine,监督学习,进化学派,深度学习,图与网络分析 自然语言处理,6,海量数据为智能分析提供养料信通院数据显示,目前约70%的企业拥有的数据资源总量在50-500TB之间。2016年数据量在500TB以上企业占比为18.4%,较2015年增加1.4%;数据资源在50TB以下的企业占比由2015年的5.0%下降到2016年的3.7%。企业数据资源总量呈增长趋势。,来源:XX根据专家访谈、XX等研究绘制。,对数据进行可视化描述,分析规律并作出预测,让技术化的数据更加业务化,帮助业务人员增强对公司各项事务运营情况的认知。如通过对销售数据的分析可发现各类客户的特征和喜欢购买的商品之间的联系,营销人员可结合这种“认知”来筹划有针对性的促销活动或向客户提供个性化服务等。,根据实际业务问题建立模型并求出最优解,给出人力、财力、物力、能源、时间等各项资源的具体配置方案,在营销、风控、定价、库存等场景实现智能决策,并在一些领域自动化执行。,数据,认知,决策,商业智能与大数据从数据驱动认知,到数据驱动决策智能技术的运用一方面将拓展大数据的应用场景,从帮助业务人员认知到实现企业最优决策,另一方面,自然语言处理的进步也正在解决人机交互的部分问题,自然语言查询、自然语言生成都将进一步释放商业智能的效率和价值。数据化智能决策,人工智能、运筹优化等先进技术推动商业智能向决策转化随机森林行为主义Artificial Intelligence 机器学习 贝叶斯 运筹学 BayesianVC维 统计学 博弈论 随机模拟 动态规划 动态规划 知识图谱决策树 Deep Learning 生成对抗网络 神经网络 迁移学习随机模拟 长短期记忆网络,7,注释:有别于可产生情感、拥有创造性思维的人类认知,现阶段机器的认知依然是基于海量计算,对既有模型的高效求解;如何让机器实现人类一样的“认知”,技术路径尚待探索。来源:XX根据专家访谈、XX等研究绘制。,语音,图像语言,其他领域,制造业,公共安全,医疗,农业,感知智能,认知/决策智能,触觉,商业领域,智能投顾风控投研分析差异化定价人力资源配置,个性化定制,动态定价组合定价促销管理需求预测防刷单,库存优化仓储优化路径优化清仓管理出库管理,资源配置,路径优化动态定价差异化定价,金融精准营销,电商/零售个性化推荐,供应链/物流入库策略,出行订单分配,商业智能应用场景商业智能主要应用于金融、电商、物流、出行等领域类比人类智能,人工智能可分为赋予机器语音、图像等感知能力的感知智能和赋予机器思考能力的认知、决策智能。认知能提升感知(如对语义的理解判断将提升机器的语音识别率),感知也会辅助决策(如智慧商超中机器视觉对客流属性、消费行为的观察、记录可辅助商超做出营销决策),本报告聚焦于认知智能在商业场景中的应用情况。认知智能在商业场景中的应用,智能客服接入各行各业,提升辅助,8,大类别宏观人才,运营,小类别信息化发展现状国家关注程度人才结构业务流程解决方案,运营侧重点运营优势,重运营 精细化运营,提升利润基础算法等技术研发实力强,来源:XX研究及绘制。,中美商业智能环境对比中美同属商业智能第一方阵,发展态势各有千秋过去的几十年中,中国科技智能环境不如西方几乎成了很多人的刻板印象,但在如今的商业智能领域,我国从“中国制造”到“中国智造”,从奋起直追到弯道超车,已进入商业智能领域第一方阵,成为发展最快的国家之一。总的来说,由于中美文化差异、人口差别、工作强度不同等因素,相比美国,中国将技术落地的加速度更快,新兴商业模式拓展力强,但业务的发展仍缺乏全面性与标准化。目前,中国通过单点突破弯道超车,并开始重视精细化运营,由局部最优逐渐向全局最优靠拢。2017年中美商业智能环境对比,中国底层基础较弱,但商业模式创新力强,数据获取渠道丰富、获取速度快国家发改委:“互联网+”人工智能三年行动实施方案科技部:正起草促进中国人工智能创新发展规划金字塔结构,相关人才分布均衡度较差,依赖工具单点突破,覆盖业务生命周期其中一环从底层技术到企业应用,提供一体化解决方案,美国信息化建设水平高,数据量大,企业底层基础好白宫:人工智能 自动化 经济总统办公室:为AI未来做好准备纺锤形结构,相关人才分布均衡,依赖人才全流程管控,覆盖完整业务生命周期聚焦于环节点,针对此特定环节提供解决方案,重战略 跑马圈地,占领市场技术场景化速度快,业务应用突出,9,来源:XX研究及绘制。,国民经济和社会发展第十三个五年规划纲要(草案)人工智能概念进入“十三五”重大工程。,“十三五”国家科技创新规划智能制造和机器人成为“科技创新2030项目”重大工程之一。,“互联网+”人工智能三年行动实施方案明确了要培育发展人工智能新兴产业、推进重点领域智能产品创新、提升终端产品智能化水平,并且政府将在资金、标准体系、知识产权、人才培养、 国际合作、组织实施等方面进行保障。,7月,爆发期 2015年,1月,3月,5月,3月,2017年全国两会指出要加快培育壮大包括人工智能在内的新兴产业,“人工智能”也首次被写入了全国政府工作报告。百度李彦宏,腾讯马化腾都在两会上就人工智能发表意见。2017年新纪元,中国商业智能政策环境政策加码,人工智能从爆发期走向真正的新纪元从2015年人工智能进入爆发期以来,国家陆续提出多项意见与规划,特别是2017年“一带一路”会议、全国两会均将人工智能列入未来发展规划中,以及2016年国家将人工智能列入“科技创新2030项目”以及“十三五”重大工程,使得人工智能在中国政治、经济、学术等领域成为重中之重,引来中国人工智能最好的时代。中国商业智能相关政策,国务院关于积极推进 “互 7月联网+”行动的指导意见明确提出人工智能作为11个重点布局的领域之一,促进人工智能在智能家居、智能终端、智能汽车、 机器人等领域的推广应用。,关于运用大数据加强对市场主体服务和监管的若干意见旨在加快政府部门利用大数据技术提升治理效率、重构治理模式、破解治理难题,这对于提升政府服务和监管水平是一个里程碑式的举措。2016年,10,来源:XX局,9.5%48.42011,7.7%53.42012,7.7%58.82013,7.7%63.62014,6.9%67.72015,6.7%74.42016,中国商业智能经济环境经济增速温和,跑马圈地粗旷经营的红利期已过,精细化运营的需求正在爆发中国凭借工业化发展促使经济快速增长,2010年之后工业化进程逐渐到达顶峰,随之而来的是劳动力和财力逐渐向生产价值较低的生产部门转移,生产总值的降低导致了经济增速的下降。随着经济增速下降,无法在短时间内找到新的经济增长点,内部问题集体产生了爆发,产能过剩,高杠杆,房地产高库存和金融风险等问题扑面而来。这就意味着中国面临着一次重要的经济转型,摆脱传统的高污染低效率的粗放型发展模式,同时,现今政府多次强调供给侧结构性改革,从质和量上提升经济增长,在政策的支持下,高附加值、知识和技术密集型的产业将会重点培养,结合高科技技术,提升企业精细化运营、降低运营成本、增加企业受益。2011-2016年中国GDP及实际增长率,GDP(万亿元),GDP增长率(%),11,来源:XX根据XX信息、XX等研究绘制。,690,1406,1991,2132,2571,203,398,531,549,639,29.4%,28.3%,26.7%,25.8%,24.9%,2013,2014,2015,2016,2017,提交数量(篇),录用数量(篇),录用率(%),中国商业智能技术环境论文成果达到国际一线水平,企业积极应用创新性成果AAAI(The Association for the Advancement of Artificial Intelligence)是人工智能领域顶级的综合性会议,会议论文涉及机器学习、自然语言处理、搜索、规划、视觉、知识表达等人工智能各分支的学术探讨和应用研究。2017年AAAI大会收到论文2571篇,创下新高,中国学者的论文提交量与录用率均达到国际一线水平,与美国持平。收录论文不仅有来自高校学者,还有来自百度、腾讯、华为、360、今日头条等企业研究人员,如百度的Collaborative Company Profiling:Insights from an Employees Perspective从员工角度出发,尝试利用AI让企业人力价值最大化。国内企业与高校间的合作也愈发紧密,腾讯即有与香港科技大学的实验室合作,高校可利用企业的海量数据与测试平台,企业则可将创新性成果落地实践。需要指出的是,尽管目前AI的商业应用中国并不落后甚至在某些维度领先美国,但在原创性研究、创新土壤、人才储备方面,中美仍有较大差距。AAAI 2013-2017年论文提交及录用情况统计图,中国31.0%,其他 39.0%,美国30.0%,12,来源:XX研究及绘制。,网络传输存储设施,云服务计算设备,基础设施供应商,交易所模式,电商模式,API模式,数据整合者,ERPHCM,CRMOA,企业信息化系统供应商,大数据管理系统供应商,各场景解决方案供应商,金融,电商,物流,出行,媒体,工业,商业智能产业链本报告侧重于智能技术在商业场景中的应用,即产业链的中游和下游。关于产业链的上游,传统IT厂商和云服务厂商可为技术、产品及服务提供者赋予计算、存储等基础设施支持, ERP、CRM等信息系统可帮助企业有效记录其资源及业务数据,数据整合者的第三方数据则可丰富智能分析的数据维度。2017年中国商业智能产业链,数据及计算资源提供者,商业智能技术/产品/服务提供商,“上游”,“中游”,“下游”,垂直领域产品供应商商业智能服务使用者各行各业,13,来源:XX研究及绘制。,智能营销大数据/AI+营销,营销+大数据,金融风控,物流管理,智能客服,投研分析,动态定价,交通出行,数据及计算资源提供者,商业智能服务使用者,智能投顾,机器学习引擎/平台,商业智能产业图谱2017年中国商业智能产业图谱商业智能技术、产品及服务提供者,1,1,14,注释:1. 种子轮计入天使轮;Pre-A轮、A+轮计入A轮;B+轮计入B轮;C+轮计入C轮;D+轮计入D轮。来源:XX,XX。,13,12,38,7,18,12,213,1,商业智能行业投融资梳理行业集中度低,融资火热,天使轮、A轮居多商业智能应用场景众多,包括营销、金融、交通等领域,各领域涉及企业众多,行业集中度较低,融资方面,2012-2016年最为火热,其中,2015年融资次数达到31次,同时有两家新三板挂牌企业,是2012-2016年中融资次数最多的一年;从融资轮次来看,大部分融资尚处于早期的天使轮、A轮阶段;另外,从企业所涉领域来看,服务于金融领域的企业最受资本市场青睐。2012-2016年中国商业智能行业融资轮次,新三板挂牌(次)E轮(次)D轮(次),C轮(次)B轮(次)A轮(次),天使轮(次),1420125次,22120136次,6201420次,5201533次,10201631次,15,商业智能概述商业智能核心技术剖析商业智能典型应用场景商业智能典型公司案例商业智能的挑战与未来,12345,16,商业智能核心技术剖析了解技术是发展技术的前提人工智能正在重塑科学、技术、商业、政治以及战争,而大众对技术的认知程度和该技术的重要性相比显得远远不够。即使只有工程师和机修工有必要知道汽车发动机如何运作,每位司机也都必须明白转动方向盘会改变汽车的方向、踩刹车会让车停下。另外,当今人工智能的各个分支其实在五十年前就已有相关基础,当时的一些科学家认为,人工智能的所有问题都将在十年内解决。但事实是直到今天,很多问题仍悬而未决并难以解决。过高的预期引致不当的失望,人工智能历史上的两次冬天无疑阻碍了技术、产业发展的步伐,并让踏实做事的人受到伤害。因此,我们有必要对商业智能技术的概念模型、发展现状与应用前景进行客观认知,了解它的能力与边界。,参考资料:XX。,骗子!,人工智能无所不能!,骗子!,人工智能无所不能!,1980年,1956年,2000年,2010年,对技术的过高预期可能导致人工智能的冬天,了解概念模型是有效利用新技术的基础,技术,有效利用,概念模型,人工智能无所不能!“概念模型”一词由心理学家Don Norman创造,,代指为了有效利用某项技术而需粗略掌握的知识。,与训练数据一致的,假设集合,17,参考资料:XX。,样本数据,版本空间由归纳偏好决定对某种类型假设的偏好从而产生确定的学习结果归纳偏好是否与问题本身相配,大多数时候直接决定了算法能否取得好的性能,泛化能力是否良好,假设逼近真相,关于数据的某种潜在规律学习的目的,回归,离散值,连续值,聚类类别在训练前未知,分类类别在训练前已知,训练集,测试集,核心技术之机器学习机器学习概述将数据输入计算机,一般算法会利用数据进行计算然后输出结果,机器学习的算法则大为不同,输入的是数据和想要的结果,输出的则为算法模型,即把数据转换成结果的算法模型。通过机器学习,计算机能够自己生成模型,进而提供相应的判断,实现某种人工智能。工业革命使手工业自动化,而机器学习则使自动化本身自动化。机器学习的过程,用于训练,开发集用于开发过程的调参、验证,用于测试,模型对实际问题的理想化表示,学习算法贝叶斯决策树支持向量机,深度学习强化学习迁移学习,监督学习有标记信息,无监督学习无标记信息,=,+,18,核心技术之机器学习机器学习的发展历程在终极算法一书中,多明戈斯将机器学习分为五大学派:符号学派、联结学派、进化学派、贝叶斯学派、类推学派,引起热议。但发展至今,机器学习各学派彼此相遇、交融,已难以做清晰划分,另一方面,工业实践中问题的解决往往依赖于具体场景下对多种算法的综合利用,学派归属则无足轻重。尽管机器学习在20世纪80年代才成为一个独立的学科门类,进而在人工智能问题中大施拳脚,但在人工智能进入属于机器学习的鼎盛时期以前,在人工智能诞生之初的推理期、知识期即有机器学习的用武之地。因此,本报告仅结合人工智能不同发展阶段的主流思想特点,对当时机器学习的主要方法做,以下图介绍。,来源:XX根据专家访谈、XX等研究绘制。,推理期,知识期,机器学习期,人工智能的三个研究阶段,1950s,1970s,1980s,神经网络第二个高潮NP(non-deterministicpolynomial-time)难题中获重大进展助力大量现实问题,神经网络以深度学习之名再次崛起大幅提升感知智能准确率,2017,90s中期,统计学习登场并占据主流支持向量机、核方法为代表性技术,提出支持向量、VC维等概念,统计学的研究成果经由机器学习研究,形成有效的学习算法,神经网络第一个高潮期联结学派对大脑进行逆向分析灵感来自于神经科学和物理学基于符号知识表示产生的是“黑箱”模型通过演绎推理技术神经网络可归置此类,机器学习技术发展史,符号学派将学习看作逆向演绎并从哲学、心理学、逻辑学中寻求洞见代表包括决策树和基于逻辑的学习基于符号知识表示通过获取和利用领域知识建立专家系统,hnb(x) = arg max P(C) P(xic),i =1,19,核心技术之机器学习支持向量机、朴素贝叶斯、决策树、神经网络等经典算法,参考资料:XX。,支持向量机支持向量机(SVM)是针对二分类任务设计的,给定一组训练实例,SVM训练算法创建一个将新的实例分配给两个类别之一的模型。间隔类别1 类别2SVM还可以使用所谓的核技巧有效地进行非线性分类。,朴素贝叶斯基于“属性条件独立性假设”和贝叶斯定理:P(c)P(xc)P(cx) =P(x)朴素贝叶斯分类器的表达式为:dcy在现实任务中朴素贝叶斯分类器有多种使用方式。例如,若人物对预测速度要求较高,则对给定训练集,可将朴素贝叶斯分类器涉及的所有概率估值事先算好存储起来,在进行预测时“查表”即可判别;若任务数据更替频繁,可“懒惰学习”;若数据不断增加,则可进行增量学习。,决策树决策树是一个利用像树一样的图形或决策模型的决策支持工具,这恰是人类在面临决策问题时一种很自然的处理机制。根结点内部结点叶结点一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点则对应于一个属性测试。决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树。,神经网络神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络中的神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”处理以产生神经元的输出。把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。隐层输入层 输出层神经网路是一种难解释的“黑,箱模型”,但已有一些工作尝试改善神经网络的可解释性。,20,核心技术之机器学习深度学习、强化学习、迁移学习等热点技术,来源:XX根据专家访谈、XX等研究绘制。,深度强化学习,深度学习与强化学习的结合,不仅为强化学习带来了端到端优化的便利,而且使强化学习突破低维空间的限制,极大地拓展了强化学习的使用范围。典型案例:AlphaGo (深度强化学习和蒙特卡洛树搜索);谷歌数据中心的冷却系统减少40%的能耗,深度学习需要大量数据,解决特征问题深度学习是在多层神经网络的结构下,辅以结构设计和各种梯度技术,试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象,能够很好地处理对图像分类、语音识别等感知智能问题。深度学习不仅能够提供端到端的解决方案,而且能够提取出远比人工特征有效的特征向量。但其模型“黑箱”,可解释性差,限制其应用场景。典型案例:ImageNet挑战赛(CNN、AlexNet、VGG、ResNet);百度凤巢系统,强化学习需要大量数据,从反馈中学习策略强化学习和人类与环境交互的方式非常类似,是一套非常通用的框架。它是在一系列的情景之下,通过多步恰当的决策来达到一个目标,实现累积奖赏最大化,而摸索策略的过程即强化学习。区别于传统有标记的监督学习,强化学习不能立即得到标记,而只能得到一个反馈,因此可以说强化学习是一种具有“延迟标记信息”的监督学习。典型案例:波士顿动力Handle机器人,迁移学习在少量数据上实现学习迁移,解决冷启动、个性化问题,迁移学习一般是将从拥有大数据的源领域上学习到的东西应用到仅有小数据的目标领域上去,实现个性化迁移,即举一反三、触类旁通。但迁移学习能在什么领域成功仍值得探究。典型案例:斯坦福学者使用卫星图像获取的灯光信息来分析非洲大陆的贫穷情况;推荐系统的“冷启动”,样本数据,学习,21,核心技术之机器学习人工智能、机器学习及深度学习的相互关系近几年掀起人工智能热潮的深度学习,属于机器学习的一个子集,在思想和理论上并未显著超越二十世纪八十年代中后期神经网络学习的研究,但得益于海量数据的出现、计算能力的提升,原来复杂度很高的算法得以落地使用,并在边界清晰的领域获得比过去更精细的结果,大大推动了机器学习在工业实践中的应用。但值得指出的是,深度学习的应用范围还很有限,统计学习仍然在机器学习中被有效地普遍采用。另外,人工智能不是一种特定的技术方法,所有方法都是在对人工智能这个课题进行研究的产物。机器学习和象征着理性主义的知识工程、行为主义的机器人一样,是人工智能的一个分支。,参考资料:XX。,人工智能,机器学习,深度学习,深度学习机器学习人工智能,深度学习与传统机器学习的区别,样本数据,机器学习特征,学习,端到端学习,传统机器学习描述样本的特征通常由专家来设计,这称为“特征工程”;深度学习则通过机器学习自身来产生特征,即“特征学习” 或“表示学习”。因此在数据的“初始表示”(如图像的“像素”)与解决任务所需的“合适表示”相距甚远的时候,可尝试使用深度学习的方法。传统机器学习人工设计特征,深度学习,22,来源:XX根据专家访谈、XX等研究绘制。,微分几何,微分方程代数,各数学分支推动机器学习技术创新,统计学与机器学习的区别与联系,统计学机器学习,这两门学科(机器学习和数理统计)关心的是同一件事,即我们能从数据中学到什么?Larry Wasserman但相对而言,机器学习关心的是多项式时间内可计算的算法,强调优化和性能,并不需要对有关变量之间的潜在关系提出先验假设;统计学则注重理论分析和问题建模,必须了解数据的收集方式、估计量的统计特征、被研究人群的潜在分布规律以及多次试验的期望参数的类型等,相比人工智能“干净”很多,研究的问题是清楚的。可将机器学习当做统计学的一种应用,即把统计学中的理论和方法变成可在计算机上有效实现的算法。两者的联系在愈发紧密,也成就了机器学习领域诸多重要成果。,核心技术之机器学习统计学、微分几何等数学分支推动机器学习技术创新机器学习中的统计方法研究,用到的数学主要是概率统计。其实,其他数学分支在机器学习中也有应用,例如微分几何在流形学习上的应用,微分方程在归纳学习上的应用,相对而言,代数的应用可能更广,但代数一般作为机器学习的基础工具来使用,例如矩阵理论和特征值理论,又如微分方程求解最终往往归结为代数问题求解。而彭实戈院士的倒排随机微分方程理论之预测金融走势,可谓是用高深数学推动机器学习新模式的好例子。但从宏观的角度看,陆汝钤院士指出,深刻的、现代的数学理论的对机器学习的介入程度还远远不够,数学对机器学习新模式、新理论、新方向的参与值得期待。统计学与机器学习的区别与联系,典,概 如美国国安局在通过机器学习对民众数据进行挖掘分析以维护国民 型,述 安全的时候,应将机器学习与博弈论相结合,把各种措施的成本和 案,例,概 题的解决中,参数往往决定了模型在工业实践中是否可用,在求解,23,来源:XX根据专家访谈、XX等研究绘制。,博弈论就是研究博弈行为中斗争各方是否存在着最合理的行为方案,以及如何找到这个合理的行为方案的数学理论和方法。利益考虑在内,寻求安全与隐私之间的平衡点。,博弈论,运筹学,在具有强大数据挖掘能力的机器学习总结出事物的规律(做出分类或者预测的模型)之后,运筹学可实现模型的进一步拓展,建立从规律到决策的完整解决方案。另外,在运算效率至关重要的复杂问述 模型参数时,运筹学的思想也会助力算法优化、寻找最好参数。因此如今在商业领域广为使用的定价系统、推荐系统、风控系统等都有人工智能和运筹学的交融。,典型案例,Libratus击败人类顶尖德扑选手,其背后核心思想即博弈论。Libratus基于传统的线性规划,通过虚拟遗憾最小化、残局解算器以及强化自我学习三个模块,对不完整信息进行综合处理分析。,1983年,Hopfield即有将神经网络用于解决运筹学中的经典问题,TSP(旅行商销售问题)。而如今,网约车平台“拼车”业务的路径优化问题,是TSP问题在新业务发展中的变化升级,也是机器学习与运筹学相遇的典型场景。,核心技术之机器学习人工智能、博弈论、运筹学等多领域思想交融博弈论、运筹学、控制论、信息论、仿真优化、多主体系统学习、群体智能、统计学以及遗传算法等许多领域也有关于机器学习的研究,如运筹学中的近似动态规划即对应强化学习,而在经济学和博弈论中,强化学习被用来解释在有限理性的条件下如何出现平衡。在实际问题的解决中,人工智能的方法如机器学习等,往往只是其中一环,问题的完整解决依赖于对博弈论、运筹学等多领域、跨学科的知识思想的融会贯通。博弈论、运筹学与人工智能的关系,24,参考资料:XXXX。,r , ,结构化的数据,实体抽取关系抽取属性抽取,数据整合,实体对齐,知识推理,本体构建,知识更新,质量评估,知识图谱,知识检索,核心技术之知识图谱知识图谱的概念及体系架构伴随Web技术的不断演进与发展,在先后经历文档互联和数据互联之后,人类正在迈向基于知识互联的新时代。知识互联的目标是构建一个人与机器都可理解的万维网,使得人们的网络更加智能化。旨在描述真实世界中存在的各种实体或概念的知识图谱,凭借其强大的语义处理能力与开放互联能力,可为万维网上的知识互联奠定扎实基础。知识图谱于2012年5月17日被Google正式提出,其前身可追溯至上世纪六十年代的Frame Network(Semantic Network)。知识图谱的一种通用表示方式为三元组,即 G = (E,R,S),其中 E = e1,e2eE 是知识库中的实体组合,R = r1,r2 R 是知识库中的关系组合,S E R E 代表知识库中的三元组集合。知识图谱的体系架构第三方数据库,半结构化的数据非结构化的数据,25,核心技术之知识图谱知识图谱的应用就覆盖范围而言,知识图谱可分为应用相对广泛的通用知识图谱和专属于某个特定领域的行业知识图谱。通用知识图谱注重广度,强调融合更多的实体,主要应用于智能搜索等领域。行业知识图谱需要考虑到不同的业务场景与使用人员,通常需要依靠特定行业(如金融、公安、医疗、电商等)的数据来构建,实体的属性与数据模式往往比较丰富。,参考资料:XX。,行业知识图谱的应用,通用知识图谱的应用,金融,组织相关的知识碎片,通过深入的语义分析与推理,可对信息内容的一致性充分验证,从而识别或提前发现欺诈行为;打造智能投研系统,为投资者提供标的发现、标的研究、行业分析、事件分析、报告生成等投资辅助服务。,医疗,对医疗领域的相关知识进行采集,整理和萃取,以满足与该领域相关的各种对于知识服务的需求;构建“知识图谱+推理逻辑”的医疗大脑,进行智能诊断。,公安,将公安中各类数据汇总融合成为人、事、地、物、组织等实体对象,并根据其中的属性联系、时空联系、语义联系、特征联系等建立相互的关系,形成一张包罗万象的公安专属情报知识图谱,可视化研判加复杂多维情报分析挖掘,让犯罪分子无处可逃。,智能搜索引擎主要以3种形式展现知识:集,智能搜索智能问答,成的语义数据,如搜索梵高,引擎将以知识卡片的形式给出梵高的详细生平,并配合以图片等信息;直接给出用户问题的答案,如当搜索姚明的身高是多少,搜索引擎的结果是“226 cm”;根据用户的查询给出推荐列表等。问答系统是信息检索系统的一种高级形式,能够以准确简洁的自然语言为用户提供问题的解答,如Siri等语音助手。当问答系统融入特定公司或领域的知识图谱时,即可成为智能客服系统。,26,来源:XX根据专家访谈、XX等研究绘制。,金融 市场 生产 项目管理和控制 后勤学和供应链人力资源配置 战略规划 IT 服务运营管理线性规划 非线性规划 动态规划 图与网络分析决策分析 存储论 排队论 随机模拟 对策论,果实:各领域应用分支:运筹学分支,核心技术之运筹学运筹学概述运筹学是一门用量化分析的方法做决策与优化的科学和艺术,它为管理决策提供智慧,并以自己的智慧解决管理决策问题。体现运筹学思想和方法的某些早期先驱性的研究工作,可以追溯到20世纪初期,如1908年丹麦工程师Erlang提出的电话话务理论(运筹学中排队论的起源)。运筹学是一门应用性很强的学科,在研究和解决各种复杂的实际问题中综合使用代数、统计学、计算机科学、模拟(仿真)等各种方法,不断得到创新和发展,至今已成为一个包括许多分支的庞大的学科。在大数据时代,数据科学结合运筹学尖端理论是实现数据驱动的科学决策的坚实基础。运筹学的内容,主干:最优化运筹学是一门决策和优化的科学和技术根系:基础科学,27,参考资料:XX.运筹学导论M.2010年5月出版。,核心技术之运筹学从军事到民用,优化各领域组织决策最早期的较为正式的运筹学活动出现在第二次世界大战时期,有一批英国的科学家着手研究利用科学方法进行决策,以最佳使用战时资源,当时的工作小组将自己的工作称为Operational Research(简称OR)。战后的工业复苏时期,运筹学思想被引入民用领域,用来应对组织中与日俱增的复杂性和专业化所产生的问题,大幅提升了生产力。虽然运筹学的大部分实践应用产生的效益小于下表所列案例,但这些典型反映了大型的计划完善的运筹学的研究可能带来的重要影响。运筹学的典型应用案例,