虚拟遗憾最小化应用于量化择时与交易.pdf

识别风险 ， 发现价值 请务必阅读末页的免责声明 1 / 25 金融工程 |专题报告 2017 年 7 月 6 日 证券研究报告 Table_Title 虚拟遗憾最小化 应用于量化择时与交易 交易性择时策略研究之 十 二 Table_Summary 报告摘要： 人工智能与量化投资 人工智能发展如火如荼，正在以一种前所未有的力量改变着我们生活的方方面面。本篇报告首先从投资规模、细分行业等角度回顾了近年来Fintech 的发展情况。将人工智能算法应用于投资策略当中，往往能够提供新颖、有效的思路，比如广为人知的深度学习算法。然而，深度学习仅是人工智能耀眼明星中的一颗，随后我们重点介绍了另外一种虚拟遗憾最小化算法，并将之用于量化择时投资策略。 虚拟遗憾最小化策略简介 2017 年 1 月， 人 工智能机器人 Libratus 在两人无限注的德州扑克中战胜了四位顶级人类职业德扑选手，又于 2017 年 4 月战胜李开复组建的 “龙之队 ”， Libratus 背后的一个核心算法就是虚拟遗憾最小化（ CFR）。 虚拟遗憾最小化能够给出决策点上每个可执行动作的概率 即博弈的策略，采用该策略可以使我们的收益最大、遗憾值最小。遗憾值是指对未采取的动作后悔程度的量化，所谓 “虚拟 ”的意思是将结局的遗憾值分解到之前的决策点中，通过反复迭代，使每个决策点的遗憾值最小，来达到最终收益最大化的目的。 虚拟遗憾最小化在量化择时中的应用 我们假设把 全市场 当做对手进行博弈，根据 指数 的历史数据（对手的历史动作序列），以日为时间尺度，用虚拟遗憾最小化预测下一个交易日指数上涨、下跌的概率，即执行做多、做空动作的概率，进而给出量化择时的多空信号。在实证中，本篇报告将虚拟遗憾最小化算法用于沪深 300 指数、上证指数、中证 500 指数、创业板指和中小板指，进行多空择时和纯做多择时，总体风险收益情况良好。在细节上需要注意的是，应根据不同指数波动率的差异，选择相应产生信号的阈值。 虚拟遗憾最小化在股指期货交易中的应用 将虚拟遗憾最小化用于日线的股指期货交易当中。沪深 300 指数作为沪深 300 股指期货的 跟踪 标的，它的变化会立即在股指期货当中得到反应。我们将沪深 300 股指的多空信号用于股指期货的 日频 交易中，结果表明零交易费用、双边万二交易费用和双边千一交易费用下，策略的年化收益率为 10.70%、 10.67%和 10.40%。 风险提示 本篇报告仅作为对将虚拟遗憾最小化算法用于量化择时的讨论，不提供任何投资建议。 图 1、 HS300 指数多空、纯多头择时 图 2、 IF 主力合约日频交易 Table_Author 分析师： 张 超 S0260514070002 020-87578291 zhangchaogf Tabl e_Report 相关研究： 深度学习之股指期货日内交易策略 2014-06-18 深度学习算法掘金 ALPHA 因子 2014-06-19 Fintech 改变金融 -海外市场 2016-07-18 Fintech 改变金融 -中国市场 2016-08-07 识别风险 ， 发现价值 请务必阅读末页的免责声明 2 / 25 金融工程 |专题报告 目录索引 一、人工智能与投资 . 4 （一） FINTECH的发展 . 4 （二）人工智能与投资策略 深度学习在投资策略中的应用 . 7 （三）棋牌博弈的 AI . 10 二、传统德州扑克 AI 算法：虚拟遗憾最小化 . 11 （一）虚拟遗憾最小化的思想和基本概念 . 11 （二）德州扑克 AI 算法：虚拟遗憾最小化 . 12 三、虚拟遗憾最小化算法在量化择时中的应用 . 14 （一）算法在量化择时中的应用 . 14 （二）不同股指的实证 . 16 四、虚拟遗憾最小化在股指期货低频交易中的 应用 . 23 五、总结 . 24 识别风险 ， 发现价值 请务必阅读末页的免责声明 3 / 25 金融工程 |专题报告 图表索引 图 1： 全球 Fintech 行业风投驱动的融资额和成交量 . 4 图 2： Fintech 在三大洲风投驱动下的融资额（单位：十亿美元） . 4 图 3：中国 2012 年 -2016 年金融科技领域投资总额和交易数量 . 5 图 4：国际银行巨头 2011-2016 年投资金融科技领域情况（投资笔数） . 5 图 5： 2016 年金融科技 TOP100 企业所在领域占比 . 6 图 6：深度学习的层级结构 . 8 图 7：深度学习之股指期货日内交易策略 . 9 图 8：基于深度学习的 Alpha 因子策略示意图。 . 9 图 9：两人无限注德州扑克的博弈树 . 13 图 10：虚拟遗憾最小化的算法框架 . 14 图 11：根据策略产生择时信号的过程 . 16 图 12： ()的频数分布直方图 . 17 图 13：样本内，虚拟遗憾最小化策略在沪深 300 指数多空、纯多择时收益 . 17 图 14：样本外，虚拟遗憾最小化策略在沪深 300 指数多空、纯多择时收益 . 18 图 15：样本外，虚拟遗憾最小化策略在上证指数多空、纯多择时收益 . 19 图 16：样本外，虚拟遗憾最小化策略在中证 500 指数多空、纯多择时收益 . 20 图 17：样本外，虚拟遗憾最小化策略在创业板指数多空、纯多择时收益 . 21 图 18：样本外，虚拟遗憾最小化策略在中小板指数多空、纯多择时收益 . 22 图 19： 虚拟遗憾最小化策略用于 IF 低频交易的 累积收益 率 . 23 表 1：金融科技公司 Top50 里中国公司情况 . 6 表 2：深度学习在科技领域的重大突破 . 7 表 3： 样本外，虚拟遗憾最小化策略在沪深 300 指数多空、纯做多择时结果 . 18 表 4： 样本外，虚拟遗憾最小化策略在上证指数多空、纯做多择时结果 . 19 表 5： 样本外，虚拟遗憾最小化策略在中证 500 指数多空、纯做多择时结果 . 20 表 6： 样本外，虚拟遗憾最小化策略在创业板指数多空、纯做多择时结果 . 21 表 7： 样本外，虚拟遗憾最小化策略在中小板指数多空、纯做多择时结果 . 22 表 8： 虚拟遗憾最小化策略在 IF 日频交易上的测算结果 . 23 识别风险 ， 发现价值 请务必阅读末页的免责声明 4 / 25 金融工程 |专题报告 一 、 人工智能与投资 （一） Fintech 的发展 Fintech Financial Technology是将科技运用在金融领域 。 使得金融服务更加高效的企业所构成的一个经济产业。 2008年金融危机之后，银行信贷体系的高风险与不透明性暴露无遗，传统金融行业面临更多的监管和资本金要求，相比而言Fintech企业无此顾虑，因此可以提供低成本、低风险、较透明、更便捷的金融服务。另外，随着社交网络的发展和大数据分析的广泛应用，金融科技产品受到千禧一代用户群体的热烈欢迎， Fintech便是在这样的环境下发展壮大。 2016年，全球 Fintech行业中风投驱动的融资总额为 127亿美元，涉及 836笔交易，较 2015年的高峰时期的146亿美元的风投融资总额和 848笔交易有所下降。花旗集团的一项研究报告表明，2016年至 2020年，金融科技初创公司的收益将上升 10倍，总收益将超过 1000亿美元 。 图 1： 全球 Fintech行业风投驱动的融资额和成交量 数据 来源： CB Insights、 广发证券发展研究中心 图 2： Fintech在三大洲风投驱动下的融资额（单位：十亿美元） 数据 来源： CB Insights、广发证券发展研究中心 25 3177146 127451572725848 8360306090120150180020040060080010002012 2013 2014 2015 2016风投驱动融资额（亿美元）风投驱动成交量02468101214162012 2013 2014 2015 2016北美 欧洲 亚洲识别风险 ， 发现价值 请务必阅读末页的免责声明 5 / 25 金融工程 |专题报告 从上图可以看出， 2014年之前， Fintech发展比较缓慢，主要由北美为主导；之后开始飞速发展，并且亚洲的份额占比逐年提升， 2016年已经接近北美。 2015年间，北美、欧洲、亚洲地区风投驱动下的融资额分别为 77亿美元、 14.8亿美元、 45亿美元； 2016年份额分别是 61亿美元、 12亿美元、 54亿美元。作为亚洲地区的第一经济体，中国成为亚洲金融科技飞速发展的 助推 剂 ，近两年来金融科技在国内大热，涌现了大批初创公司进入这个领域。 2015年和 2016年中国金融科技领域的投资额为 28亿美元和 46亿美元，同比增长 250%和 64%，保持快速增长，这也表明国内各大投资者纷纷看好 Fintech的发展前景。 图 3：中国 2012年 -2016年金融科技领域投资总额和交易数量 数据 来源： CB Insights、广发证券发展研究中 图 4：国际银行巨头 2011-2016年投资金融科技领域情况（投资笔数） 数据 来源： CB Insights、广发证券发展研究中心 在 Fintech的全球融资热潮中，可以看到传统银行也开始转型，从以前与 Fintech竞争到如今开始寻求与 Fintech公司合作。国际银行巨头们近几年来对 Fintech公司2 2 8 2846101844 42 4601020304050010203040502012 2013 2014 2015 2016投资额（亿美元）交易数量0510152025识别风险 ， 发现价值 请务必阅读末页的免责声明 6 / 25 金融工程 |专题报告 的投资不断增加，试图将金融科技与自身传统业务完成融合。花旗集团和高盛集团是当中最活跃的国际金融巨头，截止 2016年分别在金融科技领域进行了 21笔和 18笔风险投资。花旗集团的投资活动包括 2016年 1月向从事区块链的数字资产控股有限公司投资 6000万美元， 2015年 5月向开源金融数据服务公司 Visible Alpha投资 3000万美元；高盛集团的投资活动包括 2016年 6月向网络借贷公司 Better Mortgage投资 3000万美元， 2014年 11月向人工智能金融科技公司 Kensho投资 1500万美元等。 从 Fintech的热门业务方向来看，在国外主要发展于区块链、借贷、支付、智能投顾、众筹融资、个人理财等领域，而在国内主要发展于移动支付、 P2P、众筹融资、互联网理财与互联网保险等领域。根据 H2 Ventures公司与毕马威（ KPMG）公司发布的 2016金融科技 100强报告中的统计数据，这 Top100的金融科技公司在过去一年中吸引了 146亿美元的资金，其中从事借贷、支付、保险业务的公司分别有 32家、 18家和 12家，占据半壁江山。中国科技金融公司表现尤为亮眼，蚂蚁金服、趣店、陆金所、众安保险横扫 Top5中的四个 席位，京东金融、我来贷、融 360、品钛也强势挤入 50强，这 8家企业中有 6家的主要业务是借贷、 1家支付、 1家保险。 图 5： 2016年金融科技 TOP100企业所在领域占比 资料来源： H2 VENTURES、 KPMG、广发证券发展研究中心 表 1：金融科技公司 Top50 里中国公司情况 排名 公司 简介 1 蚂蚁金服 第三方支付平台，致力于创建开放生态系统；为小微企业和个人消费者提供金融服务。 2 趣店 学生小额贷款、分期付款和投资管理平台，为中国目前不使用信用卡的消费者提供金融服务。 4 陆金所 平安集团下互联网借贷和财富管理平台，目标是提供全球最全面的财富管理。 5 众安保险 互联网保险公司，应用移动互联网、云计算、大数据进行产品设计、自动理赔、市场定位分析和风险控制。 10 京东金融 主要业务：供应链金融，消费金融，众筹，财富管理，支付服务，保险和证券。 32%18%12%9%7%6%5%5% 3%借贷支付保险监管科技数据分析财富管理数字货币区块链资本市场众筹会计识别风险 ， 发现价值 请务必阅读末页的免责声明 7 / 25 金融工程 |专题报告 33 我来贷 致力于为消费者提供便宜、快捷、低风险的借钱方式，公司的风险管理技术结合机器学习、大数据技术和非结构化数据技术。 34 融 360 为用户提供便捷，有价格竞争力和可靠的金融信息服务。 39 品钛 利用大数据技术和其创新技术为消费者和小企业提供智能金融服务。 资料来源： H2 VENTURES、 KPMG、广发证券发展研究中心 在 Fintech的业务领域中，区块链和资本市场的高科技近几年也得到了高速的发展。区块链是一种分布式数据库，能应用于分布式结算，将对传统的清算部门造成重大的冲击；而资本市场的高科技包括了智能投资顾问与高科技数据分析平台，主要是将人工智能算法和大数据分析技术应用于金融市场，为个人或机构投资者提供投资建议、咨询服务或者资产管理，例如国外的 Betterment公司、 Weathfont公司、Kensho公司和 Dataminr公司等。 2017年 3月，全球最大资产管理公司之一的 BlackRock（贝莱德）宣布 300亿美元 资产重组计划，其中 60亿美元并入基于计算机和数学模型的量化投资基金。国际知名咨询公司 AT Kearney预测 2020年机器人投顾行业的资产管理规模将突破 2.2万亿美元。 （二） 人工智能与投资策略 深度学习在投资策略中的应用 2016年 3月， AlphaGo和李世石之间的围棋人机大战震惊了世界。人工智能轻而易举地在人类智慧的高地战胜了人类顶级棋手。这只是人工智能时代的一个缩影，近年来，拥有大数据支持的深度学习迅速发展，掀起了一股方兴未艾的研究和应用热潮。谷歌、微软、 IBM、百度等 IT巨头们纷纷厉兵秣马，在深 度学习领域投入人力物力。不负众望深度学习以一种前所未有的力量改变着我们的生活，创造一个个新的记录。 表 2：深度学习在科技领域的重大突破 语音识别 识别错误率相对降低 30%，是近 20 年来最大突破 图像识别 ImageNet评测上的错误率从以前方法的 26%提升到 15% 智能推荐系统 Netflix 视频推荐比赛最佳成绩 药物活性预测 比赛最佳成绩 自然语言处理 准确率提高到 85%，目前最好结果 网络广告点击率预测 目前最好结果 围棋 AlphaGo 打败人类顶级选手 翻译 Google 神经网络机器翻译系统水平接近人类翻译 德州扑克 DeepStack、 Libratus（冷扑 大师 ） 战胜人类职业选手 资料来源：互联网、广发证券发展研究中心 人工智能在金融领域也同样大展身手，据统计 2015年创建的对冲基金中 40%依赖于计算机模型做投资决策。可以看到，在金融市场每天会产生大量交易数据 单单 A股市场 考虑以秒为单位的高频数据，每个交易日就会产生两千多万个新的数据样识别风险 ， 发现价值 请务必阅读末页的免责声明 8 / 25 金融工程 |专题报告 本，如何从“数据海洋”中提取有用的信息，来帮助投资者获得超额收益 或绝对收益 ？随着计算机科学与技术的发展， 存 储成本的降低和计算速度的提高，深度学习或许是一柄利刃。 深度学习 模拟视觉系统中大脑皮层的 Hubel-Wiesel模型，采用一层层“抽象化”的方式来对数据或信号进行表达，类似于大脑皮层对图像的分辨。根据 Hubel-Wiesel模型，大脑皮层是分层次处理图像信息的：第一层是原始信号的摄入，即像素的摄入；第二层是初步处理，即确定物体图像的边缘和方向；第三层是抽象，即判定眼前物体的形状；第四层是进一步抽象，即大脑判定该图像是什么物体。深度学习模型也是先从原始信号中分离出低层 的特征，再从低层的特征中获取高一层的特征，然后获得更高一层的表达，最后在高层特征上建立起分类器，获得模型的预测输出。 图 6：深度学习的层级结构 资料来源：广发证券发展研究中心 西蒙斯的壁虎式投资理论告诉我们，投资时在短线内是可以进行方向性预测，捕捉到短期套利机会的，基于此我们曾经利用深度学习对大量的历史交易数据进行学习，开发了深度学习之股指期货日内交易策略以及深度学习算法掘金 Alhpa因子策略。这里我们简单介绍这两种策略，抛砖引玉，以窥人工智能中深度学习算法在投资策略中的应用。 在深度学习之股指期货日内交易策略中，我们首先使用深度学习模型对短期内股指 期货的涨跌进行预测，然后根据预测结果确定股指期货买卖的信号。 使用股指期货 1秒级高频数据，在模型中输入短期内股指期货的价格，以及价格的 变化范围，买卖盘价和委卖委买量等，深度学习网络的第一个隐层有 200个节点，第二个隐层有100个节点，输出层有 2个节点（输出 Score1和 Score2）。无监督学习的隐层训练迭代次数为 50次，有监督学习的迭代次数为 400次。当模型输出层的 Score1大于我们设定阈值时，意味对股指期货的预测是上涨，触发买进的信号；当输出层的 Score2小于我们设定的另一个阈值时，意味对股指期货的预测是下跌，触发卖空的信号。在实证训练样本完成后，模型高频预测的准确率超过 73%；根据此模型产生的多空信号，进行日内股指期货交易，取得 很好的年化收益率和最大回撤。 识别风险 ， 发现价值 请务必阅读末页的免责声明 9 / 25 金融工程 |专题报告 图 7：深度学习之股指期货日内交易策略 资料来源：广发证券发展研究中心 在深度学习算法掘金 Alpha因子的策略中 ,我们基于交易量价信息，建立深度学习预测模型，对股票未来的涨跌情况进行预测，并将预测结果作为因子， 期望 通过此 因子获得 Alpha收益。 深度学习的 Alpha因子挖掘的策略示意图如下，深度学习模型建立起当前时刻（ t时刻）与此前时刻市场数据 、一段时间后股票价格变化 之间的关系，即使用 t时刻信息 通过深度学习模型对此后的 进行预测，根据预测的 给出得分，得分可以作为 Alpha策略的因子。我们选择股票池为中证 800成分股，以周为预测周期和换仓周期，即在每天收盘的时刻进行预测，每次预测的对象都是该交易日之后第 5个交易日收盘时刻相对于当前收盘价的涨跌情况。根据一周后预测的得分，可以很方便快捷的建立起类似多因子选股模型的交易策略，基于此我们给出了单项做多策略、多空配对策略和资金等权重对冲策略。 图 8：基于深度学习的 Alpha因子策略示意图。 资料来源：广发证券发展研究中心 识别风险 ， 发现价值 请务必阅读末页的免责声明 10 / 25 金融工程 |专题报告 通过以上两个策略，我们验证了深度学习这一大数据时代的利器在价格预测上的有效性，关于这两个策略的详细介绍可参考之前发布的 研究报告 深度学习之股指期货日内交易策略 大数据深度学习系列之一和深度学习算法掘金 ALPHA因子 大数据深度学习系列之二。 事实上，深度学习只是人工智能众多耀眼明星中的一颗，随着人工智能技术的进步和发展，会有越来越多“智能”的算法可以用于投资策略的开发， 例如 本篇报告中将要展示的使用虚拟遗憾最小化的算法进行量化择时 。 如 BlackRock(贝莱德 )创始人及首席执行官近期所言：“信息的民主化使得主动性投资变得越来越难做。我们必须改变生态系统，更多地依赖大数据、人工智能、量化等手段”。 （三）棋牌博弈的 AI 围棋中的 AI 计算机与人类在棋类项目上的博弈可以直观地反映部分人工智能发展水平，早在 1996年和 1997年 IBM公司的“深蓝”计算机就曾两次对战国际象棋世界冠军卡斯帕罗夫，并都获得胜利。 棋类项目中 只有围棋 还坚守在人类智慧的高地，所谓千古不同局，棋盘上 361个格点可以演化出的棋局甚至比宇宙中的粒子数还多，复杂程度远超其他棋类，依靠“穷举法”攻占国际象棋的手段难以有效地作用在围棋上，因此许多人推断数十年内不会有人工智能机器人能够战胜人类顶级围棋选手。然而就在2015年 12月，谷歌 DeepMind公司研发的 AI围棋 AlphaGo首次亮相，便以 5:0的比分战胜人类职业选手欧洲围棋冠军樊麾。接着， 2016年 3月 AlphaGo迎战韩国九段、世界冠军李世石，在全世界的瞩目下， 4:1战胜李世石。 AlphaGo因其中一场失利 获得世界第四的排名。 事实上， AlphaGo的大脑主要是由两部分组成。第一部分是选择在什么位臵落子：AlphaGo首先通过“学习” 3000万级数量的人类棋谱，试图找出人类高手在面对某一棋局时要走的下一步是什么，此时还只是模仿单一落子；之后通过百万级额外的模拟局，将每一个模拟棋局下到底，利用“增强学习”，教会自己最可能下赢的一手。第二部分是价值网络，用来辅助决定落子的位臵选择：由于棋局之后的走法有很多种，计算机要模拟每一种情况需要大量的时间，为提高速度，价值网路会选择“最值得”走的情况进行模拟，这样会极大地提高下棋速度。 AlphaGo每天都这样自我学习，废寝忘食地虐待自己， 2016年 7月，世界职业围棋排名网站 GoRatings公布 AlphaGo以 3612分超越 3608分的柯洁成为新的世界第一。半年之后，进步神速的 AlphaGo化名“ Master”出现 在中韩围棋对弈网络，连续战胜包括中国围棋名将柯洁、聂卫平、古力、 韩国围棋冠军朴廷桓在内的顶级高手，获胜 60场无一败绩。同时 2.0版本的AlphaGo也随之问世，不同于之前版本“深度学习”已有棋谱得出围棋手数的估值，新版本的 AlphaGo利用之前优化过的估值函数，抛弃人类棋谱，从零开始，自 我对局并深度学习，以期能够更上一层楼。 德州扑克中的 AI 德州扑克是一项标志情商、智慧和勇气的牌类游戏，自 20世纪初诞生便风靡全