扩展AI的公认概念：从试验变为工程原则.pdf

IBM 商业价值研究院专家洞察 扩展 AI的 公认概念 从试验变为工程原则 主题专家 Beth Rudden 杰出工程师，IBM Services 认知与 AI 首席数据科学家linkedin/in/brudden/ bruddenus.ibm Wouter Oosterbosch IBM Services 欧洲首席数据科学家， 全球高级分析能力中心 欧盟地区负责人 linkedin/in/wouteroosterbosch/ w.oosterboschnl.ibm Eva-Marie Muller-Stuler 博士 IBM Services 中东/非洲地区首席数据科学家， 高级分析与 AI 实践负责人 linkedin/in/dr-eva-marie-muller-stuler-02ab5946/ Eva-Marie.Muller-Stuleribm Beth Rudden 致力于通过合乎道德地使用数据，借助分析和赋能，推动人员和企业转型。她负责领导分散在不同地区的大型团队，共同开发认知分析解决方案，为 IBM 客户提供切实可行的洞察。Beth 获得过多项解决方案专利，开发的解决方案不仅可以深化洞察、加深客户理解，还能加快实施速度。另外，她在人类学、语言学和数据科学等领域的背景知识也对模型开发工作大有帮助，她借助这些模型，推动 IBM Services 员工队伍转型。 Wouter Oosterbosch 是经过正规培训的神经科学家，这也激发了他对人类与数据互动的浓厚兴趣。他是经验丰富的跨行业数据科学领导者，为处于各个 AI 实施阶段的企业提供帮助，为全球各种团队赋能：在杂乱无章、未形成文档的数据“丛林”中，为客户发掘切实可行、易于扩展而且值得信任的结果。 Muller-Stuler 博士负责领导大规模业务转型和全球众多数据科学与 AI 项目，在这个领域拥有超过 15 年的丰富经验。她率先面向政府以及顶层组织实施卓有成效的解决方案。Muller-Stuller 博士还是多家政府机构信任的顾问，帮助他们通过 AI 实施变革管理。 要点AI 采用率不断提升 过去四年，采用 AI 的企业数量增加了 65%；现在由于疫情冲击造成业务中断，因此相对于其他技术优先事项，AI 的采用呈持续加速之势。1 AI 离不开工程原则 企业必须全面采用 AI 以解决不断增加的问题 将 AI 植根于业务战略、创新活动和差异化竞争优势之中，将 AI 深度整合至不断发展的业务运营模式和工作流程之中。 AI 概念证明 (POC) 必须与时俱进 随着 AI 技术不断成熟，许多概念已经得到了证明，因而企业可以从早期试验推进到市场试点。 概念证明 (POC) 已完成历史使命人们对人工智能 (AI) 有着很深的误解。AI 要么被吹得天花乱坠，成为数字极乐世界；要么受到诋毁中伤，被视为末日威胁。然而，实事求是地说，这两种说法都站不住脚。 从根本上而言，AI 是一种用于增强人类能力和表现的方法，旨在改善人类（包括客户、员工、合作伙伴及其他利益相关方）的成果，增加企业的财务收益。因此，应将 AI 视为人类帮手，而不是取代人类的类人机器。 对于一些企业而言，AI 就是通过智能工作流程实现切实的增量成果（更高效的业务运营、更富有吸引力的客户体验以及更明智的决策），因此人类的聪明才智和同理心还是占据核心位置。而另一些企业则更欣赏 AI 的变革性本质，他们使用 AI 建立新的业务模式、探寻应对业务中断（如新冠病毒疫情）的新颖方法，以及显著提高业务流程绩效。 自 2016 年以来，IBM 商业价值研究院 (IBV) 每隔半年就开展一次调研，跟踪多项指标，结果表明 AI 的采用率不断提升。根据不同地区、不同行业和不同职能领域数以千计最高层业务主管的调研数据，我们认为受疫情影响，AI 的采用有适度加速的趋势： 积极采用 AI 的企业从四年前的 26% 增至 2020 年的 44%（与某些估计结果相比，这还是较为保守的观点）。2 疫情期间，84% 的企业表示对 AI 的关注度与以前差不多或高于以前的水平。3受疫情影响，近 1/3 的企业计划增加对 AI 的投资。4上述趋势与近期得出的其他估计结果一致。IDC 预测，2020 年全球 AI 支出将有所增长，四年内支出将翻一番5；而总体 IT 支出则会下降，二者形成鲜明对比。 1 “AI 和机器学习刚刚开始从成型阶段和炒作高峰期过渡到更实用高效的开发和运营期。”6风险投资公司 Andreessen Horowitz AI 的成功扩展是指项目从沙箱过渡到试点和最小可行产品 (MVP)，最终实现工业级商品化的整个 历程。但这个过程并非一路坦途，许多企业为此困扰不已。IBM 在 2018 年中期开展的一项调研发现：“企业深陷 AI 试点和概念证明阶段而无法自拔零敲碎打地在一些看似让人兴奋但却孤立的案例中应用” 其他许多市场观望家后来也确认了这一现实。7 即使是现在，90% 的企业仍难以在整个组织范围扩展 AI。因此，约有半数 AI 项目无疾而终也就不足为奇了。8 诚然，AI 是一项复杂的多领域业务和技术创新，包含多个互连而且不断变化的层面。任何一个方面都无法仅凭一己之力就确保将 AI 项目成功投入商业使用。没有灵丹妙药，没有万能秘诀。 普通的“变革管理”恐怕难以奏效。符合业务战略的“镇痛良方” 也不行。哪怕久经考验的“流程改进”甚至更前卫的“敏捷方法” 也不足以解决问题 无论整理多少西格码和意大利面条图或 组织数次讨论和冲刺活动都无济于事。 真正需要的是实质性地改变 AI 的角色：过去，人们将 AI 视为最新技术魔法的化身而敬而远之，而现在，必须将其作为战略能力融入到整个企业之中。从概念证明转变为证据点。 企业亟需停止匆忙实施的数据科学试验，开始全面周密地采用 AI 技术 将 AI 植根于业务战略、创新活动和差异化竞争优势之中；深度整合至不断发展的业务运营模式和工作流程、组织架构和治理机制、数据架构和基础架构乃至文化价值观和道德规范之中。 2 为推进这项工作，企业首先必须将 AI 视为一项原则 具备强大而健全的工程和道德规范、严格的运营和治理机制，以及强调实践重于理论的适应性方法。现在，已有许多工具可以帮助实现这一目标。另外，企业还必须更加重视科学创新 借助研发能力持续探索科技前沿，从竞争中脱颖而出。 当然，前进之路不可能一帆风顺。有些项目在早期取得成功，但最后证明不适合人类采用。AI 试点和 MVP 还是可以带来价值：有时仍要避免太过奢求完美。但是，在明确设计和扩展商业化引擎的过程中，还是需要开发和启动 beta 测试。 否则，企业很可能陷入永无止境的试验循环，不断尝试却永远没有结果。 认真对待 AI 工程和运营 对处于 AI 采用早期阶段的企业而言，将 AI 作为原则的紧迫感或许并不明显。但是，要充分实现 AI 的价值，AI 必须具备和企业的其他成熟领域同等的沟通程度、组织架构和严格管理。 通常，模型开发工作在数据科学家的笔记本电脑上完成，统筹任务则使用自定义代码和脚本人工临时实施。这与敏捷 DevOps 最佳实践出现之前的传统应用开发模式别无二样。 最终结果是，数据团队（科学家、工程师及其他人员）被迫沿用低效的工作方式。他们承受繁重的人工任务，比如将机器学习 (ML) 模型移交给开发人员，以便最终在后者开发的应用中运行。这不仅无法保证同步使用 ML 模型与应用，还会妨碍两者使用相同的 DevOps 流程。这会减缓基于 ML 应用的交付速度，降低 AI 投资的业务回报。 愿景 随时随地采用 AI 关键时刻 试验未带来业务价值 尝试/失败循环 全力投入数据科学试验 激励事件 获取 AI/数据科学人才 尝试/成功循环 重塑技能/组建协作团队， 从 MVP 开始 重新调整方法 专注于数据用户，将工程原则融入数据科学 灵魂的暗夜 回归行之有效的方法 AI 计划在投入生产环境之前夭折的另一个原因在于，项目往往形成孤岛，开发人员与利益相关方之间脱节。倘若不明确特定数据的拥有者和控制者，问题势必会进一步加剧。此外，某些 AI 团队相对较新，角色和职责仍不明确，上下级关系“纷繁复杂”，甚至在同一部门内也会采用各种不同的工具。 图 1 AI：从希望到现实 来源：IBM 分析 哪怕是成熟团队，也要与不同的群体和利益相关方进行互动。而要实现清晰精准的沟通无疑非常困难。 图 1 展示了非常典型的企业 AI 计划的轨迹，或许揭示出根据多年经验和观察所产生的一些怀疑。但我们认为，采用更为结构化方法可在很大程度上避免低谷期。 愿景实现 随时随地采用 AI，只要 AI 可以带来价值 3 Red Hat：借助开源概念在软件中应用 AI 与所有典型的科技公司一样，Red Hat 很早就对 AI 和 ML 表现出极大的兴趣，积极探索如何将这些技术应用于自己的产品和服务，为客户带来切实收益。 但大约四年前，一切都变了。从那时起，Red Hat 开始重点研究如何将 AI 融入自己更广泛的产品组合，确保实现互操作性，满足客户在容器和 Kubernetes 中运行 AI 和 ML 工作负载的不断增长的需求。 Red Hat 加大了在自己的平台上运行 AI 的力度，为 Open Data Hub 打下坚实基础。Open Data Hub 是依托 AI 工程原则的元项目，将开源项目整合至实际解决方案之中，并由 AI 生态系统合作伙伴加以补充。开源社区可试验并开发智能应用，既可避免高昂的成本，又能解决现代 ML 和 AI 软件组合所带来的复杂性。 为搭建业务架构和推行战略，Red Hat 成立了 AI 人才中心 (CoE)。该组织经过扩充后，新成立了“早期部署工程团队”，动员顶级数据科学家通过服务互动模型，为客户提供创新成果和可观价值。随着工作的深入，他们增加了工程原则。运用 DevOps 和敏捷方法强化并规范企业的 AI 开发方法。 目前，Red Hat 通过“开放创新实验室”与客户合作开展 AI/ML 项目，采用最先进的开源技术。9例如： AI CoE 帮助某汽车行业客户开发了一个平台，凭借可扩展的 ML 和大数据处理能力，更快速、更准确地进行驾驶模拟和数据分析。他们在短短三个月内就完成了平台配置和创建。10 AI CoE 为某医疗保健行业客户打造了一个预测和治疗优化平台，实时收集和分析临床数据并提醒看护者启动早期护理。11Red Hat 的经历表明，开源技术依托结构化的 AI 方法获得了新生。 敏捷 DevOps + 自动化 ITOps + 机器学习 Ops = AIOps 我们将这种建立严谨体系的方法称为“AI 工程和运营” 共有四个高层级的重点领域，以及许多基本原则、流程和工具，用于指导 AI 计划大规模投入生产运营（见图 2）。 即使企业具备先进的数据科学和分析能力，而且部署了成熟的软件工程方法，但在融合不同类型的开发周期的过程中， AI 工程和运营可能仍需要创建新的职位（如 ML 工程师和 AI 运营专员）。以动态反馈循环为特色的解决方设计方法更为细致，打破开发环境与生产环境的边界，这可能会挑战传统架构师的“舒适区”，因为他们习惯为了实现系统强健而不惜一切代价。 许多企业使用 De vOps 及其他软件工程方法缩短了开发周期、改善了协作水平、提高了运营效率并且增强了部署有效性；与之相似，AI 工程和运营可以进一步扩大这些经过验证的收益（请参阅侧边栏“Red Hat：借助开源概念在软件中应用 AI。”) 这种方法有助于建立重点明确的环境，以结构化方法引导项目从开发到生产的整个过程，最终实现商业效益。 图 2 AI 工程和运营 设计专为改善易用性而设计的人与 AI 互动体验，配备标准工具集和方法，旨在提高 AI 项目实现价值的速度和质量标准。 部署自动执行部署工作的框架，旨在提升效率和可审计性。 监控技术和质量关键绩效指标 (KPI) 和流程，定期进行衡量和对标。 嵌入用于检查模型中偏见的方法、AI 模型用于直观呈现决策的工具以及更广泛的企业道德准则 来源：IBM 分析 4 美国网球公开赛： Open questions ？大放异彩 受新冠病毒疫情的影响，今年的美国网球公开赛与众多其他体育赛事一样，难以再现座无虚席的盛况 6 月中旬美国网球协会 (USTA) 做出了禁止现场观赛的艰难决定。但在 AI 及其他一些领先技术的帮助下，球迷可以通过一些新的途径享受网球体验。13例如，球迷可通过一种名为“Open Questions”的在线应用参与各种网球话题的辩论，发表个人看法和观点。对于一些热门主题，例如史上最佳球员和最精彩的对决，这个应用采用 NLP 分析数百万个数据源，提出有关赞成/反对的论点。球迷分享个人观点，参与辩论。142020 年夏末，美国网球公开赛在纽约市如约而至，球迷们每天都可以针对主题发表观点，这些意见都汇总到数据库中。计算机的 AI 功能每天根据更新的数据，围绕各个主题生成新的内容，持续进行更深刻、更有意义的辩论。 此外，他们还推出了另一个项目：球迷可以使用基于 AI 的“速查表”，深入了解每一场赛事。Match Insights 使用 NLP 技术分析数百万个非结构化数据源，例如文章、博客和专家意见。它从海量数据中提取关键洞察，将其转换为简短的叙述，帮助球迷在赛前掌握相关资讯。15此类比较分析以自然语言的形式呈现，真正做到了统计人员和普通球迷咸宜。 球迷普遍希望明年可以前往赛场观赛，一睹心中偶像的风采，为他们加油鼓气。在球迷安全重返赛场前后，NLP 都在努力增强他们的观赛体验。 5 利用 NLP 和语义实现创新 许多企业将 ML 和深度学习整合到业务运营之中，但通常情况下仍单纯依靠结构化数据生成模型和算法。这些企业指出，如何发掘深藏在非结构化数据中的知识，是信息利用领域所面临的最大挑战之一。 现在，他们有了更好的选择。使用高级自然语言处理 (NLP) 能力为 AI 模型扩充非结构化数据也许并非易事，但却可以帮助提供人类语境，展现人类查看和使用数据的方式。换言之，它可以发挥人类语言的威力。随着这些能力的整合程度越来越深入，目前 AI 包含两个（而不是一个）共生学习循环：一个是用于数据整合的基于语义的学习循环，一个是用于 ML 的基于统计的学习循环。 在 2020 年美国网球公开赛中，NLP 和语义技术推出了一项大受欢迎的改进，有效改善了远程环境球迷的体验（请参阅侧边栏“美国网球公开赛：Open questions？大放异彩”）。 语义技术和 NLP 还可提供必要的沿袭和溯源功能，支持开发人员验证 AI 系统是否理解人们的书面和口头表达。在任何情况下，若要打造更智能的工作流程，选用适当的工具和算法始终是最重要的一点。12 洞察：AI 道德规范 人们总是依据适当的行为标准做出关键判断 特别是直接关乎他人生命和幸福的重大决策。不过，有关 AI 的道德参数仍不明确，模糊不清；在某些情况下，AI 因为道德因素而被搁置。 IBM 商业价值研究院 (IBV) 开展的一项调研表明，在受访的 1,250 位最高层主管中，有超过半数认为 AI 可以切实改善企业的道德决策。此外，大多数受访高管表示可以利用 AI 推进社会公益事业，而不仅限于营造良好的商业环境。几乎所有目前采用 AI 的受访高管均表示，正式考虑将道德规范体现在 AI 计划中。16但是，首先必须建立合适的道德框架。 尽管大多数科技企业已发布自己的准则，但一些企业明确支持欧盟委员会高级专家组颁布的指南。这些准则围绕七项要求定义了以人为本的“可信”AI 方法（见图 3）。 调研结果还表明，亟需在企业层面加强 AI 道德问题教育，邀请企业员工参与解决 AI 道德问题。在众多公私领域合作伙伴（包括 IBM）的共同努力下，世界经济论坛开发了 AI Board Toolkit，这是一个很好的开端。 从 AI 角度而言，并非所有重任均需由相关人员承担。企业可以部署高效工具和基础架构，持续监控 AI 系统以确保其可信，避免潜在的道德问题。 然而，单纯推行企业教育、专业标准和有效工具还不够。在权衡个人隐私与商业价值、监管与创新、透明度与竞争优势的过程中，面临很多重大问题。为此，在做出权衡时，务必本着周全与协作的态度开展讨论。 分析利害关系的重要意义或许丝毫不亚于整体反思社会契约。 切实构建 AI 能力 如果企业希望切实发挥 AI 在生产领域的巨大潜力，首先需要更周密、更全面的方法，将 AI 工程和运营原则放在核心位置。如果企业已准备好采用 AI 实施创新，培养强大的 NLP/语义能力，那么接下来可通过 AI 加强人类理解能力。 如果不采用这种方法，很可能导致数据科学家与运营团队之间的鸿沟进一步扩大。此外，如果不采用强有力的运营规程加以监管，ML 项目就很可能无法更进一步，终成镜花水月。 因此，绝对不能忽视打造 AI、使用 AI 和从中收益的所有人员。我们需要有胆识、有魄力的领导者，这样才能明确 AI 发展愿景并确保其合乎道德准则（请参阅侧边栏“洞察：AI 道德规范”）。我们需要富有灵感的设计师，以确保人类与 AI 的关系及其运行环境持续健康发展。我们需要思维严谨的工程师，透过成果增进信心和信任。 务必牢记，与 AI 互动的人员可能是任何项目团队中最重要的成员。最后，他们的责任是营造实际（而不仅仅是理想）的个人体验，建立智能工作流程，通过合作做出决策，以及创造切实的业务价值。 图 3 可信 AI 的七个关键要求 人的能动性和监督 技术健全性和安全性 隐私和数据治理 透明度 多样性、非歧视性和公平性 社会和环境福祉 问责机制 来源：欧盟委员会 AI 高级专家组：“可信人工智能的道德准则。” 6 行动指南 AI 工程和运营 尽管让 AI 走出实验室并全面投入生产环境绝非易事，但我们确定了一些关键行动供企业参考，以期加快扩展 AI 的步伐。 首先，我们针对资历较浅的 AI 采用者（处在考虑/评估和试点 AI 阶段的企业）提出了以下一些主要实践： 开始行动 开发工作通常可分成“小块”并行完成。与此同时，了解自己拥有的数据、数据存储位置以及管理者，这有助于增强对 AI 结果的信心。在实施 AI 的过程中，一开始不一定需要部署大规模的数据治理项目以整理和清理数据。 从小规模入手，但在设计中考虑到扩展 采取 MVP 方法，为扩展奠定基础。根据业务影响、复杂性和风险划分初始项目的优先级。在此基础上，逐步扩展项目。根据影响和可行性制定路线图，并严格执行。如果试点未成功，不妨接受结果，将其作为学习过程，继续前进。不要指望每一个项目都能全面投入生产环境。混合多云环境利用多种来源的数据实现扩展。 采用工程原则 如果已采用 DevOps 或其他软件工程方法，则组建小型团队，将这些技能和流程传授给 AI 项目。调整这些策略和流程，以适应 AI 环境的细微差别。 制定成功衡量标准 只要值得做，就值得衡量。必须根据关键成功因素和重大风险确定指标。同时，还要保证开放透明，以使相关内部团队能够审查进度。反馈循环应当为新设计和新开发提供输入。在 AI 领域，失败是一个选项，只要企业可以从这些建设性的失败中汲取经验教训就可以了。 任命强有力的领导团队 确认所有 AI 项目均有助于实施战略议程，而且设计时应充分考量客户以及其他利益相关方。AI 应定期接受偏见和透明度测试，确保输出结果合乎道德并且公平公正。领导者还应负责培养或获取企业必要的 AI 技能，开展相关培训工作。 接下来，我们针对资历较深的 AI 采用者（处在实施、运行和优化 AI 阶段的企业）提出了以下一些主要实践： 制定 AI 行动手册 行动手册应是动态文档，根据成功和失败经验以及 KPI 列明工作清单和工程原则。创建在设计中心和数据中心交汇点运行所需的架构和团队结构。 持续记录和改进 必须深刻认识到，部署 AI 模型不是唯一的目标，也不意味着项目的终结。为扩展 AI，在模型投入生产环境后，仍需继续评估并不断改进。如果模型无法重复运行，则意味着不可靠 而文档记录是实现可重复性的重要保证。 监控模型 持续监控 AI 模型的可解释性、公平性和强健性。开发检测算法（道德“机器人”），作为搜索无意偏见及其他问题的虚拟“显微镜”。 大规模创新 采用并整合深入而强大的 NLP 能力，以及符合独特用例的其他前瞻性 AI 要素，从而明显提升业务价值。整合各种内部和外部数据源。采取 AI 初创企业的思维模式。考虑分配部分资源，探索前沿技术。 与生态系统合作伙伴合作 考虑与其他企业开展合作，共同制定和/或影响相关标准，提高透明度并增进信任。与学术机构、智库、初创企业以及其他值得信赖的第三方开展合作。 7 备注和参考资料 1 Unpublished data from IBM Institute for Value survey on AI Value (n=6700 C-level business executives in major industries, functional areas, and geographies). 2 Ibid; Ammanath, Breena, David Jarvis, and Susan Hupfer. “Thriving in the era of pervasive AI.” Deloitte. 2020. 2.deloitte/xe/en/insights/focus/cognitive-technologies/state-of-ai-and-intelligent-automation-in-business-survey2.html 3 Unpublished data from IBM Institute for Value survey on AI Value (n=2765 C-level business executives in major industries, functional areas, and geographies). 4 Ibid. 5 “Worldwide Spending on Artificial Intelligence Is Expected to Double in Four Years, Reaching $110 Billion in 2024, According to New IDC Spending Guide.” IDC. September 25, 2020. idc/getdoc.jsp?containerId=prUS46794720 6 Casado, Martin and Matt Bornstein. “Taming the Tail: Adventures in Improving AI Economics.” Andreessen Horowitz. August 12, 2020. a16z/2020/08/12/taming-the-tail-adventures-in-improving-ai-economics 7 Christopher, Elena, Glenn Finch, Brian C. Goehring, Cathy Reese, Thomas Reuner, and Yashih Wu. “Artificial intelligence: The killer app for data.” HFS Research and IBM Institute for Business Value. July 2018 / February 2019. ibm/thought-leadership/institute-business-value/report/killerappdata#; Brenna, Francesco, Giorgio Danesi, Glenn Finch, Brian C. Goehring, and Manish Goyal. “Shifting toward Enterprise-grade AI: Confronting skills and data challenges to realize value.” IBM Institute for Business Value. September 2018. ibm/thought-leadership/institute-business-value/report/enterpriseai; Awalegaonkar, Ketan, Robert Berkey, Greg Douglass, and Athena Reilly. “AI: BUILT TO SCALE.” Accenture. November 14, 2019. accenture/us-en/insights/artificial-intelligence/ai-investments; Justice, Cliff, Todd Lohr, Martin Sokalsi, Vinodh Swaminathan, Matt Fish, Brad Fisher, and Traci Gusher. “AI transforming the enterprise: 8 key AI adoption trends.” KPMG. 2019. advisory.kpmg.us/content/dam/advisory/en/pdfs/2019/8-ai-trends-transforming-the-enterprise.pdf 8 8 Linthwaite, Rachel. “Overcome Obstacles To Get To AI At Scale.” Forrester. January 2020. ibm/downloads/cas/VBMPEQLN; “IDC Survey Finds Artificial Intelligence to be a Priority for Organizations But Few Have Implemented an Enterprise-Wide Strategy.” IDC. July 08, 2019.idc/getdoc.jsp?containerId=prUS45344519 9 “Red Hat Services Solution: Open AI/ML Platform.” Red Hat Datasheet. 2020. redhat/cms/managed-files/co-services-open-ai-platform-datasheet-f21162pr-202002-en.pdf 10 “Global automotive group races to automated driving with data platform.” Red Hat. Accessed August 30, 2020. redhat/en/success-stories/bmwgroup 11 “HCA Healthcare uses innovative data platform to save lives.” Red Hat. Accessed August 30, 2020. redhat/en/success-stories/hca-healthcare 12 “Building the Cognitive Enterprise: Nine Action Areas.” IBM Institute for Business Value. May 2020. ibm/thought-leadership/institute-business-value/report/build-cognitive-enterprise# 13 Baughman, Aaron, Gray Cannon, Micah Forster, and Nick Wilkin. “At the US Open: Machine writing and discovery with Watson.” IBM. August 28, 2020. developer.ibm/components/watson-discovery/articles/at-the-us-open-machine-writing-and-discovery-with-watson/ 14 “USTA to try to Bring Fans to US Open Virtually along with the US Open Experience into Fans Homes.” Tennis Panorama. August 28, 2020. tennispanorama/archives/70866 15 Ibid. 16 Goehring, Brian, Francesca Rossi, and David Zaharchuk. “Advancing AI ethics beyond compliance: From principles to practice.” IBM Institute for Business Value, April 2020. ibm/thought-leadership/institute-business-value/report/ai-ethics#