爱奇艺推荐中台探索与实践,自我介绍,毕业于上海交通大学计算机系，现任爱奇艺高级技术经理一职，爱奇艺推荐中台的总架 构师。在爱奇艺从事推荐引擎架构和开发工作，近几年专注于分布式高并发线上引擎的 架构，搭建了热点信息流、小视频信息流等推荐引擎。目前正在致力于爱奇艺推荐中台 的建设，旨在帮助公司内各业务团队能够以低成本、高效率、高产出的方式获取一套完 整的推荐服务及其周边配套设施，快速实现业务目标。,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,需求排期，堆积如山,推荐中台背景,业务方重复造轮子,推荐业务,小视频,热点,动漫,看点,推荐实体,竖屏小视频,横屏视频,图文,漫画,直播,推荐形式,个性化推荐,信息流推荐,相关推荐,主题推荐,推荐需求,入场规则,时效性,多样性,AB实验,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,推荐闭环,实体数仓,推荐池,算法,引擎,用户,行为数据,推荐中台整体架构,多端适配（APP/PC/H5/PAD/VR/TV）,爱奇艺 TO C 个性化用户触达系统,爱奇艺 TO C 短视频推荐触达系统,爱奇艺APP,PC,VR,TV,APP,泡泡,好多 纳豆,姜饼 无际,PPS,基础服务平台,审核平台,分布式在线机器 学习平台,用户数据 分析平台,通用AB TEST平台,标注平台,大数据存储 和服务平台,内容生产系统,爱奇艺号,PGC优质内容,优质卡段（人工，AI）,基础内容理解组件,基础用户画像,多路召回,爱奇艺推荐中台排序（粗排，精排、Rerank）,融合控制,特殊策略干预,通用推荐池平台,用户兴趣试探,保量系统,通用特征服务,新内容试探,推荐中台内部架构,内容 理解,分类体系,内容标签,深度特征,质量评估,推荐池,视频,图文,直播,漫画,轻小说,线上 引擎,用户兴趣,召回,过滤,粗排,精排,多样性控制,Workflow 配置平台,基本配置,模块配置,报表,效果总表,AB实验 报表,用户画像,静态画像,短期画像,中期画像,长期画像,召回模型,热门召回,相关召回,协同召回,向量召回,排序模型,LR,FM,GBDT,DNN,特征工程,Meta特征,统计特征,向量特征,环境特征,推荐中台内部架构：推荐池,长，短，小视频,智能特征库,非视频数据,爱奇艺号数据,自定义数据源,适配数据生产源,用户行为数据,数据校验,实时监控,辅助功能,漏斗分析,HA,snapshot文件,近实时Hbase表,去重mapping,推荐池数据服务,实时更新消息,推荐池通用逻辑层,通用元数据 转换,实体关联,通用去重,数据补偿/ 纠错,通用缓存,统一数据拓 扑/字典,推荐池运维服务,一站式workflow 配置平台,自动化部署toolkit,业务推荐池孵化器,规则引擎,准入/过滤/ 退场,业务去重,干预后台,推荐中台内部架构：内容理解,分类体系,内容标签,质量评估,内容风险评估,内容深度表示,通用内容 理解组件,文本理解,图像理解,多模态特征融合,视频理解,音频理解,内容理解 基础技术,产品标签体 系定制,业务线标准适配,产品用户群行 为适配,业务定制 化组件,内容理解 服务,在线服务,消息推送,智能特征库,推荐中台内部架构：特征工程,特征仓库,特征文件,实时特征 消息,特征查询,特征运维部署平台,一站式workflow配置平台,特征运维,特征校验,任务监控,服务降级,附加服务,HA,meta特征,统计特征,深度特征,特征数据,业务隔离,解析配置,数据规范,特征数据源接入平台,实时特征计算平台,实时统计 特征框架,实时特征归session特征 一化框架,实时meta 特征框架,用户行为实时ETL,细粒度延迟 监控告警,多机房互备（HA）,实时/离线规 范统一,流式ETL 处理框架,离线特征计算平台,数据转化统计特征 计算框架特征ID服务化,数据源解析meta特征 计算框架正排服务化,特征归一化外部特征 接入框架,推荐中台内部架构：算法,数据接入,数据格式规约,数据同步流程,样本处理流程,配置文件,排序,模型,线性模型,树模型,深度学习 模型,多目标模型 融合,监控,离线评估,产出校验,画像,数据监控,超时监控,覆盖监控,标签,标准化标签,计算,数据抽取,兴趣计算,数据清洗,兴趣衰减,兴趣合并,业务画像,静态兴趣,短期兴趣,中期兴趣,长期兴趣,标签扩展,基础画像,全站基础 画像,多模型融合新用户模版召回兴趣不足时的召回拓展,冷启试探,实体词&主题词召回分类召回语义Embedding模型,相关召回,Item协同过滤行为Embedding模型,协同召回,全局热门区分用户群的热门,热门召回,厌倦惩罚,召回配比,质量控制,召回策略,推荐中台内部架构：引擎,用户兴趣服务,兴趣获取,兴趣衰减,兴趣试探,负反馈过滤,兴趣冷冻,Root服务,人工干预,融合控制,定向运营,AB分流,保量系统,上线部署配置平台,UI,AB实验配置平台,一站式workflow配置平台,召回服务平台,向量召回服务,向量召回,倒排召回服务,标签召回,协同召回,附加服务,多语言,实时监控,智能降级,HA,回滚机制,服务发现,调用链,特征服务,离线特征,实时特征,特征填充,特征转换,引擎现场,模型服务,DNN,FM,GBDT,LR,粗排服务,单路粗排,多路粗排,多样性控制,多目标精排,多样性控制,模型Rerank,精排服务,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,问题一：推荐形式不同,个性化推荐,信息流推荐,相关推荐,主题推荐,解决方案一：统一接口,解决方案一：统一流程,用户画像,推荐历史,一级召回,一级排序,Rerank,是否个性化,是否信息流,二级召回,二级排序,Y,Y,N,N,Y,N是否主题模式,请 求,响应,解决方案一：召回仓库,热门召回,标签召回,协同召回,主题召回,地域召回,向量召回,协同过滤,Word2Vec,DSSM,解决方案一：模型仓库,Factorization Machines,Logistic Regression,GBDT,Wide & Deep,DeepFM,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,问题二：推荐实体不同,竖屏小视频,横屏视频,图文,漫画,直播,解决方案二：统一实体字段,解决方案二：推荐池合并,爱奇艺 小视频,好多 小视频,片段,VLOG,剧头条,影讯,奇秀直播,游戏直播,竖屏视频 公共池,横屏视频 公共池,图文公共 池,直播公共 池,视频公共 数据,图文公共 数据,直播公共 数据,中台业务,同类推荐池,公共层数据,解决方案二：通用特征,业务方提供特征,解决方案二：自定义特征,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,问题三：需求不同,入场规则,时效性,多样性,AB实验,业务方提供入场规则脚本,解决方案三：入场规则脚本,业务方提供LUA过滤脚本,解决方案三：引擎在线过滤插件,解决方案三：可配置化,配置平台,时效性配置,多样性配置,保量配置,运营配置,AB实验,报表系统,目录,推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果,提升30%以上,业务对接效果,未来展望,提升对接效率/自动化,提升推荐效果/算法优化,