2020-2021国内互联网异常 流量 研究报告 摘要 基于国双 全年监测的互联网广告数据， 2020年全年 异常流量均值为 29.4%， GIVT占比均值为 2.7%，较前几年异常流量总体 呈现明显下降趋势。 0 1 背景介绍 国内外广告市场现状 根据 WARC Gload Ad Trends: State of The Industy 2020/21 显示， 2020年全球广告支出预计下降 10.2%至 5573亿美元，下降约 34亿美元，网络广告也在 2020年首次停止增长， 2020年网络广告 6 市场支出约占全球广告支出的 54.4%，略微下降 0.3%，总额为 3033 亿美元。 2020年全球广告业支出与 2019年相比减少 11% （约为 680 亿美元）。 2020年在全球经济衰退的大背景下，国内媒体的广告收入下降 6%，这是 MAGNA广告支出记录以来的首次下降，国内广告支出总 额将回落至 5180亿人民币。国内的数字广告销售收入同比仍保持 平稳，并推动广告收入的增长。其中，数字广告支出达 3570亿人民 币，占广告总支出的 69%。 3 0 1 背景介绍 国内异常流量反作弊现状 2020年 5月 13日，最高人民法院举行新闻发布会，发布了人民法院大力弘扬社会主义核心价值观的十大典型民事案例，其中 “ 暗刷流 量 ” 合同无效案入选。该案是全国首例涉及 “ 暗刷流量 ” 虚增网站点击量的案件。网络产品的真实流量能够反映出网络产品的受欢迎程度及 质量优劣程度，流量成为网络用户选择网络产品的重要因素。 而 “ 暗刷流量 ” 的行为违反商业道德，违背诚实信用原则，对行业正常经营 秩序以及消费者的合法权益均构成侵害，有损社会公共利益。 该案对 “ 暗刷流量 ” 交易行为的效力予以否定性评价，并给予妥当的制裁和 惩戒，对治理互联网领域内的乱象有积极推动作用。 当下，行业内各方都在积极对抗异常流量，为净化互联网广告环境而努力。作为独立的第三方监测公司、国内广告反欺诈的先行 者，国双有责任与义务为广告主和整个行业监测并识别出作弊行为和异常流量。同时，作为中国广告协会理事单位、 中国广告协会互联 网广告委员会常务委员单位，国双从 2017 年起就与行业协会、同行者一起推动异常流量监测的标准化和规范化，促进行业的健康发展。 此次，在中国广告协会的指导下，国双连续第四年制作并发布了国内互联网广告异常流量白皮书，旨在揭示国内的互联网广告 流量现状，为广告主、代理公司等行业参与者提供直观的数据参考，同时展示国双多年来不断完善的异常流量监测方案。 4 0 2 异常流量行业动态 DIF中广协异常流量工作组动态 Distributed Invalid Traffic Filter（分布式异常流量过滤器），简称 DIF联盟链， 是由中国广告协会统筹指导，中国无线营销联盟（ MMA中国）发起，由各广告科 技企业进行技术落地研发的开放源代码项目，为解决互联网广告流量痛点开辟了 全新的道路。成员可提交广告活动中，依据中华人民共和国互动广告：投放监 测及验证要求国标中一般异常流量标准，识别出来的 IP和移动装置等数据。 成员亦可对自认为被误判的数据提出申诉，申诉结果通过链上投票的方式进 行处理。具有媒体属性的成员，也可认领被误报的媒体服务器 iP。统一的数据考察 和应用期，成员可利用自己的客户端从 DIF区块链上下载最新版 GIVT数据，应用在 广告系统的生产功能中。 DIF将按照联盟规章制度，透明、公正、自动地合并处理 各成员提交的数据。 代码即法律，利用区块链的技术特性实现共识。国双作为 DIF核心成员，通过 真实广告投放环境异常流量监测，洞察 IP和移动装置等黑产链数据，并在每月积极 上传 DIF，为行业提供有效反作弊保护。 5 0 2 异常流量行业动态 互联网广告技术实验室动态 2021年，互联网广告技术实验室将加大移动互联网广告标准体系研究，梳理国际 互联网广告组织、标准化情况，提出国内互联网广告标准化体系规划，并推出互联网 广告异常流量审计技术要求，全面净化国内广告环境。 国双作为中国广告协会核心成员，信通院标准小组成员，积极参与互联网广告技 术实验室相关工作，积极推动中国异常流量识别，打击行业广告流量数据造假活动。 中国信通院与中国广告协会联合创建 互联网广告技术实验室，致力于打击互联 网广告数据造假和作弊行为，营造透明真 实的广告经营环境，建设互联网广告绿色 生态环境，促进互联网产业的科学发展。 6 0 2 异常流量行业动态 TAG异常流量审计动态 TAG（ The Trustworthy Accountability Group）作为一家自律组织，于 2014年由美国广告业组织、互动广告局（ IAB）、美国全国广告主 协会（ ANA）和美国广告代理协会 (4As) 共同创办。参与企业共同创建消除流量作弊、反广告恶意软件等四项自律标准，每项标准都有一个市 场交易印章，企业可以向合作伙伴、客户和竞争对手展示，以证明其坚持使用高标准来应对市场挑战。 CAF，即消除流量作弊项目，致力于提 供一种有效打击数字广告供应链中异常流量的方法来帮助企业打击异常流量犯罪。国双在积极准备 MRC审计认证之余，已正式开展 TAG消除流 量作弊 CAF项目认证，严格按照国内外行业审计标准，帮助广告行业减少因异常流量带来的损失。 7 0 2 异常流量行业动态 互联网设备标识动态及影响 随着全球用户隐私安全问题的不断发酵， 2018年 4月，谷歌发布 DCM（ DoubleClick Campaign Manager）不再提供日志级别带有用 户 ID的数据回传，仅提供广告曝光与点击数据报告。 2020年 6月，苹果官方宣布 IOS14隐私新规，未来将不再回传 IDFA用户标识。互联网 设备标识已呈现紧缩趋势，未来是否更多的设备标识不再回传，则需看情况而定。设备标识的回传问题，将极大影响整个广告产业，尤 其对于移动营销市场而言，这无疑是一个巨大的变化。 鉴于当今的移动再营销，排除定位，受众群体细分，同龄受众和其他功能在很大 程度上依赖于设备标识，因此设备标识的开放与否将对通过移动广告获利和用户获取带来巨大的负面影响。 2021年，中广协 &信通院旗下 的 CDA互联网广告技术实验室工作规划中提到，推出 CAID技术开发与产业对接等工作， CAID将作为行业通用的互联网广告设备标识，用 于解决未来设备标识不回传等问题。国双积极参与 CAID的推广与应用，且与各头部媒体协定统一的用户设备标识，并与头部媒体共建 Datahub来积极应对互联网设备标识不回传所带来的影响。 0 3 2020年异常流量分析 异常流量标准 总体标准 本报告中涉及的异常流量，参考了 MRC、 IAB、 TAG等国际标准，国内权威组织（中国广告协会组织、 MMA中国等）制定的国家 标准和团体标准，以及中国无线营销联盟对异常流量的定义和分类。根据相关标准异常流量被分为两大类，即 GIVT和 SIVT。 一般异常流量 GIVT是 General Invalid Traffic的缩写，即常规异常流量，是指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量。 复杂异常流量 SIVT是 Sophisticated Invalid Traffic的缩写，即复杂异常流量，该类型的流量无法通过简单的规则进行识别，需要通过一系列高 级分析，甚至人工参与，经过多方合作与协调等方式，才能进行分析与识别。 9 0 3 2020年异常流量分析 2020年全年整体分析 2 020年互联网广告异常曝光占比 29.4%，较 2019年 降低了 2.8%。异常点击占比降低明显，从 33.8%降低至 25.7%。这源于广告行 业愈加规范，各利益方对于无效流量给予高度重视。国双认为，异常流量丰富的甄别规则，有效规范了广告行业，促进了行业健康发展。 2 017-2020年异常流量对比分析 3 3.9% 3.2% 33.8% 3 0.9% 2.6% 异常曝光 异常点击 2 9.4% 3 2.2% 2 2 2 5.7% 2017 2018 2019 2020 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 10 0 3 2020年异常流量分析 2020年分季度趋势分析 异常曝光在第二季度、第四季度相对较高，而异常点击则呈现缓慢上升趋势，第四季度出现峰值。 2 020年分季度曝光 /点击异常占比趋势 异常曝光 异常点击 3 2 3.1% 8.1% 3 0.5% 2 9.3% 6.4% 2 6.2% 3.6% 2 2 5.2% 2 第一季度 第二季度 第三季度 第四季度 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 11 0 3 2020年异常流量分析 2020年分月度趋势分析 2020年异常报告与异常点击波动较为平稳，整体趋势上，呈现递增，且在 10月、 11月和 12月上升较为明显。国双认为，双 11、 双 12的流量增多与这一趋势有较大的相关性。 2 020年分月度趋势分析 3 3.2% 异常曝光 异常点击 3 2.8% 3 1.5% 7.9% 3 1.1% 3 0.4% 6.4% 30.3% 9.3% 2 9.9% 5.8% 2 8.5% 3.7% 2 7.8% 2.6% 27.6% 25.2% 2 6.6% 5.5% 31.8% 2 5.3% 4.3% 2 2 27.4% 2 26.1% 2 2 2 2 2 1月份 2月份 3月份 4月份 5月份 6月份 7月份 8月份 9月份 10月份 11月份 12月份 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 12 0 3 2020年异常流量分析 异常流量数据分析 - 分媒体类型 -异常曝光 四大媒体类型的异常曝光，整体均有降低，其中视频媒体波动较大。 2 017-2020年分媒体类型异常曝光占比 38.8% 36.9% 36.3% 36.1% 35.1% 33.5% 33.2% 32.5% 32.6% 31.8% 29.7% 29.4% 28.6% 28.4% 2017 2018 24.5% 22.8% 2 019 020 2 垂直 门户 视频 网盟 /DSP 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 13 0 3 2020年异常流量分析 异常流量数据分析 - 分媒体类型 -异常点击 在异常点击上， 2020年整体较前年均有所下降，且幅度不小，媒体呈现愈加规范的趋势。 2 017-2020年分媒体类型异常点击占比 35.2% 34.4% 33.8% 33.3% 32.6% 30.4% 29.2% 28.7% 27.2% 26.1% 2017 23.5% 22.9% 21.8% 2018 2019 2020 19.8% 20.1% 18.7% 垂直 门户 视频 网盟 /DSP 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 14 0 3 2020年异常流量分析 异常流量数据分析 - 细分行业 -异常曝光 在国双监测的行业数据中，以消费电子、汽车、快消、互联网科技为例， 2020年各个行业的异常曝光数据均有所下降，其中汽车和快消 下降幅度最大，这得益于行业组织以及国双在异常流量甄别上作出的努力，严格的异常流量排查能有效约束行业异常流量，规范行业各 方行为，有效提升行业环境。 2 017-2020年分行业异常曝光占比 39.5% 37.5% 36.6% 36.8% 36.8% 36.4% 35.4% 34.7% 30.6% 28.4% 28.4% 2017 2018 2019 2020 24.5% 24.2% 23.6% 20.9% 19.4% 汽车 快消 互联网科技 消费电子 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 15 0 3 2020年异常流量分析 异常流量数据分析 - 细分行业 -异常点击 2020年汽车、快消与消费电子行业的异常点击占比明显下降，但互联网科技仍保持上升，国双参考行业统一规范，丰富异常流 量识别规则，未来将针对性地来加强行业异常点击识别。 2 017-2020年分行业异常点击占比 34.2% 32.1% 31.2% 31.2% 29.0% 30.7% 28.9% 28.4% 27.5% 26.7% 2017 2018 25.3% 24.1% 24.2% 23.2% 21.0% 19.9% 2 019 020 2 汽车 快消 互联网科技 消费电子 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 16 0 3 2020年异常流量分析 异常流量数据分析 - 分设备 -异常曝光 PC端异常曝光占比高于移动端，趋势较为平稳，整体上呈现下降趋势。但是移动端异常曝光占比在持续三年增长后，首次出现 下降趋势，这与国双持续加强异常识别能力有重要关系。 2 017-2020年分设备异常曝光占比 3 3.5% 8.0% 3 2.1% 2.1% 31.9% PC 3 1.7% 3.4% 2 26.2% Mobile 2 2 2017 2018 2019 2020 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 17 0 3 2020年异常流量分析 异常流量数据分析 - 分设备 -异常点击 异常点击上， PC端与移动端占比均有所减少，其中移动端为 30.4%。 2 017-2020年分设备异常点击占比 3 5.0% 2.4% PC 3 1.4% 0.4% 2 9.3% 0.7% 2 7.5% 1.8% 3 3 Mobile 2 2 2017 2018 2019 2020 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 18 0 3 2020年异常流量分析 GIVT（常规无效流量）数据分析 - GIVT整体分析 2 020年国内互联网广告 GIVT（常规无效流量）月平均占比为 2.7%；与全年整体异常流量上升趋势不同， GIVT全年整体呈现下 降趋势。 2 020年 GIVT占比分月趋势 4.5% 4.3% 3.2% 2.9% 2.8% 2.7% 2.2% 2.2% 2.1% 1.9% 1.8% 1.6% 1月份 2月份 3月份 4月份 5月份 6月份 7月份 8月份 9月份 10月份 11月份 12月份 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 19 0 3 2020年异常流量分析 GIVT（常规无效流量）数据分析 - GIVT-分细项 2 020年 GIVT流量中，各细项之间占比最高的是重复曝光，占比达到 40.1% 。 2 020年 GIVT分细项占比 重复曝光 曝光过快 40.1% 18.9% 15.6% 黑名单 ip曝光 黑名单设备 id曝光 特定媒体搜索协议异常曝光 参数冲突曝光 13.6% 6.4% 4.9% 请求协议异常曝光 黑名单域名曝光 内部曝光 0.2% 0.2% 0.0% 预渲染预加载曝光 0.0% 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 20 0 3 2020年异常流量分析 GIVT（常规无效流量）数据分析 - GIVT-分设备分析 2 020年，国双监测数据发现设备占比分别为 PC端 17%，移动端 77%， OTT端 6%； 其中国内数字广告 GIVT（常规无效流量）分设备占比 PC端最高 3.5%。 020年 GIVT分设备占比 2 2 .6% PC 移动端 3 .5% 1 .7% 智能电视 数据来源： 数据时间： 2020年 1月 1日 -2020年 12月 31日 21 0 3 2020年异常流量分析 小结 通过对异常流量数据的洞察，在 2020年疫情的笼罩下，国内外广 告市场受到严重打击；同时， 2020年异常流量总体有所下降，总体上 广告行业异常流量较前两年有所好转； 2020年，行业均值在 29.4%， 其中包含 GIVT与 SIVT两部分， GIVT的占比均值为 2.7%；对于难以甄 别出来的异常流量，需要通过更有效的技术手段来判定。疫情的大环 境下，全球广告预算紧缩，广告主对于广告投放的 ROI以及流量有效 性提出了更高的要求。同时，行业组织在异常流量领域的不断深耕， 有效地净化了互联网广告行业环境。 当然，随着黑灰产各类作弊手法会越来越隐蔽，常规或简单的甄 别规则将愈加难以识别异常流量。国双在国内外行业组织的指导下， 结合国双大数据、人工智能的基因，不断升级异常流量识别方案，用 更有效的技术手段，来判定复杂异常流量；国双把保护客户流量作为 自己的使命，持续为客户提供全方位的作弊防护。 22 0 4 国双软广行业洞察与监测 内容营销是靠文字、图片、视频等不同形式，以让人易于接受的方式来宣传品牌 , 并结合当 下热点，通过讲故事等方式植入品牌，潜移默化地将受众转化为粉丝，形成受众范围内的口碑传 播，最终占据用户心智。 随着内容营销对社会和公众的影响不断增大，出现以网络炒作为业务的网络公关公司、推手、 水军等。网络公关公司以营利为目的，为炒作某个话题、人物或产品，雇用大量的网络水军；在网 络推手的组织下，短时期内在互联网的各大网络论坛上大量发布煽动性帖子，并通过跟帖、转帖及 编辑评论等方式炮制热点事件，营造虚假民意，从而形成虚假网络舆情。网络公关公司、推手、水 军等形成了灰色利益链。 针对此类现状，广告主很难甄别内容营销活动的真实效果。为解决该问题，国双在合法范围内，通过多种技术手段实现对内容营销的效 果跟踪，通过对来源网络信息进行实时监测和采集，利用自然语言处理、数据挖掘、计算语言学、机器学习、人工智能等技术对数据进行解 析与处理，有效识别虚假热帖、网络水军，为广告主提供内容营销活动真实效果的数据支持。 23 0 4 国双软广行业洞察与监测 2020年内容营销监测 -无效流量整体分析 2 020年社交平台无效流量为 44.1%，国双监测的社交平台已涵盖了当下绝大部分社交媒体。 2 020年社交平台无效流量占比 44% 无效流量 数据来源：国双 AD系统社交数据 指标说明：社交平台无效流量指机器人刷量行为生产的内容和账号，以及人为密集参与商业贴评论的行为，也就是水军刷量行为。 24 0 4 国双软广行业洞察与监测 2020年内容营销监测 -KOL无效粉丝流量整体分析 2 020年社交平台 KOL无效粉丝数高达 48.7%，国双认为无效粉丝将对品牌植入策略带来极大影响。 2 020年社交平台无效粉丝占比 无效粉丝 数据来源：国双 AD系统社交数据 指标说明：社交平台 KOL无效粉丝指通过国双算法识别出的异常行为关注者和评论者 25 0 4 国双软广行业洞察与监测 2020年内容营销监测 -评论无效流量与转发无效流量分析 2 020年水军评论占比明显比水军转发的占比要高，高达 37.3%，拉升了全年内容营销网络水军的流量占比。 2 020年评论无效流量与转发无效流量占比 评论无效流量 转发无效流量 5.2% 数据来源：国双 AD系统社交数据 指标说明：评论无效流量：无效评论数 /曝光量；转发无效流量：无效转发数 /曝光量 曝光量：曝光量的计算指多个维度的指标组成向量的总和。包括阅读量、转发量、评论量、点赞量、收藏数五个维度。 26 0 4 国双软广行业洞察与监测 2020年内容营销监测 -无效流量地域来源分析 2 020年无效流量地域来源分析发现，网络水军主要来自于一、二线城市，占比超过总体的一半，高达 63.3% 2 020年软广监测分地域来源分析 一线城市 二线城市 2 8.4% 34.9% 三线城市 四线城市 五线城市 1 8.0% 10.5% 8.2% 数据来源：国双 AD系统社交数据 指标说明：无效流量占比：该城市级别的无效流量 /无效流量 27 0 5 国双监测方案 多年以来，国双深耕广告监测领域，解决了客户各种广告监测与验证问题，累积了丰富的实践经验。在国双服务客户的过程中逐渐发 现，客户越来越注重广告的效果与质量，对第三方监测公司的异常流量识别与过滤提出了更高的要求。 为了能够更好地服务客户，国双进一步升级了已有的异常流量甄别技术，参考国内外行业标准，研究出了更多的异常流量识别方法， 帮助广告主守护好每一次广告的展示。 作弊手段层出不穷，不断迭代，国双监测方案也并非一成不变，而是会根据市场的变化，不断进行自我升级，通过更加先进的识别技 术，在保证识别准确的前提下，更加及时地甄别出潜在的异常流量。 28 0 5 国双监测方案 国双流量反欺诈数据验证流程 1 .通过将检测到的 IP、 Device ID与权威的行业 GIVT List中的 IP、 Device ID 进行比对，结合经过验证的合理规则，来识别并过滤 GIVT 2.通过设备与广告相关的各种参数、传感器信息和设备信息等，并通过数据模型、机器学习等方式识别 SIVT，让复杂作弊流量无处遁形 3.支持客户定制个性化异常规则，由国双通过技术手段实现，来将更加细分场景的异常流量及时甄别 4.对于广告品牌安全和可见曝光等问题，国双也有针对性的验证方案 29 0 5 国双监测方案 多重组合识别数据异常 90+ 维度异常判定技术 监播实录技术有效减少视频类广告滥竽 充数现象 基于前后端流量打通，分析每一次访 问后的像素热力图、点击热力图 , 从中 发现异常流量 实时的数据更新和一键式报告能够迅速 发现并排查流量问题 0 5 国双监测方案 热力图识别异常流量 广告来源 访问量 综合浏览量 平均停留时间 跳出率 平均页面访问数 Sales leads完成数 Sales leads转化数 媒体 B 774,950 1,745,938 00:02:26 56.60% 2.25 1.741 0.22% 媒体 B各项基础数据及转化数据看似正常，但查看不同渠道在页面上的热力图点击分布，能发现媒体 B存在异常点击分布，符合程序点击发送数据包特征。 31 0 5 国双监测方案 异常流量形式及排查原则 0 5 国双监测方案 基于 AI自动发现复杂作弊特征 基于固定规则基本能够帮助广告主过滤掉大部分的异常流量 , 剩下的部分是由于作弊技术不断升级，导致固定规则无法识别。对于这些异 常流量 , 国双采取基于机器学习的方式进行反制；通过 AI 技术自动发现作弊规律 , 不断学习并改进模型 , 帮助广告主识别复杂异常流量。 33 THANKS