游客大数据云分析平台.doc
游客大数据云分析 平台 Word 文档 -可编辑 XXX科技 服务 有限公司 二 O 一七年八月 目 录 第一章 项目背景及需求分析 . 1 1.1项目背景 . 1 1.2项目需求分析 . 9 1.3项目工作计划与措施 . 15 第二章 平台建设方案 . 21 2.1建设原理 . 21 2.2平台总体架构 . 23 第三章 平台技术支持 . 30 3.1平台技术架构 . 30 3.2平台拓扑结构 . 32 3.3平台关键流程 . 32 第 四 章 大数据解决方案 . 36 4.1数据来源 . 36 4.2研究方案 . 38 4.3数据接口服务 . 46 第 五 章 大数据分析报告 . 61 5.1XX旅游市场概述 . 61 5.2来 X游客数据分析报告 . 88 5.3大数据可视化分析 . 98 5.4分析报告的目标和意义 . 103 第 六 章 平台安全方案 . 106 6.1安全方案原则 . 106 6.2安全方案设计 . 107 6.3应 用安全 . 112 6.4管理安全 . 113 6.5数据安全 . 114 1 第一章 项目背景及需求分析 1.1 项目背景 1.1.1智慧旅游及散客时代来临是本项目启动的必然基础 目前,许多地方都在开展智慧旅游建设,并取得了很好的效果。基于地方智慧城市和智慧旅游建设的实践和推进旅游 业发展成为现代服务业的目标,国家旅游局对“智慧旅游”试点工作进行了部署, 2016 年又正式确定江苏镇江的“国家智慧旅游服务中心”。我国正在积极推进有条件的城市开展智慧旅游试点工作。此外还将在认真总结一些成功数字景区经验的基础上,逐步提高精品旅游景区的数字化水平;鼓励旅游酒店、旅游车船公司、旅游购物公司在信息化建设方面大胆探索,不断提高对旅客服务的智能化水平,从而推动国内旅游者在中国大地上实现“智慧旅游”。 2016年 7 月 15日,国家旅游局局长邵琪伟正式提出,旅游业要落实国务院关于加快发展旅游业的战略部署,走在 我国现代服务业信息化进程的前沿,争取用 10 年时间,在我国初步实现“智慧旅游”。 从社会的现代化进程看,技术变革特别是信息技术的飞速发展正在对人们的生产生活产生深刻影响。 2010年,我国移动电话用户达到 8.59亿户,其中 3G移动电话用户达到 4705 万户;互联网上网人数 4.57亿人,成为世界上互联网使用人数最多的国家。未来随着每秒数据传输速度达到 2.5G的超高速网络的建设和普及,人民的生产生活方式还将有更深刻变革。 旅游活动作为人们生活方式的延伸,旅游业作为服务业的龙头产业,必然会因为信息技术发生革命性的变化而 变革。此外,随着生产生活的发展,在线旅游、邮轮游艇旅游、房车旅游、自驾车旅游等新的旅游方式正在快速 2 发展,旅游业如何去满足这部分新兴需求,同样离不开自身的现代化,从技术层面说,这里面最重要的就是实现“智慧旅游”。 智慧旅游将是从传统的旅游消费方式向现代的旅游消费方式转变的“推手”。虽然旅游消费的内容还是传统的吃住行游购娱,但是我们可以通过信息技术的广泛运用实现消费方式的现代化。 在国家中长期科技发展规划纲要( 2006-2020)第三部分(重点领域及其优先主题)中第 7 点(信息产业及现代服务业)首先提到的优先主 题:“现代服务业信息支撑技术及大型应用软件。重点研究开发金融、物流、网络教育、传媒、医疗、旅游、电子政务和电子商务等现代服务业领域发展所需的高可信网络软件平台及大型应用支撑软件、中间件、嵌入式软件、网格计算平台与基础设施,软件系统集成等关键技术,提供整体解决方案。” 从政策层面上把旅游和云计算(网格计算)结合起来,作为信息产业优先发展的主题,也说明了基于云计算技术的旅游信息平台是智慧旅游的基础。 2009 年,国务院出台了关于加快发展旅游业的意见,第五条提出“建立健全旅游信息服务平台,促进旅游信息资源共享。 ”第十条提出“以信息化为主要途径,提高旅游服务效率。积极开展旅游在线服务、网络营销、网络预订和网上支付,充分利用社会资源构建旅游数据中心、呼叫中心,全面提升旅游企业、景区和重点旅游城市的旅游信息化服务水平。”说明旅游信息服务政策已经提上议事日程,尤其是要建立一个能共享旅游信息的大型平台。 2012 年 5 月,为贯彻落实国务院关于加快发展旅游业的意见精神,积极引导和推动全国智慧旅游发展,国家旅游局确定 18 个国家智慧旅游试点城市,西部仅 XX 市入选。国家旅游局同时要求各试点城市将智 3 慧旅游作为一项重点工作来抓,政府 要在整合资源、组建机构和配套服务方面发挥主要作用,积极引导民间资本参与建设智慧旅游,建立统筹发展的体制机制,探索科学有效的发展模式。 国家旅游局公布了 2014 中国旅游主题 -智慧旅游,要求全国各旅游部门围绕“智慧旅游”来展开一系列的旅游推广宣传和旅游营销活动 智慧旅游是旅游业发展到现阶段出现的一种旅游新形态,全国各级政府高度重视智慧旅游的发展,特别是对 2014 年旅游主题宣传的定位,各地如火如荼地构建智慧旅游体系,这充分表明了智慧旅游是是旅游业未来发展的趋势,也是旅游业成长为现代服务业的关键。 2014 中国智 慧旅游年,掀开了中国旅游产业发展的新篇章。 智慧旅游发展的直接受益者是旅游者,在后续年份的智慧旅游建设中也是,而且游客会享受到更多的智慧旅游服务。比如游客通过电脑、手机、 IPAD等移动工具,到网上查询信息、网上订票,还可以订制旅游线路,合理安排旅游日程,最大化地利用旅游时间。 另一方面,随着人们生活水平的日趋提高和旅游经历的增多,旅游者开始由过去的观光型旅游方式转向个性化、多样化旅游方式,这种趋势不仅表现在外来游客身上,而且在城市居民近郊旅游中表现得也比较突出,中国旅游业已经逐渐进入“散客”时代。游客不再满 足基于成本考虑的团队观光旅游,自由行、自驾游等出游方式和消费行为的改变,使得旅游者对旅游相关信息提出了更高的要求,也势必将要求城市旅游公共服务水平、经营和接待旅游散客的能力等顺势做出改变和提升。 一个国家或地区旅游业成熟度的重要标志就是其接待散客旅游的能力。 4 散客旅游服务体系已然成为现代旅游业发展不可或缺的重要因素。它不仅标志着区域旅游业发展的水平,也是衡量旅游者对特定旅游目的地满意度的一个重要指标。同时,旅游目的地城市品牌形象的树立,不仅要结合旅游资源开发、经济发展、城市建设、宣传特色等诸多环节,还需重视最 终落在游客心里的形象和满意度如何。各级政府为大力促进当地旅游产业的发展,采取了一系列的手段来不断加强对当地旅游的宣传力度。 随着散客时代的到来,各地旅游主管部门如何更好的实现旅游数据的统计分析,为游客提供更好的服务,实现智慧旅游的管理、智慧旅游服务,这是当前全国各地旅游主管部门面临的最为迫切的任务。 1.1.2旅游大数据分析引发旅游业第二次技术革命 大数据, IT 行业的又一次技术变革,大数据的浪潮汹涌而至,对国家治理、各行业领域、企业决策和个人生活都已经或者将要产生深远的影响,并将成为云计算、物联网之后信息技 术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟,移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络,由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。 数据技术发展历史如图一所示: 5 1.1.2.1大数据定义 “大数据”是一个涵盖多种技术的概念,简单地说,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 IBM 将“大数据”理念定义为 4 个 V,即大量化 (Volume)、多样化 (Variety)、快速化(Velocity)及由此产生的价值 (Value)。如图二 ; 图二 要理解大数据这一概念,首先要从 大 入手, 大 是指数据规模,大数据一般指在 10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征可以用 4 个 V 来总结 (Vol-ume、 Variety、 Value 和Veloc-ity),即体量大、多样性、价值密度低、速度快。 数据体量巨大 。从 TB级别,跃升到 PB级别。 数据类型繁多 ,如前文提到的网络日志、视频、图片、地理 6 位置信息,等等。 价值密度低 。以视频为例 ,连续不间断监控过程中,可能有用的数据仅仅有一两秒。 处理速度快 。 1 秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、 PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。 大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的 大数据 不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域,通过解决巨量数据处 理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息,也体现在如何加强大数据技术研发,抢占时代发展的前沿。 1.1.2.2旅游大数据分析引发旅游业第二次技术革命 通过大数据改变旅游格局、推动旅游发展,不少省市都在试水。其中,走得较前的是山东,该省在旅游发展中明确提出以移动互联网应用为重点,以大数据应用为核心,提升产业现代化水平。其所提出的战略思路是,整合公安、交通运输、环保、国土资源、城乡建设、商务、航空、邮政、电信、气象等相关方面涉及旅游的数据,同时与百度、谷歌 、淘宝等主要网络搜索引擎和旅游电子运营商合作,建立社会数据和旅游及相关部门数据合一的旅游大数据资源。 7 携程利用自家的预订和访问数据,每逢年终岁尾以及黄金周发布旅游分析报告,以后几家 OTA 都相继跟进。毫无悬念,各类报告还是以目的地和客源地排行榜为主体,间或少量的旅游者行为分析。开始的时候,得到了许多目的地的呼应,如“ XX市荣登携程目的地排行榜”之类的,以后排行榜多了,也就逐渐应者寥寥。理论上以 OTA 预订量数据预测目的地的流量热度以及客源分布与其他网络分析预测数据来源相比,确定性提高,准确度相对较高,因为这是旅 游者动身前最后一个“数据门槛”。但这里有一个前提,就是单个OTA 的市场占有率和对主体旅游者的覆盖度。从实践对比情况来看,对长中线旅游者尤其是出境旅游的数据分析结果准确率高一些,对短途尤其是周边游的数据分析结果准确率相对较低。无论是节假日或者黄金周的国内旅游活动,从各方面数据来看,短途和周边游是旅游活动的主体,目的地对此类的数据分析应用应当有清醒的认识。 以前旅游网络服务商的分析数据是以住宿预订数据为主,其中商旅客户占有相当大的部分,因而目的地排行榜中商业活动活跃的城市往往位居前例。这两年,景区门票电商风生水 起,几个 OTA 大头依据景区门票预订数据顺势发布旅游景区排行榜。严格说来,依据电商预订数据来反映景区的吸引力和热度要考虑其他因素的影响,比如预订流量占实际流量的比重,景区的信息化水平和网络营销力度, OTA 操办的预订优惠活动等等。不能把预订数据反映简单等同于实际景区流量和吸引力,在同等条件下,依赖搜索数据的热度更能反映实际情况。在实际应用层面,以前在进行目的地搜索数据分析时,发现山东省内的游乐园类景区出现了大范围的搜索数据提升,半年后 OTA 公布的数据就实际呈现了这种趋势。 依据旅游单个要素产品比如酒店客房、景区 门票等的预订流量数据来分 8 析目的地的吸引力和热度是片面的。这个问题对于网络服务商和目的地来说是硬币的两面,核心是目的地关联消费和产品组织。对于网络旅游服务商来说,把景区门票作为吸引流量入口,既要“赔本赚吆喝”还要稳固“下盘” 产品关联预订。在浮华的门票预订数据背后,会发现没有一家披露门票预订者的关联预订数据,比如预订门票的旅游者有多少预订了当地的酒店客房等其他旅游要素产品,这才是 OTA 的核心家底,也是反映 OTA 旅游产品组织能力和目的地营销能力的主要数据。还有就是预订流量数据中周边游短途和中长线客源的比重,一 般来说周边游短途游客的关联预订能力更弱一些,更可能是受到优惠折扣的吸引而进行的单要素产品预订,只买啤酒,不理尿布,客户粘性也差一些。相比较一般电商,旅游产品的关联度更强,更能够利用大数据的模式和方法,寻找旅游者的产品偏好和产品组织偏好。对于目的地来说,考察一个旅游网络服务商的目的地营销能力,要看订单流量,也要看订单客源结构,更要看关联预订数据。 今年, OTA 都高喊着做“平台”,首当其冲是可劲地增加旅游产品丰富度,海内外目的地、短中长线、旅游产品要素等一网打尽,实际上与一般电商平台相比,旅游电商平台还需要旅游 产品要素组织能力,以吸引游客的关联预订比重,这里主要前提是对大数据的占有和分析,是衡量旅游电商“平台”的核心依据。 但是作为旅游主管部门,如果仅仅是依靠主 OTA 提供的大数据分析报告是远远不够的,对各地的旅游主管部门来说,掌握一手的旅游大数据分析,更好的为当地旅游服务,这才是最迫切的需求。 因此,当前不管是旅游运营商还是旅游主管部门、旅游目的地,对旅游大数据的分析都呈现出强烈的需求,虽然很多平台的数据分析还只是侧重于 9 某一个方面,但这种必然的发展趋势已经是越来越明显。 国家旅游局信息中心蔡家成主任强调“旅游本身 是依托信息资源的活动”,怎么样精准的了解游客的需求,传统方式很难细致、深入的反映每一个游客的评价,而利用大数据资源,可以让旅游产业发展的更好,让游客对旅游的服务和产品更加满意。大数据对旅游的消费活动,经营活动等有很好的支撑作用。 综合来看,目前大多数旅游业的大数据分析应用可以归结为三大类:一类是提升企业内部运营效率 ;二是优化定价和库存 ;三是为客户提供更好的,基于情景的服务。所有三种分析都面临大数据挑战,旅客产生的各种数据,如目的地、航班、火车、游船、酒店房间、定价等每年都在以惊人的速度增长。 因此,旅游是一 种非常特殊的商品,移动的不是商品而是消费者,消费决策之前有一段信息搜索获取过程,搜索平台的性质决定了可以在这个过程中记录下旅游者的信息以获取行为数据。大数据成为智慧旅游发展中至关重要的工具,依靠大数据提供的资源,智慧旅游能得以“智慧”发展。旅游业的大数据革命表现为,开始拥抱网格集群系统、高速分析以及开源平台。这也是为什么各地旅游主管部门纷纷加强旅游大数据分析的重要原因。 1.2 项目需求分析 1.2.1XX智慧旅游管理需要一个强有力的大数据支撑系统 XX 拥有中国最佳旅游城市、美食之都、世界优秀旅游目的地网络成 员、中国最佳休闲城市等殊荣,旅游产业在近年实现了高速发展,并奠定了其在西部、全国乃至世界令人瞩目的地位。 XX 作为国际旅游目的地的魅力正在日 10 益凸显。 XX 市率先开展“智慧旅游”创建工作, 2012 年被国家旅游局确定为全国 18 个智慧旅游试点城市之一,成为西部唯一入选的城市。 2014 年全国旅游主题年确定为“中国智慧旅游年”,主题口号为“美丽中国,智慧旅游”、“智慧旅游,让生活更精彩”、“新科技,旅游新体验”。 据不完全统计,目前 XX 市已有国家 A 级旅游景区 63 家,星级饭店 140家,社会旅馆 5300余家,旅行社 364家 ,星级农家乐 187 家,星级乡村酒店107 家,旅游产业规模不断壮大,质量有效提升,内涵更趋丰富,全面促进了XX旅游业的健康良性发展,也吸引了众多国内外游客前来旅游度假。 2014 年,全市共接待国内外游客 1.862 亿人次,同比增长 20.05%,其中入境游 197 万人次,同比增长 11.66%,实现旅游总收入 1665 亿元,同比增长 25.13%。 以 2014 年上半年的数据为例: 星级酒店 : 2014 年上半年,纳入统计的 118 家星级宾馆接待累计接待游客 189.81 万人次,同比下降 12.14%。其中接待国内过夜游客 183.23万人次,同比下降 11.58%,接待入境过夜游客 6.58 万人次,同比下降 25.41%。平均客房出租率为 51.93%,同比下降 3.15%,平均房价为 449.87 元,同比下降0.18%,累计实现营业总收入 17.66亿元,同比下降 7.3%。 A 级景区 : 2014 年上半年纳入统计的 55 个 A 级景区,累计接待 5793.48万人次,同比增加 14.33%,累计营业收入达到 46.87 亿元,同比增加 17.95%,其中门票收益达到 5.5 亿元,同比增加 17.95%。 2014 年上半年纳入统计的 55 个 A 级景区中, 4A 级景区接待游 客 3697.87 万人次,同比增加 4.5%。其次 3A级景区接待游客 933.24 万人次,同比增加 84%。 旅行社 : 2014 年上半年全市纳入统计的 142 家旅行社,累计接待国内游客 136.4 万人次,同比减少 12.15%,接待入境游客 18.65 万人次,同比减少 11 6.25%,组织出境游客 45.14 万人次,同比增加 44.06%。累计营业收入 25.6亿元,同比 27.9%。 上述数据表明,近几年来, XX 旅游业发展健康发展,游客数据呈现大幅增长比例。因此加强对 XX 游客数据的统计分析,为游客提供更好的服务,更好的为 XX 旅游 决策提供有效支撑,这是当前旅游行业主管部门首要考虑的问题。 1.2.2XX智慧旅游建设必须建立游客数据分析系统 2015年 1 月 13日,国家旅游局下发了关于促进智慧旅游发展的指导意见。意见指出,我国将鼓励博物馆、科技馆、旅游景区运用智慧旅游手段,建立门票预约制度、景区拥挤程度预测机制和旅游舒适度的评价机制,建立游客实时评价的旅游景区动态评价机制。 中国有句老话,叫“凡事预则立”。对旅游景点等人流密集场所科学监控、理性应对,是实现科学管理的必由之路,也是做好应急预案的题中之义。于此而言,门票预约、 拥挤预测等机制,就像消防安全一样,利好虽然看似务虚,兜底意义却很务实。 这几年,有关黄金周堵成“黄金粥”的段子,在微信朋友圈早就审美疲劳了:华山万人滞留、泰山爆满、庐山堵成停车场、鼓浪屿几乎被“踩沉”大规模的旅客滞留和一点即着的拥堵隐患,翻片似地频繁上演。据统计,去年 10 月 2 日,故宫实际接待人数为 14.4 万人,而故宫的最大承载量仅为 8万人,当天景区超载了 6.4万人; 10月 3 日,厦门鼓浪屿实际接待人数为 7.9万人,而鼓浪屿最大承载量为 5 万人,超载约 2.9 万人。游客的旅游体验倒也罢了,关键是这种状态, 已成为风险社会的心头大患。 2015 年 1 月 5 日,国家旅游局下发了景区最大承载量核定导则,要 12 求对景区进行流量监控,并给出了明确的测算方法和测算公式,要求不同景区根据景区的类别和特殊性收集相关数据得出承载标准。其实, 2013 年 10月1 日起施行的旅游法中,早已明确规定:景区应当公布景区主管部门核定的最大承载量,制定和实施旅游者流量控制方案,并可以采取门票预约等方式,对景区接待旅游者的数量进行控制。事实上,北京也在 2013 年十一黄金周前首次向社会公布了各大重点景区的最大承载量。不过,如何确定承载量并有 效控制景区客流,在不少地方显然还是个束之高阁的议题。个中利害关系倒也不复杂:人流控制了,收入也就控制了;何况拥堵终究是“小概率”,尽管墨菲定律利剑高悬,但架不住侥幸心理。结果呢,法律与现实成了两层皮,“井喷”、“爆棚”总是与热门景区黏在一起。 要解决这个问题,以智慧旅游为载体,利用大数据思维,破解旅游管理中的粗放之弊,不仅迫在眉睫,亦是大势所趋。一方面,不久前,一项针对中国大陆用户的年度调研显示: 46.5%的用户在过去一年用移动终端预订过旅游产品。 76%的用户表示 2015 年会考虑或者继续使用移动端预 订,而不打算用移动端预订的用户比例仅占 11.6%。移动终端、智能手段,不仅方便了游客出行,也为职能部门管控人流与服务提供了技术可能。另一方面,大数据时代,公共管理需要有“大思维”。它山之石可以攻玉。以美国纽约的消防安管为例,该市约有 100 万栋建筑物,每年有差不多 3000 栋会因火灾损毁。由于城市状况复杂,消防人员往往难以第一时间赶赴现场,预防火灾成了减少损失的重中之重。为此,纽约市消防部门依据数据收集划分出了 60个可能会产生火险的因素,借助相关算法,纽约市消防部门给建筑物都标注了风险指数,并据此确定消防检查的 优先级和重点。那么,如果我们的博物馆、科技馆、旅游景区,也能从详实有效的大数据中找到公共治理的科学模型,并据此建构符合实际情况的管理思路,恐怕比事后“高度重视”更有性价比。 13 对于各地旅游管理部门来说,在旅游数据的统计上存在的主要问题表现在: 有多少游客到达本地?游客在本地都去了哪些景点?游客在本地停留多久?在每个景点会停留多久?如何区分本地游客和外地游客?游客数量变化是怎么样的?同比如何,环比如何?游客都来自什么地方?定点投放广告是否有效?国家、省份、地市?景区实时游客流量是多少?超过景区接待能力是否能预警? 这些数据如何获取,如何进行有效的分析,从而提供有效的参考。 智慧旅游的发展离不开大数据,依靠大数据提供足够有利的资源,智慧旅游才能得以“智慧”发展。借助大数据的分析和挖掘,对游客时代有效推动智慧旅游精准营销、提高旅游公共服务满意度和增强旅游企业智能体系建设具有重要意义。本项目的提出,采用云数据、物联网等技术手段,为旅游活动各参与者提供服务、为散客出行创造更加便利条件的同时,对 XX市旅游大数据进行挖掘分析,为决策者带来一系列数据分析支撑。主要体现在以下三个方面: 第一,通过与携程等大型旅游在线服务商合作,采集 大量外部数据并进行数据分析挖掘,实现 XX 旅游目的地的精准营销; 第二,形成以来 X游客为核心的旅游行业数据库,并根据实际情况建立分析模型进行分析推演,能有效指导 XX 市及各景区的游客预警、分流及公共服务体系建设; 第三,逐步通过对大量数据的分析和挖掘,指导和管理 XX旅游企业工作,如酒店更加精准地根据散客特征和偏好推荐有吸引力的旅游产品和服务、旅游景区更好地进行客流疏导和调控、旅行社更方便地整合信息资源而开发出更有针对性和个性化的旅游产品等。 14 因此,来 X 游客大数据云分析 平台项目的建设,其自身对于 XX 旅游行业发展、 行业管理、有效决策起着非常重要的关键作用。 1.2.3 项目具体需求描述 XX 市旅游局来 X 游客大数据云分析 平台项目,根据采购方的需求,结合当前旅游行业基于游客大数据分析的应用,在本项目的建设上,应主要基于移动、联通、电信三大运营商公众基础数据的应用分析,搭建外省来 X 游客大数据云分析 平台,实现对外地来 X 游客来源归属地、滞留时间、客流量预估等信息的采集与分析计算,为流量控制、游客分流、景区交通疏导、景区安全管理提供数据依据,同时提供信息服务、游客投诉及建议收集等短 /彩信服务手段,可为改善 XX市旅游业的接待能力、 制定各旅游行业经营策略等旅游行业管理工作提供科学的信息化决策辅助大数据平台。 外省来 X游客旅游信息化决策辅助大数据平台实现的主要功能:外省来 X游客滞留时间统计分析、外省来 X 游客归属来源地统计分析、外省来 X 游客客流量预估模型、热点区域热度预警( 3A级以上景区)。 项目系统 特点 主要体现为 : GSM 全协议栈解码能力、支持现网的全系列设备厂家、海量数据处理、内存数据库、多线程调度、分布式计算、实时业务和非实时数据的分离、高效体系架构、全业务应用理解能力、高度商业化产品。 XX 市旅游局来 X 游客大数据云分析 平台针对游客客 源特征,将建设一套统一的行业应用平台,平台将周期性地从信令监控系统中获取信令数据并进行预处理,利用移动、联通、电信通信基站与景区空间场所对应关系,建立移动、联通、电信信息与实体世界关联,在此基础上,通过智能建模从统计 15 上精确的把握用户与旅游资源的时空关联,进一步进行各种方式的信息整合和发布。 1.3项目工作计划与措施 本项目计划采用标准而规范化的软件开发流程进行管理,以保障本项目的顺利实施。分为以下几个步骤: 1.3.1项目工作计划 1.3.1.1需求调研分析 1) 相关系统分析员向用户初步了解需求,列出要开发 的 XX 市旅游局来X 游客大数据云分析 平台 的大功能模块,每个大功能模块有哪些小功能模块,对于有些需求比较明确相关的界面时,在这一步里面可以初步定义好少量的界面。 2) 系统分析员深入了解和分析需求,清楚列出系统大致的大功能模块,大功能模块有哪些小功能模块,并且还列出相关的界面和界面功能。 3) 系统分析员向用户再次确认需求。 1.3.1.2 概要设计 概要设计需要对 XX 市旅游局来 X 游客大数据云分析 平台的设计进行考虑,包括系统的基本处理流程、系统的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和 出错处理设计等,为软件的详细设计提供基础。 1.3.1.3详细设计 在概要设计的基础上,描述实 现具体模块所涉及到的主要算法、数据结 16 构、类的层次结构及调用关系,需要说明软件系统各个层次中的每一个程序(每个模块或子程序 )的设计考虑,以便进行编码和测试。 1.3.1.4 编码 开发者根据 XX 市旅游局来 X游客大数据云分析 平台中对数据结构、算法分析和模块实现等方面的设计要求,开始具体的编写程序工作,分别实现各模块的功能,从而实现对目标系统的功能、性能、接口、界面等方面的要求。 1.3.1.5 测试 包括编写测试用 例和测试实施。测试用例要求覆盖系统的全部业务分支和实现逻辑分支。要求保存测试结果从而形成测试结果文档。 1.3.1.6 软件交付准备 在软件测试证明软件达到要求后,向用户提交开发的目标安装程序、数据库的数据字典、用户安装手册、用户使用指南、需求报告、设计报告、测试报告等双方合同约定的产物。 1.3.1.7 验收 用户对最终开发出的产品和相关文档进行验收。 项目的总体阶段划分和计划如下: 里程碑 名称 计划时间 里程碑 1 项目启动 10日 里程碑 2 需求分析 20日 . 里程碑 3 概要设计 15日 17 里程碑 4 详细设计 30日 里程碑 5 编码 50日 里程碑 6 单体测试 20日 里程碑 7 结合测试 15日 里程碑 8 系统测试 15日 里程碑 9 交付 签约 6个月后交付 1.3.2项目保障措施 为了保证项目的最终品质和开发进度,启动优势将成立专门的运营团队负责此项目的开发、建设、运营。运营团队包括技术、数据分析员、商务、客服等岗位,运营团队人员具有丰富的行业工作经验,技术、数据分析员、商务、客服均是一直服务于旅游移动互联网领域的专业人士。 从项目开发的具体操作上,运营团队将主要采取以下工作措 施: 对各个阶段的成果(代码,文档)进行内部评审。评审合格才能进行下阶段任务。对评审不合格的,及时返工,如果需要调整进度安排和资源。 对项目总体进行模块分割:把项目总体分割成独立的大模块,保证各个模块最小相关,对每个每个模块进行计划开发。对于开发过程中有问题的模块,重新调整资源,从而保证进度和品质。 本项目实施以下管理方法 : 管理种类 担当 内容和职责 管理文书 18 进度管理 LD/PM 各种作业计划制定,执行的指示,根据计划进行进度管理。发生延迟以实施适当对策,对项目成员进行负荷调整。 1.全体开发计划 2.组级的详细开发计划 3.程序模块级的进度和品质管理表 4.会议记录 5.作业周报 6.课题管理表 品质管理 LD/PM 品质管理员 对全工程品质进行管理,保证提交品质。对项目的各个过程(进度管理实施,记录;评审的实施,记录;测试的实施,记录;交付的确认等)的实施付品质责任。 1.开发规则 2.各种检查核对表 3.评审记录票 4.QA表 要员管理 LD/PM 为了提高项目组成员的技能,维持项目组成员的积极性进行实地的控制。 1.开发人员管理表 2.开发人员技能一览表 3.个人的业务履历书 4.个人评价表 5.开发体制图 6.人员投入计划书 沟通管理 LD/PM 通过电话,电视会议,电子邮件,会议等沟通手段迅速的进行意思的传达从而解决问题。 会议的制度化:顾客,关联其他部门,上司,组内 1.会议记录 2.联络表 19 会议的即时化:必要时随时举行会议 课题管理 LD/PM 整理课题,进行有效的解决。 课题管理表 变更管理 LD/PM 设计担当 按照正确的次序,方法,对文档和程序进行变更。 1.式样变更表 2.版本管理记录 故障管理 LD/PM 品质管理员 构筑故障管理系统,在开发和维护期间发生的故障,式样 变更等要求进行统一管理。故障发生时,变更点发生时将其内容登录进管理系统,在将此问题对应完成之前,一直进行跟踪情报的记录。能够在此系统内进行检索和分析,可以再项目组内进行情报共有,从而进行有力的开发管理。 1.故障管理表 2.故障对应流程 安全管理 LD/PM 对项目内使用的机密信息,个人信息等进行确认,管理。 1.社内安全规章 2.入出室管理规定 3.资料管理规定 危机管理 LD/PM 事前分析,做成风险一览。 检讨风险的对应方法,对其实施过程进行监视。 检讨防止再次发生的对策,对其情报进行共有。 1.故障对应联络体制 2.病毒防治对应方法 20 构成管理 LD/PM 系统环境文档管理员 为代码和设计书做成共通的目录进行保存。同时使用管理工具对版本进行管理。在项目组内设置系统环境文档管理员,使用 VSS 或 CVS工具管理。 案件管理目录设定 项目开发建设后,运营团队将配合 XX市旅游局开展为期三年的数据分析服务。 21 第二章 平台建设方案 2.1建设原理 本平台是通过分析移动、联通、电信通讯过程中的各种信令过程,获得用户当前的位置信息。当用户的位置信息与业务选择发送的特定区域一致时,统计该用户是否为旅游游客。为获 得准确、全面的用户信息(当前位置信息和用户手机号),需要监控业务特定区域所属的 MSC/VLR到周边的所有信令链路(即下面的拓扑图中双向箭头所对应的物理链路)。本项目使用的信令数据由信令监测系统定时提供。 移动、联通、电信通信网络部分拓扑图如下所示: 22 利用信令带有的时间、地点、业务类型等信息,通过分析 用户海量信令数据 ,建立用户 属性模型 、用户 业务模型、 活动 区域模型 ,且 具有实时 分析 ,信令回溯等功能 ,通过 分析 信令数据支撑景区客情 信息化分析 应用。运营商手机用户 网络的信令数据,提取其中的 BSSAP协议相关数据,利用 CallTrace技术做客户信令流程跟踪,提供出联通手机用户与网络的交互过程、位置更新、呼叫过程等业务信息,以及用户使用网络的位置信息等客户行为,利用这些信息,实现外省来 X 游客 信息化 智能 分析功能 ,为旅游局提供决策辅助功能。项目系统 特点 : GSM 全协议栈解码能力、支持现网的全系列设备厂家、BSC BTS BSC MSC/VLR HLR 其它MSC/VLR LSTP BTS: 基站 BSC:基站控制器 MSC/VLR:移动业务交换中心 /访问位置寄存器 HLR: 用户归属位置寄存器 LSTP:低级信令转接点 移动通信网络部分拓扑图 23 海量数据处理、内存数据库、多线程调度、分布式计算、实时业务和非实时数据的分离、高效体系架构、全业务应用理解能力、高度商业化产品。 2.2 平台总体架构 2.2.1 网络组织架 构 通过采集设备采集 Mc 口以及 L 局链路的信令数据,构建 SDR 信令数据平台;部署应用服务器(含数据库服务器、解析服务器、后台处理服务器以及WebServer 应用服务器等)和防火墙构建基础数据应用平台。 MC接口和 L局的信令数据从采集设备获取后,通过实时的 Socket 数据包传送到解析服务器上,由解析服务器完成信令数据的解码和 Call Trace 处理后,每分钟将相应的数据传递到后台处理服务器上面,再由后台处理服