2018-2019农业行业大数据应用研究报告.pptx

,2018-2019农业行业大数据应用研究报告,1,汇报目录,01020304,农业大数据应用现状农业大数据应用实践研究解决的主要问题农业大数据研究展望,01  农业大数据应用现状人、机、物三元世界的高度融合引发了数据规模的爆炸式增长，表征着世界已进入网络化的大数据时代。,大数据时代的到来，人类认识和处理事务的能力又发展到了一个新的阶段。大数据不仅给我们带来了更宽,视野和更多发现，而且在改变着我们的生活、工作和思维方式。3,2,0,1,8,A,O,C,01  农业大数据应用现状,  农业不仅是产生大数据的无尽源泉，更是大数据应用的典型领域。无论是迪尔的 Fram Sight、孟山都的 Climate Pro 或 Field Scripts还是先锋公司的 Field360，都已经广泛使用大数据系统。,  大数据系统与气候云（Climate Cloud）相结合，整合农场机械化设备的种植和产,量数据，以及气象、种植区划等多样数据，可得到更为详尽的种植决策，更精准化农事生产，以帮助农民提高产量和利润。,4,  以先进的手段进行预警和评估                            2016,                                                    2015,NRGene 公司合,2014,2012                                                    Climate  Basic                                       测、比较、帅选,盖了3000万hm2,分析和高效管理农田变量。,收购Solum的土壤   平台在美国已覆分析业务部门的作物面积。,Monsanto（孟山都）花费2.5亿美元收购Precision,Planting,20182018年种植季，数字农业平台拓展到加拿大西部地区，更多农民利用数据更好地,出最佳的遗传修饰，有利于加快育种和研发进程。,可为注册用户提供有针对性的数据服务和建议。,  以数字化工具充分挖掘生产潜力  以信息分析推进农业智能化生产                                          2017孟 山都与孟山都搭建了Monsanto公司的  一套全新的农   作，可更好地预业服务平台，,01  农业大数据应用现状  以大数据助力农业资源有效利用,度发布和制订时期。2017年，国内大数据在公共服务中的交通、医疗、农业、教育等领域逐步得到应用。随着第三方服务机构的参与，公众需求被不断挖掘，应用场景逐步丰富。,2018年随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军，全球大数据产业呈现蓬勃发展趋势，而产业应用将是主旋律。,01  农业大数据应用现状我国大数据相关政策、项目、技术和应用等逐步进入实际落地阶段。各有关部门和地方政府的重视程度逐步升级，相关的政策措施和规划方案正处于高密,6,中国农科院农业信息研究所以农业大数据研究与利用为核心，积极开展了农业展望、,农业产业信息技术、大数据研究与服务、农业科技传播与数字出版等相关领域的创新研究。,布瑞克凭借在智慧农业及农业大数据方面的深厚积累，逐渐摸索出了一条以“互联网,+农业+金融”服务于农业现代化的道路。并提出了“县级农业大数据平台及产业发展一站式解决方案”。,奥科美作为深耕农业大数据的企业专注于通过科技创新服务于农，以“义田帮手”农,场管理SAAS产品为基础，运用大数据、物联网等技术，助推农业提质增效和转型升级，帮助农民实现增产致富，促进智慧农业的升级。,01  大数据应用现状,7,农业大数据研究机构纷纷成立：,2013年5月山东农业大学成立了农业大数据研究中心，并成立了国内,首个农业大数据产业技术创新战略联盟。,2014  年，科学数据大会专门设立了农业与农村信息化大数据技术与,应用分论坛。,2015年10月中国农大与软通动力成立了农业互联网大数据研究中心。2016年全球农业大数据与信息服务联盟成立。,2017年南海大数据应用研究院农业大数据中心揭牌。,01  大数据应用现状,8,01  大数据应用现状   我国农业大数据发展应用现状基本估计,2013年开始注重研究、应用。刚起步潜力大,2015年国务院50号文发布，顶层设计，作为工程全面推进。势头好问题多,标准化、精准化、智能化阻碍、障 我国是农业大国，规模化、集约化经,碍、技术、条件等等。,营有序推进，传统农业向现代农业迈进需要大数据支撑。温孚江校长2017展望,9,平台（系统）多、标准少；缺少数据标准，数据孤岛严重，数据无法共享。,.,1,数据多、挖掘少；历史数据很多，数据质量不高，开发利用不够。顶天多、立地少；数据分析、白皮书发布，服务于国家层面多，服务于行业、民生少。技术多、集成少；单项技术研发比较成熟，全产业链信息贯通、集成的较少。论述多、应用少；从理论层面研究者众，形成的大数据生态系统应用者少。,2345,01  大数据应用现状    我国农业大数据发展应用现状“五多、五少”,我国农业大数据应用是“星星之火”，正在形成“燎原之势”。温孚江校长2017展望,10,中心简介,山东农业大学农业大数据中心自2013年5月成立至今，在农业大数据理论、技,术及应用等方面开展了系列研究，并在农业大数据服务模式和运行机制等方面进行,了探索。大数据中心针对产业发展面临问题，进行了,针对性研究，特别在产业精致化管理、农业病虫害监测预警、农产品质量安全追溯、生物信息学、智慧水利、生态环境综合治理及国家科技园区创新能力评价等方面开展了研究。,科研平台,全国农业农村信息化示范基地,山东省农业大数据工程实验室,山东省大数据与农产品精致化发展协同创新中心,大数据中心介绍,渤海粮仓科技示范工程大数据平台烟草农业大数据平台大蒜产业链大数据平台,147,大数据中心落地项目,沙漠生态治理大数据平台智慧水利大数据平台兖州粮食生产大数据平台,258,基于大数据的主要农作物虫害预测预警系统苹果品质预测与价格监测大数据系统智慧水利大数据平台,369,汇报目录,01020304,农业大数据应用现状农业大数据应用实践研究解决的主要问题农业大数据研究展望,2010年到2017年，大蒜价格四涨三跌，价格的巨幅波动给产业链各环节从业者带来了极为不,利的影响，影响着大蒜产业的平稳健康发展。,当前大蒜产业面临: 信息不对称, 价格巨幅波动, 产业发展不均衡,02  大蒜产业链大数据平台,14,大蒜产业的突出问题,(1)大蒜种植规模和产量家底不清,(2)价格波动影响因素难以分析,(4)  价格变动幅度大，变化趋势难以预测,(5)  价格短期精准预测困难,2.1 大蒜产业链大数据背景当前大蒜产业面临以下突出问题:(3)大蒜市场集聚程度不明晰,2.1   大蒜产业链大数据背景,背景,农业农村大数据试点方案,山东农业大学双一流学科,山东省农业厅大蒜大数据推进小组,16,大蒜大数据内部数据,相关部门数据,互联网数据,数据整理,数据采集,产前农资数据,种植数据,市场数据,库存数据,加工数据,出口数据,出口数据,数据挖掘数据存储,应用体系,产前,物资需求,实时价格,历史价格,物资销售,种植环节,流通环节,服务环节,地块管理,农事操作,长势管理,市场价格,市    市    蒜场    场    库走    走    存向    量    量数据可视化,物流管理,大蒜出口,蒜库走量,大蒜加工,生产服务,流通服务,决策服务,数,据准,备,数据存储与挖掘,产,业大数据知识展现,性、结构,多样,性,新理念、新架构、,新技术时效, 大蒜产业大数据采集方法 大蒜产业大数据平台架构, 大蒜产业大数据分析挖掘, 大蒜产业大数据服务模式, 大蒜产业大数据运行机制,主要研究问题,2.2大蒜产业链大数据平台服务用户（蒜农、蒜企、政府、消费者）,17,数据覆盖面广：,  涵盖山东省、江苏省、河北省、,河南省、云南省五大主要产区；  涉及大蒜产业链上的种植、加工,、仓储、加工、物流、销售等全产业链；,数据种类多样：,  结构化数据：价格、价格指数  非结构化数据：种植图谱、遥感,影像,数据来源广泛：,  政府、企业、网络平台,构建了大蒜产业数据资源平台,2.2大蒜产业链大数据平台,18,国家气象网.,市场大数据出口大数据,大蒜大数据分析,国际大蒜网12306信息服务,大蒜大数据中心,精,准种植面价,全,面种植信息,数据挖,掘分析数据插补,数据可,视化数据质量分析,市,场价格信息,市,场流通信息,供,应销售信息,全,面出口信息,产,品流通信息,全,面价格信息,遥感大数据种植大数据,数据服务：将数据分析与产业发展相结合，助推产业精细化生产与管理，助力产业健康发展。19,2.2大蒜产业链大数据平台平台构建的目的是通过数据分析提供数据服务。数据分析：综合运用相关性、聚类分析等各种手段，获取价值信息，形成产业报告。,汇报目录,01020304,农业大数据应用现状农业大数据应用实践研究解决的主要问题农业大数据研究展望,产业急需解决,03  大蒜产业典型问题研究种植规模大蒜,价格相关性分析,问题价格预测,模做出准确的判断。,3.1 种植规模种植规模研究背景：影响大蒜价格巨幅波动的因素有种植面积、产量、自然灾害、投机炒作等，其中种植面积是产业最基础也是最重要的因素。大蒜种植区域广泛分布于山东、河南、江苏、河北、云南五省，数据获取工作量和难度都很大。大蒜种植面积统计数据来源途径不一，数值间存有较大差距，无法根据种植规,大蒜种植区域分布图,22,传统的大蒜种植面积统计是通过实地走访对,农业种植户进行抽样调查，这种方式调查时间长、效率低、易被干扰。,遥感具有客观性、宏观性、周期性、便捷性等特点，将遥感技术应用到了大蒜种植面积获取中。将天巡与地测相结合，可弥补传统方法的不足，增加数据的准确性。,3.1 种植规模,种植规模提取方法：,23,结果分析,高分辨率遥,感影,像,矢量数据,耕地数据,图像配准,大气校正,图像融合,图像裁剪,计算机特征,提取,人眼识别,精度对比分,析,统计制图,数据收集,数据处理,信息提取,的光谱特性,对遥感图像,进行分析处理，确定种,植规模。,3.1 种植规模种植规模提取技术流程：利用物体,土地利用分,类数,据,24,（Landsat8、高分1号）（遥感影像数据在波段融合后红色区域为地膜覆盖区）,（真彩色下人眼观测到的影像图做对比）,（经特征提取，将遥感影像数据进行分类，为便于观察在此将地膜覆盖区统一定义为黄色）,3.1 种植规模面积获取思路-以金乡为例：,25,结果对比分析：种植面积提取精度高,金乡大蒜种植面积相对稳定，且大,蒜为主要种植作物，济宁市政府和金乡县政府对大蒜的种植高度关注，因此每年都会认真普查大蒜的种植区域面积。,另外，金乡本地面积稳中有降，金,乡周边地区近年面积变化幅度较大，其面积增减主要受当年大蒜价格影响。大蒜价格高，次年产新大蒜面积就会增加，反之就会减少。,3.1 种植规模,26,成武,鱼台,单县,杞县59.8388万亩,通许30.1333万亩,尉氏14.7112万亩,杞县,通许县,尉氏县,河南省局部种植面积特征提取结果：,3.1 种植规模,形成了大蒜种植规模产业服务报告！山东省种植面积特征提取结果：,27,产业急需解决,3、大蒜产业典型问题研究种植规模大蒜,价格相关性分析,问题价格预测,产前产中产后,大蒜全产业链分析,相关关系分析,初步选择原因,实地调研,确定对象,多因素分析,大数据分析持续改进,服务增强,精度提高,架构优化,技术升级,数据支持生物学功能方面,主产区副产区小产区,生姜蒜苔区域性,蒜企、蒜农,农产品之间价格区域性影响需求因素,大蒜     数据大蒜产业大数据平台汇聚了海量数据，为大蒜价格波动性分析提供了可能。,研究思路,29,大数据,123, 生姜价格与大蒜价格相关性分析 蒜薹价格与大蒜价格相关性分析 区域相关性分析,30,价格规律大蒜/生姜原始数据图,价格规律大蒜/生姜相关性分析Date: 03/01/18     Time: 10:14,Sample: 2010M01 2017M1                   2Included observations: 96,Correlations  are asymptotically consistent approximations,DS,SJ(-i),DS,SJ(+i),i            lag              lead0 -0.162. -0.162.,1 -0.154. -0.185.2 -0.150. -0.214.3 -0.150. -0.237.4 -0.147. -0.245.5 -0.139. -0.236.,6 -0.134. -0.216.7 -0.135. -0.203.,8 -0.130. -0.207.9 -0.116. -0.213.,1. -0.092. -0.219.1. -0.060. -0.219.1. -0.024. -0.213.,价格规律大蒜/生姜平稳性检验,Stability,ADF Test,Critical-,T-statistics,P-value,testDS,-5.630240,value1%,-4.058619,0.0000,5%10%,-3.458326-3.155161,Stability,test,ADF Test,Critical-,value,T-statistics,P-value,SJ,-5.205954,1%,-4.058619,0.0002,5%10%,-3.458326-3.155161,大蒜     数据,31,Xt   jXt j Xt1 GD t t t,                                                                                                  ,  ,1,1,tt ,sl,tts tst,tr (r) n ln(1 i ),（1）误差修正模型,p1j1,（2）Pillops-Ouliaris协整T                                                1                             n T    t1                  T    s1        ts1                                   ,（3）Johansen协整H0：tr()r Htr() rkir1,大蒜     数据协整关系检验：,Johansen协整检验-eigenNoneAt most 1,Eigenvalue0.0561460.015452,Trace6.8954381.463785,0.05C-value12.320904.129906,P-value0.33570.2652,价格规律大蒜/生姜协整关系（EG协整）：,运用EG两步法构建的回归方程：,价格规律大蒜/生姜协整关系（Johansen协整）：,32,xt ixti jyt j 1t,yt ixti jyti2t,yt  0 ixti j yt j t1 t,q                                       qi1                                    j1s                                          si1                                     j1具有协整关系的Grangerm                                          mi1                                      j1,大蒜     数据Granger因果关系检验：Yt a0 a1Yt1apYtp b0 b1Xt1bpXtp 2t差分形式Granger,滞后期123456,零假设生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因生姜不是大蒜的格兰杰原因大蒜不是生姜的格兰杰原因,F 统计量0.004391.024500.180980.686900.281060.425470.387930.398430.253350.342080.275180.29547,P 值0.94730.31410.83480.50580.83890.73520.81670.80920.93700.88590.94700.9373,决策拒绝同意拒绝同意拒绝同意拒绝同意拒绝同意拒绝同意,大蒜价格和生姜价格之间无显著性相关关系。,m                                      mi1                                   j133,  价格规律大蒜/蒜薹相关性分析,2,4,6,8,大蒜     数据  大蒜/蒜薹原始数据图：16141210,2010,2011,2012,2015,2016,2017,2013DS,2014ST,  价格规律大蒜/蒜薹平稳性检验：,Stability,test,ADFTest,Critical-,value,T-statistics,P-value,DS,-5.630240,1%,-4.058619,0.0000,5%,-3.458326,10%,-3.155161,Stability,ADFTest,Critical-,T-statistics,P-value,testST,-12.74229,0.0000,value1%5%,-4.058619-3.458326,10%,-3.155161,相关性DSST,DS10.377902,ST0.3779021,34,价格规律大蒜/蒜薹关系协整：,大蒜/蒜薹Granger最优滞后：,Johansen协整检验-eigen    大蒜,蒜薹,constant,大蒜,1.0000,1.0000000,1.000000,蒜薹,40.8253,-0.9401531,-5.243844,granger.test,F-statistic,p-value,蒜薹 -> 大蒜大蒜 -> 蒜薹,4.8532310.147560,0.009987960.86302131,大蒜/蒜薹Granger因果关系检验,Lag period,Zero hypothesis,F-statistics,P-value,Decision,making,1,Young   Garlic   Shoot   is   not,3.61380,0.0605,refuse,the granger cause of garlic.Garlic is not  a Granger cause,0.10374,0.7481,agree,2,of Young Garlic ShootYoung   Garlic   Shoot   is   not,the granger cause of garlic.,3.62676,0.0307,refuse,Garlic is not  a Granger cause,0.04323,0.9577,agree,3,of Young Garlic ShootYoung   Garlic   Shoot   is   notthe granger cause of garlic.Garlic is not  a Granger cause,3.031090.39529,0.03370.7567,refuseagree,4,of Young Garlic ShootYoung   Garlic   Shoot   is   not,the granger cause of garlic.,2.31363,0.0643,refuse,5,Garlic is not  a Granger causeof Young Garlic ShootYoung   Garlic   Shoot   is   notthe granger cause of garlic.Garlic is not  a Granger cause,0.069941.830140.17030,0.99090.11650.9728,agreerefuseagree,大蒜     数据,of Young Garlic Shoot35,大 3.2.2蒜薹价格与大蒜价格相关性分析,大蒜     数据价格规律-相关关系 大蒜价格和蒜薹价格存在正相关关系，二者波动趋势基本一致，蒜薹价格波动变化要先于大蒜价格。价格规律-动态关系 大蒜价格和蒜薹价格之间存在协整关系，证明两者之间存在价格引导关系。整体来看，两者处于长期稳定的动态均衡关系。价格规律-因果关系 大蒜价格和蒜薹价格之间存在明显的Granger因果关系。短期内，蒜薹价格的波动对大蒜价格的影响存在显著影响，在2个月时候影响达到最大；从长期看，蒜薹价格的波动对大蒜价格的影响减弱。,形成了大蒜和蒜薹价格变化趋势分析报告。,36,大蒜     数据,全局自相关是从整体上判别空间是否存在集聚或异常值。,局部自相关对图层属性自然分类。,（2）研究工具及方法空间自相关  (Global  Moran's  I)  工具同时根据要素位置和要素值来度量空间自相关。在给定一组要素及相关属性的情况下，该工具评估所表达的模式是聚类模式、离散模式还是随机模式。该工具通过计算  Moran's  I  指数值、z  得分和p  值来对该指数的显著性进行评估。p  值是根据已知分布的曲线得出的面积近似值（受检验统计量限制）。,（1）研究背景一个地区的大蒜价格不仅受到所在地区内部各种因素的影响，而且极有可能受到其他地区大蒜价格的影响。 不同区域之间大蒜价格存在,着怎么的关系？ 以大蒜主产区-山东省的大蒜批发价格为研究对象，基,于ArcGIS技术进行了空间量化分析研究。37,（3）研究结果：Morans I指数变化趋势图：上述结果表明，I值均为正，说明了大蒜价格与地域之间存在着正相关关系，在大蒜价格相对稳定时，其空间分布格局在整体上是聚集性的。,大蒜     数据,采用克里金法对样点数据进行插值，把大蒜价格分区域在地图上分级显示，得到结果如下图所示： 大蒜的价格地理集聚现象显著，且呈现多中心分布趋势，山东省集聚中心分别为济宁、东营、烟台。 山东省大蒜价格由内陆向沿海地区呈现上升趋势。38,产业急需解决,3、大蒜产业典型问题研究种植规模大蒜,价格相关性分析,问题价格预测,趋势项：从2010年开始，山东省大蒜价格先上升，,2011年急速下降，2012年又缓慢上升,2013年又下降，而后从2014年到2016年持续上升，2017年又呈现下降趋势。季节项：大蒜价格波动具有周期性，周期为一年。大,体趋势为每年5月和6月大蒜价格达到低点，7月开始价格逐渐上升，在来年2月和3月价格达到高点，而后又开始逐渐下降，直到5月和6月价格降到低点。,随机项：大蒜价格波动受不确定因素影响较为显著，包括市场游资炒作、突发性气象灾害、市场需求关系,等。,大蒜价格时序分解图,大数据（1）大蒜价格趋势分析,40,2,0,1,（2）价格精准预测虽然大蒜作为小宗农产品不像大宗农产品那样具有战略性的重要地位,  但由于其消费具有刚性,  与居民日常生活紧密相关,。大蒜价格的小幅波动也容易对市场造成一定的影响，因此除了要准确预测大蒜价格的变动趋势外还,  传统模型预测的特点目前大蒜价格的准确预测主要采用传统统计学或计量经济学方面的方法，虽然能够很好地预测到价格波动的趋势，但是预测精度往往不高。  机器学习预测的特点基于机器学习的智能预测方法在预测精准数值方面有着独特的优势，但其内部结构不明无法解释推理过程和推理依据。,大数据,需要得到大蒜价格的精准预测值。因此只有利用组合模型结合两类方法的优缺点才能做到精准预测。41,大蒜 大蒜 3.3 价格预测,大数据,（2）价格精准预测,组合建模流程图,42,2018年1月,2018年2月,2018年3月,2018年4月,2018年5月,2018年6月,蒜大数据（2）价格精准预测由三种模型的均方根误差（  RMSE  ）可知，组合模型的误差最小，效果最好，是精准预测大蒜短期价格的有效方法。2018预测价格price76543210,43,汇报目录,01020304,农业大数据应用现状农业大数据应用实践研究解决的主要问题农业大数据研究展望,04  农业大数据研究展望,   展 望 1,用数据思维、管理和创新是趋势，农业靠天靠地也要靠数据。,“用数据说话、用数据管理、用数据决策、用数据创新”，可显,著增强生产经营决策的科学性、预见性和有效性。,45,04  农业大数据研究展望,   展 望 2,农业大数据建设是一个逐步发展的过程。, 农业大数据不在于大，落地是关键，要能真正解决产业发展,面临的痛点和难点问题；, 以单品农业大数据建设为抓手，突破单品大数据应用瓶颈，,进而复制推广并进一步形成全产业大数据。,46,04  农业大数据研究展望,   展 望 3,多学科深度融合趋势增强。,研究问题应来源于产业需求，大数据要和产业深度融合；问题的解决需要数据分析师和农业工程专家的深度融合。,47,04  农业大数据研究展望,   展 望 4,大数据关键技术和标准的突破。,需要突破大数据高效存储、清洗、农业多源异构数据尺度转换及智能处理等关键技术；建立和完善农业大数据标准。,48,04  农业大数据研究展望,   农业大数据建设思考与建议,探索农业大数据建设和运行的有效模式。 政府负责数据资源的汇聚、开放和共享； 企业提出产业需求；, 高校和科研院所提供技术支持； 政府或委托第三方权威发布。,49,谢谢大家！,Thank  you!,50,