0 2018年度电子书包 项目 专项资金 财政支出绩效跟踪评价报告 预算单位 ： 上海市 闵行区教育学院 主管部门： 上海市 闵行区教育局 委托单位： 上海市闵行区教育局 评价机构：上海浩丞管理咨询有限公司 二零一 八 年十 月 1 目 录 摘要 . 2 正文 . 4 一、 项目概况 . 4 （一）项目立项程序和依据 . 4 （二）项目要解决的主要问题、整体绩效目标、指标完成计划和现阶段完成情况 . 5 1、项目要解决的主要问题 . 5 2、项目绩效目标 . 6 （三）项目实施组织管理情况 . 7 1、组织分工 . 7 2、项目实施流程 . 8 3、项目管理措施 . 8 （四）项目预算安排和支出情况 . 10 1、经费来源 . 10 2、 2018年预算安排及支出情况 . 10 3、近三年项目预算及执行情况 . 10 4、各阶段项目合同签订及历年付款情况 . 12 （五） 2018年项目实施范围、计划及完成情况 . 14 二、项目完成情况及偏差分析 . 14 （一）投入类指标完成情况及偏差分析 . 14 （二）过程类指标完成情况及偏差分析 . 15 （三）产出类指标完成情况、偏差分析及全年预测 . 16 三、跟踪结果判定 . 17 四、主要问题及对产出类指标完成情况的预测 . 17 五、建议和改进措施 . 18 2 2018年度电子书包 项目 专项资金 绩效跟踪评价 报告 摘要 一、项目要解决的主要问题 为积极响应 上海市中长期教育改革和发展规划纲要（ 2010-2020 年） 提出 的 “ 推动电子书包和 云计算 辅助教学的发展 ，促进学生用信息技术丰富 课内外学习与研究”的 要求，闵行区于 2012年起试点开展电子书包项目，目前采 用整体服务外包方式按阶段推进， 2018年项目已实施至第五阶段 。 项目设立目的是 为了 提升学生学习品质，促进学习方式变革 ;提升教师教学素 养，构建以 解决 学生问题为主线的 、形成“开放、互动、共享”的信息化 教学模 式；构建以 学校、家庭、社区三位一体、互动共生的信息化教育服务体系，促进 闵行 区的 智慧教育建设。 二、项目资金安排和执行情况 2018年度项目预算总额为 2,265.00万 元， 对应整体外包服务 合同 项下的 付款， 因跟踪期间尚未至合同付款期，故截止到 2018.8.31实际支出为 0。 三、项目产出类绩效指标完成情况 2018年 项目范围是电子书包 第 三 至第五阶段内的 50所 实验学校 、实验班级数 100 个、 BYOD 班级数 200 个 。实施内容是由第三方向实验学校提供电子书包设施 设备，提供数字化学习支撑软件、资源及相关运维服务和咨询服务，满足电子书 包日常教学开展。 跟踪期间已按计划落实各项工作 ， 产出情况良好 ： 1 第 三 至第五阶段项目学校共 50所，电子书包班级数 100个， BYOD班级数 200个，经开学初运行环境检测，设施设备全部到位，满足教学需求，无学校设备、 设施配置方面的投诉发生。 2 2018 年上半学期， 50 所实验学校按教学计划开展了电子书包相关课程， 开课率 100%。 3 2018上 半学期 第三方运维和服务工作顺利完成。中国电信股份有限公司上 海分公司依据合同约定，向实验学校派驻定点工作人员 共 39 名， 设备供应到位， 3 故障报修响应率 100%，发生故障率 0.87%，低于合同管 理要求的 5%上限 。另外 ， 项目小组现场满意度反馈良好，无学校关于第三方服务响应方面的投诉。 4 2018 年， 按计划对实验教师组织开展区级通识性培训一次，共有 85 所学 校 ， 167名教师参加培训，考核通过率为 100%。 保障实验教师准确掌握相关技术， 顺利开展实验。 四、项目跟踪结果判定 根据闵行区财政局制定的绩效跟踪评价指标体系，经 本 公司独立评价， 2018 年度 项目跟踪判定结果为运行 基本 正常。 五、 项目存在问题概述 项目 产出 情况良好， 但 管理上 存在 一些不足 ， 建议 进一步 改进 完善 ： 1.针对 第三方 服务 验收 管理 ，现有 评价 标准 存在不够 量化 、统一的问题 。鉴 于项目采用整体外包模式，对第三方服务验收是购买服务方监督管理的重点，建 议进一步完善第三方验收管理标准 ， 针对各阶段服务合同，制定统一的验收标准， 采用量化指标体系，打分方式 ，按分值论等级，便于专家统一口径、操作简便、 结论公允。 2.学校 在 电子书包利用方面表现出 一定 的差异 性 ，建议管理方能进一步跟踪 考量此 “不均衡”情况是否会影响项目效果和初衷，电子书包对学生的普及是深 入式还是了解式，辐射班级量的多寡与课程量的适配性，从而从长效角度对学校 应用管理提出指导意见或规制 。 4 正文 为进一步加强财政支出预算绩效管理，提高财政资金使用效率和效益，闵行 区教育局根据上海市财政局上海市预算绩效管理实施办法（沪财绩 201422号） 和 闵行区财政局关于开展 2018年度财政预算项目支出绩效跟踪评价工作的通知 （闵财评 201821号）的要求 ， 对 闵行区 教育 学院 2018年电子书包项目进行绩效 跟踪评价，评价时间节点为 2018年 8月 31日。 一、 项目概况 （一）项目立项程序和依据 “ 电子书包 ” 是以学生为中心、个人电子终端等为载体， 利用 数字化教与学 的系统平台 ，覆盖课堂教学 预习、上课、作业、辅导、评测等 各个学习环节， 贯 穿 课前、课中、课后， 有效促进数字化学习方式变革，充分体现以学生为中心的 综合性系统项目 。 依据上海市中长期教育改革和发展规划纲要（ 2010-2020年）提出的：“推 动电子书包和 云计算 辅助教学的发展，促进学生运用信息技术丰富课内 外学习与研究。”闵行区 作为国家教育部教育电子政务试点工程单位，区教育局主 动适应信息化社会发展和教育 “ 数字化 ” 、 “ 智能化 ” 发展趋势，于 2012年启动 闵行 区 中小学 “ 电子书包 ” 实验 项目 。项目分阶段实施，第一阶段（ 2012 年）为 自主探索，第二阶段（ 2013年）为购买服 务探索阶段，第三阶段起（ 2014年）为 分批推广阶段， 总体规划为六阶段，最终目标要实现闵行区公办中小学的全覆盖 。 从第二阶段起 ， 项目采用整体服务外包 ，通过政府采购委托第三方提供包括学校 软硬件设施设备租用、网络环境保障、电子书包运维、使用培训等全方位服务。 每个阶段有计划地增加试点学校，每校选择 1 个年级 2 个班级（即投放 2 个班级 设备数量），选择 2-4 门学科开展实验 。 至 2017 年末项目已 推进至第五阶段，实 验学 校 70 所 ，设备投放 140 个班级数， 可同时 提 供约 9500 名学生使用。此外， 随着电子书包的推广，为满足部分学校对电子书包的扩容需求，从第三阶段（ 2014 年）起增设了 BYOD电子书包班级，即由学校或学生自备设备，带机入网学习，至 2017年末 BYOD涉及 学校 38所， 200个班级。 项目发展进程如下： 5 实验阶段 运作 方式 实验期 期间 投入学校数 投入班级数 BYOD 投入班级数 项目总投入 （万元） 第一阶段 自建 2012.12.1 起 40 80 0 2,959.96 第二阶段 外包 5 年 2013.12.1-2018.11.30 20 40 0 3360（年均 672） 第三阶段 外包 5 年 2014.12.1-2019.11.30 20 40 80 4550（年均 910） 第四阶段 外包 3 年 2016.10.27-2019.10.26 20 40 40 2145（年均 715） 第五阶段 外包 3 年 2017.7.13-2020.7.12 10 20 80 1790.40（年均596.80） (说明：第一阶段 40所学校中有 15所学校期后转入第二阶段整体外包管理 ) 2018 年预算资金对应项目内容是电子书包 整体外包服务（以下简称本项目） ， 是本次跟踪评价的对象。项目经区教育学院立项申请，区教育局、 区 科 委 、区财 政审批和前评程序，取得 2018年度预算批复后执行。立项依据文件主要有： 上海市中长期教育改革和发展规划纲要（ 2010-2020年）：“推动电子 书包和 云计算 辅助教学的发展，促进学生运用信息技术丰富课内外 学习与研究”； 上海市教育改革和发展“十三五”规划 61 号 ：“信息化技术倒逼传 统教育模式变革，迫切要求创新教育理念和教育模式，以教育信息化带动 教育现代化，加快开发优质网络教育资源，创新教育教学的内容，方式和 手段”； 闵行区教育改革与发展“十三五”规划： “ 将坚持创新教育发展，进一 步彰显区域教育特色，而“电子书包”作为闵行区区教育特色，是教育部 信息化区域推进示范典型区。本项目的启动对于闵行区十三五规划目标的 顺利实现有着重大影响”。 （二）项目要解决的主要问题、整体绩效目标、指标完成计划和现阶段完成情况 1、项目要解决的主要问题 提升学生学习品质，促进学习方式变革 ;提升教师教学素养，构建以 解决 学生 问题为主线、形成“开放、互动、共享”信息化 教学模式；构建以学校、家庭、 社区三位一体、互动共生的信息化教育服务体系，促进闵行智慧教育建设。 6 2、项目绩效目标 （ 1） 整体绩效目标： 对 2018 年度购买服务范围内的试点阶段，即 第三 至第 五阶段范围内的 50所实验学校，有序开展电子书包日常教学使用，做好学校年度 考核和第三方服务验收工作。 （ 2）绩效指标完成计划和现阶段完成情况 指标类型 指标名称 年度目标值 指标解释 目标值 依据 跟踪期目标值 跟踪期完成值 管理目标 预算执行率 100% 预算支出情况，支出数 /调整后预算数100% 财务管理 0% 0% 采购流程合规 性 合规 采购流程是否符合政府采购相关规定 政府采购 相关规定 合规 合规 合同签订及时 性、内容规范性 及时、规范 合同签订是否及时、规范，内容要素 是否齐全 政府采购 相关规定 及时、规范 及时、规范 产出目标 实验学校数量 50 实验学校拓展计划完成情况 计划目标 50 50 实验学校配置 到位率 100% 试点项目学校软、硬件及环境配置是 否及时到位，设备数量和品质是否达 到方案设计标准，经试运行和验收后 合格（设施设备包含：服务器、路由 器、 AP、 pad） 计算 =验收通过学校数量 /新增实验校 总量 100% 计划目标 P3-P5 项目学 校设备到位率 100% P3-P5 项目学 校设备到位率 100% 实验教师培训 计划完成率 100% 实验教师年度培训工作是否及时完成 （ 1）区级通识性培训 (暑假集中一次 培训） （ 2）实验校校本培训，每校至少 1 次 （校集中、分散相结合） 计划目标 区级通识性培 训 100% 区级通识性培 训 100% 学校开课数达 标率 100% 项目学校电子书包课程是否按计划启 动，开课率（应开课程数）是否达标 （要求：每实验老师每周 2 节课）， 计算 =达标校数量 /实验校总量 100% 计划目标 2018 上开课率 100% 2018 上开课率 100% 运维服务完成 率 100% 第三方运维工作合同履约情况，包括： （ 1）人员到岗率 100%（ 2）运维频 次达标率 100%（ 3）故障响应及时性 100% 计划目标 2018 年上运 维完成率 100% 2018 年上运 维完成率 100% 效果目标 设备故障率 5% 设备故障而影响电子书包课程的实际 开课数占电子书包总开课数量的比例 须低于 5% 计划目 标 不跟踪 - 第三方服务年 度验收结果 1 次验收通过 第三方服务年度专家验收是否通过 计划目标 不跟踪 - 项目学校年度 考核结果 得分不低于 216 分 实验学校年度考核是否合格，满分 360 分，合格为 216 分。 计划目标 不跟踪 - 7 指标类型 指标名称 年度目标值 指标解释 目标值 依据 跟踪期目标值 跟踪期完成值 学生、家长满意 度 80% 实验学生、家长对项目的综合评价。 通过问卷回访结果进行评判。 计划目标 不跟踪 - 实验学生信息 素养综合评定 合格率 80% 实验学生通过电子书包的应用在信息 素养方面的改善情况。通过理论测试、 实验教师反馈和学生问卷调研相结合 进行评判。信息素养包含：信息意识、 信息知识、信息能力、信息价值观、 信息安全。 计划目标 不跟踪 - 项目辐射效应 实验学生设备 比 2 电子书包设备的利用、共享情况。计 算 =实验学生数 /投放设备数 计划目标 不跟踪 - 学科覆盖率 语 数外 +3 电子书包在学科中的适用广度。 计划目标 不跟踪 - 可持续 长效机制 建立健全 项目所涉长效机制的建立健全性，包括购买服务机制、退出机制等。 计划目标 不跟踪 - 项目支持率 80% 社会各阶层对项目的支持程度，包括： 家长、老师、学校，通过问卷调查、 回访结果进行评判 计划目标 不跟踪 - （注： 按闵行区绩效跟踪管理要求 ， 跟踪评价 不 对效果指标进行跟踪 ） （三）项目实施组织管理情况 项目经过多年实施和改进，已建立了完善的管理机制，在项目团队领导、实 验学校和教师支持下，形成有序的工作模式。 1、组织分工 项目主管单位是区教育局，实施单位是区教育学院。由于项目采用整体服务 外包模式，且涉及学校较多，为保障顺利运行、监管得当，区级层面专门 成立了 闵行区电子书包项目推进领导小组 、 专家组和项目工作小组 ；校级层面成立学校 项目组；第三方整体服务承接单位成立项目团队，构成自上而下的梯队式管理。 区级层面 领导小组 ，负责项目决策、实施保障，由区教育局局长担任 领导小组组长。 专家组 ， 负责 评审和项目考评，包括对第三方服务的验收、对实验学校年度 考评，目前与华东师范大学合作，由华东师范大学长期派驻人员对项目实施跟踪 调研和评价（注：调研和评价经费不在本项目专项资金中）。 项目工作小组 ，负责项目执行和日常管理，包括 策划、组织、协调、指导、 评估等工作 。由区教育学院院长任组长， 区教育局 信息中心主任担任副组长，成 8 员分别由区教育学院 研训员 、 信息中心技术人员 、 实验学校电子书包项目分管领 导 以及第三方项目负责人 组成 。根据部门科室专长各司其职在项目中担任应用推 进与教学改进、资源建设与教师培训、平台建设、硬件环境建设、课题与模式构 建、运维管理等板块的管理、对接工作。 校级层面 各实验 学校成立校级项目组 。校长担任组长，组员由 教学副校长 、 教导主任 、 信息办主任 、 总务主任组成 ， 具体负责学校电子书包项目的顺利有效实施 。 第三方 第三方专门成立项目团队，设立项目负责人 1 名，项目经理 6 名，管理电子 书包项目服务团队，与甲方沟通，满足甲方需求；技术支撑工程师 3名，负责软、 硬件安装、运维、调试，服务期内巡检、升级等各种技术支撑；本地化支撑人 员： 36人，负责数字教育支撑服务、教育教学的信息化应用支撑 。 2、 项目实施流程 电子书包分阶段实施，采用学校自愿原则，根据学校申请情况，分批次有序 推进， 每阶段在实施过程中的一般流程是 ：实施方案制定 -供应商采购 -合同执行 - 学校开课（课内外应用） -验收考核。 3、项目管理措施 （ 1）日常管理 例会制度 。为保证项目各阶段顺利推进，建立每月一次教育局信息化领导小 组例会制度；每两周一次的区项目工作小组例会制度；实验校项目组每周讨论数 字化学习制度。 简报制度 。建立每月编辑、发布项目简报制度。 培训制度 。根据实验进展情况，对项目领导与指导人员、实验校校长、实验 教师和相关技术人员进行有针对性的培训。 汇报制度 。建立实验学校实验情况月报制度，项目组建立简报制度，向相关 区、局、院领导及时汇报项目进展情况。 研讨制度 。建立区、共同体和实验校各个层面的研讨制度，及时发现典型、 扶持典型，辐射典型经验。 9 评比制度 。建立实验校、共同体和教育局层面的数字化教学评比制度，激励 实验校与实验教师工作的积极性与创造性。 评估制度 。每学期对项目实验校和实验教师实验情况进行评估。 资源共建共享制度 。号召各实验校和实验教师将制作的个性化 资源参加区级 评选，优质资源进入区数字化资源平台，为实验校师生以及所有需要此类资源的 师生所共享。 实验校绩效考评及退出制度 。每学期通过多维度对实验校的绩效进行评价， 结果纳入对学校的整体考评，对于整体绩效比较低的学校要给予警告、对校领导 进行约谈、专项调研。对于连续两次绩效评定不合格的学校，建议取消实验校资 格。同时项目组对该校租用的相关资源配备进行统筹调整。 （ 2）第三方监管 对第三方监管主要有三个方面 ：设施 设备投入和试运行的验收 、 日常服务每 周 2 校现场 跟踪检查 、年度服务结果委托第三方（专家组）综合验收。同时，在 合 同中对第三方服务要求做了相应的规定， 主要约束条款如下 ： 服务队伍 ：团队人数要求总负责 1人、项目经理 6人、服务人员 36人、技术 支撑工程 3人。 设备配置 ：按合同约定配置，经试运行和验收后合格。 运维服务 ：每校不少于 1名专职服务人员，每周不少于 2个全天驻守； 服务热线 5*8 小时工作；非工作时间在 I 级事件中，运维负责人需第一时间 到达现场，并在 7*24小时接听移动电话； 故障响应时效和解决时效执行（ IIV）标准，设备故障而影响电子书包课程 的实际开课数占电子书包总开课数量的比例须低于 5%； 满意度抽查。抽查不满意次数达到三次及三次以上、收到书面投诉达到三次 及三次以上，将书面通知第三方整改，拒不整改的，将扣除本年服务费的 10%； 年度验收。采用综合验收，验收合格后进行相关服务费用的支付，验收不合 格的，第三方需整改直至通过，并负担由此产生的专家费用。 违约与合同终止。未能按期提供技术服务，每逾期 5个日历日，违约金为 0.1%。 如违约金的数额累计达到年度服务费的 10%时，委托方有权终止合同。 10 （ 3）资金管理 目前执行的资金制度有：闵行区教育局专项资金管理暂行办法、闵行区教 育系统预算编制与执行暂行 规定 （四）项目预算安排和支出情况 1、经费来源 项目经费来源于教育费附加，按各阶段合同约定执行付款，经区教育学院申 请后，区财政直接拨付。 2、 2018年预算安排及支出情况 2018年度项目预算总额为 2,265.00万 元， 全部用于购买第三方服务支出 ，因 跟踪期间尚未至合同付款期，故截止 2018.8.31实际支出为 0。依据各阶段合同约 定的支付条款，经测算预计本年度 需支出 2,255.20 万元，预算执行率为 99.57%。 预算构成及 2018支出预测如下：（单位 万元） 序号 项目明细 年初预算 实际支出 （ 1-8 月） 预计全年支出 执行率 支付方式 采购方式 供应商 2018 付款依据 1 闵行区电子 书包项目第 三阶段整体 解决方案 910.00 - 910.00 100.00% 直接支付 单一来源 中国电信股份有限公司上海分公司 合同第 5 年 （ 2018.9-2019.8）服务 费预付 100% 2 闵行区电子 书包项目第 四阶段整体 解决方案 715.00 - 715.00 100% 直接支付 单一来源 中国电信股份有限公司上海分公司 合同第 2 年 （ 2017.9-2018.8）服务 费尾款 30%+合同第 3 年 （ 2018.9-2019.8）服务 费预付 70% 3 闵行区电子 书包项目第 五阶段整体 解决方案 600.00 - 596.80 99.47% 直接支付 招投 标 中国电信股份有限公司上海分公司 合同第 2 年 （ 2018.8-2019.7）服务 费 100%（按合同约定其 中 95%付第三方、 5%质 保留教育学院） 4 电子书包项 目区平台 运 维 40 - 33.4 83.5% 直接支付 招投 标 上海鑫湛信息科技有限公司 (2018.9-2019.8) 服务费 33.4 万元 100%（扣留 5%履约保证 金） 合计 2,265.00 - 2,255.2 99.57% 3、近三年项目预算及执行情况 电子书包 各 阶段各年预算及支出情况如下 ： 11 子项目 2015 年 2016 年 2017 年 预算数 支出数 执行率 预算数 支出数 执行率 预算数 支出数 执行率 二阶段 672.00 672.00 100% 672.00 672.00 100% 672 672 100% 三阶段 910.00 910.00 100% 910.00 910.00 100% 910 910 100% 四阶段 - - - 720.00 500.50 69.51% 720 715 99.30% 五阶段 - - - 600 596.8 99.47% 电子书 包项目 区平台 运维 - - - 33.4 33.4 100% 12 4、各阶段项目合同签订及历年付款情况 序 号 子项 采购 方式 采购方 供应商 合同名称 合同期 服务期间 合同总价 （万元） 付款条件 2014 实付 2015 实付 2016 实付 2017 实付 2018 应 付 1 三阶段 单一来源 上海市闵 行区教育 学院 中国电信股 份有限公司 上海分公司 闵行区电子 书包项目第 三阶段整体 解决方案技 术服务合同 5 年 2014.12.1- 2019.11.3 0 4,550.00 年服务费 910万，要求： 第 1 年：合同签订后支付 年服务费的 70%，硬件、 软件且完成调实验收通 过支付 30%； 后续年度：每 1 年服务期 满后 1 月内组织验收，合 格后付款 100%。 637.00 910.00 910.00 910.00 910.00 2 四阶段 单一来源 上海市闵 行区教育 学院 中国电信股 份有限公司 上海分公司 闵行区电子 书包项目第 四阶段整体 解决方案技 术服务合同 及补充协议 3 年 2016.10.2 7-2019.10. 26 2,145.00 年服务费 715万，要求： 第 1 年（硬件、软件完成 调试并正常运行后支付 本年度服务款的 70%； 服务期满一年后组织验 收，通过付 30%）； 后续年度（上年验收通过 预付下一年度服务费的 70%， 1 年服务期满 1 月 内验收，合格后付 30%） 500.50 715.00 715.00 13 序 号 子项 采购 方式 采购方 供应商 合同名称 合同期 服务期间 合同总价 （万元） 付款条件 2014 实付 2015 实付 2016 实付 2017 实付 2018 应 付 3 五阶段 招投 标 上海市闵 行区教育 学院 中国电信股 份有限公司 上海分公司 闵行区电子 书包项目第 五阶段整体 解决方案技 术服务合同 及补充协议 3 年（ 1 年 1 签） 2017.7.13- 2020.7.12 1,790.40 年服务费 596.8 万 ，付 款要求： 第 1 年：签约后即支付年 服务费的 30%，软硬件 建设并完成系统部署和 试运行时，双方组织系统 验收，验收合格后支付 65%，服务期满一年综合 验收通过后付 5%。 596.80 596.80 4 电子书 包项目 区平台 运维 招投 标 上海市闵 行区教育 学院 上海鑫湛信 息科技有限 公司 闵行区教育 学院电子书 包第一阶段 软件系统运 维服务补充 协议 1 年 2018.9.1-2019.8.31 33.40 年服务费 33.4 万元 付款约定：合同签订后付 100%（扣留 5%履约保证 金） 2018 年应付款：已签订合 同需支付 33.4 万， 33.4 33.4 14 （五） 2018年项目实施范围、计划及完成情况 2018年 项目范围是电子书包 第 三 至第五实验阶段，所涉项目学校共 50所、实 验班级数 100 个、 BYOD 班级数 200 个。 实施内容是由第三方向实验学校 提供电子 书包设施设备和运维服务，满足电子书包日常教学开展的需要。 实验阶段 实验期间 实验学校数 (所） 实验班级数（个） BYOD 班级数（个） 第三阶段 2014.12-2019.11 20 40 80 第四阶段 2016.10.27-2019.10.26 20 40 40 第五阶段 2017.7.13-2020.7.12 10 20 80 合计 50 100 200 2018年实施计划及完成情况如下： 序号 内容 计划描述 执行部门 跟踪期完成情况 1 实验学校开课 2018 上： P3-P5 阶段学校，共 50 所， 2 课时 /周 /实验教师 2018 下： P3-P5 阶段学校，共 50 所， 2 课时 /周 /实验教师 实验学校 2018.1-8 实验学校 50 所，开课率 100%， 2 第三方运维服务 2018 上：根据合同约定提供运维服务服务 2018 下：根据合同约定提供运维服务服务 第三方（中国电信上 海分公司） 第三方 （上海鑫湛信 息科技有限公司） 2018.1-8 完成。服务实验学校 50 所，共派 出 39 名驻守服务人员，故障报修响应率 100%，发生故障终端设备数 63 台，占比率 0.87%。 3 实验教师培训 2018.1-8，组织开展一次区级通识性培 训，面向所有实验教师（计划 100 人参加） 2018.1-8，各实验校组织 1 次有针对性的 校本培训 区级项目组 2018 年 8 月 26 日，开展区级通识性培训， 参加培训 85 个学校、 167 名教师，考试合格 率 100%。 第 三 阶段到第五阶段，在 2018 年 1 月 -8 月 上分别开展了相关校本培训和个别化培训指 导。培训实施率达 100%。 4 2018 学年项 目考核与验 收 2018.10-11，组织对 2017.9-2018.8 期间 电子书包验收（ P3-P5），包括第三 方服 务验收和学校考核 区级项目组、专家组 未到计划实施期。 5 项目资金拨付 2018.11，根据合同约定支付 P3-P5/区 平台运维 项目款 区级项目组 未到计划实施期。 二、项目完成情况及偏差分析 （一）投入类指标完成情况及偏差分析 投入类指标共设置了 2个指标，各指标完成情况如下： 指标类 型 指标名称 指标细化 完成情况 好 较好 一般 差 A 投入 A1 项目立项 A11 项目立项规范性 A12 绩效目标质量 15 指标类 型 指标名称 指标细化 完成情况 好 较好 一般 差 A2 资金落实 A21 预算执行率 - 分析说明： 1、项目立项方面 本项目立项规范性好，体现在（ 1）立项依据充分，有市、区政策文件作为支 撑，且与项目内容相适应；（ 2）立项审批程序完整，符合闵行区财政预算管理流 程，并取得了相应的预算批复。 项目绩效目标质量较好。围绕实施内容和管理目标，已建立相适应的细化、 量化产出指标， 但效果类指标因量化难度较大，缺少能直观反应电子书包对学习 能力改善方面的数据支撑。 （详见正文（二）项目绩效目标设立情况）。 2、资金落实方面 资金执行与项目执行进度相符。因跟踪期间本项目未到付款期，故无资金支 出。 （二）过程类指标完成情况及偏差分析 过程类指标共设置了 2个二级指标，各指标完成情况如下： 指标类型 指标名称 指标细化 完成情况 好 较好 一般 差 B 过程 B1 业务管理 B11 工作计划完好性 B12 工作计划执行准确性 B13 项目管理制度建立与执行 B2 财务管理 B21 财务管理制度建立与执行 分析说明： 1、业务管理方面 工作计划与执行情况较好，跟踪期间工作进度与整体计划安排一致， 鉴于电 子书包涉及学校、第三方等多方合作，且财年与学年往往无法完全对应， 参考以 往评估中的 建议 ，已按照 学期 （上半学期、下半学期） 为单位制定工作计划， 细 化了 学校方面的课程 计划 以及考核指标， 第三方服务提供计划 、 项目小组督导计 划等等， 明确 了产出、效果目标的 期终考量。 16 2、项目管理制度建设和执行方面 项目管理制度建立和执行情况较好。制度内容比较全面，兼顾了对实验学校 和第三方的日常监管和考核验收。 不足之处是虽然采用第三方专家评审验收方式 ， 但是考核 标准 较为笼统 ， 存在一定的主观性。 建议后续进一步加强专家验收的量 化 标准 ，减少专 家验收存在的主观性较强等弊端。 3、财务管理制度建设和执行 财务管理制度健全，依据区教育局专项资金管理制度执行。执行方面，因跟 踪期间本项目未到付款期，故无法评判。 （三）产出类指标完成情况、偏差分析及全年预测 产出类项目共设置了 5个绩效指标，各指标完成情况和绩效值如下： 指标名称 指标细化 年度目标值 实际产出数 （ 1-8 月） 阶段目标值 （ 1-8 月） 阶段目标完成情况 目标全部完成 可能性 C11 实验学校数 量 50 50 50 50 完成 能够完成 C12 实验学校配 置到位率 100% 100% P3-P5 配置到 位率 100% P3-P5 配置到位 率 100% 完成 能够完成 C13 实验教师培 训计划完成率 （ 1）区级通识性培 训 (暑假集中一次培 训） （ 2）实验校校本培 训（每校 1 次） 100% 区级通识性培 训完成率 100% 区级通识性培训 完成率 100% 完成 能够完成 C14 学校开课率 100% 100% P3-P5 开课率100% P3-P5 开课率100% 完成 能够 完成 C15 运维服务完 成率 （ 1）人员到岗率 100% （ 2）运维频次达标 率 100% （ 3）故障响应及时 性 100% 100% 100% 100% 完成 能够完成 分析说明： C11实验学校数量： 根据 2017年 6月签订的闵行区电子书包项目第五阶段 整体解决方案技术服务合同及其补充协议， 10所公办学校 已 于 2017年 9月正式 开课，投入电子书包使用。目 前第 三 至第五阶段项目学校共计 50所 。 C12实验学校配置到位率：项目 涉及 学校共 50所，电子书包班级数 100个， BYOD班级数 200个，经开学初运行环境检测，设施设备全 . 17 C13实验教师培训计划完成率：按年度计划在暑假期间组织开展了全区通识性 培训 ，面向所有实验学校教师，培训内容是国外中小学多媒体课程制作与课程 分享平台培训，培训时间 8月 26日，课时 1天。经统计共有 85所学校、 167名 教师 参加培训，经考评合格率 100%。 C14学校开课率： 2018上 P3-P5阶段所涉 50所学校，根据各校学期开课核定 目标数 ，达标学校比例为 100%。 此外 ，根据学校提供的电子书包教学应用数据统计， 2018 年上 半学期对应范 围的 50所实验学校，利用本项目投入的 100个班级设备数量，通过课程合理安排， 使得实际获益班级 数达到 327个，学生数 10,770名 。 试点 阶段 实验 校数 实验班 级数（合 同） 辐射班 级数 辐射学 生数 BYOD 试 点班级数 BYOD 学生数 实验教 师人数 应开课程数 （ 2018 上） 实际课程数 （ 2018 上） 开课数 达标学 校数 达标学 校占比 P3 20 40 189 6254 41 1356 379 5940 7212 20 100% P4 20 40 92 2999 0 0 159 4340 5667 20 100% P5 10 20 26 1517 1 35 84 1338 1573 10 100% 合计 50 100 327 10770 42 1391 622 11618 14452 50 100% C15 运维服务完成率： 人员到岗率 100%， 根据第三方提供的服务人员岗位 名册，每校已对应 1 名专职服务人员；运维频次达标率 100%，根据第三方服务 人员考勤记录，运维人员每周每校达到固定驻守 2 天，项目小组每周现 场巡查未 发现缺岗或学校不良反馈；故障响应及时性 100%，跟踪期内共发生故障影响课 时数为 63，占开课总量 0.87%，符合管理要求（ 5%），另外项目小组现场满意度 反馈良好，无学校关于第三方服务响应方面的投诉。 三、跟踪结果判定 经 独立评价 ，项目跟踪判定结果为运行 基本 正常。 四、主要问题及对产出类指标完成情况的预测 （一）主要问题 1、 第三方服务验收标准缺少量化、统一的考核体系。目前对第三方服务的年 度验收方式已采用了专家评审制，并形成“通过与否”的书面评审结果和专家意 见。但评审过程采用的评判标准尚未形成统一、量化的指标体系。 18 2、学校在 电子书包利用方面表现出 一定 的差异 。 虽然本项目 对 各实验学校 统 一配备 2 个班级的实验环境，但学校对项目范围界定不 够 清晰，实际利用方面 各 校表现出 较大的差异。比如使用对象最多的田园外语小学实际辐射到 40 个班级 /1200 学生 、但也有个别学校仅维持 2 个班级 / 54 名学生。在课程应用方面，最 多的学校达到 13门课程几乎全覆盖， 课程数完成率 221%，而 最少的只有 1门课程。 （二）产出类指标完成情况预测 结合跟踪期间项目执行进度和年度计划安排，预计全年工作可以顺利完成。 业务方面， 第 三 至第五阶段实验学校配置到位、 2018年上 50个实验学校开课率 达 100%以上，运维服务人员到位、故障率低于 5%，教师培训完成率 100%。资金方 面， 根据合同金额和 2018年度验收 结果，预算全年执行率为 99.57%。 五、 建议和改进措施 1、 进一步 完善第三方验收管理标准。鉴于项目采用整体外包模式，对第三方 服务验收是购买服务方监督管理的重点，建议针对各阶段服务合同，制定统一的 验收标准，采用量化指标体系，打分方式，按分值论等级，便于专家统一口径、 操作简便、结论公允。 2、 针对各校在 电子书包 投入使用 方面 存在的利用率差异， 进一步跟踪考量 这 种不均衡性是否会影响项目效果和初衷，辐射班级量的多寡与课程量的适配性， 从而从长效角度 对学校 的 应用管理提出指导意见或规制。 上海浩丞管理咨询有限公司 二零一 八 年 十 月