基于Hadoop大数据平台的交通行业动态监测解决方案

1 概述
本项目基于交通行业内相关企事业单位的业务运行动态数据，为部省级交通运输主管部门提供交通运输行业运行动态信息的查询、分析服务，以便管理者及时掌握交通运输经济运行态势与特点，掌握相关业务领域变化情况，研判未来一段时期的运行趋势，以更加科学、效率更高的开展交通运输经济运行分析工作，同时也将城市公共管理工作提供支撑。

2 方案介绍
2.1总体设计目标
(1)实现部、省、地市级及相关业务系统之间的信息交互
搭建数据交换平台系统，以数据交换为核心模块。保证部、省、市及第三方单位与数据系统内外网之间的能够随时随地进行的投资计划数据、统计数据、监测数据等信息交换与共享。
(2)面向定时采集数据采用批处理引擎，实现异构数据的数据共享
因为数据交换涉及到多个省的多个业务系统，相同的指标在不同的业务系统中的表达和格式均存在差异，因此建设异构数据的交换平台以实现对数据的清洗、转换，保证各业务系统异常数据的正常交互，解决不同数据存储系统，表达不一致问题。实现数据清洗、加工、转换，生成规范完整的数据、支持数据分类、关联以实现数据整合。
(3)实现海量城市交通数据的动态监测
利用基于Hadoop的并行内存计算技术，实现对海量城市交通数据的快速挖掘和处理，从而为准实时动态监控交通的运行状况提供可能。
(4)系统监控方案
提供共享交换的监控管理服务，以便对共享交换过程的有关情况进行记录。能对发送日志和接收日志进行分析，验证发送和接收的一致性。并提供图表化展示界面，让用户实时了解平台的运行情况。
(5)交通业务模型动态监测基础数据库存储来自行业各类外部数据源
主要包括高速公路联网数据、客运售票数据、出租车监控数据、公路交通情况调查、公路基础地理数据、投资计划基础数据、运政数据系统、道路养护数据、交通综合统计等。
(6)交通行业运行信息的公共服务
基于上述业务模型，系统可以自动生成统计年报、例行报告、统计年鉴、经济运行分析报告等，通过自动化专题报告生成工具，可以将系统生成的报告直接推送到交通公共服务门户网站，向社会发布，为广大公众服务。
2.2 方案总体框架

总体架构图

3 应用价值
应用大数据技术实现交通行业的动态监测，可以为交通部带来如下价值：
数据集中化，建立交通行业的大数据系统，提升行业数据服务能力
成本可控化，帮助交通主管部门以低成本实现系统的高负荷、高性能、高可靠运行
决策智能化，交通战略从“业务驱动”转向“数据驱动”
系统可靠化，从数据和应用层面提升系统防范能力