【工经之声】大数据技术及其行业应用：基于铁路领域的概念框架研究( 五 )_：【工经之声】大数据技术及其行业应用

在国内大数据行业研究领域，现有研究主要集中于现代服务业以及互联网相关行业，大数据在传统行业的应用并未得到足够的重视和充分探讨，本文在对大数据的技术架构进行整体描述的基础上，根据我国铁路大数据的发展现状，尝试探索铁路大数据技术框架的构建，这将进一步促进大数据技术在我国铁路行业的落地生效，为铁路提高运输安全水平、实现客货运精准营销、提高运输效率提供参考。主要创新点在于：在解析“大数据+铁路”的基础上，阐述大数据之于传统行业升级的重要意义，基于产业链构建铁路大数据系统架构，尝试对铁路大数据的规划设计、落地实施和其他行业大数据产业示范等提供一定的借鉴意义。

二、大数据的技术架构

如果将大数据处理按处理时间的跨度要求，从长到短可分为三类：一是流处理，即基于实时数据流的数据处理（Streaming Data Processing），通常的时间跨度在数百毫秒到数秒之间；二是交互式分析，即基于历史数据的交互式查询（Interactive Query），通常的时间跨度在数十秒到数分钟之间；三是批处理，即复杂的批量数据处理（Batch Data Processing），通常的时间跨度在几分钟到数小时之间[19]。当然，这三类数据处理流程并不一定能完全分开，它们的处理一般情况下要涉及两类组件：Hadoop和Spark，这两个组件也是大数据技术两个重要的核心部分。图1展示了大数据的核心架构，主要包括4个层级，即数据获取层、数据处理层、模型层和应用层。