订阅云计算RSS CSDN首页> 云计算

2013中国智能交通与大数据技术峰会:迎接交通大数据新时代

发表于2013-12-06 18:27| 次阅读| 来源CSDN| 0 条评论| 作者宋慧

摘要:在2013BDTC上,来自中国智能交通协会、奇虎360、中国移动研究院、IBM、上海市城乡建设和交通发展院、北京市交通运行监测调度中心、深圳市综合交通运行指挥中心的专家们一致认为:智能交通已经迎来大数据时代。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

在BDTC2013的首届行业应用峰会——《2013中国智能交通与大数据技术峰会》上,来自中国智能交通协会、奇虎360、中国移动研究院、IBM、上海市城乡建设和交通发展院、北京市交通运行监测调度中心、深圳市综合交通运行指挥中心、同济大学和广州交通信息化建设投资营运有限公司的专家们一致认为:智能交通已经迎来大数据时代。

中国智能交通协会理事长吴忠泽:交通数据的深层价值挖掘和开发

中国智能交通协会理事长吴忠泽在演讲主题是《大数据与智能交通》,他指出交通相关的数据量级已从TB级别跃升到PB级别。交通数据的深层价值有待进一步的挖掘和开发。政策和技术上突破、确保交通数据资源的安全性是目前面临的问题。


中国智能交通协会理事长 吴忠泽

他指出大数据分析为智能交通发展带来的新机遇:一是大数据技术的海量数据存储和高效计算能力,将实现交通管理系统跨区域、跨部门的集成和组合,将会更加有效地配置交通资源,从而大大提高交通运行效率、安全水平和服务能力。二是交通大数据分析将为交通管理、决策、规划和运营、服务以及主动安全防范带来更加有效的支持。三是基于交通大数据的分析为公共安全和社会管理提供新的理念、模式和手段。

他总结了大数据背景下智能交通发展面临的问题:交通数据资源的条块化分割和信息碎片化等现象(交通数据分散在与交通相关的10多个不同部门);造成数据种类繁多且缺乏统一的标准;基于大数据的交通信息服务产业链、价值链尚未真正形成。

最后他提出了  大数据时代智能交通的发展趋势:

  • 持续提升交通感知智能化水平,完善网络化的交通状态感知体系;
  • 加强交通数据标准化建设,进一步整合数据资源;
  • 创新交通大数据分析应用,实现基于大数据技术的交通系统高效运营和管理;
  • 建立基于大数据分析的新一代智能交通信息服务系统,改善和提高公众出行的智能化服务水平;
  • 构建并完善智能交通技术创新体系,加强交通信息服务产业化进程。

奇虎360首席技术官谭晓生:基于大数据分析的各类网络攻击检测经验

在题为“基于大数据分析的网络攻击检测”的演讲中,奇虎360首席技术官谭晓生风趣地分享了安全为什么变得越来越重要。在他看来,智能交通的一个典型应用是车联网,很多大型汽车制造企业对车联网之后的安全非常担心,因为从今天的机械操作转变为电子控制,再加入网络与互联网之后,安全更加不可控制。而在360对安全的重要假设中,“系统有未发现的漏洞,系统有已发现的漏洞但尚未修补,系统已经被渗透,员工不可靠造成的隐患”是最重要四个维度。他山之石,可以攻玉。这样的安全评估对智能交通行业同样有用。


奇虎360首席技术官 谭晓生

从技术层面来看,Web异常行为分类;一丁点http;Web访问数字化;异常行为的识别都需要进行关注。比如,Web异常行为中的连接型攻击,比如扫描,cc攻击等;机器抓取,爬虫bot等;Web攻击等。这些安全威胁一直存在。为此,360核心机房对外提供服务的100GB带宽,峰值时超过200G;一天封装下来,需要存储的数据有50TB;对攻击的反映时间是10S,并做到实时阻断等安全服务。

这其中,涉及到了海量数据处理、分布式并行计算,半监督学习、SVM决策树、神经网络等诸多技术点。为此,360构建了大数据基础设施系统:

  • 万兆snort入侵监测系统,可以实现万兆网络下入侵监测,万兆网络下全网旁路阻断和多节点数据云存储与计算;
  • 旁路web实时监测系统,实现旁路waf功能,对web攻击识别与旁路阻断,自动发现与提取攻击特征,识别一些apt行为;分布式计算存储方案,满足系统高可用性与计算扩展性;基于温度变化的威胁模型;
  • 大数据计算平台:M/R计算系统,Euler科学计算系统,Strom实时计算系统;大数据存储平台:分布式文件系统HDFS,分布式表格系统HBase,分布式K/V系统Cassandra。

目前,360大数据平台存储服务器超过9,000台,硬盘超过100,000块,存储数据量超过260PB;Hadoop集群文件个数达4-5亿,Cassandra集群文件数超过100亿;计算服务器超过5633台,CPU核数超过40,000;每天计算任务数超过20,000-30,000个,参与计算的数据量超过1.5PB。

中国移动通信研究院徐萌:中移动大云实验室——将大数据信息转化为商业价值

中国移动研究院专家,中国移动通信研究院云计算系统部大数据产品开发室技术经理徐萌发表了《中国移动大数据领域应用实践》主题演讲,她表示中移动移动互联网用户流量激增,手机数据化、宽带化趋势明显,亟需深挖大数据的价值。这与中国智能交通协会理事长吴忠泽在会上的观点不谋而合。


中国移动通信研究院云计算系统部大数据产品开发室技术经理 徐萌

中国移动网络规模和拥有用户数全球第一。在用户流量激增时,手机数据化、宽带化趋势很明显。而在这样的发展趋势下,大数据处理核心基础转变很明显。在传统数据分析处理时代,所用的硬件和软件都不再适应。比如,基于昂贵硬件(小型机+磁盘阵列)或一体机等硬件平台兼容性差:在跨代硬件或跨厂商硬件环境下常常无法部署,扩展性达到PB级之上可选厂商较少等。所以大数据处理的时代,要尤其关注MPP DW+Hadoop的应用。

为此,中国移动推动了云计算创新研发计划——大云。从2007年对部署Hadoop系统进行大数据研究,到2010发布大云1.0,再到2011年双业务云部署,2012年发布大云2.0,2013年在一级私有云部署。目前已经进入大云2.5产品研究, 增加了包含商务智能平台、并行数据挖掘集、并行数据抽取转换、搜索引擎等在内PaaS平台的数据管理/分析和实时交易类产品。

而在实践中,中国移动也发现关于使用Hadoop的一些问题:版本不一,缺乏规划;调优复杂,门槛较高;自有人员不足,控制力弱。为此,中国移动将基于开源Hadoop软件的大云大数据平台BC-Hadoop开源,尝试开源模式!

未来,中移动借助云计算技术和运营商优势,将大数据信息转化为商业价值,促进业务创新方面:

  • 改善用户体验:智能语音门户通过知识库和语义搜索技术实现业务知识的机器智能回答;
  • 助力市场决策:充分挖掘用户的移动互联网行为特征,提升对用户消费偏好的精准把握,帮助市场营销等决策,实现精准营销;
  • 优化网络质量:利用信令数据支撑终端、网络、业务平台关联分析,优化网络,实现网络价值最大化。

IBM大中华区智慧城市首席规划师岳梅樱:智能交通本质在于智慧城市的自上而下设计

作为南京智慧城市规划和设计者,舟山第四代港口的设计者,IBM大中华区智慧城市首席规划师岳梅樱经验非常丰富。在智能交通与大数据技术峰会上,她发表了《智慧城市的机制及顶层规划对城市交通的影响》主题演讲。岳梅樱认为智慧城市是自顶向下的设计,其机制及规划对城市交通的影响极大


IBM大中华区智慧城市首席规划师 岳梅樱

她建议,智慧城市需要一院三中心机制(城市运营中心,产业运营中心,智慧城市创新中心),包括创新研发、人才培养、管理及公关服务、产权交易等多部分,才能保证城市永续经营。而从技术层面来看,物联层、基础架构层、电子商务层、数字化城市管理平台、政府服务体系、产业支撑体系、民生服务体系等解都含在其中。为了更好讲述这一顶层设计,她特别在白板上对数据收集、数据分析和模型建立等方面进行了详尽的分析。

上海市城乡建设和交通发展院交通信息中心何承:上海道路交通大数据应用与探索

上海市城乡建设和交通发展院交通信息中心主任何承表示上海从2004年起开始采集交通信息数据,2006年建成交通综合信息平台,平台汇聚140多项数据,平台还接入公共交通卡系统数据。通过数据处理,形成道路交通通行指数,分析和评价道路通行状态。更重要的是对数据结果的增值价值。


上海市城乡建设和交通发展院交通信息中心主任 何承

何承也分享了上海道路交通大数据应用与探索:

  • 技术——大规模并行处理数据库、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等,用于有效地处理海量和结构复杂的数据集。
  • 应用——通过数据挖掘和可视化、预测性分析的加工处理,发掘出数据的价值,使海量和结构复杂的数据释放出隐藏价值的过程。
  • 道路交通运行状况发展趋势分析——以交通指数作为运行评价主要指标;关联多种跨行业数据的影响因素分析:气象信息(气象服务中心)、土地利用、人口出行(交通模型数据)、事故与施工等(平台数据);长期发展态势、中短期变化趋势。
  • 重点区域的综合交通发展现状与趋势分析—— 挑选交通热点区域(新城、CBD、常发拥堵区域);将土地利用、人口、人员出行、道路交通、公共交通各环节联系起来,综合表征城市综合交通现状特征及诊断可能存在的问题。
  • 小客车拥有与使用控制分析——机动车保有量与使用量的关联分析;机动车使用情况与交通运行状况的关联分析;外牌机动车使用与交通运行状况的关联分析

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注