气象行业大数据

2018-12-07 17:23:20 weixin_43146218 阅读数 237

1.“互联网+”联盟在北京成立

12月3日,“互联网+”联盟在京成立,并举行第一次成员大会暨第一次理事会。该联盟由国家发展改革委、工业和信息化部、中央网信办共同指导,由TD产业联盟会同中国互联网发展基金会、中国互联网协会、中国信息通信研究院共同发起成立。(人民邮电报)

2.《中国气象大数据(2018)》发布 气象数据开放效益显著

12月4日,中国气象局发布的《中国气象大数据(2018)》显示,开放共享的气象数据已广泛应用于交通运输、新能源、农业、移动互联软件开发和服务、公共管理等领域,效益显著。(中国气象报社)

3.美国首个生物识别航站楼开启 乘客可以“刷脸”登机

据美国有线电视新闻网4日报道,亚特兰大哈兹菲尔德-杰克逊国际机场开启了全美首个“生物识别航站楼”。运用这一技术,乘客从进入航站楼开始,一直到登机口,都可以“刷脸”过关,而不再需要重复递交护照。(新闻晨报)

4.邬贺铨院士:“互联网+"发展需要因企施策 完善创新环境

12月4日,由中国信息通信研究院主办的2018中国“互联网+”峰会在北京召开。中国工程院院士、“互联网+”行动专家咨询委员会主任邬贺铨分析了我国“互联网+”的发展与挑战,并提出建议:一是因企施策,二是完善创新环境。(人民网)

5.德国联邦政府2019年将投入1.42亿欧元用于人工智能

德国《商报》12月4日报道,德国计划到2025年投入30亿欧元用于人工智能的研发。2019年在人工智能领域政府的预算仅为1.42亿欧元。

6.金融大数据亟待发展安全双策并举

12月4日,在广州召开的2018金融大数据应用安全研讨会上,多位政府官员、专家学者表示,金融大数据在保险、银行等金融领域的精准营销、交易欺诈识别和黑产防范等方面的价值更加凸显。未来,必须坚持发展与安全并重,不断推动金融大数据应用的健康有序发展。

(经济参考报)

7.中法海洋卫星获得首批海洋动力环境数据

5日从自然资源部获悉,中法海洋卫星在轨运行1个月以来状态良好,已获取首批海洋动力环境数据。中法双方科学家确认,卫星上装载的两个微波载荷获取的海面风场与海洋波浪谱等海洋动力环境参数结果与真实海况基本一致。(科技日报)

8.2018中国大数据技术大会召开:深度探秘大数据新应用

12月6日,由中国计算机学会主办的2018 中国大数据技术大会在北京召开。本次大会深度聚焦“大数据新应用”,聚焦大数据学习发展中的痛点及瓶颈,深入解析热门技术在行业中的实践和落地。(央广网)

9.工信部批复建设3条国际互联网数据专用通道

工业和信息化部日前批复在山西省转型综合改革示范区、广东省珠海市横琴新区和浙江省桐乡市新建3条国际互联网数据专用通道,全国专用通道总数达到27条。(人民邮电报)

10.广州市各级政府网站设数据公开专栏

日前,广州市人民政府网站完成改版,改版后增设“数据发布”入口,公布广州市各类经济统计数据及行业发展数据。专家认为,政府官网数据公开是数字政府建设重要一步,但要实现真正的数据开放,仍需要完善监管规则,保障个人和企业信息安全。(南方都市报)

 

 

2017-07-03 14:36:00 weixin_34221073 阅读数 41

中国气象局党组提出“ 智慧气象” 理念, 并把“ 智慧气象”作为气象与经济社会融合发展的重要支撑、转变气象发展方式的重要途径、全面推进气象现代化的重要突破。下面结合对贵阳大数据交易所的调研,就“智慧气象”建设中气象数据和相关行业数据的深度融合和挖掘谈些思考:

贵阳大数据交易所是经贵州省政府批准成立的以大数据命名的交易所,交易的并不是底层数据,而是基于底层数据,通过数据的清洗、分析、建模、可视化出来的结果。

通过调研, 数据交易操作方式有两种: 一种是“ 淘宝”模式。即数据所有者不开放自己的大数据中心,仅将大数据交易所作为数据交易平台,在数据交易平台发布数据清单,社会数据用户(创客)根据数据清单通过数据交易平台下数据需求订单,数据所有者按数据订单以免费或有偿方式提供数据;社会数据用户通过数据交易平台发布数据挖掘和加工成果,寻找买家。这种模式优点是数据所有者投入成本低,数据安全管理要求低;缺点是社会数据用户在进行数据融合和挖掘时需另外寻求云计算资源。

另一种是“ 孵化器” 模式。即数据所有者建设由云计算平台、数据管理平台组成的“ 孵化器”, 通过提供标准、开放的数据接口,开放大数据中心和云计算资源,通过大数据交易所的数据交易平台,以免费或有偿方式将数据和计算资源提供给社会数据用户;社会数据用户通过数据交易平台发布数据挖掘和加工成果,寻找买家,买家可以是原有数据所有者,也可以是第三方应用者。这种模式的优点是有一个可在线调用数据、可在线提供云计算服务的综合基础信息环境,从而降低社会数据用户的挖掘和加工成本;缺点是数据所有者投入成本高,数据安全管理要求高。

中国气象局已公布《基本气象资料和产品共享目录(2015 年)》,实现了基本气象资料和产品的开放和共享。构建气象数据融合和挖掘模式,已成为基本气象资料和产品开放后的当务之急。通过调研和对“淘宝”“孵化器”两种模式优缺点的比较,个人认为,“孵化器”模式更有利于气象数据的深度融合和挖掘,可把构建气象大数据孵化器作为促进气象数据和相关行业数据深度融合和挖掘的基本模式。

一方面, 可利用充分的社会资源搭建气象云计算平台和数据管理平台。根据贵州社会云计算资源的情况,联合某一社会云计算资源提供者搭建气象云计算平台和数据管理平台,通过标准、开放的数据接口,开放气象大数据中心和云计算资源,为社会数据用户提供一个可在线调用数据、可在线提供云计算服务的综合基础信息环境。

另一方面,可通过贵阳大数据交易平台实现气象数据融合和挖掘的市场化运作。要使气象数据信息融入到国民经济的各个领域和人们的衣食住行之中,就必须通过市场化的手段激发社会数据用户参与气象数据融合和挖掘的活力,而贵阳大数据交易所的数据交易平台为将气象大数据孵化器建设成为集数据、计算、网络、商务于一体的创业孵化平台提供了一个规范的市场环境,从而可以通过市场化的手段促进气象与经济社会发展的深度融合。这样,不但有利于鼓励和利用社会资源参与气象服务、创新服务产品,也有利于气象大数据产业发展的“大众创业、万众创新”。气象大数据孵化器可有效促进气象数据融合和挖掘, 为推进智慧气象建设提供了新思路,值得我们借鉴。由气象云计算平台、数据管理平台和数据交易平台组成的气象大数据孵化器,在气象数据融合和挖掘模式上具有四大创新,可实现五大价值。

气象大数据孵化器可有效促进气象数据融合和挖掘, 为推进智慧气象建设提供了新思路,值得我们借鉴。由气象云计算平台、数据管理平台和数据交易平台组成的气象大数据孵化器,在气象数据融合和挖掘模式上具有四大创新,可实现五大价值。

四大创新,即数据开放模式的创新、数据交易模式的创新、数据应用模式的创新和产业孵化模式的创新。如,数据开放模式的创新,通过数据资源与计算资源捆绑开放的方式,对社会数据用户而言,可以获得优质低门槛的创业资源;对气象部门而言,通过数据开放、融合和挖掘,可实现气象数据的自我增长和更深层次的数据应用。数据交易模式的创新,通过大数据交易所数据交易平台的气象数据开放, 可以促进气象数据的市场化开放、融合和应用,解决气象数据进入市场的收益问题。再比如,数据应用模式的创新,通过云计算资源和气象数据资源的整合开放及开发运营环境的改善,将激发社会数据用户和专业团队的参与活力,从而催生多领域深层次的应用,经过市场的优胜劣汰,将有助于解决气象服务需求与能力的距离并带来经济收益,通过孵化器对数据及计算资源提供的收益分成,将促进数据和计算资源提供方的不断完善,形成数据来源和数据价值挖掘的良性循环,并驱动气象服务水平和服务能力不断提升。气象大数据孵化器可吸引和推动社会各方力量利用气象数据进行创新、创业工作,以数据驱动创业。

五大价值,即引领气象数据开放、推动业务系统升级、挖掘气象数据价值、提升气象服务能力和促进气象数据产业。当气象数据在能保障数据安全的市场机制下,开放到社会数据用户手上时,不但能创造出应有的商业价值,而且可使基本气象产品得到持续稳定的用户检验,倒逼气象业务系统的升级和优化,促进气象数据来源的不断完善和补充,形成数据来源和数据价值挖掘的良性循环。通过气象大数据的开放共享,可吸引更多的社会数据用户和专业团队加入到气象数据的开发应用行列,从而最大化发挥气象数据的潜在价值。通过入驻气象大数据孵化器,可以让社会数据用户将更多的精力放在产品创新上,不但被孵化企业可获得快速成长、壮大,而且也可反过来促进气象服务领域拓展、丰富气象服务内涵。依托大数据交易平台,主动开放气象数据于市场,结合成熟的科技孵化体系,建立软硬结合的新型创业孵化平台,可将致力于气象相关产品开发的社会数据用户聚集在气象大数据孵化器,推动气象大数据产业发展。

本文转自d1net(转载)

2019-09-02 16:12:09 u012972294 阅读数 288

气象学科的出现与发展始终伴随着数据理念和算法研究,气象业务的运行始终伴随着数据获取处理和分析决策。大数据给气象带来了挑战,也带来了新时代的曙光。并且涌现出提供商业气象服务的气象数据公司这种新商机。

商业气象服务存在四种产品渠道。这也是目前气象服务产业针对的四种方向。

第一种是To C 端的,是指针对大众用户的天气预报服务。

第二种是To B端的,是指针对商业领域的气象数据服务,比如物流、航空、铁路、旅游、体育赛事等。

第三种是 To G端的,是指针对政府组织的重大活动事件、或抢险救灾行为。比如,国庆天安门阅兵、奥运会开闭幕式、或自然灾害的险情预判等,这些时刻气象服务都是特别重要的保障。

第四种是To A 端的,指的是,针对军队的重要任务时刻的气象服务。像导弹发射、战争演习等,都需要更精准的气象数据做保障。

一个真实的案例是,在美国,每到台风天,人们最喜欢买的东西不是手电筒或防雨具,而是草莓酱饼干。这是沃尔玛超市的大数据分析部门观察得出的结论。沃尔玛公司一直很注重收集和分析气象数据。他们意识到,气象信息和特定货物的存储、销售量都关系密切。比如,他们发现,每次台风前,草莓饼干的销量都会增长7倍。所以,在每次接到台风气象预报时,他们都会提前在台风登陆地区的超市,加大草莓饼干的进货量,并摆放在明显位置。这增加了沃尔玛的食品销售量和用户满意度。

但这只是气象影响商业领域的一个案例。气象信息,影响着各个行业的商业发展。物流运输业、航空和铁路交通、零售业、旅游业、农业、大型工程建设、体育赛事等等,它们都需要、甚至依赖更精细化、量身定制化的气象服务做指导。

在商业气象领域还有一条著名的 “德尔菲气象定律”。指的是,你在气象信息服务上每投资 1 美元,便有可能得到 98 美元的经济回报,投入产出比高达 1 : 98。

以美国气象频道为例。它有30年的历史,每周7天24小时播报各类天气节目,收视率和广告收入一直排在美国前5名。如今,它已经是世界上最大的气象数据公司,在全球拥有超过4万个气象站,10万个天气传感器,在美国各地建有13个气象资料中心,甚至拥有自己的气象卫星和雷达网络。它们观测到的气象数据,比美国政府官方持有的数据还要更多、更精确。正因为数据强大,两年前IBM以20亿美元收购了它们广播业务之外的所有部门。

如今在美国,私人气象服务产业的营业额,已经从六七十年代的每年几百万美元,发展到今天每年4到7亿美元的收入。有数据显示,单就2015年来看,由气象影响产生的产业价值,在美国达到 1600 亿美元,在欧洲超过 2600 亿美元,在日本也达到 100 亿美元。而在中国,因为之前的政策原因,行业数据没有放开,气象服务的产值当时只有6亿美元。

随着中国在气象数据的逐步放开,气象产业的市场化程度会越来越高,更多的市场主体也就是商业气象服务机构出现了。气象局的最新预测也表示,中国按需定制气象服务的价值显著提升。比如,有的公司,主创人可能没有一个学气象的,大多是计算机、物理和数学专业的人才。他们通过人工智能和大数据分析技术,来解读气象数据,提供气象服务。就像股票行业里的文艺复兴科技公司(Renaissance Technologies),在这家对冲基金里,一群数学家,没有一个懂金融,却用数学思维预测股市。这些新的商业气象公司,已经开始和自动驾驶领域合作。它们尝试将更精细化的天气信息数据,植入到自动驾驶的地图导航系统,达到更精准的路线设置。比如,能见度指数、路面湿滑指数等。

此外,还有大的电商平台在和商业气象服务公司合作,希望能够共享用户在天气信息方面的行为数据。比如,在北京的用户,总会查询纽约或巴黎的天气,可能说明他经常去这些地方出差或度假。那么,相关的出行、旅游类的产品数据和用户的画像信息,就得到了更完善的补充。因为,关注天气的用户,和在电商平台消费的用户、旅行出游的用户,其实是一批人。所以,在未来,不仅气象数据本身是竞争力,和气象信息相关的用户使用数据,也会是大数据竞争的一个重要补充。

 

2017-07-05 16:55:00 weixin_33892359 阅读数 33

阿里云宣布与国家气象局达成合作,向公众开放气象服务数据,并共同深挖气象大数据的商业价值。

中国气象局公共气象服务中心主任、中国天气网CEO刘汉博介绍,此次公开的气象服务数据为国内县级以上站点实况,包含温度、湿度、风、气压、降水量、天气现象6要素。具体包括国内县级以上站点1-5天常规预报、国内县级以上站点1-3天精细化天气预报、国内县级以上站点预警,以及国际主要城市站点实况。

而关于这些数据的价值,刘汉博表示,除了在旅游指数、交通指数、穿衣指数、洗车指数、感冒指数等中直接进行运用外,这些数据还可以在各个行业进行利用,并产生巨大的社会效益和经济效益。

刘汉博举例,如最近国内天气的“速冻模式”,必然会刺激羽绒服和电暖器的销量。提前获知这一信息的商家,就可以尽早备足货品、提早安排生产,实现更准确、更迅速的库存安排。同时,建设、采矿、制造业,零售贸易和住房等对天气也有很大的敏感程度。通过与阿里云平台的合作,可以实现气象数据在各行各业的客户应用。

阿里云总裁胡晓明表示,阿里云要做的,就是让计算成为世界的能力,让数据成为经济的动力,成为环境治理的法宝。并以也符合马云一直倡导的理念“如果没有一个健康的环境,无论赚多少钱,都将面临环境变坏的灾难,这就是我们的忧虑。”的理念。

资料显示,阿里巴巴集团用千分之三的收入鼓励年轻人找到解决环境问题的创新方式。2016年,阿里巴巴公益基金还将发起“环境云图”项目,资助推动中国环境公共数据的有序开放,推动公众使用气象数据参与环境治理和决策,利用社会公众的力量促进环境治理和产业创新。

本文转自d1net(转载)

2018-03-09 14:30:57 huxuanlai 阅读数 3447

1   背景

国家气象信息中心CIMISS系统于2008年建设,随着数据量和需求越来越多,已不能满足业务需求,迫切需要气象大数据管理平台来满足新一代海量气象数据存储管理需求。

2   CIMISS系统理解

2.1  原有CIMISS

2.2  升级版CIMISS2.0

2.3  存储和查询需要做的事情

 需要接入CIMISS的数据:利用前期数据处理标准化成果(数据资源标6大分体系,231项标准条目),构建新的数据处理流程。与各数据接入单位的数据交换系统对接,获取国内外地面和高空观测数据。入库数据如下:

1>  历史数据迁移入库

2>  站点数据处理入库

3>  雷达、卫星数据处理入库

4>  数值预报和分析处理入库

5>  新汇交数据处理入库

需要构建气象大数据存储管理系统:采用分布式存储技术对关系型数据、KV对象数据、文件数据进行存储,以满足气象中心,卫星气象中心、气候中心的业务需要,支持统一存储管理和服务。

需要统一数据服务接口:作为存储管理系统的出口,实现对气象中心实时业务需求的亚秒级响应,遵循MUSIC标准,支持服务管理和服务发布。服务包括站点数据检索接口,站点资料统计接口,格点资料解析接口,原始数据和处理后产品数据的写入的接口等。接口对原有接口兼容,能适配多种数据类型,性能好,扩展性好。

2.4  数据情况

气象卫星平台:总量3PB,大约1亿文件, 单个文件大小在10M-500M之间。主要包括风云系列卫星数据和美欧日卫星数据。

雷达数据:包括多普勒天气雷达,激光雷达数据。

其他部委的相关数据:海洋,水文,农业,林业,环境等。

3 适配气象数据

遗留代码的整合,主要是利用已有的气象业务逻辑,便于预处理和格式处理。

3.1  预处理过程

l  数据预处理:唯一性检查、文件过滤、文件识别、解压缩、格式转换、数据解析。

l  解码:卫星/雷达/模式解码。

l  数据质量控制:物理和历史极值检查、内部一致性检查,时间连续性检查,空间一致性检查,静力学检查等

预处理过程可以复用CIMISS已有逻辑,可以在Spark平台分布式并行执行以加速处理过程。

3.2  格式处理

主要的四种格式的处理:

HDF4/5: https://www.hdfgroup.org/downloads/hdf5/source-code/

netCDF3/4: https://github.com/Unidata/thredds(或netcdf-c)

GRIB1/2和BUFR3/4:

https://software.ecmwf.int/wiki/display/ECC/Releases

目前开源环境有一些格式支持,其他内部格式需要复用CIMISS已有逻辑或者业务单位之前的处理逻辑。

3 相关的气象分析系统

CIMISS:http://www.cma.gov.cn/2011xzt/2016zt/20160506/201701/t20170110_385439.html (有国、省、市、县CIMISS业务关系图,未来的CIMISS 2.0架构图)
气象数据平台的前台(依托CIMISS):http://data.cma.cn/
MICAPS4:气象局分布式存储和流数据接入平台和预报算法系统,国家气象中心预报系统开放实验室MICAPS开发团队开发 http://www.micaps.cn/MiFun/second2
CIPAS2:算法应用系统,国家气候中心气象灾害风险管理室研发。http://cmdp.ncc-cma.net/cn/index.htm
CIMISS数据被MICAPS4和CIPAS2利用。