大数据平台需求_大数据平台人员需求 - CSDN
精华内容
参与话题
  • 一、项目背景 ...***(某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。 在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205...

    一、项目背景

     

    “十三五”期间,随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***(某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求,大数据平台应运而生。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴
     

    大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力,及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。

     

    二、建设目标

     

    大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析,实现企业信用社会化监督,建立规范化共建共享投资项目管理体系,推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。

     

    1、制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、企业单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。

     

    2、梳理各相关系统数据资源的关联性,编制数据资源目录,建立信息资源交换管理标准体系,在业务可行性的基础上,实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。

     

    3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。

     

    三、建设原则

     

    大数据平台以信息资源整合为重点,以大数据应用为核心,坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

     

    1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段性任务,科学规划建设项目。先期完成大数据平台的整体架构建设,后期分步完成业务系统的整合及相互间数据共享问题。

     

    2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息标准资源库和数据规范,逐步消灭“信息孤岛”,加快推进数据资源整合,建设共享共用的大数据中心,实现业务协同。

     

    3、突出重点、注重实效。以用户为中心,以需求为导向,以服务为目的,突出重点,注重实效,加强平台可用性和易用性。

     

    4、深化应用、创新驱动。深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。

     

    四、建设方案

     

    为了保证项目的顺利进行和建设目标的可行性,我们采取如下几种建设方案。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴
     

    1、数据采集方案。

     

    我们统一信息资源标准规范,建立多维度数据库,拓宽数据来源,通过不同的方式汇聚数据,增强分析力度,提高监测预警的准确性和时效性。

     

    1、预留接口,支持其它系统各种数据的上传导入处理。将现存有关经济运行业务系统中的历史数据和时效数据,通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来,在本平台上复用。

     

    2、支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方式采集起来,在本平台上复用。

     

    3、支持非结构化数据,即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。

     

    2、数据分析方案。

     

    大数据之大并不是难点所在,其真正难以对付的挑战来自于数据类型多样、要求及时响应和数据的不确定性,而我们所面临的也正是如此。

     

    我们采用批量数据处理系统,借助于深度学习、知识计算和可视化等大数据分析技术,通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。

     

    3、业务整合方案。

     

    在对社会发展相关业务子系统充分调研基础上,结合项目需求,可对其进行整合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。

     

    1、整合处理。将原有数据通过上传或导入方式进行采集,原有功能模块整合到本平台中,合二为一,完美的将数据汇聚起来。缺点是耗时较长。

     

    2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本平台中,作为子系统单独存在。缺点在于数据共享难以实现。

     

    五、建设内容

     

    1、宏观经济监测预测及可视化平台

     

    政府信息化的最终目标是提高政府的决策水平,其中经济决策是核心内容。为了提高宏观调控决策水平,我们必须从依靠传统统计数据向依靠互联网非统计数据转变,从监测预测宏观经济总量向监测预测宏观经济先行指标转变,从中长期监测预测向实时监测预测转变。

     

    宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资源,建设以“容量大、形式多、分类细、响应快”为目标的宏观经济监测预测数据库,构建基于互联网数据的宏观经济非统计指标监测预测应用平台。

     

    围绕重点产业活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、外贸订单变化趋势等方面,构建大数据宏观经济先行指标和现时预测指标库,研究能客观、准确反映我省宏观经济运行状况的指标体系,编制“山东指数”。

     

    在健全完善监测预警数据库的基础上,充分运用大数据技术和理念,加强数据挖掘力度,强化定量分析,建立宏观经济分析系列模型,切实提高预测分析的前瞻性、准确性和可靠性。

     

    积极拓宽信息发布渠道,建立可视化平台,采用Unity3D引擎,三维界面高度仿真,所见即所得。平台针对多源易构的海量数据,通过数据处理、存储管理、可视化交互分析等技术,实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。利用预测信号灯系统,形象地刻画出宏观经济总体运行状况,分析经济波动原因,及时了解各地区经济发展的不平衡性,准确判断和测定经济景气循环运行状态,提高宏观经济决策水平。

     

    2、企业信用监测预警服务平台

     

    企业信用危机不仅给社会带来严重危害,也是关系到企业自身生死存亡的重大事件,它是中国企业乃至中国市场经济发展的巨大障碍。因此,建立企业信用危机的预警机制和管理机制,对企业信用危机进行有效的预警及管理是十分重要的。

     

    企业信用监测预警服务平台,全面整合社会信用监管信息和社会公众反映信息,通过整理归类与加工,将这些信用危机信息转化为可以量化的指标体系,按照失信行为的严重程度和影响范围划分三个预警级别,分别向企业自身、金融机构、其他政府部门及全社会进行通报。

     

    纳入企业信用预警体系的企业信息包括侵犯消费者权益且不履行相关义务的信息、消费者投诉未及时处理信息、行政处罚逾期未执行信息、查无下落企业信息等23种信息。可以动态配置预警信息项目和相应预警等级,增强监测预警的全面性和灵活性。

    企业信用监测预警服务平台以信息技术为支撑,以信用监管为手段,全面提高信用监管信息共享程度,及时预警影响社会交易安全和社会公共安全的不良信用信息,遵循“对外警示社会和企业;对内明确重点,积极采取应对措施”的原则,强化企业信用监管防范机制,有力推进“信用保税区”建设,加强企业信用监督管理的主动性、前瞻性,更好地服务经济发展,减少交易风险,促进企业信用监管到位,实现企业信用的社会化监督。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴
     

    3、投资项目信息管理平台

     

    建设投资项目(特别是一些大型项目)具有管理上的复杂性特点,主要是建设周期长、参建方多。投资项目信息管理平台的建立和应用,可有效解决投资建设项目管理动态过程的信息分析、信息构建,达到各参建方信息共享的目的。

     

    投资项目信息管理平台,支持重大项目推介,建立规范的项目审批流程和项目信息库,管理项目启动、计划、执行、监控和收尾的整个生命周期,覆盖进度、质量、成本、资源、风险等项目管理的各个要素,构建集成项目、流程、知识的信息化平台。

    逐步实现与相关部门业务系统的接入,形成全覆盖的投资项目管理统一工作平台,真正做好资源共享,为项目的后期评价、领导决策提供支持服务。围绕设计、招标、监理、质量、安全、进度、施工、资金、变更、合同管理“十大环节”,建立起对投资项目进行事前计划、事中控制、事后评估、全程管理的有效管控模式,促进投资项目管理体系发挥全方位、全过程的计划、组织、协调与控制作用。

     

    投资项目信息管理平台,以现代项目管理方法论为基础;以项目管理为主线,全面组织、全程贯穿各个业务环节;以项目计划为依据,科学协调各个部门的工作;以成本、进度、质量为最终控制目标;以完整、及时、准确的项目信息和科学的分析模型为项目管理、决策提供依据;遵循“以计划为龙头,以合同为中心,以投资控制为目的”的现代项目管理理念,构建高效、实用的项目协同管理综合平台。

     

    4、政务数据共享交换平台

     

    政务数据共享交换平台是各个平台中的基础性和综合性平台,是解决“信息孤岛”、实现数据互连互通的基础设施,有利于提高各类信息资源整合共享,以及信息资源的综合利用。

     

    建设政务数据共享交换平台的首要目标就是要创造一个信息交换、信息共享的方式和环境,按照统一标准和规范,建立信息资源整合机制,规范数据采集口径、采集方式,规范数据的服务方式,建立统一的资源信息整合与交换机制。

     

    我们按照统一、集约、高效的数据开发利用理念,通过研究建立多级交换管理体系,形成政务信息资源物理分散、逻辑集中的信息共享模式,通过以应用为抓手,进一步打通数据流,满足政府部门多方位、多层次的数据需求,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务。通过分布式部署和集中式管理架构,有效解决各节点间数据的及时、高效上传下达,在安全、快捷、方便的进行信息交换的同时精准的保证数据的一致性和准确性。

     

    政务数据共享交换平台的全局目标是建立“一个系统”,解决“两个问题”,支持“三个应用”,面向“四个服务”。建立“一个系统”,即建立一个可扩展、可集成、有统一数据模型、可交换和安全可靠的分布式系统,对各类政务资源进行组织和管理。解决“两个问题”,即解决政务信息资源的发现与定位问题,解决政务信息资源规划与整理问题。支持“三个应用”,即支持信息集成整合应用、各业务部门办公应用和政府职能决策应用。面向“四个服务”,即面向政务协作、宏观决策、市场监管和社会管理服务。

     

    六、技术支持与平台性能

     

    1、系统架构

     

    结合该项目以大数据平台为核心,多业务子系统并存的业务需求,以及存在不同种类操作系统、应用软件、系统软件的现状,我们采用面向服务的体系结构,即SOA架构。

     

    SOA是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互。它的本质是实现服务和技术的完全分离,从而最大程度上实现服务的集成和重组。

     

    SOA实施是以业务服务为导向的,业务服务独立于技术之上,技术处于从属地位,采用SOA架构的主要优势有:

     

    1、SOA与平台无关,减少了业务应用及业务子系统整合的限制。

    2、SOA具有低耦合的特点,各个业务子系统对整个业务系统的影响较低,在各个系统不断变化情况下,节省的费用会越来越多。

    3、SOA具有可按模块分阶段进行实施的优势。可以成功一步再做下一步,将实施造成的冲击减少到最小。

     

    SOA服务交互示意图如下:

    2、技术支持

     

    1、技术领先的J2EE框架。

     

    Java2平台企业版(Java 2 Platform Enterprise Edition, J2EE)是一种利用Java2平台来简化且规范应用系统的开发与部署,进而提高可移植性、安全与再用价值。基核心是一组技术规范与指南,其中包含的各类组件、服务架构及技术层次,均有共同的标准及规格,让各种依循J2EE架构的不同平台之间,存在良好的兼容性,解决过去企业后端使用的信息产品彼此之间无法兼容,企业内部或外部难以互通的窘境。

     

    基主要的技术规范有JDBC、EJB、JSP、Java Servlet、XML等。JDBC为访问不同数据库提供了统一的路径,使对数据库的访问具有平台无关性。EJB提供了一个框架来开发和实施分布式商务逻辑,简化了具有可伸缩性和高度复杂的企业级应用程序的开发。JSP页面由HTML代码和嵌入其中的Java代码组成,简化了页面的输出,保留了脚本语言易于使用的优点。Servlet是一种小型Java程序,扩展了Web服务器的功能。XML提供了一种描述结构数据的格式,简化了网络中数据交换和表示,使得代码、数据和表示分离,作为数据交换的标准格式。

     

    2、强大灵活的SSM整合框架。

     

    SSM框架整合,即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC属于SpringFarmeWork的后续产品,它提供了构建Web应用程序的全功能MVC模块,分离了控制器、模型对象、过滤器以及处理程序对象的角色,这种分离让它们更容易进行定制。Spring是一个轻量级开源框架,它的主要特点是方便解耦、简化开发、面向切面(AOP)的编程支持和声明式事务支持,其主要优点有低侵入式设计、独立于应用服务器、允许将一些通用任务如日志等进行集中处理。Mybatis是轻量级ORM框架,它消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索,使用简单的XML或注解用于配置和原始映射,将接口和Java的POJOs映射成数据库中的记录。其框架架构图如下:

     

     

    相比于传统SSH整合,SpringMVC相比Struts更轻量级,注解的使用减少开发消耗,数据库操作层采用Mybatis,统一管理SQL甚是方便。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴
     

    3、平台性能

     

    1、先进性、开放性。

    基于B/S结构的Java应用技术和SOA开放式的体系框架,结构化设计,灵活可拆分,具有灵活的可扩充接口,易于修改调整、二次开发和扩充,最大限度降低因上游技术升级带来的系统实施风险,保证投资的有效性和延续性。

     

    2、可扩展性。

    由于采用了平台化构建思想,整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配,保证系统在软件、硬件环境方面的灵活配置以及未来的拓展应用。

    采用基于SOA思想的模块化设计,可根据需要进行灵活动态的模块扩充,并保证原系统环境不受影响。

     

    系统提供开放的标准接口,可实现与外围业务系统的无缝集成应用,灵活扩展系统的业务应用范围。

     

    3、稳定性、可靠性。

    系统采用B/S结构应用模式,集中安装部署,客户端零安装,所以系统的运行不受任何客户端单点故障的影响。技术框架的支撑,可以实现数据库的持久、稳定连接,确保事务处理的连续和完整,保证业务数据准确完全。

     

    4、其他优势。

    展开全文
  • 工业大数据平台需求分析

    千次阅读 2019-01-11 17:11:03
    工业大数据平台需求分析 按照标准化的思路建设大数据平台,实现政务数据、企业数据及其他数据的安全接入、存储、共享、分析、应用和管理的目标,以支撑整个创新创业生态、大数据产业链的健康发展。工业大数据平台...

    按照标准化的思路建设大数据平台,实现政务数据、企业数据及其他数据的安全接入、存储、共享、分析、应用和管理的目标,以支撑整个创新创业生态、大数据产业链的健康发展。工业大数据平台主要由企业服务平台(1)运行监测平台(2)智能分析平台(3) 3大系统组成。

    企业服务平台

    企业服务平台主要针对企业用户;包含信息服务双签服务项目服务

    1.1信息服务

    企业的信息服务包括企业自画像及政策信息。
    企业画像信息来源通过企业自身上传和大数据平台获取,包含信用、人社、财政等信息。
    政策信息包括政府各部室发布的各项政策或企业扶持文件。

    1.2双签服务

    一个是为企业所用的工单系统,企业发起诉求->双签部门接收后分发相应部门->部门处理后回复->工单完结确认 ,工单进度采用邮件/短信提醒。
    一个是对双签部门的设置,可自行定期为企业和部门进行绑定。

    1.3项目服务

    对以往纸制项目申报流程的电子化

    运行监测平台

    2.1核心指标

    规上工业企业数量
    规上工业增长速度
    技改投资
    工业利润增速
    企业亏损面

    2.2生产要素

    工业用电量
    工业用气量
    工业人才数
    工业企业贷款余额
    工业切换专项资金

    2.3重点产业分析

    2.4重点区域分析

    智能分析平台

    3.1数据挖掘

    将多个数据源(企业上传,平台获取)通过ETL进行数据整合,关联。透过事件的表象发现隐藏在背后的蛛丝马迹,从而找到潜伏的规律以及看似无关事物之间背后的联系,用此来洞察数据趋势。

    3.2智能钻取

    当我们想从规上工业增长速度排名报表中,找出排名首位的明细数据,以此分析其位列首位的原因。

    这个时候,在网格BI报表分析工具中,只需两次双击便可直接调取明细

    3.3大数据可视化

    可以优美地将大数据中的繁杂简化成既美观又富有意义的可视化图形/表格。同时支持大屏,PC,手机三端显示。

    展开全文
  • 大数据可以考哪些证书?

    万次阅读 2019-09-06 21:59:38
    随着国家政策的支持,大数据产业不断发展,落地应用于各行各业,大数据人才需求与日俱增,大数据认证的数量也在不断增加,这些资格来自供应商、教育机构、独立或行业机构。大数据领域包括:大数据系统管理、Hadoop、...

    随着国家政策的支持,大数据产业不断发展,落地应用于各行各业,大数据人才需求与日俱增,大数据认证的数量也在不断增加,这些资格来自供应商、教育机构、独立或行业机构。大数据领域包括:大数据系统管理、Hadoop、分析、数据科学、大数据存储/安全等,物联网的发展推动了对大数据技能的更多需求,特别是在分析领域,用人需求量之大达到创记录的水平,薪资也水涨船高。几乎任何数据认证都会让你的薪资涨一涨。

    零基础学大数据可以进行大数据工程师认证吗?

    0基础小白想进行大数据认证,可以先进行大数据相关课程学习,目前主要的大数据课程分为两类:一是大数据开发,学习Java、Scala语言、Hadoop、Spark、Storm等框架平台;二是数据分析与挖掘,学习Python语言、数据处理和分析技术、可视化工具、机器学习等。大数据开发可以进行大数据工程师认证,数据分析类可以进行数据分析师认证。

    当你完成相关的大数据学习课程,可在加米谷大数据申请[大数据专业人才技能认证],考取大数据工程师、数据分析师认证,证书由中国管理科学研究院提供,全国通用。加米谷大数据机构,零基础大数据课程培训,大数据工程师认证。

    大数据开发工程师证书实拍:

    数据分析师证书实拍:

    证书有什么用?

    行业技能证书是表明劳动者具有从事某一职业所必备的学识和技能的证明,是我们求职、任职的资格凭证。如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣群:数字522+数字189+307,私信管理员即可免费领取开发工具以及入门学习资料

    大数据证书可以第三方证明你经过大数据的培训学习后,具备系统的大数据理论知识和一定的大数据项目实战经验,是一种锦上添花的作用。在以后你进行大数据相关岗位面试求职、编写简历时可以使你的技能储备更加直观的展现出来,企业录用时也可作为一个参考,谈薪资待遇时也更有底气。

    展开全文
  • 大数据岗位招聘需求

    千次阅读 2018-01-09 16:54:28
    最近一年大数据火爆异常,各种培训班开课广告满天飞,很多做开发的朋友也想转到大数据这一行,在投递简历的时候进场被几个岗位搞迷糊,他们是大数据分析师,大数据研发工程师,大数据建模工程师,大数据挖掘工程师。...
        

    最近一年大数据火爆异常,各种培训班开课广告满天飞,很多做开发的朋友也想转到大数据这一行,在投递简历的时候进场被几个岗位搞迷糊,他们是大数据分析师,大数据研发工程师,大数据建模工程师,大数据挖掘工程师。我会根据前同事所在公司的相应岗位,列出岗位职责和要求,供大家借鉴。

    大数据开发工程师

    640?wx_fmt=png&wxfrom=5&wx_lazy=1

    腾讯 大数据研发工程师

    职位描述:

    岗位职责:

    负责数据接入、数据清洗、底层重构,业务主题建模等工作;

    负责金融大数据整体的计算平台开发与应用;

    岗位要求:

    计算机或相关专业本科以上学历;

    有5年及以上大数据平台开发方面相关工作经验;

    熟悉数据仓库和数据建模的相关技术细节,有编程经验,熟悉JAVA语言;熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具

    具有海量数据处理经验,或有互联网行业数据挖掘工作经验者优先;

    有第三方支付或金融业务经历者优先考虑;

    顺丰科技

    职位描述:

    岗位职责:

    1、负责大数据系统的开发工作; 
    2、指导协助同事解决日常工作中的问题 
    3、对系统存在的问题进行跟踪和定位并及时解决; 
    4、严格执行工作计划,主动汇报并高效完成任务保证部门及个人工作目标实现。

    任职要求:

    1、计算机、软件工程等相关专业,本科及以上学历,具有3年及以上Java开发经验;1年及以上互联网或大数据分析工作经验优先; 
    2、 熟悉Hadoop或Spark生态相关技术,包括MapReduce、hdfs、Hive、Spark等,1个以上大数据平台项目实施经验; 熟悉Oracle或MySQL数据库技术; 
    3、具有BI系统的开发实施经验,能够独立开发设计数据仓库、ETL设计、Cube建模、OLAP开发、报表开发等;一定的应用系统分析与设计能力,有良好、规范的编程习惯和文档编写习惯; 
    4、有较强的学习能力,对技术有钻研精神,并有较高的热情,热衷于新技术、新理论、新开发实践的学习和实践。

    平安科技

    职位描述:

    工作年限:2年以上

    职位描述:

    1、负责hadoop/spark平台技术引进和推广,并能结合用户需求快速落地推广;

    2、负责大数据分析需求设计和开发,包括数据集市、实时分析、数据展示等的开发,并交付生产,确保输出成果;

    3、负责项目成果在公司内的推广应用、培训,以及对外对内合作交流,不断提升公司的技术和应用能力。

    招聘要求:

    1、计算机科学、应用数学、物理学等相关专业,本科以上学历;

    2、具有2年以上BI/报表相关工作经验,熟练掌握hadoop hive开发,有一定调优经验;

    3、能熟练使用sqoop等作为etl工具,有tableau/qlikview开发经验;

    4、有良好的口头和书面表达能力;

    5、良好的结构化问题解决能力。

    注:以上岗位要求国家统招学历,本科及以上学历需要有学位证书。

    横向对比

    相同的大数据开发工程师职位在不同的互联网公司,岗位职责不一样,相应的岗位要求差异也比较大。不过,核心技能要求相近: 
    1. 熟悉hadoop集群 
    2. 熟悉hive 
    3. 熟悉Java 
    4. 有一定的BI开发经验 
    5. 善于沟通,善于分析(软技能,需要不断培养和提升)

    以上应该是大数据开发岗位的基本要求。因此,在面试该岗位前,首先基础技能一定要满足,然后在看岗位职责中还有哪些其他技能要求。

    0?wx_fmt=gif

    展开全文
  • 大数据项目大致流程

    千次阅读 2018-09-29 11:25:07
    1、提出需求-需要和多个部门负责人进行协商:关于项目的可行性分析 2、需求分析-进行需求调研(研究竞品)、市场调研,如果是给甲方做产品,需要和甲方协商需求细则 3、技术选型-需要多个开发部门的人员参与协商  ...
  • 大数据平台在互联网行业的应用

    万次阅读 多人点赞 2016-11-30 13:56:40
    本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
  • 每个大数据平台都不是凭空而起的,每个企业也不是从开始...今天分享的内容是根据企业发展的不同阶段,根据业务的需求,如何选择不同的大数据架构,配置不同的数据处理人员,从而帮助企业从0到N建立高性价比大数据平台
  • 大数据平台基础架构指南

    万次阅读 2018-07-09 08:46:04
    之前的文章,整理了一下,补充了一些内容,做了一些更新,现已出版上市了。...目录列表:第1章 大数据平台整体建设思想 11.1 什么是大数据平台 11.2 大数据平台的建设目标 31.2.1 别人的大数据平台是怎样的 31.2....
  • 大数据平台解决方案

    万次阅读 2018-02-14 00:07:54
    1.1 华数大数据平台总体架构 1.1.1 华数大数据平台应用架构  应用架构图 基于华数多年来的开发经验,并借鉴行业大数据分析平台的实施、管理和应用方面的成功经验,结合禾丰牧业实际信息化情况,我们...
  • 大数据视频_Hive视频教程(上)

    千人学习 2019-03-01 17:47:16
    Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级...
  • 一随处可见的数据问题大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一代架构出现到现在已经经历了近20年的时间。在这20年的...
  • 大数据在物流领域有哪些应用呢?

    万次阅读 2016-12-21 17:06:20
    大数据一词已经渗透到各行各业,可见发展之快,价值之大,但实际上我们对大数据的挖掘只是冰山一角。今天我们大圣众包包就从物流行业,说说所谓的物流大数据的应用,物流大数据应用现处于起步阶段,发展比较缓慢,但...
  • 大数据学习心得

    万次阅读 多人点赞 2017-03-01 22:52:54
    大数据学习心得一、 概述1大数据简介 1.1起源 “大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析...
  • Hadoop大数据开发方向 市场需求旺盛,大数据培训的主体,我们培训的重点对应岗位:大数据开发工程师 爬虫工程师 数据分析师 等数据挖掘、数据分析&机器学习方向 学习起点高、难度大,市面上基本没有培训...
  • 【FineBI零售行业大数据分析实战视频课程[干货分享]】是大数据分析工具FineBI的应用实践课程,通过对零售行业的部分业务进行整理、然后通过FineBI大数据分析工具来梳理、准备数据,构建多维数据库,然后按业务需求来...
  • 4大案例分析金融机构的大数据应用

    万次阅读 多人点赞 2016-09-23 14:29:55
    就“大数据+金融”思维利用而言,国外金融机构有着十足丰富的体现,已经将大数据技术在风险控制、运营管理、销售支持及商业模式创新等领域进行了全面的尝试。
  • 大数据概述

    千次阅读 2019-11-15 22:43:59
    大数据概述 大数据产生的背景: 基于海量的存储与处理面临挑战: 数据量大,数据种类多。 海量数据的高存储成本,大数据两下数据处理性能不足,流式数据处理缺失。 优先的扩展能力,单一数据源。 数据资产对外...
  • 物流行业的大数据发展与应用

    万次阅读 2018-04-17 13:53:42
    随着大数据时代的到来,大数据技术可以通过构建数据中心,挖掘出隐藏在数据背后的信息价值,从而为企业提供有益的帮助,为企业带来利润。面对海量数据,物流企业在不断增加大数据方面投入的同时,不该仅仅把大数据...
  • 什么是大数据和大数据平台?

    千次阅读 2019-07-16 14:50:48
    大数据”时下一个热门的词语,近几年来,关于大数据的著作和文章铺天盖地,似乎也在共同在传递一个信息:越来越多的行业、人士开始关注并实际探索大数据的应用,我们正在一起描绘着大数据巨大效用的蓝图,但在实践...
  • 该用户画像教程会告诉大家如何利用用户画像数据进行用户画像分析,从不同行业来看,每个行业的客户画像指标都不相同,用户画像本质就是从业务角度出发对用户进行分析,了解用户需求,寻找目标客户。本次课程将从金融...
1 2 3 4 5 ... 20
收藏数 105,798
精华内容 42,319
关键字:

大数据平台需求