首先:

在互联网IT技术研发运维岗存在一个用男不用女的现象，尤其是Java开发岗几乎是不招女生；大都觉得女孩在工作中的抗压和自我调节能力不够好，在项目中赶需求压力大的时候让本来就发量稀疏的头顶更是雪上加霜；最最最重要的，圈子怪圈你永远逃不出30-35岁的这个转行&转型的门槛，不论男女，你总是能在你刚毕业入行不到2年的时间段提前看清自己在职场的宿命；不要杠，事实就是如此！

ETL大数据才是真的高富帅

人工智能，就这样被定义为人类社会的 “第四次工业革命”。

在智能大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。而这之中，通过用户数据信息创造商业价值的ETL大数据工程师一骑当先。

功能强大的ETL技术适应能力强，为大数据功能的实现提供了更多的解决方案，现已成为众多公司的选择。

下面我们来分析一下大数据在未来的优势：

1.市场需求量大

经常调查显示，去年有很多大小互联网公司都在布局大数据。而目前大数据方面的人才依旧十分紧缺，比如大数据生态Spark需要的Scala工程师。基于ETL和Scala等技术密切的关系，有些大数据公司会直接培养大数据工程师。

2.就业方向广泛

大数据的人才以后可以进行的工作有很多种，下面举几个例子：

• 大数据开发工程师

基础大数据服务平台，大中型的商业应用包括我们常说的企业级应用(主要指复杂的大企业的软件系统)、各种类型的网站等。负责搭建大数据应用平台以及开发分析应用程序。

• 大数据分析师

负责数据挖掘工作，运用Hive、Hbase等技术，专门对从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。以及通过使用新型数据可视化工具如Spotifre，Qlikview和Tableau，对数据进行数据可视化和数据呈现。

• ETL工程师

etl软件开发工程师简称ETL工程师，是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师,主要职责就是：海量数据的ETL开发，抽取成各种数据需求。参与数据仓库架构的设计及开发 以及数据仓库ETL流程优化和解决ETL相关技术问题。

还有很多其它职位比如大数据挖掘等就不一一说明了。

3.行业起薪高

通过这篇文章我相信大家对IT大数据行业都有一点了解，在这个大家都呼吁的大数据时代，做ETL大数据是一个非常好的选择，我相信即使几年以后大数据依旧是一个很好的领域。

下面在拉勾网截取的部分ETL工程师的起薪薪资：

在国外，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬也比同级别的其他职位高出30%以上。在未来若干年内大数据工程师都会是供不应求的状况，指望大学培养出合格的大数据人才有如天方夜谭，因此程序员们，你们的春天到了！

女孩子适合做ETL工程师嘛

ETL 的学习并不分男女，重要的还是靠个人，不像java开发几乎不招女生。现在很多做数据分析的公司，做etl开发的全是女生，公司做技术岗三分一女生基本上都是在ETL工程师。

所以如果喜欢可以放心的去学习，现在etl开发的市场需求量大，目前在国内这个领域还是蓝海，职业前景方面工资也很可观的，有编程基础转型做ETL工程师还是很简单，毕竟岗位对编程技术没有过高的要求，也不存在到了30-35面临下岗转型这一蛋疼潜规则；

如何0基础转型自学ETL

有编程基础的学生&在职人员：

熟悉sql语言；会简单脚本（shell）编程，会使用一种ETL数据抽取工具(kettle)；会使用一种ETL作业自动化排程工具(taskctl)；熟练使用增删改查、会添加主键索引，熟练使用时间格式转换，会行转列列转行，会update数据更新，会写sql存储过程。

安装数据库工具：

常用的关系型数据库语言都要会，包括mysql,sqlserver,oracle，db2数据库。所以学习sql需要第一步要安装数据库，及数据库管理工具(关于数据库管理工具这里建议使用navicat)

mysql安装包：Mysql8.0安装教程

sqlserver安装包--提取码:886p

oracle安装包--提取码:25p6

navicat安装包：Navicat Premium 15.0安装教程

oracle数据库在使用时需要安装jdk--提取码:3ss8

jdk安装后需要配置环境变量：JDK安装与环境变量配置

软件安装好后，就用navicat链接这3个数据库。

sql需要学习

sql学习先了解基本的查询语言，进一步提升需要结合kettle进行学习

第一步学习sql查询语言，对数据库有大概的了解。

推荐mysql-3小时入门视频：https://www.bilibili.com/video/BV177411U7Yr/

SQL配套练习1：https://blog.csdn.net/mrbcy/article/details/68965271

SQL配套练习2：https://blog.csdn.net/flycat296/article/details/63681089

ETL数据抽取工具（kettle）及作业排程工具（taskctl）的使用

掌握ETL增量、全量、插入更新等抽取方式；能集成excel，数据库，web接口，hive，spark等数据源；

这里推荐大家学习 taskctl，安装入门简单。结合Kettle也是永久免费的。

taskctl安装包：Taskctl Web版--提取码: 97mk

taskctl学习视频：https://www.bilibili.com/video/BV1jz4y1y7nL

shell编程

能写简单的shell脚本，比如通过1个shell脚本将5张表导入到目标库中。

shell视频：https://www.bilibili.com/video/av31981602?p=15

最后

ETL工程师会发现有很多岗位，所以我们学习之后不会存在找不到工作的情况。进一步提升可以往大数据工程，数据产品经理，或者大数据产品经理发展。转行到etl开发后，建议先用半年努力学习公司所需要的知识和技术，熟悉公司业务后、从第7个月开始学习大数据相关组件，学习半年后在投递大数据工程师相关岗位。最后关于etl转行说下学习成本。etl开发学习成本真的很低很低，基本上自学1个月就可以开始找工作，而我们学习后跟 java开发、跟数据分析工资基本上是一样的。与数据分析相比，市场需求更多，学历门槛更低。最后一起努力吧。

商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等，都可以称为BI工程师。

ETL工程师：从事系统编程、数据库编程和设计，掌握各种常用编程语言的专业技术人员。也称为数据库工程师。

盲目地解释数据仓库的概念可能并不有趣。让我们从不同的角色开始。

老板：我是一家手机公司的老板。今天我要向董事会汇报。我将准备一份关于用户增长、用户保留率、用户活动以及过去三年中我手机中每个应用程序的使用率的报告。如果下面没有BI，我将被迫这样做。

我是一个非技术性的商务智能。我每天阅读竞争产品分析报告，看到双十一的销量，看到各种评论，知道我的产品有哪些缺点和优势，分析南北地区差异，国内外客户的偏好，总之，我有很强的行业解读能力和数据解读能力。在手机领域，我能画出非常漂亮的图表和PPT。今天老板让我做报告。我还需要刷我的脸，以找到ETL工程师，以帮助我用完报告的数据。基于这些数据，我想给出一定的解释，为什么这个月的手机销售不如上个月，为什么用户流失越来越严重，等等。

ETL工程师：我是食品链最底层的一个压力很大的ETL工程师。我可以编写shell，可以使用hadoop/hive/hbase，还可以使用超复杂的逻辑编写SQL。今天，无法单独计算数据的BI，让我再运行一些数据。我想让她提一下需求流程，但她说这是老板想要的（操作中使用的杀手锏）！！为了紧急处理，我不得不放下工作，为她运行数据。我花了半个小时为她运行数据，希望能有所不同。

众所周知，大数据工程师是大数据开发工程师。主要从事大数据平台建设。它要求实践者拥有Java基础。它还需要以下技术能力：hadoop、hive、hase、flume、storm、kafka、spark等。它是一个非常大的技术集群。

如果你认为我每天都这样做，那你就错了。我通常的工作不只是完成分配给我的任务。我还负责数据ETL流程、数据建模、定时任务分配，有时还负责Hadoop集群的维护等。我必须这样做。每样东西都可以单独拿出来写一本书。想系统学习大数据的话，可以加入大数据技术学习交流扣扣君羊：522189307，欢迎添加，了解课程介绍

以ETL流程为例，您需要将来自不同数据库、不同服务器的不同业务日志的原始数据规范化为相同的格式。您需要在分隔符上达成一致，然后将其导入分布式文件系统hdfs。甚至您需要定义业务系统的数据格式来制定规范。在数据收集之后，您还可以获得中间表、数据过滤、统一格式、统一ID和维度。度统一，通过不同的数据现象来执行数据，完成后，你会得到一些数据，如日报和周报，这时你需要根据需要将数据组织成一定的格式，然后引导mysql或hbase等。

总之，您只需要收集、处理和导入和导出各种数据。

但是这些数据仓库非常简单，ETL工程师有太多的空间可以玩。

• 1、通常，boss–>bi–>etl会给出报告。商务智能可以直接计算中间的数据吗？SQL太复杂了，所以你能标记所有数据吗，BI，甚至老板可以选择他想要的任何东西？

• 2、ETL工程师可以自动化数据收集、标准化业务日志格式和配置所有内容，但这些都基于N+1。这就是说，今天发生的事明天一定要看。有没有一个系统可以使数据分析实时或准实时？提到双十一屏幕，只有当Ma在12号到达时，他才能知道他已经做了多少交易而不拆分这些数据。

• 3、目前，大多数分析系统都是基于离线计算（hadoop/odps）。这里有个问题。如果您希望在Operation或BI中看到数据，则必须先放慢脱机速度，然后才能看到它。是否有一个系统可以支持您使用任何更大的数据量和更复杂的逻辑以毫秒为单位生成数据？

• 我没有提到算法工程师，大数据操作工程师等等。数据仓库的概念非常广泛，但在面对大型数据应用时却不值得一提。

如果我们对数据的价值进行分层，有很多方法可以进行分层。我只列出一种方法，有些人有五个等级。

• 第一层：为老板提供决策支持，如传统的财务报表

• 第二层：为运营提供决策支持，如淘宝运营商，这些运营商完全数字化。

• 第三层：为产品提供支持。例如，产品经理每天都会在报告中查看其中一个按钮的位置。

• 第四层：生产数据，如直接对接广告系统产生收入，如直接对接推荐系统为用户推荐产品，实现数千人，然后，例如，使用移动应用直接推送不同用户的消息。

• 第五层：大数据交换，直接受益于数据生成

大多数公司都能达到前两个层次已经很好了，如果能达到第三个层次，就已经很有说服力了，要达到第四和第五个层次，国内互联网公司不超过2家，大数据应用太大了。