精华内容
下载资源
问答
  • ETL工程师、数据挖掘工程师

    千次阅读 2018-09-04 11:39:20
    ETL工程师 Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到...

    ETL工程师

    Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。

    ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

    ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。

    数据仓库是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中;在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。


    数据挖掘工程师

    数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知识。

    并非所有的信息发现任务都被视为数据挖掘。例如,使用数据库管理系统查找个别的记录,或通过因特网的搜索引擎查找特定的Web页面,则是信息检索(information retrieval)领域的任务。虽然这些任务是重要的,可能涉及使用复杂的算法和数据结构,但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构,从而有效地组织和检索信息。尽管如此,数据挖掘技术也已用来增强信息检索系统的能力。

    展开全文
  • etl工程师面试必备。里面涉及ORACLE面试题及优化方案和常见的etl面试题。 目录: DBA操作详细笔记 ETL面试资料 Oracle常见企业面试题集锦 Oracle常见企业面试题集锦-云端 Oracle面试题汇总 Oracle全方位学习笔记 ...
  • ETL 工程师面试题

    热门讨论 2009-03-13 12:14:18
    ETL工程师面试题 分4个方面 DW ETL 数据库 等
  • ETL工程师_个人职责

    千次阅读 2019-02-27 09:54:38
    etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。 工作内容: 海量数据的ETL开发,抽取成各种数据需求。 参与数据仓库架构的设计及开发 。 参与数据仓库ETL...

    etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。

    工作内容:

    海量数据的ETL开发,抽取成各种数据需求。

    参与数据仓库架构的设计及开发 。

    参与数据仓库ETL流程优化及解决ETL相关技术问题。

    熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。

    精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。

    会数据etl开发工具,如Datastage,Congos,Kettle等。

    ETL中三个字母分别代表的是ExtractTransformLoad,即抽取、转化、加载。

    • 数据抽取:从源数据系统抽取目的数据系统需求的数据;
    • 数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;
    • 数据加载:将转换后的数据装载到目的数据源。
    展开全文
  • 1、参考答案1)建表CREATE TABLE `ta` (`id` int(11) NOT NULL AUTO_INCREMENT,`cx` varchar(20) DEFAULT NULL,`qy` varchar(20) DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET...

    1、参考答案

    1)建表

    CREATE TABLE `ta` (

    `id` int(11) NOT NULL AUTO_INCREMENT,

    `cx` varchar(20) DEFAULT NULL,

    `qy` varchar(20) DEFAULT NULL,

    PRIMARY KEY (`id`)

    ) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8;

    CREATE TABLE `tb` (

    `id` int(11) NOT NULL AUTO_INCREMENT,

    `cx` varchar(20) DEFAULT NULL,

    `qy` varchar(20) DEFAULT NULL,

    `jg` int(11) DEFAULT NULL,

    PRIMARY KEY (`id`)

    ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8;

    CREATE TABLE `tc` (

    `id` int(11) NOT NULL AUTO_INCREMENT,

    `cx` varchar(20) DEFAULT NULL,

    `qy` varchar(20) DEFAULT NULL,

    `jg` int(11) DEFAULT NULL,

    PRIMARY KEY (`id`)

    ) ENGINE=InnoDB AUTO_INCREMENT=22 DEFAULT CHARSET=utf8;

    存储过程:

    DROP PROCEDURE IF EXISTS `query_a_and_b`;

    DELIMITER ;;

    CREATE PROCEDURE query_a_and_b() READS SQL DATA

    BEGIN

    DECLARE cxc varchar(20);

    DECLARE qyc varchar(20);

    DECLARE jgc INT;

    DECLARE s INT DEFAULT 0 ;

    DECLARE consume CURSOR FOR SELECT cx,qy,jg FROM tb;

    -- DECLARE CONTINUE HANDLER FOR SQLSTATE '02000' SET num = 1;

    DECLARE CONTINUE HANDLER FOR NOT FOUND SET s=1;

    OPEN consume;

    FETCH consume into cxc,qyc,jgc;

    while s <> 1 DO

    if(qyc='全国')THEN

    INSERT INTO tc(cx,qy,jg)

    SELECT a.cx,b.qy,a.jg from tb a left JOIN ta b on b.cx=a.cx WHERE b.cx=cxc;

    ELSEif(qyc='其他')THEN

    INSERT INTO tc(cx,qy,jg)

    SELECT a.cx,b.qy,a.jg from tb a left JOIN ta b on b.cx=a.cx  WHERE a.qy=qyc and b.qy not in (

    select t.qy from tb t WHERE t.cx=b.cx

    );

    ELSE

    INSERT INTO tc(cx,qy,jg)

    SELECT a.cx,a.qy,a.jg from tb a WHERE a.cx=cxc and a.qy=qyc;

    END IF;

    FETCH consume into cxc,qyc,jgc;

    END WHILE;

    CLOSE consume;

    END;;

    DELIMITER;

    CALL query_a_and_b();

    结果:

    2、参考答案

    借用1题表tb,数据如下:

    sql如下:

    第一种:

    CREATE VIEW view_name AS

    SELECT a.COHEV,b.REIZ,a.jg from

    (select

    (case when cx = 'COHEV' then qy end) as COHEV,

    jg

    from tb) a JOIN

    (select

    (case when cx = 'REIZ' then qy end) as REIZ,

    jg

    from tb) b  on a.jg = b.jg

    WHERE a.COHEV is not null AND b.REIZ is not null

    第二种:

    select max(COHEV) COHEV,max(REIZ) REIZ,jg from

    (select

    (case when cx = 'COHEV' then qy end) as COHEV,

    (case when cx = 'REIZ' then qy end) as REIZ,

    jg

    from tb)b GROUP BY jg;

    欢迎指正

    未完待续。。。。

    展开全文
  • 从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。 ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为...

    商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。

    ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为数据库工程师。

     

    盲目地解释数据仓库的概念可能并不有趣。让我们从不同的角色开始。

    老板:我是一家手机公司的老板。今天我要向董事会汇报。我将准备一份关于用户增长、用户保留率、用户活动以及过去三年中我手机中每个应用程序的使用率的报告。如果下面没有BI,我将被迫这样做。

    我是一个非技术性的商务智能。我每天阅读竞争产品分析报告,看到双十一的销量,看到各种评论,知道我的产品有哪些缺点和优势,分析南北地区差异,国内外客户的偏好,总之,我有很强的行业解读能力和数据解读能力。在手机领域,我能画出非常漂亮的图表和PPT。今天老板让我做报告。我还需要刷我的脸,以找到ETL工程师,以帮助我用完报告的数据。基于这些数据,我想给出一定的解释,为什么这个月的手机销售不如上个月,为什么用户流失越来越严重,等等。

    ETL工程师:我是食品链最底层的一个压力很大的ETL工程师。我可以编写shell,可以使用hadoop/hive/hbase,还可以使用超复杂的逻辑编写SQL。今天,无法单独计算数据的BI,让我再运行一些数据。我想让她提一下需求流程,但她说这是老板想要的(操作中使用的杀手锏)!!为了紧急处理,我不得不放下工作,为她运行数据。我花了半个小时为她运行数据,希望能有所不同。

    众所周知,大数据工程师是大数据开发工程师。主要从事大数据平台建设。它要求实践者拥有Java基础。它还需要以下技术能力:hadoop、hive、hase、flume、storm、kafka、spark等。它是一个非常大的技术集群。

    如果你认为我每天都这样做,那你就错了。我通常的工作不只是完成分配给我的任务。我还负责数据ETL流程、数据建模、定时任务分配,有时还负责Hadoop集群的维护等。我必须这样做。每样东西都可以单独拿出来写一本书。想系统学习大数据的话,可以加入大数据技术学习交流扣扣君羊:522189307,欢迎添加,了解课程介绍

    以ETL流程为例,您需要将来自不同数据库、不同服务器的不同业务日志的原始数据规范化为相同的格式。您需要在分隔符上达成一致,然后将其导入分布式文件系统hdfs。甚至您需要定义业务系统的数据格式来制定规范。在数据收集之后,您还可以获得中间表、数据过滤、统一格式、统一ID和维度。度统一,通过不同的数据现象来执行数据,完成后,你会得到一些数据,如日报和周报,这时你需要根据需要将数据组织成一定的格式,然后引导mysql或hbase等。

     

    总之,您只需要收集、处理和导入和导出各种数据。

    但是这些数据仓库非常简单,ETL工程师有太多的空间可以玩。

    • 1、通常,boss–>bi–>etl会给出报告。商务智能可以直接计算中间的数据吗?SQL太复杂了,所以你能标记所有数据吗,BI,甚至老板可以选择他想要的任何东西?

    • 2、ETL工程师可以自动化数据收集、标准化业务日志格式和配置所有内容,但这些都基于N+1。这就是说,今天发生的事明天一定要看。有没有一个系统可以使数据分析实时或准实时?提到双十一屏幕,只有当Ma在12号到达时,他才能知道他已经做了多少交易而不拆分这些数据。

    • 3、目前,大多数分析系统都是基于离线计算(hadoop/odps)。这里有个问题。如果您希望在Operation或BI中看到数据,则必须先放慢脱机速度,然后才能看到它。是否有一个系统可以支持您使用任何更大的数据量和更复杂的逻辑以毫秒为单位生成数据?

    • 我没有提到算法工程师,大数据操作工程师等等。数据仓库的概念非常广泛,但在面对大型数据应用时却不值得一提。

    如果我们对数据的价值进行分层,有很多方法可以进行分层。我只列出一种方法,有些人有五个等级。

    • 第一层:为老板提供决策支持,如传统的财务报表

    • 第二层:为运营提供决策支持,如淘宝运营商,这些运营商完全数字化。

    • 第三层:为产品提供支持。例如,产品经理每天都会在报告中查看其中一个按钮的位置。

    • 第四层:生产数据,如直接对接广告系统产生收入,如直接对接推荐系统为用户推荐产品,实现数千人,然后,例如,使用移动应用直接推送不同用户的消息。

    • 第五层:大数据交换,直接受益于数据生成

    大多数公司都能达到前两个层次已经很好了,如果能达到第三个层次,就已经很有说服力了,要达到第四和第五个层次,国内互联网公司不超过2家,大数据应用太大了。

    展开全文
  • 一、ORACLE部分1.表:table1(FId,Fclass,Fscore),用最高效最简单的SQL列出各班成绩最高的列表,显示班级,成绩两个字段。2.有员工表empinfo(Fempnovarchar2(10)notnullpk,Fempnamevarchar2(20)notnull,...
  • oralcle,etl工程师面试题锦集,dba资料,Oracle入门资料等。。
  • ETL工程师&职位详情

    千次阅读 2019-03-06 09:38:33
    ETL工程师&amp;职位详情 职位详情 岗位职责: 1、负责数据仓库、数据集市的设计、建模及ETL开发。 2、参与数据仓库ETL规则设计和开发; 3、参与数据仓库需求调研和需求分析; 4、参与数据仓库模型逻辑编写; ...
  • ETL工程师和数据挖掘工程师的区别?

    万次阅读 2018-01-22 21:10:16
    ETL工程师: Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到...
  • 从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。 ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为...
  • 本人在国内的职位虽不是ETL工程师,但接触的工作内容和数据、数据库也与非常精密的联系。其实在应聘的时候,如果应聘的是ETL工程师,一般的招聘APP都会给出公司制定的工作内容、岗位职责等等。可以参考这些工作内容...
  • 谢邀那到底ETL工程师们的日常工作是什么?在回答之前,我先抛出一个问题:为什么之前叫ETL工程师,现在更多的是称数据工程师?我觉得从我个人而言,首先要从更宏观的角度来理解ETL工程师。一般传统公司称ETL工程师,...
  • ETL工程师的岗位详情&岗位职责

    千次阅读 2019-02-28 16:44:14
    ETL工程师 【岗位要求】 1、熟悉掌握linux常用命令awk、sed等,会使用写shell脚本 2、熟悉sql常用语句,建表语句等 3、office熟练,西路清晰,沟通能力强 4、做事细心,态度端正 5、三年以上工作经验,有小组管理...
  • 从事大数据岗位的工作者,像是ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师都需要熟练掌握Spark相关知识点,因此Spark也是常常会出现的必考面试题。下面我整理了一些Spark面试题,并附上了答案,一起来...
  • ETL工程师笔试题

    千次阅读 2019-09-29 13:40:53
    1、参考答案 1)建表 CREATE TABLE `ta` ( `id` int(11) NOT NULL AUTO_INCREMENT, `cx` varchar(20) DEFAULT NULL, `qy` varchar(20) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_I...
  • ETL工程师知识点

    2019-03-02 00:03:00
    前言 由于笔者很荣幸的参与了目前所在公司的登月计划,整个登月...2、作为处理数据的工程师,不仅要懂得写基本的SQL,还需要懂得怎么去用日常的许多基本工具;3、作为数据开发和同步人员,我们往往有必要懂得如何分...
  • 我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据,以满足各种商业场景需求。简单来说,如果把数据分析类比成做菜,ETL相当于备菜。备菜不是个容易的事,首先,你要熟悉做这道菜的原料...
  • 三年前写过一篇ETL的文章,最近又被小伙伴问到了,这期间我也进行过调研,10多个名企,阿里腾讯和传统企业的都有,总计20多位工程师,因此今天来重新说一下,他们远不是sql男孩。 虽然已经过去两三年了,ETL 领域的...
  • 首先: 在互联网IT技术研发运维岗存在一个用男不用女的现象,尤其是Java开发岗几乎是不招...ETL大数据才是真的高富帅 人工智能,就这样被定义为人类社会的 “第四次工业革命”。 在智能大数据时代,中国IT环境也将面
  • 以前是程序员,感觉程序很苦逼,努想让自己转到数据仓库来 现在倒是转过来了,但是每天都在写苦逼的sql 哎,无奈

空空如也

空空如也

1 2 3 4 5 ... 18
收藏数 358
精华内容 143
关键字:

etl工程师