-
2020-12-23 04:48:17
一、
ORACLE
部分
1.
表:
table1(FId,Fclass,Fscore),
用最高效最简单的
SQL
列出各班成绩最高的列表,
显示班级,
成绩两个字段。
2.
有员工表
empinfo
(
Fempno varchar2(10) not null pk,
Fempname varchar2(20) not null,
Fage number not null,
Fsalary number not null
);
假如数据量很大约
1000
万条;
写一个你认为最高效的
SQL
,
用一个
SQL
计算以下四种人:
fsalary>9999 and fage > 35
fsalary>9999 and fage
fsalary <9999 and fage > 35
fsalary <9999 and fage
每种员工的数量;
3.aa
,
bb
表都有
20
个字段,
且记录数量都很大,
aa
,
bb
表的
X
字段
(非空)
上有索引,
请
用
SQL
列出
aa
表里面存在的
X
在
bb
表不存在的
X
的值,请写出认为最快的语句。
4.
什么是分区表?简述范围分区和列表分区的区别,分区表的主要优势有哪些?
更多相关内容 -
1、ETL工程师经典面试题.md
2022-02-15 17:29:265. 在 ETL过程中四个基本的过程分别是什么? 6. 从 ERP源系统中抽取数据最好的方法是什么? 7. 简述直接连接数据库和使用 ,ODBC连接数据库进行通讯的优缺点。 8. 什么是代理键?简述代理键替换管道如何工作。 9. ... -
ETL工程师经典·收藏版面试题.rar
2020-06-28 14:00:15etl工程师面试必备。里面涉及ORACLE面试题及优化方案和常见的etl面试题。 目录: DBA操作详细笔记 ETL面试资料 Oracle常见企业面试题集锦 Oracle常见企业面试题集锦-云端 Oracle面试题汇总 Oracle全方位学习笔记 ... -
oracle,etl工程师--面试题锦集
2018-11-25 12:00:34oralcle,etl工程师面试题锦集,dba资料,Oracle入门资料等。。 -
ETL工程师笔试题
2021-02-01 03:09:141、参考答案1)建表CREATE TABLE `ta` (`id` int(11) NOT NULL AUTO_INCREMENT,`cx` varchar(20) DEFAULT NULL,`qy` varchar(20) DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET...1、参考答案
1)建表
CREATE TABLE `ta` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`cx` varchar(20) DEFAULT NULL,
`qy` varchar(20) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=utf8;
CREATE TABLE `tb` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`cx` varchar(20) DEFAULT NULL,
`qy` varchar(20) DEFAULT NULL,
`jg` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8;
CREATE TABLE `tc` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`cx` varchar(20) DEFAULT NULL,
`qy` varchar(20) DEFAULT NULL,
`jg` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=22 DEFAULT CHARSET=utf8;
存储过程:
DROP PROCEDURE IF EXISTS `query_a_and_b`;
DELIMITER ;;
CREATE PROCEDURE query_a_and_b() READS SQL DATA
BEGIN
DECLARE cxc varchar(20);
DECLARE qyc varchar(20);
DECLARE jgc INT;
DECLARE s INT DEFAULT 0 ;
DECLARE consume CURSOR FOR SELECT cx,qy,jg FROM tb;
-- DECLARE CONTINUE HANDLER FOR SQLSTATE '02000' SET num = 1;
DECLARE CONTINUE HANDLER FOR NOT FOUND SET s=1;
OPEN consume;
FETCH consume into cxc,qyc,jgc;
while s <> 1 DO
if(qyc='全国')THEN
INSERT INTO tc(cx,qy,jg)
SELECT a.cx,b.qy,a.jg from tb a left JOIN ta b on b.cx=a.cx WHERE b.cx=cxc;
ELSEif(qyc='其他')THEN
INSERT INTO tc(cx,qy,jg)
SELECT a.cx,b.qy,a.jg from tb a left JOIN ta b on b.cx=a.cx WHERE a.qy=qyc and b.qy not in (
select t.qy from tb t WHERE t.cx=b.cx
);
ELSE
INSERT INTO tc(cx,qy,jg)
SELECT a.cx,a.qy,a.jg from tb a WHERE a.cx=cxc and a.qy=qyc;
END IF;
FETCH consume into cxc,qyc,jgc;
END WHILE;
CLOSE consume;
END;;
DELIMITER;
CALL query_a_and_b();
结果:
欢迎指正
未完待续。。。。
-
学习数据分析、数据挖掘、大数据ETL工程师到什么程度可以找工作?
2020-12-14 17:36:32首先: 在互联网IT技术研发运维岗存在一个用男不用女的现象,尤其是Java开发岗几乎是不招...ETL大数据才是真的高富帅 人工智能,就这样被定义为人类社会的 “第四次工业革命”。 在智能大数据时代,中国IT环境也将面首先:
在互联网IT技术研发运维岗存在一个用男不用女的现象,尤其是Java开发岗几乎是不招女生;大都觉得女孩在工作中的抗压和自我调节能力不够好,在项目中赶需求压力大的时候让本来就发量稀疏的头顶更是雪上加霜;最最最重要的,圈子怪圈你永远逃不出30-35岁的这个转行&转型的门槛,不论男女,你总是能在你刚毕业入行不到2年的时间段提前看清自己在职场的宿命;不要杠,事实就是如此!
ETL大数据才是真的高富帅
人工智能,就这样被定义为人类社会的 “第四次工业革命”。
在智能大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇。而这之中,通过用户数据信息创造商业价值的ETL大数据工程师一骑当先。
功能强大的ETL技术适应能力强,为大数据功能的实现提供了更多的解决方案,现已成为众多公司的选择。
下面我们来分析一下大数据在未来的优势:
1.市场需求量大
经常调查显示,去年有很多大小互联网公司都在布局大数据。而目前大数据方面的人才依旧十分紧缺,比如大数据生态Spark需要的Scala工程师。基于ETL和Scala等技术密切的关系,有些大数据公司会直接培养大数据工程师。
2.就业方向广泛
大数据的人才以后可以进行的工作有很多种,下面举几个例子:
- 大数据开发工程师
基础大数据服务平台,大中型的商业应用包括我们常说的企业级应用(主要指复杂的大企业的软件系统)、各种类型的网站等。负责搭建大数据应用平台以及开发分析应用程序。
- 大数据分析师
负责数据挖掘工作,运用Hive、Hbase等技术,专门对从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。以及通过使用新型数据可视化工具如Spotifre,Qlikview和Tableau,对数据进行数据可视化和数据呈现。
- ETL工程师
etl软件开发工程师简称ETL工程师,是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师,主要职责就是:海量数据的ETL开发,抽取成各种数据需求。参与数据仓库架构的设计及开发 以及数据仓库ETL流程优化和解决ETL相关技术问题。
还有很多其它职位比如大数据挖掘等就不一一说明了。
3.行业起薪高
通过这篇文章我相信大家对IT大数据行业都有一点了解,在这个大家都呼吁的大数据时代,做ETL大数据是一个非常好的选择,我相信即使几年以后大数据依旧是一个很好的领域。
下面在拉勾网截取的部分ETL工程师的起薪薪资:
在国外,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬也比同级别的其他职位高出30%以上。在未来若干年内大数据工程师都会是供不应求的状况,指望大学培养出合格的大数据人才有如天方夜谭,因此程序员们,你们的春天到了!
女孩子适合做ETL工程师嘛
ETL 的学习并不分男女,重要的还是靠个人,不像java开发几乎不招女生。现在很多做数据分析的公司,做etl开发的全是女生,公司做技术岗三分一女生基本上都是在ETL工程师。
所以如果喜欢可以放心的去学习,现在etl开发的市场需求量大,目前在国内这个领域还是蓝海,职业前景方面工资也很可观的,有编程基础转型做ETL工程师还是很简单,毕竟岗位对编程技术没有过高的要求,也不存在到了30-35面临下岗转型这一蛋疼潜规则;
如何0基础转型自学ETL
有编程基础的学生&在职人员:
熟悉sql语言;会简单脚本(shell)编程,会使用一种ETL数据抽取工具(kettle);会使用一种ETL作业自动化排程工具(taskctl);熟练使用增删改查、会添加主键索引,熟练使用时间格式转换,会行转列列转行,会update数据更新,会写sql存储过程。
安装数据库工具:
常用的关系型数据库语言都要会,包括mysql,sqlserver,oracle,db2数据库。所以学习sql需要第一步要安装数据库,及数据库管理工具(关于数据库管理工具这里建议使用navicat)
mysql安装包:Mysql8.0安装教程
sqlserver安装包--提取码:886p
oracle安装包--提取码:25p6
navicat安装包:Navicat Premium 15.0安装教程
oracle数据库在使用时需要安装jdk--提取码:3ss8
jdk安装后需要配置环境变量:JDK安装与环境变量配置
软件安装好后,就用navicat链接这3个数据库。
sql需要学习
sql学习先了解基本的查询语言,进一步提升需要结合kettle进行学习
第一步学习sql查询语言,对数据库有大概的了解。
推荐mysql-3小时入门视频:https://www.bilibili.com/video/BV177411U7Yr/
SQL配套练习1:https://blog.csdn.net/mrbcy/article/details/68965271
SQL配套练习2:https://blog.csdn.net/flycat296/article/details/63681089
ETL数据抽取工具(kettle)及作业排程工具(taskctl)的使用
掌握ETL增量、全量、插入更新等抽取方式;能集成excel,数据库,web接口,hive,spark等数据源;
这里推荐大家学习 taskctl,安装入门简单。结合Kettle也是永久免费的。
taskctl安装包:Taskctl Web版--提取码: 97mk
taskctl学习视频:https://www.bilibili.com/video/BV1jz4y1y7nL
shell编程
能写简单的shell脚本,比如通过1个shell脚本将5张表导入到目标库中。
shell视频:https://www.bilibili.com/video/av31981602?p=15
最后
ETL工程师会发现有很多岗位,所以我们学习之后不会存在找不到工作的情况。进一步提升可以往大数据工程,数据产品经理,或者大数据产品经理发展。转行到etl开发后,建议先用半年努力学习公司所需要的知识和技术,熟悉公司业务后、从第7个月开始学习大数据相关组件,学习半年后在投递大数据工程师相关岗位。最后关于etl转行说下学习成本。etl开发学习成本真的很低很低,基本上自学1个月就可以开始找工作,而我们学习后跟 java开发、跟数据分析工资基本上是一样的。与数据分析相比,市场需求更多,学历门槛更低。最后一起努力吧。
-
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别?
2020-03-03 22:00:08从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。 ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为...商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。
ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为数据库工程师。
盲目地解释数据仓库的概念可能并不有趣。让我们从不同的角色开始。
老板:我是一家手机公司的老板。今天我要向董事会汇报。我将准备一份关于用户增长、用户保留率、用户活动以及过去三年中我手机中每个应用程序的使用率的报告。如果下面没有BI,我将被迫这样做。
我是一个非技术性的商务智能。我每天阅读竞争产品分析报告,看到双十一的销量,看到各种评论,知道我的产品有哪些缺点和优势,分析南北地区差异,国内外客户的偏好,总之,我有很强的行业解读能力和数据解读能力。在手机领域,我能画出非常漂亮的图表和PPT。今天老板让我做报告。我还需要刷我的脸,以找到ETL工程师,以帮助我用完报告的数据。基于这些数据,我想给出一定的解释,为什么这个月的手机销售不如上个月,为什么用户流失越来越严重,等等。
ETL工程师:我是食品链最底层的一个压力很大的ETL工程师。我可以编写shell,可以使用hadoop/hive/hbase,还可以使用超复杂的逻辑编写SQL。今天,无法单独计算数据的BI,让我再运行一些数据。我想让她提一下需求流程,但她说这是老板想要的(操作中使用的杀手锏)!!为了紧急处理,我不得不放下工作,为她运行数据。我花了半个小时为她运行数据,希望能有所不同。
众所周知,大数据工程师是大数据开发工程师。主要从事大数据平台建设。它要求实践者拥有Java基础。它还需要以下技术能力:hadoop、hive、hase、flume、storm、kafka、spark等。它是一个非常大的技术集群。
如果你认为我每天都这样做,那你就错了。我通常的工作不只是完成分配给我的任务。我还负责数据ETL流程、数据建模、定时任务分配,有时还负责Hadoop集群的维护等。我必须这样做。每样东西都可以单独拿出来写一本书。想系统学习大数据的话,可以加入大数据技术学习交流扣扣君羊:522189307,欢迎添加,了解课程介绍
以ETL流程为例,您需要将来自不同数据库、不同服务器的不同业务日志的原始数据规范化为相同的格式。您需要在分隔符上达成一致,然后将其导入分布式文件系统hdfs。甚至您需要定义业务系统的数据格式来制定规范。在数据收集之后,您还可以获得中间表、数据过滤、统一格式、统一ID和维度。度统一,通过不同的数据现象来执行数据,完成后,你会得到一些数据,如日报和周报,这时你需要根据需要将数据组织成一定的格式,然后引导mysql或hbase等。
总之,您只需要收集、处理和导入和导出各种数据。
但是这些数据仓库非常简单,ETL工程师有太多的空间可以玩。
-
1、通常,boss–>bi–>etl会给出报告。商务智能可以直接计算中间的数据吗?SQL太复杂了,所以你能标记所有数据吗,BI,甚至老板可以选择他想要的任何东西?
-
2、ETL工程师可以自动化数据收集、标准化业务日志格式和配置所有内容,但这些都基于N+1。这就是说,今天发生的事明天一定要看。有没有一个系统可以使数据分析实时或准实时?提到双十一屏幕,只有当Ma在12号到达时,他才能知道他已经做了多少交易而不拆分这些数据。
-
3、目前,大多数分析系统都是基于离线计算(hadoop/odps)。这里有个问题。如果您希望在Operation或BI中看到数据,则必须先放慢脱机速度,然后才能看到它。是否有一个系统可以支持您使用任何更大的数据量和更复杂的逻辑以毫秒为单位生成数据?
-
我没有提到算法工程师,大数据操作工程师等等。数据仓库的概念非常广泛,但在面对大型数据应用时却不值得一提。
如果我们对数据的价值进行分层,有很多方法可以进行分层。我只列出一种方法,有些人有五个等级。
-
第一层:为老板提供决策支持,如传统的财务报表
-
第二层:为运营提供决策支持,如淘宝运营商,这些运营商完全数字化。
-
第三层:为产品提供支持。例如,产品经理每天都会在报告中查看其中一个按钮的位置。
-
第四层:生产数据,如直接对接广告系统产生收入,如直接对接推荐系统为用户推荐产品,实现数千人,然后,例如,使用移动应用直接推送不同用户的消息。
-
第五层:大数据交换,直接受益于数据生成
大多数公司都能达到前两个层次已经很好了,如果能达到第三个层次,就已经很有说服力了,要达到第四和第五个层次,国内互联网公司不超过2家,大数据应用太大了。
-
-
ETL工程师_个人职责
2019-02-27 09:54:38etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。 工作内容: 海量数据的ETL开发,抽取成各种数据需求。 参与数据仓库架构的设计及开发 。 参与数据仓库ETL... -
采访了10家名企的20位ETL工程师,总结了这些数据架构的思考
2020-06-10 10:31:45三年前写过一篇ETL的文章,最近又被小伙伴问到了,这期间我也进行过调研,10多个名企,阿里腾讯和传统企业的都有,总计20多位工程师,因此今天来重新说一下,他们远不是sql男孩。 虽然已经过去两三年了,ETL 领域的... -
ETL 工程师面试题
2009-03-13 12:14:18ETL工程师面试题 分4个方面 DW ETL 数据库 等 -
国内的ETL工程师日常工作是什么样的?
2020-06-09 14:57:56本人在国内的职位虽不是ETL工程师,但接触的工作内容和数据、数据库也与非常精密的联系。其实在应聘的时候,如果应聘的是ETL工程师,一般的招聘APP都会给出公司制定的工作内容、岗位职责等等。可以参考这些工作内容... -
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别?...
2019-01-29 19:43:15从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。 ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为... -
ETL工程师的岗位详情&岗位职责
2019-02-28 16:44:14ETL工程师 【岗位要求】 1、熟悉掌握linux常用命令awk、sed等,会使用写shell脚本 2、熟悉sql常用语句,建表语句等 3、office熟练,西路清晰,沟通能力强 4、做事细心,态度端正 5、三年以上工作经验,有小组管理... -
ETL工程师知识点
2019-03-02 00:03:00前言 由于笔者很荣幸的参与了目前所在公司的登月计划,整个登月...2、作为处理数据的工程师,不仅要懂得写基本的SQL,还需要懂得怎么去用日常的许多基本工具;3、作为数据开发和同步人员,我们往往有必要懂得如何分... -
应届生想从事etl工程师是否用培训
2022-02-10 13:20:32学习的是数据科学与大数据技术专业。最近在找工作,然后所有的etl方面的都让先去培训两三个月。迷茫住了,是大数据类工作都需要这样吗?培训应不应该去? -
ETL工程师和数据挖掘工程师的区别?
2018-01-22 21:10:16ETL工程师: Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到... -
国内的ETL工程师日常工作是什么样的?
2020-12-29 01:37:16谢邀那到底ETL工程师们的日常工作是什么?在回答之前,我先抛出一个问题:为什么之前叫ETL工程师,现在更多的是称数据工程师?我觉得从我个人而言,首先要从更宏观的角度来理解ETL工程师。一般传统公司称ETL工程师,... -
ETL工程师&职位详情
2019-03-06 09:38:33ETL工程师&职位详情 职位详情 岗位职责: 1、负责数据仓库、数据集市的设计、建模及ETL开发。 2、参与数据仓库ETL规则设计和开发; 3、参与数据仓库需求调研和需求分析; 4、参与数据仓库模型逻辑编写; ... -
个推技术 | ETL工程师必看!超实用的任务优化与断点执行方案
2021-05-25 19:41:13面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。 作为一家数据智能公司,个推在大数据计算领域沉淀了丰富的经验。本篇文章将对大数据离线计算过程中... -
什么是ETL,ETL工程师的的主要工作职责是什么?
2020-12-29 01:37:30我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据,以满足各种商业场景需求。简单来说,如果把数据分析类比成做菜,ETL相当于备菜。备菜不是个容易的事,首先,你要熟悉做这道菜的原料... -
ETL工程师、数据挖掘工程师
2018-09-04 11:39:20ETL工程师 Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到...