《计算机科学与技术就业形势分析》由会员分享，可在线阅读，更多相关《计算机科学与技术就业形势分析(3页珍藏版)》请在人人文库网上搜索。

1、计算机科学与技术就业形势分析IT业一直是国家优先发展的重点行业，也是国内外人才需求量最大的行业之一。伴随着互联网的发展，IT人才的短缺现象将会越来越严重。在我国，IC人才、网络存储人才、电子商务人才、信息安全人才、游戏技术人才严重短缺；在软件人才层次结构上，水平高的系统分析员和有行业背景的项目策划人员偏少，同时软件蓝领也比较缺乏。据保守估计，目前中国市场对IT人才的需求每年超过20万人。随着IT业越来越火，各大高校计算机专业报名的人数也越来越多。而近年来，随着毕业生人数激增，就业率与供求比例明显走低。通过网络以及一些其他手段的调查发现，就计算机专业近几年的就业数据来看，主要呈现以下几个趋势：1。

2、、就业率居高不下，计算机人才市场需求潜力仍然很大。计算机专业人才的市场需求具有很大的潜力，这无疑是在很大程度上为我们将来的就业提供了很大的帮助，更多的网络意见是目前的该专业大学生就业难只是一种表象，原因是大学生自身的心理定位没有调整好。2、 考研率持续上升，说明大学生在摆脱就业压力和个人追求方面有新的认识。从不同的角度来说，为了提高自己的专业修养以及知识储备方面来说，考研绝对是值得大家考虑的；然而也有些人认为，自己所学到的知识越多越好，获得证书越多越好，因此有些人读完硕士还要读博士，从而就在一定程度上忽略了自身其他能力的培养。综合来看，选择继续读书或是提前毕业找工作要根据个人的兴趣爱好以及自身。

3、的实际情况选取合适的定位。3、热门城市就业比率下降，对计算机人才需求标准逐渐提高。 根据网上调查北京、上海等大型城市近几年对计算机人才的招募情况来看，这几所城市对计算机人才的需求相对呈现饱和趋势，对毕业生的需求量也是逐渐减少。同时，其招聘标准也是逐年呈现“水涨船高”的趋势，很多企业只钟情于硕士研究生、博士生等高端人才，因此必然导致毕业生去向不佳。4、毕业生选择企业方面思想日渐成熟。随着近年来三资企业用人制度的透明性，劳动价值比得不合理、淘汰现象日渐浮出水面，使得一些毕业生对三资企业持严谨态度 。很多毕业生在工作过程中也会对所选企业的各个方面提出质疑，这就必然导致很多人在工作过程中选择跳槽，这也。

4、充分说明了当今大学生在选择用人单位方面思想的成熟。5、毕业生对就业的期望值有待进一步提升。根据目前的市场就业反应来看，大学生再就业方面的期望值有待进一步的提升，在找工作方面还不能完全放开自己，在一定程度上受到家人及朋友各方面意见的影响，会在不知不觉中和自己的学长一类的有一定工作经验的人作出比较，这就在一定程度上限制了大学生自己再就业时展示自己的机会，因此也在一定程度上影响了就业形势。针对这些个趋势，我提出以下几个举措，希望能提高大学生的就业率。1. 提高自己的综合素质。大学生要想在激烈的就业竞争中取得成功，实现自身价值，在校学习只能说是前期工程，要在提高综合素质上下功夫，打造属于自己的创新精神。

5、和实践能力，汲取书本以外的营养，以满足社会对所需人才所应具备的素质。2. 增强适应环境的能力。毕业后大学生面临的不再是学校里的小社会环境，而是复杂多变的社会，里面有各种各样的人和事，充满着各种未知的因素。为了让自己能够立足于社会，周旋于复杂的人事关系中，大学生除了要学习专业知识外，还要学习多种生活需要的，正所谓技多可防身。3. 要有创新能力。面临严峻的就业压力，很多大学生对会选择自主创业，自主创业能够降低毕业生就业的压力，但是自主创业却有更高的要求，其中创新能力是必不可少的。只有掌握好人脉，金脉，知脉这三脉，毕业生才能具备创业的天时地利人和的条件，才能在自主创业中站稳阵脚。4. 培养责任意识。。

6、毕业生在求职前一定要准确把握自己的定位，在工作中积极肩负自身的责任，以呼唤人才市场的责任感与诚信，为自己的求职打下一个良好的基础。做事要坚持到底，不要轻易的跳槽。要有责任意识，对企业负责，对自己负责。5. 大学生一定要未雨绸缪，做好充分的准备。凡事预则立，不预则废。职业生涯规划是指导者通过对大学生的主客观条件进行测定、分析、总结的基础上，根据大学生的兴趣、爱好、能力、特长、职业倾向等，有针对性地帮助个体确定自己的奋斗目标，并明确实现目标的思路、途径，使大学生在成长成才的道路上尽可能地少走弯路的过程。在校期间要做好职业生涯规划，在选择就业之前做好充分的分析，毕业生才能选择合适自己的职务，而不要乱投一通，以致浪费人才资源。当代大学生面临着巨大的就业压力这一点是毋庸置疑的，可是只要我们在校期间积极培养自身的专业素质，摆正自己的就业择业心理，提高自己进入社会的适应性和创造力，这个社会提供给我们的不只是激烈的竞争，还有的就是自由广阔的发展空间。只要自己能够认清自身以及社会就业形势，摆正自己作为一个大学生的位置，积极刻苦的努力，我相信，我们的未来都很美好，这个社会有竞争就有机遇。

第1章  引言

1.1 目的

教育部发文，今年高校毕业生超千万，就业形势严峻

内卷现状加剧，2022应届生超千万，蓝领或成就业新风口

超千万应届毕业生，加剧就业内卷，蓝领成为就业新风口

去年，“内卷”一词火遍全网。到底什么是内卷呢？在我看来，内卷的底层逻辑还是“优胜劣汰”。蛋糕就这么大，想分蛋糕的人却日益增长，资源有限，只有通过这样的方式淘汰“躺平”的人。

我们每年都在说，今年就业是最难的。但是据数据显示，应届生一年比一年多，就业是一年比一年难。预计2022年全国高校毕业生中研究生近130万人、985、211毕业生达到75万，一本毕业生超过100万，二本毕业生近370万，专科毕业生近460万。

再加上国外疫情日渐严重，预计超过100万的留学生选择回国就业。这部分高学历的精英人才，回国求职，对于同期毕业的高校毕业生就业，造成巨大的冲击。高学历人才越来越不稀缺，同样的竞争也更激烈，想要成功就业，难度可想而知。

毕业除了就业，还可以考研，今年的考研人数达到了462万!!!于是考研教室出现了“宁可累死自己，也要卷死同学”的标语。在学校都这么卷，可想而知，就业之后的内卷有多严重。

也有人放弃内卷，认为这是一种毫无意义的内耗。所以选择了躺平。或者说不是不卷了，而是卷了半天，也卷不过来，所以选择了放弃。也有人选择跳出内卷，选择了另一种人生。世界这么大，没必要让自己在内卷中消耗，最后身心俱疲。

其实不管是公考、考研还是就业压力都非常大。再加上现在的环境和经济现状，以后就业只会越来越难。所以尽早地做好职业规划，增强自身的综合实力和素质，才能避免就业内卷。

最近一段时间，随着消费和制造业的回暖，各行各业的用工需求持续上升，缺口变大，提早出现了“用工荒”。在最缺工的100个职业当中，前三名均是服务业，随着下半年制造业订单的增加，蓝领工人的需求也大幅增长。

近几年，由于技术工人的缺口太大，一些蓝领的薪资待遇，早已经超过大部分白领。而今年，这种差距变得更大了。所以，当你还在白领中内卷时，其他人已经在蓝领中“躺平”。有数据显示，今年的第三季度，我国最缺工的100各职业中，有19个职业与制造业有关。

在如今“技工荒”的背景下，有着专业技能的技能型人才市场缺口更大、薪酬更高，这也证明了那句“技能在手、衣食无忧”。

如果你正身处大一、大二刚进入大学生活，可以提前做好职业生涯规划。分析近几年的就业数据报告，结合自身专业、特点、兴趣爱好等，找到适合自己的职业方向，提高自身专业实力和素质。

如果你身处大三大四，面临就业边缘，那就要分析当前的就业稀缺岗位，就业压力小的城市，也可以去了解一些待遇好、有编制、竞争小的工作。

其实无论蓝领还是白领，要清醒地意识到，搞钱才是第一位。所以，内卷不是必须的。最后希望每个人可以跳出内卷，找到属于自己的道路，拥有光明的未来。

 

1.2 意义

本课题通过大数据HIVE数仓技术对就业生就业数据分析，计算全国各个地区就业率，行业从业情况，平均薪资。对分析结果进行地图化、可视化，为就业生就业参考，为各大学校培养人才提供针对方向。

1.3 就业现状

学生就业状况：一半在校生对就业感到忧心、七成毕业生认为应先就业后择业、研究生期望薪酬逼近本科生、职业规划辅导迫在眉睫、自主创业缺资金缺人脉缺理念。

 

第2章  需求分析

2.1 数据来源

本研究使用java模拟全国各地就业生就业数据，需要包含省份，城市，姓名，就业状态，月薪，从事行业，岗位职级。模拟数据文件存储为txt文本格式，各字段使用英文状态逗号分隔。

2.2 数据采集

使用flume将生成的数据从本地采集到HDFS文件系统中存储。

首先配置jiuye.conf，配置日志文件采集目录和HDFS上存放目录。然后使用flume-ng agent –n a1 –c ./conf –f ./jiuye.conf来启动flume采集任务。

2.3 数据清洗

使用java语言编写mapreduce程序，对2.2步骤模拟的就业生就业数据文件进行清洗，清洗规则包含：数据字段数是否正确和去除重复数据。

2.4 数据分析

采用hive离线数仓结构对数据进行分析。

首先创建一个名称为jiuye的数据库；

其次使用load data inpath xxx命令将清洗后的数据导入到hive的ODS层数据表中；

然后使用ODS层数据进行指标分析，将分析结果存储到DWS层中；

然后再将DWS层数据进一步加工成业务可视化展示的ADS层数据。最后使用SQOOP数据导出工具，将hive中ADS层数据导出到mysql表中。

分析展示指标包含：

1. 各省份就业生平均薪资
2. 各省份就业生就业率
3. 各省份就业生从事行业占比
4. 各省份就业生岗位职级占比
5. 各辖市就业生平均薪资
6. 各辖市就业生就业率
7. 各辖市就业生从事行业占比
8. 各辖市就业生岗位职级占比

2.5 数据可视化

使用springboot，mybatis，eachrts等技术开发web应用系统对使用sqoop从hive分析的各项指标导出到mysql的数进行图形可视化展示。

具体图形如下：

1. 各省份就业生平均薪资(地图)
2. 各省份就业生就业率(地图)
3. 各省份就业生从事行业占比(饼图)
4. 各省份就业生岗位职级占比(饼图)
5. 各辖市就业生平均薪资(柱状图)
6. 各辖市就业生就业率(柱状图)
7. 各辖市就业生从事行业占比(饼图)
8. 各辖市就业生岗位职级占比(饼图)

第3章  可行性分析

 

3.1 开发使用软件版本

操作系统： windows10专业版和linux系统

开发工具： IDEA2020.1

JDK：1.8

虚拟机：Oracle VM VirtualBox

HADOOP：3.2.2

HIVE：3.1.2

SQOOP：1.4.2

Flume：1.9.0

MYSQL：5.7

MobaXterm：10.2

3.2 技术简介

3.2.1 Java

3.2.2 Hadoop​​​​​​

3.2.3 Hive

3.2.4 Sqoop

3.2.5 Springboot

3.2.6 Echarts

 

 

 

 

 

 

 

 

 

 

 

第4章  系统总体设计

4.1 系统结构图

 

 

第5章 系统功能设计

 

5.1 数据生成

使用java程序模拟全国各个省市就业生就业数据。

首先按照省份,城市的方式构造出各省份辖市的字符串数组。

 

其次设定就业和待业两个就业状态。

 

其次设定岗位职级

 

然后设置行业

 

通过循环遍历城市来模拟所有省市的就业升级就业数据。

 

模拟的数据使用java字符流输出到数据文件中。

5.2数据采集

使用flume从本地磁盘采集静态数据到HDFS分布式文件系统中。

首先定义agent名， source、channel、sink的名称

a1.sources = r1

a1.channels = c1

a1.sinks = k1

 

其次具体定义source

a1.sources.r1.type = spooldir

指定从本地采集的目录

a1.sources.r1.spoolDir = /root/jiuye/data

 

定义具体channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 10000

a1.channels.c1.transactionCapacity = 100

 

定义具体sink

a1.sinks.k1.type = hdfs

指定flume采集的数据在hdfs上的存放路径

a1.sinks.k1.hdfs.path = hdfs://hadoop:9000/jiuye/input

指定生成文件的前缀

a1.sinks.k1.hdfs.filePrefix = power

以数据流的方式传输

a1.sinks.k1.hdfs.fileType = DataStream

不按照条数生成文件

a1.sinks.k1.hdfs.rollCount = 0

HDFS上的文件达到128M时生成一个文件

a1.sinks.k1.hdfs.rollSize = 134217728

HDFS上的文件达到10秒生成一个文件

a1.sinks.k1.hdfs.rollInterval = 10

 

组装source、channel、sink

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

配置后使用flume-ng命令启动采集程序，将java产生的数据文件上传到hdfs上。

flume-ng -n a1 -c ./conf –f ./conf/jiuye.conf

5.3 数据清洗

使用java语句开发MapReduce程序，对采集到hdfs中的数据文件进行清洗，清洗规则包含数据字段数量，数据字段类型，去除重复数据。

在map阶段，按行读取数据文件，然后将这行数据按照逗号分隔符切分成字符串数组。第一列是省份，第二列是市名，第三列是就业生姓名，第四列是就业状态，第五列是月薪，第六列是行业，第七列是岗位职级。

对切分后的数据调用length方法获得字符串数组长度，如果字符串数组长度不为四，那么认为该条数据为脏数据，需要跳过不处理；

对第五列字段月薪判断是否为整数，如果不是整数则认为是脏数据，需要跳过该行数据不处理。

在reduce阶段，对map处理后的结果进行去重处理。

5.4 创建hive库

使用hive命令进入hive交互命令窗口。如果不存在power数据库那么就创建。

CREATE DATABASE IF NOT EXISTS jiuye;

5.5 ODS层

首先使用use jiuye命令进入jiuye库。然后先判断是否存在ods_datas表，如果存在就删除。

DROP TABLE IF EXISTS power.ods_datas;

然后使用create table命令创建ods_datas表。

CREATE TABLE IF NOT EXISTS power.ods_datas(

province string,

city string,

name string,

flg string,

salary int,

trade string,

rank string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

将存在HDFS上清洗后的数据使用load data inpath导入进ods_datas表中。

load data inpath '/output/*' into table jiuye.ods_datas;

然后使用select * from ods_datas limit 10;验证数据是否导入成功。如果能查询到数据那么认为数据已经导入。

 

5.6 DWS层

首先判断DWS层的数据表是否存在，如果存在则删除。然后使用create table命令创建DWS层表。

省市表

DROP TABLE IF EXISTS jiuye.dws_city;

CREATE TABLE IF NOT EXISTS jiuye.dws_city(

province string,

city string

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_city

select province,city from jiuye.ods_datas group by province,city;

省份平均薪资表

DROP TABLE IF EXISTS jiuye.dws_salary_province;

CREATE TABLE IF NOT EXISTS jiuye.dws_salary_province(

name string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_salary_province

select province,sum(salary)/count(province) from jiuye.ods_datas where flg = '就业' group by province;

辖市平均薪资

DROP TABLE IF EXISTS jiuye.dws_salary_city;

CREATE TABLE IF NOT EXISTS jiuye.dws_salary_city(

province string,

city string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_salary_city

select province,city,sum(salary)/count(city) from jiuye.ods_datas where flg = '就业' group by province,city;

省份就业率

DROP TABLE IF EXISTS jiuye.dws_work_province;

CREATE TABLE IF NOT EXISTS jiuye.dws_work_province(

province string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_work_province

select province,sum(case when flg='就业' then 1 else 0 end)/count(*)*100.0 from jiuye.ods_datas group by province;

省份从事行业人数

DROP TABLE IF EXISTS jiuye.dws_industry_province;

CREATE TABLE IF NOT EXISTS jiuye.dws_industry_province(

province string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_industry_province

select province,trade,count(trade) from jiuye.ods_datas group by province,trade;

辖市从事行业人数

DROP TABLE IF EXISTS jiuye.dws_industry_city;

CREATE TABLE IF NOT EXISTS jiuye.dws_industry_city(

province string,

city string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_industry_city

select province,city,trade,count(trade) from jiuye.ods_datas group by province,city,trade;

省份各职级人数

DROP TABLE IF EXISTS jiuye.dws_rank_province;

CREATE TABLE IF NOT EXISTS jiuye.dws_rank_province(

province string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_rank_province

select province,rank,count(rank) from jiuye.ods_datas group by province,rank;

辖市各职级人数

DROP TABLE IF EXISTS jiuye.dws_rank_city;

CREATE TABLE IF NOT EXISTS jiuye.dws_rank_city(

province string,

city string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.dws_rank_city

select province,city,rank,count(rank) from jiuye.ods_datas group by province,city,rank;

5.7 ADS层

首先判断ADS层数据表是否存在，如果存在就删除。然后创建ADS层数据表。最后使用insert into table ads_xxx select * from dws_xxx语句将DWS层计算结果插入到ADS层数据表中。具体语句如下：

DROP TABLE IF EXISTS jiuye.ads_city;

CREATE TABLE IF NOT EXISTS jiuye.ads_city(

id int,

province string,

city string

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_city

select row_number() over(),province,city from jiuye.dws_city group by province,city;

DROP TABLE IF EXISTS jiuye.ads_salary_province;

CREATE TABLE IF NOT EXISTS jiuye.ads_salary_province(

id int,

name string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_salary_province

select row_number() over(),name,value from jiuye.dws_salary_province;

DROP TABLE IF EXISTS jiuye.ads_salary_city;

CREATE TABLE IF NOT EXISTS jiuye.ads_salary_city(

id int,

province string,

city string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_salary_city

select row_number() over(),province,city,value from jiuye.dws_salary_city;

DROP TABLE IF EXISTS jiuye.ads_work_province;

CREATE TABLE IF NOT EXISTS jiuye.ads_work_province(

id int,

province string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_work_province

select row_number() over(),province,value from jiuye.dws_work_province;

DROP TABLE IF EXISTS jiuye.ads_work_city;

CREATE TABLE IF NOT EXISTS jiuye.ads_work_city(

id int,

province string,

city string,

value double

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_work_city

select row_number() over(),province,city,value from jiuye.dws_work_city;

DROP TABLE IF EXISTS jiuye.ads_industry_province;

CREATE TABLE IF NOT EXISTS jiuye.ads_industry_province(

id int,

province string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_industry_province

select row_number() over(),province,name,num from jiuye.dws_industry_province;

DROP TABLE IF EXISTS jiuye.ads_industry_city;

CREATE TABLE IF NOT EXISTS jiuye.ads_industry_city(

id int,

province string,

city string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_industry_city

select row_number() over(),province,city,name,num from jiuye.dws_industry_city;

DROP TABLE IF EXISTS jiuye.ads_rank_province;

CREATE TABLE IF NOT EXISTS jiuye.ads_rank_province(

id int,

province string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_rank_province

select row_number() over(),province,name,num from jiuye.dws_rank_province;

DROP TABLE IF EXISTS jiuye.ads_rank_city;

CREATE TABLE IF NOT EXISTS jiuye.ads_rank_city(

id int,

province string,

city string,

name string,

num int

)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

insert into table jiuye.ads_rank_city

select row_number() over(),province,city,name,num from jiuye.dws_rank_city;

5.8 Mysql数据库

首先使用Navicat工具连接到mysql数据库，然后创建对应的数据表,建表语句如下：

 

DROP TABLE IF EXISTS `city`;

CREATE TABLE `city` (

  `id` int(11) NOT NULL,

  `province` varchar(10) NOT NULL,

  `city` varchar(10) NOT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

DROP TABLE IF EXISTS `industry_city`;

CREATE TABLE `industry_city` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `city` varchar(10) DEFAULT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` int(10) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

DROP TABLE IF EXISTS `industry_province`;

CREATE TABLE `industry_province` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` int(10) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

 

DROP TABLE IF EXISTS `rank_city`;

CREATE TABLE `rank_city` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `city` varchar(10) DEFAULT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` int(10) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

DROP TABLE IF EXISTS `rank_province`;

CREATE TABLE `rank_province` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` int(10) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

 

DROP TABLE IF EXISTS `salary_city`;

CREATE TABLE `salary_city` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `city` varchar(10) DEFAULT NULL,

  `value` double(6,2) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

DROP TABLE IF EXISTS `salary_province`;

CREATE TABLE `salary_province` (

  `id` int(11) NOT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` double(6,2) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

 

DROP TABLE IF EXISTS `work_city`;

CREATE TABLE `work_city` (

  `id` int(11) NOT NULL,

  `province` varchar(10) DEFAULT NULL,

  `city` varchar(10) DEFAULT NULL,

  `value` double(6,2) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC;

 

DROP TABLE IF EXISTS `work_province`;

CREATE TABLE `work_province` (

  `id` int(11) NOT NULL,

  `name` varchar(10) DEFAULT NULL,

  `value` double(6,2) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

 

5.9 Sqoop数据导出

使用sqoop export命令从hive ADS层数据表在hdfs的数据文件中导出数据到对应mysql数据表中。

####城市数据导出mysql

echo "export data to city..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table city \

--export-dir /user/hive/warehouse/jiuye.db/ads_city \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to salary_city..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table salary_city \

--export-dir /user/hive/warehouse/jiuye.db/ads_salary_city \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to salary_province..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table salary_province \

--export-dir /user/hive/warehouse/jiuye.db/ads_salary_province \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to work_city..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table work_city \

--export-dir /user/hive/warehouse/jiuye.db/ads_work_city \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to work_province..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table work_province \

--export-dir /user/hive/warehouse/jiuye.db/ads_work_province \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to industry_province..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table industry_province \

--export-dir /user/hive/warehouse/jiuye.db/ads_industry_province \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to industry_city..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table industry_city \

--export-dir /user/hive/warehouse/jiuye.db/ads_industry_city \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to rank_city..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table rank_city \

--export-dir /user/hive/warehouse/jiuye.db/ads_rank_city \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

echo "export data to rank_province..."

sqoop export \

--connect "jdbc:mysql://192.168.57.1:3306/jiuye?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 123456 \

--table rank_province \

--export-dir /user/hive/warehouse/jiuye.db/ads_rank_province \

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by ',' \

--fields-terminated-by ','

 

5.10 可视化图表

5.10.1 各省份就业生平均薪资(地图)

通过地图颜色的深浅来表示工资的高低。

 

5.10.2 各省份就业生就业率(地图)

通过地图颜色生气来表示就业率的高低。

 

5.10.3 各省份就业生从事行业占比(饼图)

通过查询省份/直辖市展示出改地区就业生从事行业占比情况。

 

5.10.4 各省份就业生职级占比(饼图)

通过查询省份/直辖市展示出改地区就业生岗位职级占比情况。

 

5.10.5 各辖市就业生平均薪资(柱状)

通过查询省份/直辖市展示出该省份下所有市区就业生平均薪资。

 

 

5.10.6 各辖市就业生就业率(柱状)

通过查询省份/直辖市展示出该省份下所有市区就业生就业率。

 

5.10.7 各辖市就业生从事行业占比(饼图)

通过查询省份和市展示出该地区就业生从事行业占比。

 

5.10.8 各辖市就业生职级人数占比(饼图)

通过查询省份和市展示出该地区就业生职级人数占比。

 

第6章 数据库设计

第7章 系统主要模块设计及实现

7.1 数据清洗模块

7.1.1 模块设计

使用java语言结合hadoop的MapReduce数据分析框架，开发程序对原始数据镜像ETL清洗。

在map阶段将原始数据按行读取，然后将行数据作为字符串处理，然后使用英文逗号对行数据切分，切分后获得字段数组。

其次，对字段数组进行判断，如果数组长度不为七，则判断为脏数据；

如果符合要求则将这行数据作为map阶段输出的key，NullWrite作为value输出。

在reduce阶段，map阶段相同的key，如果存在多条，那么就存在重复数据，这里直接将key输出即可去重。

7.1.2 核心代码

package com.etl;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

 

import java.io.IOException;

 

/**

 * 数据清洗存储到hdfs

 */

public class ETLMain {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        String[] otherArgs = new GenericOptionsParser(args).getRemainingArgs();

        if (otherArgs.length != 2) {

            System.out.println("参数错误.<input path> <output path>");

            System.exit(2);

        }

 

        Configuration conf = new Configuration();

        Job job = Job.getInstance(conf, "etl data");

        job.setJarByClass(ETLMain.class);

        job.setMapperClass(map.class);

 

        job.setMapOutputKeyClass(Text.class);

        job.setMapOutputValueClass(NullWritable.class);

        job.setReducerClass(reduce.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(NullWritable.class);

        //设置小文件合并

        job.setInputFormatClass(CombineTextInputFormat.class);

        CombineTextInputFormat.setMaxInputSplitSize(job, 1024 * 1024 * 128);

        // 设置需要统计的文件的输入路径

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }

 

    private static class map extends Mapper<LongWritable, Text, Text, NullWritable> {

        @Override

        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            try {

                String[] fields = value.toString().split(",");

                if (fields.length != 7) {//字段数量

                    return;

                }

                context.write(value, NullWritable.get());

            } catch (Exception e) {

                return;

            }

        }

    }

 

    private static class reduce extends Reducer<Text, NullWritable, Text, NullWritable> {

        @Override

        protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {

            context.write(key, NullWritable.get());

        }

    }

 

}

7.2 首页-各省份就业生平均薪资

7.2.1 模块设计

首先使用springboot开发数据获取接口，然后使用ecahrts对查询的数据展示到地图中。

7.2.2 功能截图

7.2.3 核心代码

数据接口

@GetMapping("/salary_provinceD")

public Object salary_provinceD() {

    return salaryProvinceMapper.selectByMap(null);

}

Echarts解析地图数据

var myChart = echarts.init(document.getElementById('main'));



option = {

    title: {

        text: '各省份就业生平均薪资'

    },

    tooltip: {

        formatter: function (params, ticket, callback) {

            return '平均薪资<br />' + params.name + '：' + params.value

        }//数据格式化

    },

    visualMap: {

        min: 5000,

        max: 8000,

        left: 'left',

        top: 'bottom',

        text: ['高', '低'],//取值范围的文字

        inRange: {

            color: ['#ffffff', '#ff0000']//取值范围的颜色

        },

        show: true//图注

    },

    geo: {

        map: 'china',

        roam: false,//不开启缩放和平移

        zoom: 1.23,//视角缩放比例

        label: {

            normal: {

                show: true,

                fontSize: '14',

                color: '#000000'

            }

        },

        itemStyle: {

            normal: {

                borderColor: 'rgba(0, 0, 0, 0.2)'

            },

            emphasis: {

                areaColor: '#F3B329',//鼠标选择区域颜色

                shadowOffsetX: 0,

                shadowOffsetY: 0,

                shadowBlur: 20,

                borderWidth: 0,

                shadowColor: 'rgba(0, 0, 0, 0.5)'

            }

        }

    },

    series: [

        {

            name: '各省份就业生平均薪资',

            type: 'map',

            geoIndex: 0,

            data: []

        }

    ]

};



function load() {

    var d = new Date();

    var y = d.getFullYear();

    var m = d.getMonth() + 1;

    var mm = m > 9 ? m : '0' + m;

    var day = d.getDate();

    var dd = day > 9 ? day : '0' + day;

    var dm = (y + "-" + mm + "-" + dd);

    console.log(dm);

    fetch("/salary_provinceD").then(response => response.json()).then(res => {

        // map

        option.series[0].data = res

        myChart.setOption(option);

    })

}

 

 

第8章 测试

使用IDEA开发完代码后，启动项目。使用浏览器打开控制台提示的访问地址。

 

鼠标点击左侧各项导航栏，看数据图表是否能正常显示。

 

结论

首先本课题数据时使用java模拟与真实数据存在差异；从业务逻辑和模拟数据分析结果来看，全国各地区就业率和薪资基本持平。

参考文献

[1]刘艳. 基于大数据的高校毕业生就业指导分析[J]. 数码设计, 2019, 8(5):3.

[2]忻桓辰, 张书娟, 李建敦,等. 基于大数据的就业服务系统[J]. 商情, 2019, 000(017):134-136.

[3]胡文晶, 张磊. 大学应届生谈找工作[J]. 大众心理学, 2006(1):2.

[4]李唐宁. "更难就业季"应届毕业生就业境况如何?[J]. 劳动保障世界, 2014(11):1.

[5]王永和, 张劲松, 邓安明,等. Spring Boot研究和应用[J]. 信息通信, 2016(10):4.

[6]徐雯, 高建华. 基于Spring MVC及MyBatis的Web应用框架研究[J]. 微型电脑应用, 2012, 28(7):5.

[7]薛峰, 梁锋, 徐书勋,等. 基于Spring MVC框架的Web研究与应用[J]. 合肥工业大学学报：自然科学版, 2012, 35(3):4.

 

一、目前毕业生的就业情况

近年来，大学生就业困难已成为社会讨论最多的话题之一。全国高校大规模连续扩招，毕业生人数增多，2009年，我国应届大学毕业生有611万，2010年的毕业生人数630万。而2011年高校毕业生人数为660万人，再加上往届没有实现就业的，需要就业的毕业生数量之大可想而知。随着计算机的日益普及，计算机专业与非计算机专业学生的就业竞争日益激烈，加之行业的调整、经济的转型和计算机本身的局限性，计算机专业的毕业生还将面临长期的就业困难期。

二、毕业生就业困难存在的主要问题

大多数高校继承了传统的知识型学科体系教育模式，将计算机划分为多个研究方向，例如：软件工程、网络应用、数据库开发等等。这些专业涉及面广，知识体系庞大，培养出来的学生就业面广，可以选择的职业较多。即便如此，仍有诸多的毕业生找不到工作，不能顺利就业。现将计算机专业毕业生就业存在的主要问题总结如下：

(一)理论知识与实践能力不能相结合

通过对五个毕业班的学生进行调查后发现，有20％的学生反映，在校学习知识离市场需求较远，10％的学生认为在校所学知识陈旧。大多数学生反映，在校学习多数精力都应付在期末考试上，等考试结束后知识都忘得差不多了。我校一直倡导培养“双尖”型人才，即学习型与技能型，然而大多数学生在技能方面有所欠缺，仅有一小部分同学会利用课余时间学习专业技能。

(二)专业能力不足，知识结构单

计算机专业的学生在就业时主要反映在知识结构不健全，专业知识不扎实，解决实际问题的能力较低等。

(三)毕业生心理素质参差不齐

在求职的黄金阶段，由于书本的知识不能应付社会或是技术方面不过关而导致不能顺利就业的学生，在压力面前心理失衡，难以自控，表现出恐惧、焦虑，有的学生甚至害怕毕业。还有的学生就业盲目，心情急躁，满腹牢骚。

(四)毕业生期望值过高、定位不准确

很多应届毕业生对职业的薪资待遇期望值过高，因就业期望值过高而导致求职不利的毕业生仍不在少数，大部分学生认识到了当前就业形势严峻，但到了实际找工作时，由于不愿到中小型企业从事基础工作，不愿到经济不发达地区就业，却又对职位、工资水平要求过高等心态导致的人才供需错位，这些都是阻碍毕业生正常就业的主要原因。

三、扎实做好就业指导工作

基于以上对计算机专业学生就业困境原因的分析，可以看出要真正解除解决大学生的就业困境，需要各方面共同努力，下面就从以下几点出发探讨解决计算机专业学生就业的应对策略。

(一)开设就业指导课程

很多同学直到了毕业前还很迷惘，根本不知道自己该往何处去，尽管学生的思想较往届的学生要成熟，但是由于缺乏足够的教育，在就业面前，他们还是弱势群体。为使学生对毕业程序有一个更深的了解，在大四上学期开设就业指导课程，确保每名同学都能够充分掌握就业的各个环节，并鼓励学生勇敢去就业。通过与学生做模拟面试，将他们不足的地方指出来，并加以指导，同时对学生进行就业应聘教育，引导学生学会自我推销，保证每位学生都能准备一份较为完备的个人应聘推荐书。

(二)就业信息与时俱进，就业指导信息途径畅通

计算机专业的就业指导教师要及时获取企业的招聘信息，并能够将最新的就业信息可以通过邮箱、飞信、QQ群等多渠道通知给学生。毕业生还可以浏览各用人单位的招聘网页，各院校的就业网站，甚至可以到其他城市进行当地的面试。另外，计算机专业的毕业生应充分发挥专业优势，比如制作能体现自己特色的自荐书，建立个人网页或网站，利用网络资源，时时了解相关就业情况。

(三)扎实的专业知识与实践经验的准备

计算机专业的学生想要在经济发达的地区获得报酬丰厚的岗位，扎实的专业知识是必要条件之一，而知识的准备是一个积累的过程，就拿计算机语言来说C、C++、VC++、ASP，NET、JAVA等，学生要做到专而精，还得举一反三、融会贯通。其次是工作经验，据调查，大部分同学只进行过简单的实践，能够独立完成对某个项目开发的只有很少一部分。

(四)加强就业心理指导的核心地位

在毕业前，通过组织心理健康教育活动，帮助毕业生树立良好的心理健康意识，帮助他们掌握一些自我心理调节技巧，提高他们的抗挫折能力。其次，要养成正确的心理咨询观念，出现心理问题要及时找心理指导教师(辅导员或责任教师)咨询，缓解焦虑不安的心情。在求职过程中，毕业生要摆正心态，敢于承认和面对现实，一味的逃避现实只会让自己就业道路越走越窄。

总之，计算机专业学生就业难的问题是一个客观存在的事实，解决这问题是一个系统的工程，从高校层面来讲，按市场需求对学生进行培养，并积极开展校企合作，从学生自身来讲，在学校里除了学好专业知识外，更应该时刻关注社会，了解企业对人才的需求，转变就业观念，为顺利就业做好充分准备。