文
章
编
号
=
1009 -2552
(
2017
)
12 -0105 -05
D
O
I
：
1
0
.
13274/
j
.
cnki
.
hdzj
.
2017. 12.
024
基
于
H
a
d
o
o
p
的
高
校
大
数
据
平
台
的
设
计
与
实
现
唐
燕
，
刘
仁
权
，
王
苹
(北京中医药大学信息中心，北
京
100096)
摘
要
：
随
着
信
息
化
的
推
进
，高
校
已
经
建
设
了
很
多
信
息
系
统
，积
累
了
大
量
数
据
。
如
何
从
海
量
数
据
中
，挖
掘
有
价
值
的
信
息
，支
撑
智
慧
校
园
的
建
设
，成
为
需
要
迫
切
解
决
的
问
题
。
文
中
就
高
校
大
数
据
平
台
的
关
键
技
术
和
架
构
进
行
阐
述
，结
合
高
校
实
际
情
况
，设
计
高
校
大
数
据
平
台
架
构
，通
过
搭
建
H
a
d
o
o
p
集
群
环
境
，以
业
务
系
统
和
平
台
之
间
的
数
据
交
互
验
证
平
台
设
计
的
可
行
性
和
优
势
。
通
过
研
究
，
文
中
为
高
校
建
设
大
数
据
平
台
提
出
一
种
设
计
方
案
，为
高
校
信
息
化
建
设
提
供
一
种
新
思
路
。
关
键
词
：
大数据
；
H
a
d
o
o
p
;
分布式计算
；
H
i
v
e
;
高校信息化
中
图
分
类
号
：
T
P
3
0
2
文
献
标
识
码
：
A
Design and implementation of college
and university big data
platform based on Hadoop
TANG
Y
a
n
，
LIU
Ren-quan
，
WANG
Ping
(
I
n
f
o
r
m
a
t
io
n
C
e
n
t
e
r
，
B
e
ijin
g
U
n
iv
e
r
s
it
y
o
f
C
h
in
e
s
e
M
e
d
ic
in
e
，
B
e
ijin
g
100096,
C
h
i
n
a
)
Abstract
：
W
i
t
h
the develo
p
m
e
n
t
ol information technology，colleges a
n
d
universities hav
e
built a lot ol
information s
y
s
t
e
m
s
，accumu
l
a
t
e
d
a lot
of
data.
H
o
w
to
mi
n
i
n
g
valuable insight from
massive
data a
n
d
support the construction of intelligent c
a
m
p
u
s
has b
e
c
o
m
e
a
n
urgent p
r
o
b
l
e
m
to b
e
solved.
In this p
a
p
e
r
，
the k
e
y
technology
a
n
d
architecture
of
university
data platform
are
e
x
p
o
u
n
d
e
d
，
a
n
d
the
architecture
of
university data platform is designed.
T
h
e
feasibility a
n
d
advantages of platform design are verified b
y
the
data interaction b
e
t
w
e
e
n
business system a
n
d
platform b
y
setting u
p
H
a
d
o
o
p
cluster environment.
T
h
r
o
u
g
h
the research
，
i
t
proposes
a
design
s
c
h
e
m
e
for
the
construction
of
large
data
platform
in
colleges
a
n
d
universities，a
n
d
provides a n
e
w
idea for the construction of university informationization.
Key words
：
big data;
H
a
d
o
o
p
;
distributed c
o
m
p
u
t
i
n
g
；
Hive;
university informationization
2
0
1
7
年第12淛
y
信
息
疼
术
0
引
百
随着云计算、
互
联
网
、
物联网技术的快速发展，
各个行业已经进人大数据时代。大数据包括各个系
统中数据库中的结构化数据，
也包括由社交媒体、
邮
件
、
视频、
音
频
、
文档信息和网页所产生的非结构化
数据。大数据技术的目标就是从这些数据中挖掘信
息
、
预测趋势、
提供决策支持。“
大
数据
”
被认为是
继物联网、
云计算之后
I
T
产业又一次颠覆性的技术
变革⑴。
随着信息化的推进，
高校已经建设了很多信息
系统，
经过多年运营，
已经积累了很多数据。但
是
，
这些系统分阶段建设，
由不同部门运营和维护。虽
然各业务系统之间也进行了对接和数据交互，
但缺
少一个统一支持海量数据处理的平台来支撑智慧校
园的建设。在高校建立数据中心和大数据平台，
利
用海量数据进行数据分析、
挖
掘
，
为学校管理部门提
供决策依据，
为
师
生
提供更
智能、
便捷的信息化服
务
，
这是高校信息化部门建设智慧校园过程中的必
由之路[2]。
收稿日期
：2017
-
0
2
-
1
7
基金项目：北京中医药大学
2
0
1
5
基本科研面上课题
(
2015
-
」
YB
-
JS
M
S
0
5
1);
北京中医药大学
2
0
1
6
年基本科研课题
(
2016
-
」
Y
B
-
」
S
M
S
-0
1
9
)
作者简介：唐燕
(
1977
-
)
，
女
，
硕
士
，
讲
师
，
研究方向为大数据技术、
数据挖掘。通讯作者
:
王苹。
一 1
0

传统高校数据中心的一些特征决策分析应用个人数据中心应用院系分析本科基本状态数据分析更多分析教师个人数据中心学生个人数据中心学科分析学院数据中心偏重结构化数据，轻非结构数据数据仓库偏重结果数据，忽略过程数据个人数据中心(教师、学生)偏重管理数据，缺少机器数据和外部数据数据中心偏重可视化展现，缺少核心模型主数据管理平台人事管理系统教务管理系统学工管理系统科研管理系统财务管理系统资产管理系统更多系统…星环大数据 与 金智平台 之间关系金智主服务开放平台(ESOP)人事系统教务系统学工系统研究生系统金智主数据管理平台Hadoop平台HDFS、MapReduce、Hbase、Hive、Spark、Storm等开发者生态Campus运行监控安心守护智能小秘书学生发展投稿指南师资分析科研分析招生分析学生服务中心java教师服务中心java学院服务中心java学科服务中心java就业……量化考核学业预警重点人群发现金智服务开放平台(ESOP)流计算(storm)机器学习(ML)分析挖掘(R语言)全文检索(ElasticSearch)内存计算(spark)离线计算(MapReduce)融合后的数据中心架构金智主数据管理平台星环大数据(hdfs/hbase)主数据(Oracle)大数据基础平台ETL工具(ODI)FLUME/KAFAKA/ETL/埋点网络爬虫(Ruby)办事流程日志MOOC学习日志网站访问应用访问数据采集人事科研学工设备日志中间件日志上网日志门禁、一卡通图片、视频、课件等校内外舆情学术成果微博、微信就业行情高级应用统计分析(校情、学情)明细查询(统计为辅)管理及服务提升大数据应用场景-数据服务中心提供各种联机综合查询：如对教师和学生的综合查询大数据应用场景--数据服务中心建立了针对学生域、教师域和运营管理域的标签数据库，据此进行各种画像分析，提升数据服务中心服务能力大数据应用场景-数据服务中心根据数据探索和预测的结果，给予综合评价和改进建议大数据应用场景-围绕校情、学情的综合统计分析大数据应用场景--学科建设基于热门方向的预测和本校实际情况，提供学科方向优化的建议；基于对当前学科梯队的综合分析，提出对团队建设的优化建议；根据行业发展的情况，对团队人员和科研成果进行综合评估。大数据应用场景--学科建设投稿指南学术人才引进推荐服务学术成果评估学科资源库大数据应用场景-—人才培养根据行业发展情况和本校实际情况，提出课程优化建议；进行课程和学生的大数据建模，并应用于个性化教学场景；基于大数据技术的Mooc平台建设：支持选课推荐、课程知识点关联分析、成绩预测(预警)等。大数据应用场景-—人才培养使用分类、聚类、关联规则挖掘等算法对数据进行综合分析大数据应用场景—人才培养根据个体原始数据和标签属性数据进行各类数据预测，如成绩预测，学业预测等大数据应用场景-信息化运营管理围绕信息化运营及流程效率提升的统计分析大数据应用场景-信息化运营管理从系统日志和用户行为数据中分析AP/圈存机用户热点区域及AP/圈存机终端设置优化大数据应用场景-信息化运营管理大数据应用场景-推动 APP 提升大数据不是孤立存在的，必须反哺教学、科研、管理 ，深层次融合来提升信息智慧化量化可评价，例如 85分 怎么看，综合评定、年度考核在线实时计算，例如 学籍预警、毕业审核帮助管理人员 发现 “重点人群”，例如 失联、逃课、学术型、教学型辅助管理人员 决策 ， 例如 一卡通消费用于困难生评定。。。大数据的能力开放ESOP数据能力开放放 ----开发者生态高校信息化 大数据人才培养------ 云智

大数据工程教学实训平台又称大数据挖掘实战中心，将云存储资源、服务器资源和网络资源整合，然后通过Vmware等虚拟化搭建私有云平台，在私有云平台上搭建统一的数据挖掘平台和基于Hadoop的大数据分析平台。
大数据工程教学实训平台的建设能让学生既掌握必要的理论基础，又能将大数据分析理论和方法用于解决实际问题。该大数据教学平台也能解决教学过程中实验环节非常薄弱，造成学生缺少数据挖掘实践经验、缺乏实践应用能力等问题。基于Hadoop实战项目，在大数据实战环境中，通过动手实操，让学员在短时间内掌握使用平台开发Hadoop程序，以完成高效的大数据存储、清洗和分析。

大数据工程教学实训平台底层数据处理平台采用云计算技术实现，基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性，云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层，该虚拟化层能充分保证业务的连续性和平台运行的可靠性。
建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析，而基于Hadoop 的大数据开发平台（波若）能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。

产品优势：
大数据实验室，以大数据平台和大数据挖掘为核心。
大数据技术涉及概率论与数理统计、数据挖掘、算法与数据结构、并行计算等多个专业，因此该学科对于实验室具有较高的专业要求。
大数据教学不仅要提供基础的开发环境，还要提供大数据的运算环境以及用于实验的实战大数据示例。
大数据分析平台能让学生既掌握必要的理论基础，又能将大数据分析理论和方法用于解决实际问题。
大数据实训通过动手实操，让学员在短时间内掌握使用平台开发Hadoop程序，以完成高效的大数据存储、清洗和分析。
大数据平台提供开放式大数据环境，可以充分的融合教师的科研需求，教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。

原文链接：http://www.sdydata.com/gxsx/index.html
转载于:https://blog.51cto.com/14191705/2384085

https://wenku.baidu.com/view/25cd643930b765ce0508763231126edb6e1a764d.html
转载于:https://www.cnblogs.com/waj2018/p/9648447.html