精华内容
下载资源
问答
  • 文章编号=1009-2552(2017)12-0105-05DOI:10.13274/j.cnki.hdzj.2017.12.024基于Hadoop的高校大数据平台的设计与实现唐燕,刘仁权,王苹(北京中医药大学信息中心,北京100096)摘要:随着信息化的推进,高校已经建设...

    =

    1009 -2552

    (

    2017

    )

    12 -0105 -05

    D

    O

    I

    1

    0

    .

    13274/

    j

    .

    cnki

    .

    hdzj

    .

    2017. 12.

    024

    H

    a

    d

    o

    o

    p

    (北京中医药大学信息中心,北

    100096)

    ,高

    ,积

    ,挖

    ,支

    ,成

    ,结

    ,设

    ,通

    H

    a

    d

    o

    o

    p

    ,以

    ,为

    大数据

    H

    a

    d

    o

    o

    p

    ;

    分布式计算

    H

    i

    v

    e

    ;

    高校信息化

    T

    P

    3

    0

    2

    A

    Design and implementation of college

    and university big data

    platform based on Hadoop

    TANG

    Y

    a

    n

    LIU

    Ren-quan

    WANG

    Ping

    (

    I

    n

    f

    o

    r

    m

    a

    t

    io

    n

    C

    e

    n

    t

    e

    r

    B

    e

    ijin

    g

    U

    n

    iv

    e

    r

    s

    it

    y

    o

    f

    C

    h

    in

    e

    s

    e

    M

    e

    d

    ic

    in

    e

    B

    e

    ijin

    g

    100096,

    C

    h

    i

    n

    a

    )

    Abstract

    W

    i

    t

    h

    the develo

    p

    m

    e

    n

    t

    ol information technology,colleges a

    n

    d

    universities hav

    e

    built a lot ol

    information s

    y

    s

    t

    e

    m

    s

    ,accumu

    l

    a

    t

    e

    d

    a lot

    of

    data.

    H

    o

    w

    to

    mi

    n

    i

    n

    g

    valuable insight from

    massive

    data a

    n

    d

    support the construction of intelligent c

    a

    m

    p

    u

    s

    has b

    e

    c

    o

    m

    e

    a

    n

    urgent p

    r

    o

    b

    l

    e

    m

    to b

    e

    solved.

    In this p

    a

    p

    e

    r

    the k

    e

    y

    technology

    a

    n

    d

    architecture

    of

    university

    data platform

    are

    e

    x

    p

    o

    u

    n

    d

    e

    d

    a

    n

    d

    the

    architecture

    of

    university data platform is designed.

    T

    h

    e

    feasibility a

    n

    d

    advantages of platform design are verified b

    y

    the

    data interaction b

    e

    t

    w

    e

    e

    n

    business system a

    n

    d

    platform b

    y

    setting u

    p

    H

    a

    d

    o

    o

    p

    cluster environment.

    T

    h

    r

    o

    u

    g

    h

    the research

    i

    t

    proposes

    a

    design

    s

    c

    h

    e

    m

    e

    for

    the

    construction

    of

    large

    data

    platform

    in

    colleges

    a

    n

    d

    universities,a

    n

    d

    provides a n

    e

    w

    idea for the construction of university informationization.

    Key words

    big data;

    H

    a

    d

    o

    o

    p

    ;

    distributed c

    o

    m

    p

    u

    t

    i

    n

    g

    Hive;

    university informationization

    2

    0

    1

    7

    年第12淛

    y

    0

    随着云计算、

    物联网技术的快速发展,

    各个行业已经进人大数据时代。大数据包括各个系

    统中数据库中的结构化数据,

    也包括由社交媒体、

    视频、

    文档信息和网页所产生的非结构化

    数据。大数据技术的目标就是从这些数据中挖掘信

    预测趋势、

    提供决策支持。“

    数据

    被认为是

    继物联网、

    云计算之后

    I

    T

    产业又一次颠覆性的技术

    变革⑴。

    随着信息化的推进,

    高校已经建设了很多信息

    系统,

    经过多年运营,

    已经积累了很多数据。但

    这些系统分阶段建设,

    由不同部门运营和维护。虽

    然各业务系统之间也进行了对接和数据交互,

    但缺

    少一个统一支持海量数据处理的平台来支撑智慧校

    园的建设。在高校建立数据中心和大数据平台,

    用海量数据进行数据分析、

    为学校管理部门提

    供决策依据,

    提供更

    智能、

    便捷的信息化服

    这是高校信息化部门建设智慧校园过程中的必

    由之路[2]。

    收稿日期

    :2017

    -

    0

    2

    -

    1

    7

    基金项目:北京中医药大学

    2

    0

    1

    5

    基本科研面上课题

    (

    2015

    -

    YB

    -

    JS

    M

    S

    0

    5

    1);

    北京中医药大学

    2

    0

    1

    6

    年基本科研课题

    (

    2016

    -

    Y

    B

    -

    S

    M

    S

    -0

    1

    9

    )

    作者简介:唐燕

    (

    1977

    -

    )

    研究方向为大数据技术、

    数据挖掘。通讯作者

    :

    王苹。

    一 1

    0

    展开全文
  • 数据资源建设是高校信息化建设的重要组成部分,构建大数据管理服务平台将为高校...提出一种数据统一存储、统一管理、统一处理、统一服务的一站式的大数据服务平台的建设思路,为高校大数据平台建设提供一个参考依据。
  • 传统高校数据中心的一些特征决策分析应用个人数据中心应用院系分析本科基本状态数据分析更多分析教师个人数据中心学生个人数据中心学科分析学院数据中心偏重结构化数据,轻非结构数据数据仓库偏重结果数据,忽略过程...

    传统高校数据中心的一些特征决策分析应用个人数据中心应用院系分析本科基本状态数据分析更多分析教师个人数据中心学生个人数据中心学科分析学院数据中心偏重结构化数据,轻非结构数据数据仓库偏重结果数据,忽略过程数据个人数据中心(教师、学生)偏重管理数据,缺少机器数据和外部数据数据中心偏重可视化展现,缺少核心模型主数据管理平台人事管理系统教务管理系统学工管理系统科研管理系统财务管理系统资产管理系统更多系统…星环大数据 与 金智平台 之间关系金智主服务开放平台(ESOP)人事系统教务系统学工系统研究生系统金智主数据管理平台Hadoop平台HDFS、MapReduce、Hbase、Hive、Spark、Storm等开发者生态Campus运行监控安心守护智能小秘书学生发展投稿指南师资分析科研分析招生分析学生服务中心java教师服务中心java学院服务中心java学科服务中心java就业……量化考核学业预警重点人群发现金智服务开放平台(ESOP)流计算(storm)机器学习(ML)分析挖掘(R语言)全文检索(ElasticSearch)内存计算(spark)离线计算(MapReduce)融合后的数据中心架构金智主数据管理平台星环大数据(hdfs/hbase)主数据(Oracle)大数据基础平台ETL工具(ODI)FLUME/KAFAKA/ETL/埋点网络爬虫(Ruby)办事流程日志MOOC学习日志网站访问应用访问数据采集人事科研学工设备日志中间件日志上网日志门禁、一卡通图片、视频、课件等校内外舆情学术成果微博、微信就业行情高级应用统计分析(校情、学情)明细查询(统计为辅)管理及服务提升大数据应用场景-数据服务中心提供各种联机综合查询:如对教师和学生的综合查询大数据应用场景--数据服务中心建立了针对学生域、教师域和运营管理域的标签数据库,据此进行各种画像分析,提升数据服务中心服务能力大数据应用场景-数据服务中心根据数据探索和预测的结果,给予综合评价和改进建议大数据应用场景-围绕校情、学情的综合统计分析大数据应用场景--学科建设基于热门方向的预测和本校实际情况,提供学科方向优化的建议;基于对当前学科梯队的综合分析,提出对团队建设的优化建议;根据行业发展的情况,对团队人员和科研成果进行综合评估。大数据应用场景--学科建设投稿指南学术人才引进推荐服务学术成果评估学科资源库大数据应用场景-—人才培养根据行业发展情况和本校实际情况,提出课程优化建议;进行课程和学生的大数据建模,并应用于个性化教学场景;基于大数据技术的Mooc平台建设:支持选课推荐、课程知识点关联分析、成绩预测(预警)等。大数据应用场景-—人才培养使用分类、聚类、关联规则挖掘等算法对数据进行综合分析大数据应用场景—人才培养根据个体原始数据和标签属性数据进行各类数据预测,如成绩预测,学业预测等大数据应用场景-信息化运营管理围绕信息化运营及流程效率提升的统计分析大数据应用场景-信息化运营管理从系统日志和用户行为数据中分析AP/圈存机用户热点区域及AP/圈存机终端设置优化大数据应用场景-信息化运营管理大数据应用场景-推动 APP 提升大数据不是孤立存在的,必须反哺教学、科研、管理 ,深层次融合来提升信息智慧化量化可评价,例如 85分 怎么看,综合评定、年度考核在线实时计算,例如 学籍预警、毕业审核帮助管理人员 发现 “重点人群”,例如 失联、逃课、学术型、教学型辅助管理人员 决策 , 例如 一卡通消费用于困难生评定。。。大数据的能力开放ESOP数据能力开放放 ----开发者生态高校信息化 大数据人才培养------ 云智

    展开全文
  • 大数据工程教学实训平台又称大数据挖掘实战中心,将云存储资源、服务器资源和网络资源整合,然后通过Vmware等虚拟化搭建私有云平台,在私有云平台上搭建统一的数据挖掘平台和基于Hadoop的大数据分析平台。...

    大数据工程教学实训平台又称大数据挖掘实战中心,将云存储资源、服务器资源和网络资源整合,然后通过Vmware等虚拟化搭建私有云平台,在私有云平台上搭建统一的数据挖掘平台和基于Hadoop的大数据分析平台。

    大数据工程教学实训平台的建设能让学生既掌握必要的理论基础,又能将大数据分析理论和方法用于解决实际问题。该大数据教学平台也能解决教学过程中实验环节非常薄弱,造成学生缺少数据挖掘实践经验、缺乏实践应用能力等问题。基于Hadoop实战项目,在大数据实战环境中,通过动手实操,让学员在短时间内掌握使用平台开发Hadoop程序,以完成高效的大数据存储、清洗和分析。
    波若高校大数据实训平台

    大数据工程教学实训平台底层数据处理平台采用云计算技术实现,基于云计算的基础设施层能充分保障资源的有效利用率和资源的动态伸缩性,云基础设施层上搭建了基于VMware、Hyper-v或KVM等的虚拟化层,该虚拟化层能充分保证业务的连续性和平台运行的可靠性。

    建立在虚拟化层上的统一数据挖掘平台波若能满足有大数据挖掘需求的师生利用图形化的界面进行大数据分析,而基于Hadoop 的大数据开发平台(波若)能为大数据算法分析和大数据处理提供基础平台。位于架构最上层的大数据工程教学实训平台为培养大数据时代的数据科学家提供实训平台。
    Hadoop大数据平台
    产品优势:

    大数据实验室,以大数据平台和大数据挖掘为核心。

    大数据技术涉及概率论与数理统计、数据挖掘、算法与数据结构、并行计算等多个专业,因此该学科对于实验室具有较高的专业要求。

    大数据教学不仅要提供基础的开发环境,还要提供大数据的运算环境以及用于实验的实战大数据示例。

    大数据分析平台能让学生既掌握必要的理论基础,又能将大数据分析理论和方法用于解决实际问题。

    大数据实训通过动手实操,让学员在短时间内掌握使用平台开发Hadoop程序,以完成高效的大数据存储、清洗和分析。

    大数据平台提供开放式大数据环境,可以充分的融合教师的科研需求,教师可以在开放的平台环境下开展大数据科研工作,提升教师的科研创新能力,充分提高“研”的成效。
    湖北波若高校实训平台

    原文链接:http://www.sdydata.com/gxsx/index.html

    转载于:https://blog.51cto.com/14191705/2384085

    展开全文
  • https://wenku.baidu.com/view/25cd643930b765ce0508763231126edb6e1a764d.html 转载于:https://www.cnblogs.com/waj2018/p/9648447.html

    https://wenku.baidu.com/view/25cd643930b765ce0508763231126edb6e1a764d.html

    转载于:https://www.cnblogs.com/waj2018/p/9648447.html

    展开全文
  • “亲爱的同学,你好!学校通过分析餐厅一卡通消费数据,结合你...据报道,西安电子科技大学通过自主开发的大数据平台,分析了学生2018年在学校刷一卡通的数据,找出每月在食堂吃饭60次以上、每天吃饭低于平均值8块钱...
  • 大数据的出现催生出产业人才缺口瓶颈,在大数据挖掘项目的实施方面,被调查公司普遍缺乏相关的技术能力。75%以上的公司表示在人员和培训方面存在障碍,会大数据挖掘技术的人才很热门,但是比较难找而且昂贵,会 ...
  • 作为受邀嘉宾,东软集团平台产品事业本部先行产品研发事业部咨询总监田军,分享了东软在数据科学与大数据人才培养方面的实践与思考。 产教融合,解决高校、企业双向困难 对于大数据人才,企业和高校都面临着双向...
  • 自2018年起,和鲸科技连续两年为高校大数据挑战提供了赛事运营和技术平台支持。和鲸科技运营了国内起步最早的数据竞赛平台Kesci科赛网,和鲸的在线生产工具 K-Lab 对赛事的模型开发过程也提供了有力支撑。   选手们...
  • 橙石企业大数据平台基于收录的全国1000万+企业大数据,帮助政府、园区从采集的多维企业数据中找到企业成长价值,从而调整区域...基于橙石企业大数据平台丰富的数据资源与数据挖掘能力,面向政府、高校、园区机构对于...
  • 基 本 概 况 产 品 介 绍 市 场 分 析 竞 争 分 析 商 业 模 式 现 状 与 计 划 ... 构建高校大数据智能应用云平台,实现高校间数据应用服务的共享、高校大数据的智能数据治理、数据平台的高效运维。
  • Hadoop大数据作为时代发展的产物,影响着互联网企业发展、以及企业关于品牌形象推广、政府有关民意采集、以及有关数据信息...如何利用Hadoop大数据平台实现大数据的快捷处理呢?以及Hadoop环境搭建注意事项分析。...
  • 小象《Hadoop 2.X大数据平台V3》

    千次阅读 2017-03-06 15:14:27
    授课对象: Hadoop初学者、具有一定Linux系统、Java使用...高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。 数据仓库管理人员、建模人员,分析人员和开发人员、系统管理人员、数据库管理人员以及对数
  • 来自政府、研究机构及高校、企业的大数据专业人士共聚一堂,畅谈大数据的现状及未来。2017互联网+大数据高峰论坛在北京中国大饭店盛大开幕腾讯互联网+副总裁张巍在致辞中表示,深入发展大数据,将有效打...
  • 高校实验室云计算大数据 建设解决方案 目录 概述 4 第一章 云计算与大数据的发展趋势 4 1.1. 云计算与大数据 4 1.2. 云计算与大数据的关系 5 1.2.1. 当大数据遭遇云计算 5 1.2.2. 云计算环境作为大数据处理平台 6 ...
  • 大数据时代悄然来临,带来了信息技术发展的巨大变革,并深刻影响着社会生产和人们生活的方方面面,大数据的发展离不开专业人才,高校承担着培养大数据人才的重任。尽快形成成熟完善的培养方案、课程体系、系列教材、...
  • 加强大数据人才培养,整合高校、企业、社会资源,推动建立创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。鼓励高校探索建立培养大数据领域专业型人才和跨界复合型人才机制。支持高校与企业
  • 大数据讲解:======================================== 大数据技术: 大数据存储 大数据计算 大数据组件搭建在Linux上的 ...是操作系统内核 Linux发行版: ubuntu //高校教学 redhat //红帽Linux ...
  • 课堂教学质量是学生培养过程中最重要的环节,是普通高校发展的生命线。目前国内各高校开展的课堂教学质量评价活动仍存在一些问题,应该优化评价指标体系、合理确定...Smartbi推出的“高校教学质量大数据分析挖掘平台...
  • 大数据实训方案简介德拓开发出多套专业的教学体系,为大数据、云计算、AI等专业的师生提供全套完整的教学实训实战方案。DSight智慧实验室包括教学实训、项目实战、科研应用三大模块,同时还提供对应的课程资源以及...
  • 摘要:2016中国高校计算机大赛——大数据挑战赛是由教育部和全国高等学校计算机教育研究会联合主办,清华大学和阿里云联合承办,在“天池大数据众智平台”上开展的高端算法竞赛。本次赛题是对于阿里音乐流行趋势进行...
  • 陕西省高等教育数据中心大数据服务平台也于当日启动。 此次论坛以“网络空间信息安全与规划管理”为主题,旨在推动信息化与高等教育教学、科研的融合与创新,服务优质教育资源建设与共享,提升高校在新形势下的数字...
  • 课堂教学质量是学生培养过程中最重要的环节,是...Smartbi推出的“高校教学质量大数据分析挖掘平台”就是为了帮助高校建立一套科学的教学质量评价体系,从而培养出更多合格的、适应新时期发展要求的人才。 教学质量评
  • 摘要:2016中国高校计算机大赛——大数据挑战赛是由教育部和全国高等学校计算机教育研究会联合主办,清华大学和阿里云联合承办,在“天池大数据众智平台”上开展的高端算法竞赛。本次赛题是对于阿里音乐流行趋势进行...
  • 中国高校大数据课程公共服务平台,是国内第一个服务于高校大数据课程建设的公共服务平台,旨在促进高校大数据课程建设,提高大数据课程教学水平,提升学生学习大数据课程效果。平台服务对象涵盖高校、教师和学生。...
  • 由腾讯举办的第二届“中国高校计算机大赛-大数据挑战赛,2017年“中国高校计算机大赛—大数据挑战赛”(Big Data Challenge)是由教育部高等学校计算机类专业教学指导委员会、教育部高等学校软件工程专业教学指导...
  • 主要课程包括 C 程序设计、Java 语言程序设计、 Python 语言程序设计,大数据算法、人工智能、应用统计(统计学)、 数据建模、大数据平台核心技术等。核心课程:C 语言程序设计、数据结构、数据库原理与应用、计算机 ...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 139
精华内容 55
关键字:

高校大数据平台