热门好课推荐
猜你喜欢
相关培训 相关博客
  • 1、linux操作基础linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用命令–系统管理linux常用命令–免密登陆配置与网络管理linux上常用软件安装linux本地yum源配置及yum软件安装linux防火墙配置linux高级文本处理命令cut、sed、awklinux定时任务crontab2、shell编程shell编程–基本语法shell编程...
    2018-06-13 17:19:40
    阅读量:857
    评论:0
  • 企业面临的挑战之一是:传递大数据。传递大数据受限制于IT基础设施,需要解决大数据的规模和动态性问题。与大数据有关的不同架构思想大数据技术和它的组件设计原则大数据的功能需求:1.采集数据2.组织数据3.集成数据4.分析数据5.按照分析结果执行操作其他需求:1.架构支持,强大的运算能力和速度也非常重要
    2016-05-22 16:22:09
    阅读量:610
    评论:0
  • ThisarticleisfromTeacherRencourseware,whichsummarizesthebasicconceptofBigData,relatedtechnologiesandHadaoptechnicalbasis.ItisusefulforbeginnerswholearnHadoop,a...
    2015-11-30 16:07:00
    阅读量:2
    评论:0
  • ThisarticleisfromTeacherRencourseware,whichsummarizesthebasicconceptofBigData,relatedtechnologiesandHadaoptechnicalbasis.ItisusefulforbeginnerswholearnHadoop,andImadeP
    2015-11-30 16:07:18
    阅读量:1559
    评论:0
  • Flink为流处理和批处理分别提供了StreamAPI和BatchAPI,正是这种高层的抽象极大便利了用户编写大数据应用。Flink目前支持的主要的流的类型及其流之间的转换关系DataStream:是Flink流处理API中最核心的数据结构,代表了一个运行在多个分区上的并行流一个DataStream从StreamExecutionEnvironment通过env.addSource...
    2019-06-28 22:59:45
    阅读量:2
    评论:0
  • 一、Linux文件系统结构:  Linux下的文件系统为树形结构,入口为/树形结构下的文件目录,为文件的根目录:无论哪个版本的Linux系统,都有这些目录,这些目录应该是标准的,不同的Linux发行版本的略有差异,但总体来说大多是一致的。  1、rootfs:根文件系统  /:文件系统的入口,为根目录,是最高一层目录。  /boot:系统启动相关的文件,如内核、以及g
    2016-05-24 15:14:14
    阅读量:228
    评论:0
  • 大数据(二)大数据相关的技术1.云技术大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。
    2018-02-07 13:10:56
    阅读量:1399
    评论:0
  • 今天是2016年的最后一天,大部分的同学都去嗨了,像我这种学渣只能继续为了我那些不靠谱的梦想继续努力。大数据的出现并不是一种偶然,而是因为非常多的技术已经成熟的原因。在未来进一步的普及和发展还需要解决更多的技术瓶颈。(1)技术的拐点科学技术的发展并非是一种匀速的过程。中的科学技术的突破常常需要在一段很长的时间内慢慢的发展。1965年,摩尔博士提出了摩尔定律。工业界,大规模集成电路的出现
    2016-12-31 23:00:28
    阅读量:407
    评论:0
  • 一、系统日志采集系统。许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息,我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集,然后进行数据分析,挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。目前常用的开源日志收集系统有Flume、Scribe等。A...
    2019-05-21 20:53:09
    阅读量:114
    评论:0
  • 学习了牛琨老师的课程后整理的学习笔记,用于日后复习一、大数据预处理的几个步骤1.数据预处理2.数据清洗3.数据集成4.数据归约5.数据变换 6.数据离散化7.大数据预处理二、数据预处理现实中的数据大多是“脏”数据:①不完整缺少属性值或仅仅包含聚集数据②含噪声包含错误或存在偏离期望的离群值比如:salary=“-10”,明显是错误数据③不一致用于商品分类的部门编码存在差异比如a...
    2018-03-19 23:00:26
    阅读量:14756
    评论:2