热门好课推荐
猜你喜欢
相关培训 相关博客
  • 按照老师的教程陪着好hadoop后1、启动hadoop                start-dfs.sh2.关闭hadoop                stop-dfs.sh3.运行Hadoop程序时,为了防止覆盖结果,程序指定的输出目录(如output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行...
    2018-03-20 22:16:34
    阅读量:2344
    评论:0
  • 厦门大学林子雨教授-大数据技术原理与应用教程转载地址:http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson2友情提示:对于初学者相当有用哦,千万别错过了!!在此感谢林博士分享知识。Spark教学地址:转载地址:http://blog.csdn.net/a925907195/article/details/76460999...
    2018-03-11 11:06:09
    阅读量:1871
    评论:0
  • 林子雨老师与其团队做的技术分享,值得去好好研究下林子雨老师 2016年10月30日 (updated: 2017年5月28日) 41436【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!版权所有,侵权必究!Spark最初诞生于美国加州大学伯克利分校(UCBerkeley)的AMP实验室,是一个可应用于大规模数据处理的快速、通用引擎。2013年,
    2017-07-31 17:53:50
    阅读量:16080
    评论:3
  • 2018年7月12日                    地点:长沙                    天气:暴雨学习书籍        1.智能时代:大数据与智能革命重新定义未来    吴军先生  编著        2.数学之美    吴军先生  编著        3.大数据技术原理以及应用    林子雨先生  编著学习视频        1.中国大学慕课. 大数据技术原理与应用. 厦...
    2018-07-12 22:25:01
    阅读量:104
    评论:0
  • 1 大数据概述大数据特性:4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少;1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据) 价值密度低,商业价值高大数据影响: 对科学研究影响:出现科...
    2019-08-13 10:36:00
    阅读量:19
    评论:0
  • 这篇文章是学习过林子雨老师的视频课程后自己对MapReduce的总结和笔记。MapReduceMapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片(split),这些分片可以被多个Map任务并行处理。MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢”,因为,移动数据需要大量的网络传输开销(理想的情况
    2016-09-21 11:57:00
    阅读量:313
    评论:0
  • 环境看视频:http://study.163.com/course/courseMain.htm?courseId=1002887002前言个人笔记视频笔记正文大数据思路的转变:全样而非抽样效率而非精确相关而非因果核心技术分布式存储和分布式处理云计算解决了:分布式存储、分布式处理、虚拟化和多租户;HadoopYARN简称“样...
    2018-06-27 18:09:15
    阅读量:631
    评论:0
  • 资源来自厦门大学林子雨视频一.spark streaming原理Spark Streaming是Spark的核心组件之一,为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示,Spark Streaming可整合多种输入数据源,如Kafka、Flume、HDFS,甚至是普通的TCP套接字。经处理后的数据可存储至文件系统、数据库,或显示在仪表盘里。Spark Streami...
    2019-08-17 19:01:16
    阅读量:220
    评论:0
  • IT之家11月14日消息一天卖出3台价值1700万的超跑赛艇、1小时卖出22万件大码文胸、9小时卖出5000吨奶粉……最终,2017天猫双11全球狂欢节总成交额定格在1682亿元人民币。双11之后,淘宝发布了双11大数据,包括“新一线”城市、用户平均剁手单量等等,快来看看,你处于什么水准呢?淘宝双11趣味大数据出炉:看看你贡献了哪些?阿里数据显示,参与2017天猫双11的剁手城市中,上海、
    2017-11-16 10:29:48
    阅读量:2682
    评论:0
  • 问题来源:慕课网——厦门大学林子雨老师主讲《大数据技术原理与应用》——3.6-HDFS编程实战系统环境:ubuntu 14.04 LTS Hadoop 2.7.6 Eclipse 3.8.1 javaSE-1.7补充:系统环境的搭配参考:http://dblab.xmu.edu.cn/blog/install-hadoop/编程前——按视频教程中的配置打开Eclip...
    2019-05-25 16:50:37
    阅读量:212
    评论:0