热门好课推荐
猜你喜欢
相关培训 相关博客
  • 厦门大学林子雨教授-大数据技术原理与应用教程转载地址:http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson2友情提示:对于初学者相当有用哦,千万别错过了!!在此感谢林博士分享知识。Spark教学地址:转载地址:http://blog.csdn.net/a925907195/article/details/76460999...
    2018-03-11 11:06:09
    阅读量:1681
    评论:0
  • 林子雨老师与其团队做的技术分享,值得去好好研究下林子雨老师 2016年10月30日 (updated: 2017年5月28日) 41436【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!版权所有,侵权必究!Spark最初诞生于美国加州大学伯克利分校(UCBerkeley)的AMP实验室,是一个可应用于大规模数据处理的快速、通用引擎。2013年,
    2017-07-31 17:53:50
    阅读量:15744
    评论:3
  • 1大数据概述大数据特性:4vvolumevelocityvarietyvalue即大量化、快速化、多样化、价值密度低数据量大:大数据摩尔定律快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少;1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据)价值密度低,商业价值高大数据影响:对科学研究影响:出现科...
    2019-08-13 10:36:00
    阅读量:2
    评论:0
  • 这篇文章是学习过林子雨老师的视频课程后自己对MapReduce的总结和笔记。MapReduceMapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片(split),这些分片可以被多个Map任务并行处理。MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢”,因为,移动数据需要大量的网络传输开销(理想的情况
    2016-09-21 11:57:00
    阅读量:308
    评论:0
  • 环境看视频:http://study.163.com/course/courseMain.htm?courseId=1002887002前言个人笔记视频笔记正文大数据思路的转变:全样而非抽样效率而非精确相关而非因果核心技术分布式存储和分布式处理云计算解决了:分布式存储、分布式处理、虚拟化和多租户;HadoopYARN简称“样...
    2018-06-27 18:09:15
    阅读量:600
    评论:0
  • 资源来自厦门大学林子雨视频一.sparkstreaming原理SparkStreaming是Spark的核心组件之一,为Spark提供了可拓展、高吞吐、容错的流计算能力。如下图所示,SparkStreaming可整合多种输入数据源,如Kafka、Flume、HDFS,甚至是普通的TCP套接字。经处理后的数据可存储至文件系统、数据库,或显示在仪表盘里。SparkStreami...
    2019-08-17 19:01:16
    阅读量:32
    评论:0
  • IT之家11月14日消息一天卖出3台价值1700万的超跑赛艇、1小时卖出22万件大码文胸、9小时卖出5000吨奶粉……最终,2017天猫双11全球狂欢节总成交额定格在1682亿元人民币。双11之后,淘宝发布了双11大数据,包括“新一线”城市、用户平均剁手单量等等,快来看看,你处于什么水准呢?淘宝双11趣味大数据出炉:看看你贡献了哪些?阿里数据显示,参与2017天猫双11的剁手城市中,上海、
    2017-11-16 10:29:48
    阅读量:2579
    评论:0
  • 问题来源:慕课网——厦门大学林子雨老师主讲《大数据技术原理与应用》——3.6-HDFS编程实战系统环境:ubuntu14.04LTS Hadoop2.7.6 Eclipse3.8.1 javaSE-1.7补充:系统环境的搭配参考:http://dblab.xmu.edu.cn/blog/install-hadoop/编程前——按视频教程中的配置打开Eclip...
    2019-05-25 16:50:37
    阅读量:151
    评论:0
  • 前述:这几天看完了一本有关spark的书,加上回顾了一些spark的视频,感觉以前很多不是很懂的细节,现在终于有了一点概念。在这里安利一些入门spark的资源:网易云课堂,林子雨老师的spark视频,讲的很细节,很适合入门边学边做。 《spark最佳实践》:里面涉及到很多基础的知识点,所以入门也应该看看,并且对spark编程方面也会有所帮助。 《Spark大数据处理:技术、应用与性能优化》...
    2018-11-29 17:36:53
    阅读量:265
    评论:0
  • 2018年7月12日                  地点:长沙                  天气:暴雨学习书籍      1.智能时代:大数据与智能革命重新定义未来  吴军先生 编著      2.数学之美  吴军先生 编著      3.大数据技术原理以及应用  林子雨先生 编著学习视频      1.中国大学慕课.大数据技术原理与应用.厦...
    2018-07-12 22:25:01
    阅读量:98
    评论:0