• 大数据学习心得 2017-03-01 22:52:54
    大数据学习心得一、 概述1大数据简介 1.1起源 “大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析...
    大数据学习心得
    
    原文出自http://blog.csdn.net/qq_31456593/article/details/59182686
    
    一、	概述
    
    1大数据简介
    1.1起源
    “大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析处理,比如各个浏览引擎。然而,大数据的真正提出却是源自2008.09.03 《Nature》专刊的一篇论文,紧接着,产业界也不断跟进,麦肯锡于2011.06 发布麦肯锡全球研究院报告,标志着大数据在产业界的真正兴起,随着白宫发布大数据研发法案,政府开始加入大数据的角逐。
    1.2定义
    既然大数据这么热,我们有必要了解一下大数据究竟是什么。我们经常用4个V来定义大数据:容量、多样性、吞吐量、价值。即大数据必须是数量大(至少T、P级别),来源多,大部分为非结构化,且进出分析系统的速度快,并以获取价值为目的的数据。
    
    2移动互联网的大数据特征
    2.1web2.0与广义移动互联网
    Web2.0指以朋友圈、微博等为代表的资讯交流分享型互联网,而广义移动互联网,则是通过无线方式实现互联网、物联网和社会网络的连接。
    2.2数据特征
    移动互联网的数据具有移动性、复杂性、社会性的特征。首先,节点是具有移动性的,它具有普适感知的功能。其次,网络是具有复杂性的,通过网络可以进行多元感知,最后个体是具有社会性的,所以他也具有社会感知的作用。
    2.3数据类型
    移动互联网产生两种类型数据:一是人传输的数据(UGU),它源自人的自我表达需求。一是机器产生的数据(MGC),其源自科技、军事、商业的需求。
    2.4智能感知&服务
    目前的移动互联网有一条缺失的链条—智能感知&服务。我们知道,互联网解决的是人与人信息交换的问题,物联网解决的是物与物信息交换的问题。而智能化服务需要人与自然与社会的交叉感知,移动互联网和大数据技术就是它的桥梁。
    2.5智慧城市
    我认为,智慧城市=数字城市+移动互联网+物联网+云计算,而要实现则需要移动互联网将互联网、人际关系网、物联网进行三网融合。
    
    3机遇与挑战
    3.1机遇
    大数据给我们带来了机遇和挑战,我们是否能从中受益则需要看我们怎么对待这些机遇和挑战。大数据的机遇是明显的,各种大平台的数据采集与公开,MapReduce等数据分析平台的开放,以及各领域数据挖掘服务的提供,使我们获得数据变得更加容易。而这些丰富的数据更是带来了众多的创新机会,任何领域的数据都可能对这个领域造成巨大的影响。
    3.2挑战
    当然大数据也给我们带来了很多挑战。一、数据共享与数据私有的矛盾。大数据的价值是稀疏的,而大量的数据往往被大公司垄断,因此对于一般人来说,数据的共享变得十分重要,而其中一个解决方法就是建立一个共享的数据中心。二、数据洪流与技术滞后的矛盾。首先是数据存储能力与处理不匹配,对此我们可以采用对数据流进行实时处理、就近原则存储和处理原始数据、购买数据存储和分析服务等方法进行解决。再者,是分析手段与性能需求不匹配,主要原因是因为传统数据仓库不再使用于大数据分析,对于此我们可以采用大规模并发、Map-Reduce分布式计算、NoSQL管理并发存取等方法进行处理。三是社会需求与人才匮乏的矛盾。对此,培养优秀大数据人才已是当务之急。四、开放数据与保护隐私的矛盾。
    其中包含用户隐私成为牺牲品、有可能危害国家安全等问题,我们的解决思路就是发展隐私保护数据挖掘方法和完善立法。
    
    4未来发展趋势
    	我认为大数据将是未来的石油,而移动互联网将成为主要上网方式,移动大数据也将蓬勃发展。在此做出几点预测:1移动大数据分析将逐步成为云计算和物联网的研究聚焦点。2移动互联网UGC和MGC数据的深度融合将催生新的产业。3专注于局部领域的数据分析服务将成为近期产业创新主流。4Map-Reduce将仍保持活力,分布式流数据分析方法将成为机器学习理论研究和应用研究热点。5数据共享是大势所趋,但需要特别重视国家信息安全,开放数据需要立法支持,信息安全需要自主技术保障
    
    展开全文
  • 大数据学习总结 2019-08-03 20:06:14
    一、(机器学习/深度学习)开发流程: 1.问题: 分析问题,选择算法 2.算法选择: y = ax + bx + c 3.训练和测试 trainingData 求(权重,便宜量):a,b,c testData 测试求得算法能否解决问题 一般来说测试集和数据集...
  • 大数据学习心得与总结 2019-05-22 15:39:11
    大数据学习心得与总结 在此之前,需要做的准备: 1、vnware创建centos虚拟机 2、安装secureCRT 3、安装eclipse 4、配置JDK 作业一:centos搭建伪分布式 修改虚拟机配置文件 ①core-site.xml <...
  • 第一篇大数据学习心得 2015-12-22 22:45:09
    之前未习惯发布学习心德博文,后续会采用这种方式发布学习心得,希望能够很好的督促自己。 计划会按scala,Hadoop,Spark的顺序去学习。 刚学scala的时候,眼前一亮,这语法跟python,java很像啊,刚好两者很...
  • 大数据学习基础分享总结 2018-12-26 22:13:21
    1.linux shell指令学习我是从私房菜开始看的,而且只看了shell指令...我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群:868847735 欢迎进阶中和进想深入大数据的小伙伴加入。   2.hadoop  h...
  • 大数据课程 2020-06-03 23:33:31
    超全的大数据课程分享,涵盖Hadoop、spark、hive、storm、hbase、kafka、Zookeeper、Scala、机器学习、云计算等,共计59套。详情请加QQ:3340358180
  • 前言 本人是IT行业刚入行的新人,在看过许多大佬写的博客后也忍不住想写一些自己的东西。这是本人第一次写博客,技术不够,不敢妄谈一些太过前沿的技术的东西,想简单写写自己学过的东西,就当温故而知新了。...
  • 大数据初步学习感悟 2015-11-20 15:31:37
    开始了解大数据是从参加王老师的Spark课程开始的,目前只是对大体的框架有个基本的了解。 大数据是个很庞大的概念,设计的方方面面很多,自我感觉大数据入门有几方面必须要掌握的 1、对于第一代大数据平台Hadoop的...
  • 大数据基础学习总结 2018-08-08 13:37:08
    shell指令学习我是从私房菜开始看的,而且只看了shell指令相关的 linux  dos (dos命令百度百科 内容很全) ls显示目录列表,较常用的是ls -l,用别名ll表示  使用dir cd directory 进入directory...
  • 本文是个人分类『数据科学与大数据技术』的第一篇,技术学习总结篇。 ——————————————————————————————————————————————————————— 数据科学与大数据技术,...
  • 学习大数据云计算的感受 2019-10-29 18:49:08
    ##学习大数据云计算的感受 学如逆水行舟,困难无处不在。第一天很困难但是很有趣。今天有点瞌睡!抱歉哈! 从进制到网络的单位我知道了一些换算单位,字节,位等单位!之后又学习了网络是什么以及其传输介质的组成...
  • 懒惰让我变得更焦虑,焦虑促使我进步,程序员的焦虑大家应该都有共同的感觉,时代的步伐太快了,在这个环境下的软件开发一定会淘汰掉那些不懂得学习,懒惰的人。 希望跟大家共勉。 今天呢,博主主要回顾这两年来,...
  • 关于刚开始学习大数据的感想 虽然才刚开始接触大数据的专业课,但是给我的感觉就是要实。在实践中发现错误才是最好的,仅仅是纸上谈兵的话可能收效甚微。还有就是循序渐进,现在已经开始接触很多高深的书我觉得可能...
  • 大数据,算法总结 2020-06-03 23:33:35
    本文档,整理总结了大数据平台相关知识,常用机器学习算法以及深度学习等算法方面的知识
  • Hadoop学习总结 2017-12-09 17:07:13
    Hadoop学习总结
  • 关于大数据的一点感想 2019-03-23 10:01:00
    前一段时间学习了传智播客大数据课程,觉得掌握的不太牢靠以后还要再重复的看看。我想简单的总结一下课程吧!! 首先大数据课程要有JAVAEE的基础和LINUX基本功。整个课程有以下几点: linux基础篇:包括liunx安装...
  • 最近想学习一下大数据的基本理论,在看一本《大数据概论》的书,记录一下读书笔记吧~  
  • 个人目前学习的总结,如有问题,发现的时候会修正,用于个人回顾,有错误的地方欢迎留言指出 通过前几篇的学习 hadoop单节点伪分布式 hadoop完全分布式 hadoop完全分布式高可用(HA) zookeeper yarn高可用 hdfs ...
  • 学有一个月了,首先学习的是Java语言基础阶段,以下是我在这一月中的学习经验,希望对迷茫的Java爱好者有所帮助: 第一步:首先要做好学习前的准备工作:Java语言一般用于大型的服务器程序开发,所有有必要了解如下...
1 2 3 4 5 ... 20
收藏数 1,907
精华内容 762