精华内容
下载资源
问答
  • 通过 MATLAB 处理大数据

    千次阅读 2018-08-20 09:14:17
    大数据使分析师和数据专家有机会获得更好的见解,进行更明智的决策,但是它同时也带来许多的挑战:可用的内存可能无法足以处理大数据集,可能需要花太久的时间进行处理或可能流动太快而无法存储标准算法通常不能以...

    原文链接:通过MATLAB处理大数据

    大数据指的是创建的数据和供分析的数据的数量与速率迅速增加。大数据使分析师和数据专家有机会获得更好的见解,进行更明智的决策,但是它同时也会带来许多的挑战:可用的内存可能无法足以处理大数据集,可能需要花太久的时间进行处理或可能流动太快而无法存储标准算法通常不能以合理的时间或内存来处理大数据集等等。

    目前没有任何一种单一方法可以处理大数据。为此,MATLAB提供了许多工具来解决这些挑战。


    在MATLAB中处理大数据


    1. 64位计算。

    64位版本的MATLAB可快速增加内存中可保留的数据量 - 通常可达到任意32位程序的2000倍.32位程序限制您只能使用2 GB的内存,而64位MATLAB的内存可以达到操作系统的物理内存限制。对于Windows 8,台式机内存为500 GB,Windows Server内存为4 TB。


    2.内存映射的变量。

    借助MATLAB中的memmapfile函数,您可以将文件或文件的一部分映射到内存中的MATLAB变量。这样,您就可以高效访问磁盘上由于太大而无法保留在内存中或需要花太长时间而无法加载的大数据集。


    磁盘变量。

    matfile函数使您可以直接从磁盘上的MAT文件访问MATLAB变量(使用MATLAB索引命令),无需将全部变量加载到内存。这使您可以在大数据集上进行块处理,这些大数据集因为太大而无法保存在内存中。


    4.内在的多核数学。

    MATLAB中的许多内置数学函数,如fft,inv和eig都是多线程的。通过并行运行,这些函数充分利用计算机的多核,提供高性能的大数据集计算。


    5. GPU计算。

    如果您正在使用GPU,并行计算工具箱中的GPU优化的数学函数可以为大数据集提供更高的性能。


    6.并行计算。

    并行计算工具箱提供并行用于循环,该循环在多核计算机上并行运行您的MATLAB代码和算法。如果您使用MATLAB Distributed Computing Server,则可以在机器群集上并行执行,这些机器可扩展到数千台计算机。


    7.云计算。

    对于数百或数千台计算机的按需并行处理,您可以在Amazon Elastic Computing Cloud(亚马逊弹性计算云)(EC2)上使用MATLAB Distributed Computing Server并行运行MATLAB计算。借助云计算,您无需购买或维护您自己的群集或数据中心就可以处理大数据。


    8.分布式阵列。

    使用并行计算工具箱和MATLAB DistributedComputing Server,您可以处理分布在计算机群集内存中的矩阵和**数组。使用此方法,您可以针对因太大而无法由单台计算机内存处理的大数据集,进行存储和执行计算。


    9.流式算法。

    使用系统对象,您可以对因太大或太快而无法保留在内存中的数据传入流执行流式处理。此外,您还可以使用MATLAB编码器通过MATLAB算法生成嵌入式C / C ++代码,并针对高性能实时系统运行产生的代码。


    10.图像块处理。

    使用图像处理工具箱中的blockproc函数,您可以处理特别大的图像,方法是每次以模块的形式高效处理它们。与并行计算工具箱一起使用时,在多核和GPU上并行运行计算。


    11. 机器学习。

    机器学习有助于通过大数据集提取见解和开发预测性模型。广泛的机器学习算法,包括 Statistics and Machine Learning Toolbox 和 Neural Network Toolbox 中提供的促进式 (boosted) 。袋装 (bagged) 决策树、K 均值和分层聚类、k-最近邻搜索、高斯混合、期望最大化算法、隐马尔可夫模型和神经网络。

    展开全文
  • Matlab 处理大数据

    2014-10-20 19:17:11
    MATLAB如何处理大数据,应用灵活,适用于经济、金融、数学等各领域
  • 大数据”一词时下的热门程度无需赘言,这一两年来互联网相关的任何活动、会议必不可少“大数据”板块。 对于任何一个大数据的从业者或初接触者,或许都会有个共同的感触:大数据很有用!大数据该怎么用? ...

    “大数据”一词时下的热门程度无需赘言,这一两年来互联网相关的任何活动、会议必不可少“大数据”板块。


    对于任何一个大数据的从业者或初接触者,或许都会有个共同的感触:大数据很有用!大数据该怎么用?


    关于大数据的著作和文章铺天盖地,似乎也共同在传递一个信息:越来越多的行业、人士开始关注并实际探索大数据的应用,我们正在一起描绘着大数据巨大效用的蓝图,但在实践的路上,我们都还在起步阶段小步前行。


    大数据根基于互联网,数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。然而实践应用尚处于在探索中前进。同样作为探索学习,我想从我个人的理解角度,分享并与大家探讨四个问题:大数据是什么?大数据可以做什么?大数据实际做了什么?大数据要怎么做?


    首先,大数据是什么?


    引用3个比较常用的大数据定义:


    (1)需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    —— Gartner


    (2)海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value)。

    —— IDC


    (3)或称巨量数据、海量数据、大资料,指所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

    —— Wiki


    其他关于大数据的定义也大抵类似,我们可以用几个关键词对大数据做一个界定。


    首先,“规模大”,这种规模可以从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。


    其次,“多样化”,可以是不同的数据格式,如文字、图片、视频等,可以是不同的数据类别,如人口数据,经济数据等,还可以有不同的数据来源,如互联网、传感器等。


    第三,“动态化”。数据是不停地变化的,可以随着时间快速增加大量数据,也可以是在空间上不断移动变化的数据。


    这三个关键词对大数据从形象上做了界定。


    但还需要一个关键能力,就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了,但需要很长的时间去处理分析,那不叫大数据。从另一个角度,要实现这些数据快速处理,靠人工肯定是没办法实现的,因此,需要借助于机器实现。


    最终,我们借助机器,通过对这些数据进行快速的处理分析,获取想要的信息或者应用的整套体系,才能称为大数据。


    我们可以用下面的图示给大数据定义:


    对大数据概念有了界定后,那大数据可以做什么呢?


    想要应用大数据,从流程上来说,大概是这样。

    首先我们要有数据源,然后对数据进行收集和存储,在这基础上,再进行分析和应用,形成我们的产品和服务,而产品和服务也会产生新的数据,这些新数据会循环进入我们的流程中。


    当这整个循环体系成为一个智能化的体系,通过机器可以实现自动化,那也许就会成为一种新的模式,不管是商业的,或者是其他。


    然后具体到实际的应用中,我认为,大数据能够实现的应用,可以概括为两个方向,一是精准化定制,二是预测。


    首先,精准化定制。


    主要是针对供需两方的,获取需方的个性化需求,帮助供方定准定位目标,然后依据需求提供产品,最终实现供需双方的最佳匹配。

    具体应用举例,也可以归纳为三类。


    一是个性化产品,比如智能化的搜索引擎,搜索同样的内容,每个人的结果都不同。或者是一些定制化的新闻服务,或者是网游等。


    第二种是精准营销,现在已经比较常见的互联网营销,百度的推广,淘宝的网页推广等,或者是基于地理位置的信息推送,当我到达某个地方,会自动推送周边的消费设施等。


    第三种是选址定位,包括零售店面的选址,或者是公共基础设施的选址。


    这些全都是通过对用户需求的大数据分析,然后供方提供相对定制化的服务。


    应用的第二个方向,预测。


    预测主要是围绕目标对象,基于它过去、未来的一些相关因素和数据分析,从而提前做出预警,或者是实时动态的优化。

    从具体的应用上,也大概可以分为三类。


    一是决策支持类的,小到企业的运营决策,证券投资决策,医疗行业的临床诊疗支持,以及电子政务等。


    二是风险预警类的,比如疫情预测,日常健康管理的疾病预测,设备设施的运营维护,公共安全,以及金融业的信用风险管理等。


    第三种是实时优化类的,比如智能线路规划,实时定价等。


    以上呢,是各种文献资料里,对于大数据可以用来做什么的一些畅想,事实上也许大数据可以做的事情,可以扩展到方方面面。


    但是,我们再看现实中,大数据实际应用到了什么程度呢?


    我认为,目前大数据真正实现了商业化的应用,只有一种,就是互联网营销。


    其他我们前面列举的方向,会有些初步的应用,但基本都还停留在探索的阶段。比如疫情预测,无抵押信用贷款等,对于准确性、精细度、可推广性等方面还有待推敲。


    造成大数据实际应用与目标蓝图之间差距的主要原因是什么,我认为是数据源的问题。


    你必须先获得数据,然后才能应用数据。


    因此,数据的可获取性,成为大数据在具体行业应用性评价的一个重要维度。


    可以从数据的标准化、开放性和集中度几个维度衡量数据可获取性

    同时,获取了数据之后,在应用数据方面,可以从大数据应用的潜在价值维度来衡量,包括效率的提升、成本降低或者是新模式的产生。


    此外,还可以从大数据行业应用的可复制/推广性的角度来衡量,不仅包括在本行业内的推广,同时也包括跨行业的推广性。


    从三个维度,我个人对大数据在各行业应用的可能性做了一个定位,但这个定位还是非常定性和粗略的,具体可能还需要对行业有更多的大数据应用的探讨和探索。


    对于专门从事大数据应用的企业来说,大数据要怎么做?


    我认为可以从两个维度发展,首先一个重点任务就是要累积数据,以自身拥有的互联网数据及大数据技术两个资源为基础,从一些细分应用切入,比如可以先从企业角度,继而扩展到行业甚至跨行业的角度,从细分应用先有一些产品的产出,这会成为获取更多数据的入口,同时也为大数据更广应用提供了方向借鉴。


    但还有一点,对于平台型的互联网企业,在确定与哪些企业或者行业数据结合、应用大数据时,可以有一些筛选条件,比如,是不是发挥了平台属性,另外,这种应用是不是具有可复制或推广性,不是只局限于某一个企业内,至少是可以应用到整个行业中的。


    以上,是我个人对大数据的一些思考,也希望可以跟更多的朋友对于大数据实际应用上有些探讨和学习。


    本文为36大数据会员“Dakka”的原创投稿。转载请标明作者、来源及原文链接。

     End 

    阅读排行榜/精华推荐1入门学习

    如果有人质疑大数据?不妨把这两个视频转给他 

    视频:大数据到底是什么 都说干大数据挣钱 1分钟告诉你都在干什么

    人人都需要知道 关于大数据最常见的10个问题

    2进阶修炼

    从底层到应用,那些数据人的必备技能

    如何高效地学好 R?

    一个程序员怎样才算精通Python?

    3数据源爬取/收集

    排名前50的开源Web爬虫用于数据挖掘

    33款可用来抓数据的开源爬虫软件工具

    在中国我们如何收集数据?全球数据收集大教程

    4干货教程

    PPT:数据可视化,到底该用什么软件来展示数据?

    干货|电信运营商数据价值跨行业运营的现状与思考

    大数据分析的集中化之路 建设银行大数据应用实践PPT

    【实战PPT】看工商银行如何利用大数据洞察客户心声?              

    六步,让你用Excel做出强大漂亮的数据地图

     数据商业的崛起 解密中国大数据第一股——国双

    双11剁手幕后的阿里“黑科技” OceanBase/金融云架构/ODPS/dataV

    金融行业大数据用户画像实践


    讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用,以中立、客观、专业、可信赖的态度,多层次、多维度地影响着最广泛的大数据人群

    36大数据

    长按识别二维码,关注36大数据


    搜索「36大数据」或输入36dsj.com查看更多内容。

    投稿/商务/合作:dashuju36@qq.com


    点击下方“阅读原文”查看更多

    ↓↓↓

    展开全文
  • c#Treeview处理大数据xml

    2017-10-17 10:41:37
    c#Treeview处理大数据xml,包括xml的加载,Treeview的显示、查询
  • 图像处理大数据分类图像处理大数据分类
  • 使用阻塞式队列处理大数据完整代码,工程由maven组成,类较多,因此在此上传一个完整的eclipse工程便于大家学习和交流。
  • 大数据】为什么要学习大数据

    千次阅读 2018-01-05 19:31:58
    目前人工智能也是空前火热,而人工智能也是基于大数据的,所以现在看来,大数据的前景非常好。在这里简单地介绍一下我们学习大数据的几点原因。 1.国家对大数据的支持 从国家层面到地方政府,出台了一系列促进...

    近年来大数据越来越火爆,非常多的人转行做大数据或者开始学习大数据。现在我们看来大数据尤为重要,马云也说过现在是DT时代,也就是数据时代。“未来最大的能源不是石油,而是数据”。目前人工智能也是空前火热,而人工智能也是基于大数据的,所以现在看来,大数据的前景会非常好。在这里简单地介绍一下我们学习大数据的几点原因。

    1.国家对大数据的支持

    从国家层面到地方政府,出台了一系列促进大数据发展的纲要政策,大数据更是纳入到了国家战略!有了国家的支持,大数据技术在企业里面也受到了极大的重视和发展,有条件的企业都纷纷对这块领域进行研究。

    从上图可以看出,大数据发展已被列入国家发展战略了,大数据发展前景毋庸置疑。

    2.大数据的应用领域非常广

    展开全文
  • 运用matlab处理大数据

    2017-08-17 04:59:14
    问题:我有一组大数据,数据内容为1000个点的坐标,且各个坐标都是有编号的,现在我想分别按照0.05的等间距筛选出每个区域内即(0.05,0.05)(0.05,0.1)…、(0.1,0.1)…按照这样划分的区域,现需要求出落在每...
  • 大数据流式处理技术

    2017-11-06 16:36:26
    大数据流式处理技术大数据流式处理技术大数据流式处理技术大数据流式处理技术
  • 大数据开发学习什么

    千次阅读 2019-04-16 11:22:07
    大数据技术前景我们是毋庸置疑的,而对于学习更是争先恐后。在这些人中,不乏有已经在it圈混迹好几年的程序员,自然也有...既然大数据前景毋庸置疑,郑州大数据要学习什么呢?主要分析如下: 互联网科技发展蓬勃兴...

    大数据技术前景我们是毋庸置疑的,而对于学习更是争先恐后。在这些人中,不乏有已经在it圈混迹好几年的程序员,自然也有初出茅庐的零基础小白。说实话,大数据不比编程学习,还是需要一定的基础的,那些说根本不需要基础的人,你出来,保证不打死你。

      在学习大数据技术之前,掌握编程是必须的,linux基础也是很有必要的。既然大数据前景毋庸置疑,郑州大数据要学习什么呢?主要分析如下:

    互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个风口。为帮助那些往想互联网方向转行想学习,却因为时间不够,资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程,大数据学习群: 740041381就可以找到组织学习  欢迎进阶中和进想深入大数据的小伙伴加入

    13183109-45090670c6d67f98.png
      大数据技术学习,需要的基础之一:编程基础

      Java:学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struct、Spring、Hibernate,Mybaits都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybaits也能连接数据库啊,为什么不学习一下,我这里不是说学这些不好,而是说学这些可能会用你很多时间,到工作中也不常用,我还没看到谁做大数据处理用到这两个东西的,当然你的精力很充足的话,可以学学Hibernate或Mybaits的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

      Python:虽然说学习大数据只需要精通一门编程语言就可以了,但很多时候其他编程语言也要了解一些。

      Scala:上面说的java主要是针对Hadoop开发的,而这里的Scala编程语言,主要是针对Spark生态体系的学习,两个方向的侧重语言不一样,大家可以酌情选择。

      大数据技术学习,需要的基础之二:linux体系

      Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

      当然了,以上我说的这些基础,有些在大数据课程中都有涉及,大家可以在学习大数据技术之前多预习一下,确保自己学习的大数据时可以沉稳应对,也减轻了自己学习的负担!
     

    展开全文
  • 一、大数据什么? 大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。 这句话至少传递两种信息: 1、大数据是海量的数据 2、大数据...
  • 主要介绍了python使用pandas处理大数据节省内存技巧,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • Socket 客户端代码封装、服务端代码封装,让使用Socket更简单。 同时服务端支持超过客户端连接(测试超过1万个同时连接稳定运行),Tasks多线程 队列处理 大数据拆分包处理
  • 单机处理大数据

    2013-11-13 09:11:14
    http://www.csdn.net/article/2013-11-12/2817457-how-mac-mini-surpass-a-1636-hadoop-cluster
  • 大数据挑战 大数据作业-“ Alexa,您可以处理大数据吗?”
  • 大数据到底研究什么

    千次阅读 2013-11-08 21:12:29
    大数据到底研究什么?(130308) 闵应骅    在信息科学领域,前几年国内物联网热。外行人一看就知道是让所有东西都联上因特网。后来,又是云计算,说是把计算放到云里去。云在哪里呢?反正在远处,也还...
  • Vaex处理大数据的Python库

    千次阅读 2020-03-03 14:37:39
    随着社会的发展,5G和云技术...本文推荐处理大数据的一个Python库,Vaex。Vaex 是一个开源的数据框架库(类似于Pandas),用于可视化和探索大型表格数据集。Vaex使用内存映射,零内存复制策略和惰性计算来获得最佳性...
  • 大数据技术为什么快? 传统数据与大数据处理方式对比 纵向扩展: 表示在需要处理更多负载时通过提高单个系统处理能力的方法来解决问题。最简单的情况就是为应用系统提供更为强大的硬件。例如如果数据库所在的...
  • YOCSEF大数据安全报告 面向大数据的内容处理与隐私保护 撰稿人武港山 仲盛 报告人仲盛 汇报提纲 研究背景 研究思路 研究课题 研究进展 2 研究背景 大数据时代的来临是社会经济和科学技术发展的 必然趋势 全球化 ...
  • 大数据的理解,大数据什么大数据能干什么

    万次阅读 多人点赞 2018-07-14 12:16:07
    一、概念:· 一种规模大到在获取、存储、管理、分析方面大大...因为数据量太大,你没办法使用,你需要从中抓取出有价值的内容或你想的数据,这就是大数据应用。 老程序都知道,我们做企业级的项目(数据库项目)...
  • 信号处理大数据 pdf

    2017-10-20 09:10:15
    浙江省信号处理学会2015年10月召开学术年会,本次年会主题是“信号处理在‘大数据’”,相关内容包括:统计信号处理基础理论;大数据的存储、传输及并行处理;面向大数据的统计信号处理;阵列信号处理;时频谱分析及...
  • 什么使用Hadoop生态系统处理大数据而不是高性能关系型数据库  面对这样的问题,不知道大家会什么样的思考,建议大家先思考一下然后带着自己的答案,在来看看我的看法。当然,这只是我个人的见解并非绝对的标准,...
  • JDBC使用MySQL处理大数据+事务控制管理.txt
  • 想学习大数据要掌握些什么知识?

    千次阅读 2018-11-03 17:30:28
    想学习大数据要掌握些什么知识?     大数据有很多方向,目前我们口中经常说的大数据的主要就业方向是:大数据研发,大数据分析与挖掘,深度学习,人工智能等方向。 下面我们就从学习的要求到学习的知识...
  • 大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是...知道了大数据开发是什么,那么如果想从事大数据开发的工作,需要学什么了。 下面我们以大数据开发课程为...
  • 大数据基础知识往往决定了开发人员未来的成长高度,所以重视基础知识的学习。 大数据平台知识: 是大数据开发的基础,在学习期间,往往以搭建Hadoop、Spark平台为主,一方面Hadoop对机器的硬件要求不高,另一.....
  • 用Pandas 处理大数据的3种超级方法

    万次阅读 多人点赞 2019-05-31 13:41:20
    原文链接:3 simple ways to handle large data with Pandas ...其实无论你使用什么库,大量的数据处理起来往往回遇到新的挑战。 数据处理时,往往遇到没有足够内存(RAM)这个硬件问题。 企业往往...
  • 什么大数据大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产...
  • 学习大数据需要掌握什么知识

    千次阅读 2018-07-07 14:07:46
    大数据有很多方向,目前我们口中经常说的大数据的主要就业方向是:大数据研发,大数据分析与挖掘,深度学习,人工智能等方向。推荐一个大数据学习群 119599574晚上20:10都有一节【免费的】大数据直播课程,专注大...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 382,312
精华内容 152,924
关键字:

处理大数据要会什么