首页 > 大数据爬虫基础(一)

大数据爬虫基础(一) 共找到978条结果

  • 整个大数据处理的体系,按我的理解可以分为两个部分,一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS,其他还有Ceph和Swift。分布式计算框架主流是MapRedu
    2018-09-13
    阅读量:302456
    评论:15
  • 云计算部分一、什么是云计算?云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型,云计算并不是对某一项独立技术的称呼,而是对实现云计算模式所需要的所有技术的总称。云计算技术的内容很多:
    2018-05-10
    阅读量:2037193
    评论:197
  • 云计算部分一、什么是云计算?云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型,云计算并不是对某一项独立技术的称呼,而是对实现云计算模式所需要的所有技术的总称。云计算技术的内容很多:
    2018-05-09
    阅读量:58142
    评论:14
  • 1、流式计算是什么流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时
    2019-04-16
    阅读量:9612
    评论:3
  • 大数据概述大数据兴起的背景--第三次信息化浪潮技术支撑数据产生方式的变革。什么是大数据?大数据兴起的背景--第三次信息化浪潮​​技术支撑硬盘存储容量增加;CPU计算速度提高;网络带宽不断增加。数据产生
    2018-10-09
    阅读量:21429
    评论:13
  • 子曰:“君子不重,则不威;学则不固。主忠信,无友不如已者。过则勿惮改。”1.什么是大数据顾名思义“大数据”,就是很庞大的数据量。称为海量数据就是这么简单,不喜欢长篇大论,不容易被理解。2.大数据能干嘛
    2019-05-27
    阅读量:58772
    评论:4
  • 数据类型1.结构化数据能够以二维表格表示的数据,如excel、简单文本2.非结构化数据不能够以二维表格表示的数据,如视频、音频、图片等3.半结构化数据具有一定结构化特征,但又不能全部按照结构化数据去表
    2018-08-27
    阅读量:55029
    评论:1
  • 大数据的基本概念之4V特征大数据要解决的问题大数据涉及到的技术大数据在技术架构上带来的挑战其他挑战1.大数据的基本概念之4V特征VolumeVarietyVelocityValue2.大数据要解决的问
    2018-01-05
    阅读量:473861
    评论:55