热门好课推荐
猜你喜欢
相关培训 相关博客
  • 大数据概述数据的表现形式:线下数据信息化:数据库、文字记录、照片……互联网-移动互联网:网页数据、用户行为记录、数字图像……传感器:设备监控、智能家居、摄像头……大数据的4V特征:大量化(Volume):存储量大、增量大;多样化(Variety):来源多、格式多;快速化(Velocity):高速数据I/O;价值密度低(Value)大数据基础技术一、工程技术Hadoop介绍Hadoo
    2016-06-04 12:04:47
    阅读量:1349
    评论:0
  • 大数据平台的主流架构大体就是通过flume来获取数据,然后可以存贮到hdfs中,也可以发送到kafka进行storm的实时计算,存储到hdfs中的数据可以进行mapreduce进行清洗,然后可以选择存储到hive和hbase,在hive和hbase进行mapreduce或者spark计算,然后实现数据的分析进而通过sqoop导入到mysql或o...
    2018-03-20 14:14:00
    阅读量:86
    评论:0
  • 大数据应用随着web4.0时代的到来,数据将成为企业的最大资产。运营商所含有的数据是不可限量的,同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术,能够为企业带来意想不到的效果。1.应用对内:网络优化、异常检测、大数据报表、用户轨迹、协同警方监控及判案、智慧城市对外:用户画像、客户细分、精准营销、追踪用户、产品推荐1.1对内...
    2017-10-05 11:46:31
    阅读量:45708
    评论:0
  • 15:502016/8/4summary1.环境1.1.服务端1.1.1.宿主环境1.1.1.1.处理器/4核/8线程(X64i7-4790K4.00GHz)8G内存256G固态硬盘/2T机械硬盘(有的主板需要打开IntelVT(虚拟技术))1.1.1.2.操作系统64位Windows7旗舰版ServicePack11.1.1.3.无任务剩余资源:
    2016-08-08 10:08:01
    阅读量:412
    评论:0
  • http://developer.51cto.com/art/201508/489733.htm
    2016-01-19 18:26:00
    阅读量:28
    评论:0
  • 问题:上千万or亿数据(有重复),统计其中出现次数最多的前N个数据,分两种情况:可一次读入内存,不可一次读入。1.数据库索引A:为什么要建索引?答:索引可以提高数据的检索效率,也可以降低数据库的IO成本,并且索引还可以降低数据库的排序成本。排序分组操作主要消耗的就是CPU资源和内存,所以能够在排序分组操作中好好的利用索引将会极大地降低CPU资源的消耗。B:什么情况下要建立索引?
    2017-05-26 11:39:42
    阅读量:196
    评论:0
  • 大数据应用     比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。
    2016-05-03 18:43:25
    阅读量:159
    评论:0
  • 大数据应用标签(空格分隔):大数据1.环境搭建1.软件准备软件版本:clouderaCDH5.3软件包:+hadoop+sqoop+hive+zookeeper+hbase(安装备用)2.集群搭建2.系统架构集群物理架构机器主机名HDFSMapReduceYARN(Mapreduce2.0)192.168.61.210
    2015-06-18 00:27:35
    阅读量:423
    评论:0
  • 数据类型1.结构化数据能够以二维表格表示的数据,如excel、简单文本2.非结构化数据不能够以二维表格表示的数据,如视频、音频、图片等3.半结构化数据具有一定结构化特征,但又不能全部按照结构化数据去表示,比如网页——文字、视频啥的都有大数据处理流程1.数据采集2.数据存储3.数据管理4.数据分析:分析出结果5.数据挖掘:关联性检测,...
    2018-08-27 22:06:00
    阅读量:153
    评论:0
  • 方法##### 1.方法的概念:(函数/过程)- 封装了一段特定业务逻辑功能尽可能的独立,一个方法只让干一件事方法可以被反复地重复的调用减少代码的重复,有利于代码的维护,减少团队开发的成本,提高开发的效率#####  2.方法的语法规范:修饰词 返回值类型 方法名(参数类型 参数名1,参数类型 参数名2,…){​ 方法...
    2019-05-09 18:18:37
    阅读量:63
    评论:0