热门好课推荐
猜你喜欢
相关培训 相关博客
  • 第1章华数大数据分析平台方案介绍1.1华数大数据平台总体架构1.1.1华数大数据平台应用架构 应用架构图基于华数多年来的开发经验,并借鉴行业大数据分析平台的实施、管理和应用方面的成功经验,结合禾丰牧业实际信息化情况,我们将禾丰大数据平台实际为三层架构,其中:l基础数据源层:目前禾丰牧业所应用的数据主要来源于业务系统(EAS)与平面文本文件
    2018-02-14 00:07:54
    阅读量:35268
    评论:0
  • 阿里OSS或其他云服务OSS提供商,以下以阿里为例阿里技术文档参考:        https://promotion.aliyun.com/ntms/act/ossdoclist.html?spm=5176.7933691.744462.c2.2e436a56XNiW2f以下针对视频文件作说明,其它格式文件以此类推;在对象存储模块建视频文件夹,阿里云会反馈该文件夹的URL,之后上传的文件会反馈...
    2018-04-27 13:54:09
    阅读量:4579
    评论:0
  • 视频监控在现代城市中发挥着巨大的作用,各交通要点、景区、商场超市、楼道等地方都安装有监控。摄像机24小时工作,会产生大量的视频数据,都存储方式方法有着较大要求。具体三点要求如下所示:1、对存储的容量需求弹性比较大,存储容量的多少随着画面质量的要求、画面尺寸的大小、画面的帧率、存储时间的长短等因素有关,这些因素的变化都会使存储容量产生较大变化。2、对存储的性能要求不高,但是需要能够满足长时间...
    2018-09-17 16:53:39
    阅读量:4194
    评论:0
  • 大数据背景对于业务数据数据量的暴增,用户智能化需求提升。在这个DT的时代,大数据的开发也就应运而生了,大数据开发必须解决两个问题,大数据量如何统一存储,大数据量如何统一计算。针对这些问题产生了很多大数据方面的技术框架。到今天为止,大数据方面的技术可以说已经相当成熟,BAT在大数据方面都应用十分的广泛,大数据量的分析使得数据更有了价值,运营有了通过大数据的分析可以做出精确的营销计划,通过收集用户的...
    2018-12-21 10:43:47
    阅读量:222
    评论:0
  • 课程内容】第1章:走进大数据Hadoop框架的世界01、Hadoop概述02、Hadoop架构介绍03、Yarn的发展背景及基本原理04、安装HadoopYARN第2章:用户行为分析项目01、Hadoop用户行为分析项目之应用概述02、Hadoop用户行为分析项目之分析与设计03、Hadoop用户行为分析项目之编码实践第3章:调优01、Had
    2017-07-19 09:44:07
    阅读量:1864
    评论:0
  • 在搭建大数据平台的时候,若现场无时间服务器,因服务器间的时间不一致会导致大数据平台运行异常。(时间差不得超过4分钟)所以需要做时间同步服务。 本人搭建的集群有三台机器(Hadoop1:主节点;Hadoop2:备份节点;Hadoop3:计算节点)。 下面我用备份节点作为时间服务器为例,进行大数据平台的时间同步。废话不多说,正文开始将ntpserver.sh文件拷贝到hadoop2上,将ntpcli
    2017-11-30 11:44:45
    阅读量:1685
    评论:0
  • 问题导读:1、CM是什么?2、CDH是什么?3、CM+CDH是什么?4、什么是企业大数据平台?5、如何用CM+CDH构建企业大数据平台?..........带着种种疑问让我们开启真正的企业级大数据平台搭建之旅。    随着互联网,尤其是移动互联网和智能移动设备的高速发展和大面积普及,数据产生的速度以及数据累积的规模已经超过了以往任何时候,所以我们正在或者已经步入了大数据时代。对于企业来说,企业所拥...
    2018-03-02 16:21:04
    阅读量:4954
    评论:0
  • 大的数据体量:社交媒体、移动设备、科学计算、视频监控、城市中部署的各类传感器等等(视频数据)针对Oracle、MySQL、SQL Server、DB2等结构化数据,我们可以选择存储在关系型数据库中。针对诸如视频、音频、文件等非结构化数据,又是如何存储呢?一般视频、大文件都不会直接存储在数据库中,因为会严重影响性能。视频文件存放在数据库,应该使用大字段、IO流的知识。
    2016-03-10 17:59:59
    阅读量:9445
    评论:0