热门好课推荐
猜你喜欢
相关培训 相关博客
  • 知乎专栏https://dataquestion.com/ ============================================================欢迎关注公众号:程序员面试经验分享(jobbible)
    2018-03-16 15:33:22
    阅读量:1250
    评论:0
  • 1.java相关1.安装jdkIntelliJidea,eclipseTomcat:开源免费的jsp服务器Maven:java项目中jar包管理工具,maven仓库2.数据库相关mysql:数据库,需配置mysql环境变量【建议版本5.7.22】navicat:数据库管理软件,可支持多种数据库连接3.linux...
    2018-05-18 20:40:00
    阅读量:4
    评论:0
  • 新一代大数据处理引擎ApacheFlink:https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/index.html 
    2018-10-07 21:04:43
    阅读量:540
    评论:0
  • 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。前言:一、背景介绍 二、大数据介绍正文:一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐(书籍,博客,网站) 五、项目案例分析(批处理+实时处理)前言一、背景介绍本人目前是一名大数...
    2018-09-13 11:03:50
    阅读量:1936
    评论:1
  • HORTONWORKSNEXT-GENDATAPLATFORMSANDSOLUTIONSTheHortonworksglobaldatamanagementsolutionsenableorganizationstoimplementtheirnext-genmoderndataarchitectures.Poweredandbuilt
    2018-01-12 17:16:31
    阅读量:229
    评论:0
  • 一:大数据软件框架结构概括1.Hadoopa.hadoop内核b.mapreduce:为大数据提供计算(批处理计算框架)c.hdfs:分布式文件系统,为大数据提供存储。d.Hadoopyarn:集群资源管理器,负责集群的资源管理e.HBase:nosql数据库f.数据仓库工具Hiveg.pig工作流语言h.机器学习算法库mahouti:zookeeper:是一个集中式服务,主...
    2019-05-27 23:59:54
    阅读量:23
    评论:0
  • 看看下图,大数据有哪些工具以及具体作用:在存储上,hdfs的分布式存储可以任意水平扩展,可以解决数据存储的难题。在计算上,从最初的MapReduce,把任务水平拆分,多台机器并行计算,再汇总结果;到基于Spark的内存计算,改造Mapreduce每次数据落盘以及编程方式的痛点。有了存储和计算框架,周边就衍生出了很多管理、缓存相关的技术,比如:yarn解决多租户资源调度的难题,flume解决数据传输...
    2018-03-22 09:53:22
    阅读量:101
    评论:0
  • 大数据是用scala语言,和java有些不同又比java强大,省去了很多繁琐的东西,scala中的的接口用trait来定义,不同于java的接口,trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法,这在java中是从来没有的。大数据未来几年发展的重点方向,大数据战略已经在十八届五中全会上作为重点战略方向,中国在大数据方面才刚刚起步,但是在美国已经产生了上千亿的
    2015-12-30 20:36:27
    阅读量:129
    评论:0
  • 自给定义:短时间快速产生大量多种多样的有价值的信息如今数据越来越多,为了解决数据量过大的问题,垂直扩展机制,和横向扩展机制相继进入视线,垂直扩展指的是再一台服务器上尽可能的扩大内存,而横向扩展指的是将许多个计算机联系起来,例如下图:讲完这些,就不得不说一说hadoop生态圈和spark生态圈了,hadoop包括以下模块HadoopComm...
    2019-06-10 20:44:12
    阅读量:48
    评论:0
  • 随着我国城市化发展进程的加速,城市交通拥堵、交通污染日益严重,交通事故频繁发生。这些都是各大城市亟待解决的问题。众所周知,智能交通成为改善城市交通的关键策略。为了缓解城市交通中的各种问题,很多城市都采取各多种手段,比如建设一系列信号控制、视频监控、交通诱导等业务系统,一定程度上缓解了交通问题,无法从根本上实现城市交通的智慧化管理。全面提升交通管理部门的实时监测、全面布局、整体协调能力,要从多个...
    2018-08-31 10:52:40
    阅读量:139
    评论:0