热门好课推荐
猜你喜欢
相关培训 相关博客
  • 炎炎夏日,为期3天的“云计算与大数据处理技术”正式开始。我有幸参加了学习,并有不小的收获。课程的前两天是大数据处理方面的学习,所讲的算法、技术也是围绕着云计算展开的。杨老师在大数据方面确实是非常深的造诣,他对分布式存储、hadoop云计算应用、MapReduce、GFS、HDFS等重要知识讲得很透。如chubby是系统设计(相当于选老大),Bigtable是系统架构。。。。。。当讲到Hadoop中...
    2018-06-26 09:14:16
    阅读量:568
    评论:0
  • 1序言随着世界的发展,人们对计算机性能的要求越来越高。以前人们把重点都放到了提升单台计算机性能上面,但如今单台计算机的性能已经到达了瓶颈,而人们对计算机性能的需求却越来越强烈。近几年,随着新技术的出现和发展,尤其是云计算技术的出现,以及大数据的运用,对网络技术带来了革命的转变,如何顺应时代发展并将新技术应用于信息化建设中,改变传统的教学模式和学习模式至关重要。面对网络建设长期存在几个难题
    2017-05-05 08:23:18
    阅读量:6089
    评论:0
  • 1.HDFS原理与架构说明2.HDFS的namenode和datanode3.HDFS缓存机制(Cache)4.HDFS快照(Snapshot)5.HDFS命令行操作6.HDFS的JavaAPI编程7.HDFSWebHDFSAPI编程实践8.HDFS企业级项目实战:某企业微博数据分析平台数据存储模块设计与实现...
    2018-10-19 20:30:57
    阅读量:13
    评论:0
  • 分布式文件存储系统及实现(阿里云课程)一、大数据对分布式存储的需求:·存储容量大·高吞吐量·提高数据可靠性8个9·服务高可用99.95%·高效运维将日常硬件处理作为常态,做成流程化对于监控、报警等机制也要有非常完善的支持·低成本 二、小概率事件对分布式系统的挑战单击(桌面)系统:小概率出错大规模存储:小概率成为常态小概率事件:1、磁盘
    2017-06-04 21:28:53
    阅读量:1434
    评论:0
  • 项目托管于Github,欢迎Star|Fork留言互相学习基于Hadoop的分布式云存储系统项目简介HDFS网盘,用户注册登录后可以将数据文件保存到云端的一种分布式云存储系统,可以在任何时候通过浏览器对文件进行管理和下载等操作。项目采用B/S结构和MVC开发模式,基于HDFS文件操作API,使用JSP+Servlet开发实现以及Bootstrap框架渲染。主要完成对文件的管理...
    2017-12-06 22:09:19
    阅读量:3538
    评论:4
  • web系统是基于Hadoop开发的云存储系统。用到了Mysql数据库来存储用户注册信息及文件相关信息,使用tomcat来运行web程序,使用jdk7,开发过程中用到了Struts框架,JavaScript等技术。系统能够对文件进行上传、下载、删除、查询。可以分类管理文件。后台实现的是tomcat服务器的/UsersFiles为临时目录,从此目录上传文件到HDFS上。下载是先从HDFS上下载到/UsersFiles,再传到用户本地。删除则是/UsersFiles与HDFS上同时删除。在HDFS的
    2015-11-26 17:52:04
    阅读量:1417
    评论:0
  • 大数据、云计算系统顶级架构师课程学习路线图大数据之Linux+大数据开发篇Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop Flume/Oozie 大数据WEB工具Hue HBase Storm Scala KafkaSpark Spark核心源码剖析 CM5.3.x管理 CDH5.
    2016-10-25 21:59:10
    阅读量:14240
    评论:0
  • 阿里云大学:分布式文件存储系统技术及实现本课程针对分步式文件存储系统的实现进行讲解,首先分析为什么要使用这种分步式存储系统,以及这种系统在设计时需要注意的问题,并比较现在市面常见的分步式存储系统(HDFS、Ceph等),展示阿里Pangu系统针对其中问题的解决方法,并结合Pangu系统说明分步式存储系统的设计要点。讲师介绍:姚文辉,2009年加入阿里巴巴,从事阿里巴巴自主研发的云计算平...
    2018-10-08 10:43:32
    阅读量:112
    评论:0