精华内容
下载资源
问答
  • hadoop 实战

    2011-11-24 22:59:54
    hadoop 实战 pdf
  • hadoop实战

    2013-12-08 23:49:37
    hadoop实战
    hadoop实战
    
    展开全文
  • Hadoop实战

    2019-10-06 01:46:29
    Hadoop实战 http://www.ituring.com.cn/book/733图灵社区 posted on 2011-10-18 10:23lexus...
    http://www.ituring.com.cn/book/733
    图灵社区

    posted on 2011-10-18 10:23 lexus 阅读(...) 评论(...) 编辑 收藏

    转载于:https://www.cnblogs.com/lexus/archive/2011/10/18/2216158.html

    展开全文
  • hadoop培训 hadoop实战视频教程 Hadoop应用开发实战 hadoop培训 hadoop实战视频教程 Hadoop应用开发实战 PAGE / NUMPAGES hadoop培训 hadoop实战视频教程 Hadoop应用开发实战 hadoop实战视频教程-Hadoop应用开发实战...
  • HADOOP实战

    2018-09-09 08:42:00
    一、软件版本Centos6.5、VMware 10CDH5.2.0(Hadoop 2.5.0)Hive-0.13 sqoop-1.4.5 二、学完课程之后,您可以:①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。②、玩转Mapreduce编程;③、玩...

    一、软件版本
    Centos6.5、VMware 10
    CDH5.2.0(Hadoop 2.5.0)
    Hive-0.13
    sqoop-1.4.5

    二、学完课程之后,您可以:
    ①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。
    ②、玩转Mapreduce编程;
    ③、玩转Hive使用
    ④、玩转Sqoop
    ⑤、独自搞定Hadoop平台的离线分析、统计的工作。成为高端技术人才!


    三、课程大纲
    1、分布式和传统单机模式
    2、Hadoop背景和HDFS详解
    3、Mapreduce工作原理剖析
    4、Cloudera Manager5.2.0 安装
    5、CDH5.2.0用Parcels方式离线安装
    6、CM下集群服务管理
    7、CM下集群主机管理和Hadoop作业调度策略
    8、Hadoop fs 命令详解
    9、第二代MR——Yarn原理剖析
    10、Linux下Eclipse及Hadoop插件安装配置
    11、【MR开发】常用API、官方examples包、WordCount改造
    12、【MR开发】以WordCount为例剖析Map-Reduce全过程
    13、【MR开发】实战,地区每日PV计算
    14、【MR开发】实战,地区每日UV计算(去重模式、多Job依赖)
    15、【MR开发】一个MR含多个依赖Job的开发实现
    16、Hadoop坏Block处理
    17、Hadoop存储均衡和单节点多磁盘间存储均衡
    18、Hive产生背景和架构原理
    19、Hive服务添加和元数据管理
    20、Hive托管表、外部表、分区表、存储结构
    21、Hive ql语法详解一
    22、Hive ql语法详解二,Cli、字段类型、overwrite
    23、Hive企业代码案例分享和hive -e工具封装一
    24、hive -e工具封装二
    25、Hive UDF开发和使用案例
    26、Hive Jdbc方式开发及利弊
    27、Hadoop平台数据处理流程一览及Sqoop抽取mysql数据到HDFS
    28、Sqoop export和--options-file 方式
    29、【综合项目】需求分析
    30、【综合项目】数据日志文件加载程序开发
    31、【综合项目】完善需求一
    32、【综合项目】流量需求二复杂开发

    转载于:https://www.cnblogs.com/RogerLu/p/9612498.html

    展开全文
  • hadoop 实战开发

    2016-04-15 09:38:31
    hadoop实战开发第二版
  • hadoop实战培训.ppt

    2021-03-05 12:02:50
    hadoop实战培训.ppt
  • Hadoop 实战英文版

    2019-01-22 20:48:11
    Hadoop 实战书籍, 非常不错的一本书. 指的学习. 希望各位喜欢
  • Hadoop实战实例

    千次阅读 2018-11-12 23:03:20
    Hadoop实战实例

    分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow

    也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

                   
          Hadoop实战实例
     
         Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处理超大的分布式系统得资源。

    一、概论

        作为Hadoop程序员,他要做的事情就是:
        1、定义Mapper,处理输入的Key-Value对,输出中间结果。
        2、定义Reducer,可选,对中间结果进行规约,输出最终结果。
        3、定义InputFormat 和OutputFormat,可选,InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用,不定义时默认为String。
        4、定义main函数,在里面定义一个Job并运行它。
        

        然后的事情就交给系统了。
        1.基本概念:Hadoop的HDFS实现了google的GFS文件系统,NameNode作为文件系统的负责调度运行在master,DataNode运行在每个机器上。同时Hadoop实现了Google的MapReduce,JobTracker作为MapReduce的总调度运行在master,TaskTracker则运行在每个机器上执行Task。

        2.main()函数,创建JobConf,定义Mapper,Reducer,Input/OutputFormat 和输入输出文件目录,最后把Job提交給JobTracker,等待Job结束。

        3.JobTracker,创建一个InputFormat的实例,调用它的getSplits()方法,把输入目录的文件拆分成FileSplist作为Mapper task 的输入,生成Mapper task加入Queue。

        4.TaskTracker 向 JobTracker索求下一个Map/Reduce。
          
         Mapper Task先从InputFormat创建RecordReader,循环读入FileSplits的内容生成Key与Value,传给Mapper函数,处理完后中间结果写成SequenceFile.
         Reducer Task 从运行Mapper的TaskTracker的Jetty上使用http协议获取所需的中间内容(33%),Sort/Merge后(66%),执行Reducer函数,最后按照OutputFormat写入结果目录。 

          TaskTracker 每10秒向JobTracker报告一次运行情况,每完成一个Task10秒后,就会向JobTracker索求下一个Task。

          Nutch项目的全部数据处理都构建在Hadoop之上,详见Scalable Computing with Hadoop


    二、程序员编写的代码

     (可以查看hadoop-examples-0.20.203.0.jar,里面也有一个类grep)

        我们做一个简单的分布式的Grep,简单对输入文件进行逐行的正则匹配,如果符合就将该行打印到输出文件。因为是简单的全部输出,所以我们只要写Mapper函数,不用写Reducer函数,也不用定义Input/Output Format。

    package  demo.hadooppublic   class  HadoopGrep {     public   static   class  RegMapper  extends  MapReduceBase  implements  Mapper {               private  Pattern pattern;               public   void  configure(JobConf job) {                         pattern  =  Pattern.compile(job.get( " mapred.mapper.regex " ));              }              public   void  map(WritableComparable key, Writable value, OutputCollector output, Reporter reporter)                     throws  IOException {                         String text  =  ((Text) value).toString();                         Matcher matcher  =  pattern.matcher(text);                       if  (matcher.find()) {                        output.collect(key, value);             }    } }  private  HadoopGrep () { }  //  singleton public   static   void  main(String[] args)  throws  Exception {  JobConf grepJob  =   new  JobConf(HadoopGrep. class );  grepJob.setJobName( " grep-search " );  grepJob.set( " mapred.mapper.regex " , args[ 2 ]);  grepJob.setInputPath( new  Path(args[ 0 ]));  grepJob.setOutputPath( new  Path(args[ 1 ]));  grepJob.setMapperClass(RegMapper. class );  grepJob.setReducerClass(IdentityReducer. class );  JobClient.runJob(grepJob); }}


              RegMapper类的configure()函数接受由main函数传入的查找字符串,map() 函数进行正则匹配,key是行数,value是文件行的内容,符合的文件行放入中间结果。
            main()函数定义由命令行参数传入的输入输出目录和匹配字符串,Mapper函数为RegMapper类,Reduce函数是什么都不做,直接把中间结果输出到最终结果的的IdentityReducer类,运行Job。


    整个代码非常简单,丝毫没有分布式编程的任何细节。

    三.运行Hadoop程序

            Hadoop这方面的文档写得不全面,综合参考GettingStartedWithHadoop 与Nutch Hadoop Tutorial 两篇后,再碰了很多钉子才终于完整的跑起来了,记录如下:     
    3.1 local运行模式
           完全不进行任何分布式计算,不动用任何namenode,datanode的做法,适合一开始做调试代码。
           解压hadoop,其中conf目录是配置目录,hadoop的配置文件在hadoop-default.xml,如果要修改配置,不是直接修改该文件,而是修改hadoop-site.xml,将该属性在hadoop-site.xml里重新赋值。
           hadoop-default.xml的默认配置已经是local运行,不用任何修改,配置目录里唯一必须修改的是hadoop-env.sh 里JAVA_HOME的位置。
           将编译好的HadoopGrep与RegMapper.class 放入hadoop/build/classes/demo/hadoop/目录 

            或者编译成jar包HadoopGrep.jar放入hadoop/build/classes/demo/hadoop/目录

            找一个比较大的xx.log文件放,然后运行

            bin/hadoop demo.hadoop.HadoopGrep  input   /tmp/out  "[a-b]"
            (jar包运行:bin/hadoop jar HadoopGrep.jar  HadoopGrep  input   /tmp/output  "[a-b]" )
            说明:
             input  为xx.log文件所在目录
             /tmp/output为输出目录
             "[a-b]"   grep的字符串

            查看输出目录的结果,查看hadoop/logs/里的运行日志。  
            在重新运行前,先删掉输出目录。
     

      3.2 集群运行模式

        (查看集群配置:http://blog.csdn.net/hguisu/article/details/7237395)

          1 )执行bin/hadoop dfs 可以看到它所支持的文件操作指令。  

          2) 创建目录输入inpu:  
               $ bin/hadoop dfs -mkdir input   

          3)上传文件xx.log到指定目录 input :  
               $ bin/hadoop dfs -put xx.log input

           4 )  执行 bin/hadoop demo.hadoop.HadoopGrep input  output
                 (jar包运行:bin/hadoop jar HadoopGrep.jar  HadoopGrep  input   /tmp/output  "[a-b]" )

           5 ) 查看输出文件:

               将输出文件从分布式文件系统拷贝到本地文件系统查看:
                $ bin/hadoop fs -get output output
                $ cat output/*

                或者
                在分布式文件系统上查看输出文件:
                $ bin/hadoop fs -cat output/*

                重新执行前,运行hadoop/bin/hadoop dfs -rm output删除output目录

           7.运行hadoop/bin/stop-all.sh 结束。
        

    四、效率

        经测试,Hadoop并不是万用灵丹,很取决于文件的大小和数量,处理的复杂度以及群集机器的数量,相连的带宽,当以上四者并不大时,hadoop优势并不明显。
        比如,不用hadoop用java写的简单grep函数处理100M的log文件只要4秒,用了hadoop local的方式运行是14秒,用了hadoop单机集群的方式是30秒,用双机集群10M网口的话更慢,慢到不好意思说出来的地步。



               

    给我老师的人工智能教程打call!http://blog.csdn.net/jiangjunshow

    这里写图片描述
    展开全文
  • hadoop实战系列之hadoop安装教程北风网.pptx
  • hadoop实战源代码Java

    2018-11-22 13:03:34
    hadoop实战源代码,包含Java操作HDFS文件的上传、下载、删除等功能
  • hadoop 实战 中文版

    2011-12-13 10:58:03
    hadoop 实战 中文版 hadoop Action
  • hadoop 实战 dev_04

    2014-04-29 22:22:22
    hadoop 实战 hadoop系统 hadoop学习资料 第四部分
  • hadoop 实战 dev_03

    2014-04-29 22:20:42
    hadoop 实战 hadoop系统 hadoop学习资料 第三部分
  • hadoop 实战 dev_02

    2014-04-29 22:19:17
    hadoop 实战 hadoop系统 hadoop学习资料 第二部分
  • hadoop 实战 dev_01

    2014-04-29 22:17:45
    hadoop 实战 hadoop系统 hadoop学习资料 第一部分
  • 最新云计算视频 hadoop 实战 传智播客云计算 opeanStack pdf
  • Hadoop实战》是一本系统且极具实践指导意义的hadoop工具书和参考书。内容全面,对hadoop整个技术体系进行了全面的讲解,不仅包括hdfs和mapreduce这两大核心内容,而且还包括hive、hbase、mahout、pig、zookeeper、...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,546
精华内容 2,218
关键字:

hadoop实战