精华内容
下载资源
问答
  • 背景 远程提交MR job时将MR job...项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上       编写ant脚本 使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没...

    背景

    远程提交MR job时将MR job依赖的所有jar都发布到HDFS中,同时将这些jar加到hadoop job的classpath上。

    如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上

     

     

     

    编写ant脚本

    使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没有文档,写的时候需要参考plugin的源代码。呵呵。

    关键:

     

    <hdfs cmd="rm" args="@{mapred.lib.dir}/*.jar" conf="@{hadoop.conf.dir}">

     

    cmd:命令,参考hadoop fs

    args:参数,逗号分隔

    conf:core-site.xml的所在的文件目录

     

     

    build.xml

     

    <?xml version="1.0" encoding="UTF-8"?>
    <!-- ========================================项目构建文件 ====================================================================== -->
    <project>
    	<import file="build.property.xml" />
    
    	<!--
    	<path id="dev_classpath">-->
    	<!--
    		<pathelement location="${resource.dir}"/>
    		<pathelement location="${classes.dir}"/>-->
    	<!--
    		<fileset dir="${dev.ant.contrib.dir}">
    			<include name="**/*.jar" />
    		</fileset>
    		
    		<fileset dir="${dev.ant.contrib.lib.dir}">
    				<include name="**/*.jar" />
    			</fileset>
    		
    		<fileset dir="${dev.hadoop.home}">
    			<include name="**/*.jar" />
    		</fileset>
    		
    		<fileset dir="${dev.hadoop.home.lib}">
    			<include name="**/*.jar" />
    		</fileset>
    		
    	</path>-->
    
    	<target name="init">
    		<echo message="init copy and generate mapred libs">
    		</echo>
    
    		<taskdef resource="org/apache/maven/artifact/ant/antlib.xml">
    		</taskdef>
    
    		<taskdef resource="net/sf/antcontrib/antcontrib.properties">
    		</taskdef>
    
    		<!--<echo message="set classpath success"/>-->
    
    		<taskdef resource="net/sf/antcontrib/antlib.xml">
    		</taskdef>
    
    		<taskdef resource="org/apache/hadoop/ant/antlib.xml">
    		</taskdef>
    
    		<echo message="import external antcontrib and hadoop ant extention task success">
    		</echo>
    
    		<!--
    		<delete file="${resource.dir}/${mapred.lib.outfile}"/>
    			<echo message="delete ${resource.dir}/${mapred.lib.outfile} success">
    		</echo>
    		<touch file="${resource.dir}/${mapred.lib.outfile}">
    		</touch>
    		<echo message="create ${resource.dir}/${mapred.lib.outfile} success">
    		</echo>-->
    	</target>
    
    	<target name="dev_copy_libs">
    		<foreach param="local.file" target="dev_copy_lib">
    			<fileset dir="${lib.dir}" casesensitive="yes">
    				<exclude name="**/hadoop*.jar" />
    				<exclude name="**/hbase*.jar" />
    				<exclude name="**/zookeeper*.jar" />
    			</fileset>
    			<fileset dir="target" casesensitive="yes">
    				<include name="${project.jar}" />
    			</fileset>
    		</foreach>
    	</target>
    
    	<target name="dev_copy_lib">
    		<hdfs cmd="copyFromLocal" args="${local.file},${dev.mapred.lib.dir}" conf="${dev.hadoop.conf.dir}">
    		</hdfs>
    		<echo message="copy ${local.file} to remote hdfs files file system: ${dev.mapred.lib.dir} success">
    		</echo>
    	</target>
    
    	<macrodef name="macro_upload_mapred_lib" description="upload mapred lib">
    		<attribute name="hadoop.conf.dir" />
    		<attribute name="mapred.lib.dir" />
    		<sequential>
    			<property name="mapred.lib.dir" value="@{mapred.lib.dir}">
    			</property>
    			<echo message="hadoop conf dir: @{hadoop.conf.dir}">
    			</echo>
    			<hdfs cmd="rm" args="@{mapred.lib.dir}/*.jar" conf="@{hadoop.conf.dir}">
    			</hdfs>
    			<echo message="rm remote dir @{mapred.lib.dir}">
    			</echo>
    		</sequential>
    	</macrodef>
    
    	<target name="dev_upload_jars" depends="init">
    		<macro_upload_mapred_lib hadoop.conf.dir="${dev.hadoop.conf.dir}" mapred.lib.dir="${dev.mapred.lib.dir}" />
    
    		<echo message="----------------------------------------">
    		</echo>
    		<echo message="begin to copy libs to ${dev.mapred.lib.dir} exclude hadoop*, hbase*,">
    		</echo>
    		<antcall target="dev_copy_libs">
    		</antcall>
    		<echo message="all files has been copied to ${dev.mapred.lib.dir}">
    		</echo>
    		<echo message="----------------------------------------">
    		</echo>
    	</target>
    </project>
    

     

     

    build.properties.xml

     

    <?xml version="1.0" encoding="UTF-8"?>
    <project>
    	<property file="build.properties"></property>
    	<property name="classes.dir" value="target/classes"></property>
    	<property name="lib.dir" value="lib"></property>
    	<property name="resource.dir" value="src/main/resource"></property>
    	<property name="mapred.lib.outfile" value="mapred_lib.properties"></property>
    	<property name="lib.dir" value="lib"></property>
    	<property name="project.jar"  value="${project.name}-${project.version}.jar"/>
    	<!--
    	<property name="dev.ant.contrib.dir" value="${dev.ant.contrib.dir}"></property>
    	<property name="dev.ant.contrib.lib.dir" value="${dev.ant.contrib.dir}/lib"></property>
    	<property name="dev.hadoop.home" value="${dev.hadoop.home}"></property>
    	<property name="dev.hadoop.home.lib" value="${dev.hadoop.home}/lib"></property>-->
    </project>

     

     

    build.properties

     

    src.conf.dir=src/main/conf
    target.dir=target
    
    #dev
    dev.mapred.lib.dir=/user/root/mrlib/dev
    dev.hadoop.conf.dir=${src.conf.dir}/dev
    
    #test
    test.mapred.lib.dir=/user/mrlib/test
    test.hadoop.conf.dir=${src.conf.dir}/test
    
    #testout
    testout.mapred.lib.dir=/user/mrlib/testout
    testout.hadoop.conf.dir=${src.conf.dir}/testout
     

     

    配置pom.xml,因为我们使用了很多第三方的ant plugin。加入到ant plugin的dependency中。

     

     

    	<plugin>
    				<groupId>org.apache.maven.plugins</groupId>
    				<artifactId>maven-antrun-plugin</artifactId>
    				<version>1.7</version>
    				<executions>
    					<execution>
    						<id>upload mapred jars</id>
    						<phase>package</phase>
    						<configuration>
    							<target>
    								<ant antfile="${basedir}/build.xml" inheritRefs="true">
    									<target name="${envcfg.dir}_upload_jars" />
    								</ant>
    							</target>
    						</configuration>
    						<goals>
    							<goal>run</goal>
    						</goals>
    					</execution>
    				</executions>
    				<dependencies>
    					<dependency>
    						<groupId>org.apache.hbase</groupId>
    						<artifactId>hbase</artifactId>
    						<version>0.94.1</version>
    						<exclusions>
    							<exclusion>
    								<groupId>org.apache.hadoop</groupId>
    								<artifactId>hadoop-core</artifactId>
    							</exclusion>
    						</exclusions>
    					</dependency>
    					<dependency>
    						<groupId>ant-contrib</groupId>
    						<artifactId>ant-contrib</artifactId>
    						<version>1.0b3</version>
    						<exclusions>
    							<exclusion>
    								<groupId>ant</groupId>
    								<artifactId>ant</artifactId>
    							</exclusion>
    						</exclusions>
    					</dependency>
    					<dependency>
    						<groupId>org.apache.ant</groupId>
    						<artifactId>ant-nodeps</artifactId>
    						<version>1.8.1</version>
    					</dependency>
    					<dependency>
    						<groupId>org.apache.hadoop</groupId>
    						<artifactId>hadoop-core</artifactId>
    						<version>${hadoop.version}-modified</version>
    						<optional>true</optional>
    						<exclusions>
    							<exclusion>
    								<groupId>hsqldb</groupId>
    								<artifactId>hsqldb</artifactId>
    							</exclusion>
    							<exclusion>
    								<groupId>net.sf.kosmosfs</groupId>
    								<artifactId>kfs</artifactId>
    							</exclusion>
    							<exclusion>
    								<groupId>org.eclipse.jdt</groupId>
    								<artifactId>core</artifactId>
    							</exclusion>
    							<exclusion>
    								<groupId>net.java.dev.jets3t</groupId>
    								<artifactId>jets3t</artifactId>
    							</exclusion>
    							<exclusion>
    								<groupId>oro</groupId>
    								<artifactId>oro</artifactId>
    							</exclusion>
    						</exclusions>
    					</dependency>
    					<dependency>
    						<groupId>org.apache.hadoop</groupId>
    						<artifactId>hadoop-ant</artifactId>
    						<version>${hadoop.version}</version>
    						<optional>true</optional>
    						<scope>runtime</scope>
    					</dependency>
    					<dependency>
    						<groupId>org.slf4j</groupId>
    						<artifactId>slf4j-api</artifactId>
    						<version>${slf4j.version}</version>
    					</dependency>
    					<dependency>
    						<groupId>org.slf4j</groupId>
    						<artifactId>slf4j-log4j12</artifactId>
    						<version>${slf4j.version}</version>
    					</dependency>
    					<dependency>
    						<groupId>org.apache.maven</groupId>
    						<artifactId>maven-artifact-ant</artifactId>
    						<version>2.0.4</version>
    					</dependency>
    				</dependencies>
    			</plugin>	
     

     

     

     

    运行:

    执行maven install,看到所有jar都发布到了hdfs上。hoho。

     


     

    展开全文
  • [toc] 环境需求 jdk maven git 第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyr...

    [toc]

    环境需求

    • jdk
      
    • maven
      
    • git
      
    • 第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel mysql-devel sqlite-devel gmp-devel libffi-devel npm 还有缺失什么可自行安装
      

    创建hue用户和用户组

    groupadd hue

    useradd -g hue hue

    切换用户并进入hue根目录

    su hue

    cd ~

    从git上拉取hue源码

    git clone https://github.com/cloudera/hue.git

    进入hue-master目录并编译

    cd hue-master

    make apps 需要等待较长时间,若中间还缺少依赖可自行安装

    修改hue配置文件

    vi /home/hue/hue-master/desktop/conf/pseudo-distributed.ini

    时区

    [desktop]

    time_zone=Asia/Shanghai

    用户角色

    [desktop]

    server_user=hue

    server_group=hue

    default_user=hue

    hdfs配置

    [hadoop]

    [[hdfs_clusters]]

    fs_defaultfs=hdfs://集群名称

    webhdfs_url=http://hdfsMaster1:14000/webhdfs/v1

    yarn配置

    [hadoop]

    [[yarn_clusters]]

    [[[default]]]

    resourcemanager_host=resourcemanager

    resourcemanager_api_url=http://resourcemanager:8088

    submit_to=True

    proxy_api_url=http://172.19.131.104:8088

    history_server_api_url=http://172.19.131.104:19888

    database配置

    (hue数据库先创建好并授予权限给hue用户) [database]

    engine=mysql

    host=mysqlhost

    port=3306

    user=hue

    password=123456

    name=hue

    oozie配置(已默认可不配)

    [oozie]

    remote_data_dir=/user/hue/oozie/workspaces

    enable_cron_scheduling=true

    enable_document_action=true

    liboozie配置

    [liboozie]

    oozie_url=http://master1:11000/oozie

    beeswax配置(hive)

    [beeswax]

    hive_server_host=172.19.131.107

    hive_server_port=10000

    数据库初始化

    /home/hue/hue-master/build/env/bin/hue syncdb

    /home/hue/hue-master/build/env/bin/hue migrate

    运行

    /home/hue/hue-master/build/env/bin/supervisor

    问题解决

    若hdfs路径无法访问

    在hadoop的core-site配置文件下配置 hadoop.proxyuser.hue.groups=*

    hadoop.proxyuser.hue.hosts=*

    若hive数据库无法访问

    可以在权限管理那里(本人用的是ranger)进行hive的数据库授权

    若oozie提交任务执行失败

    可查看MapReduce的日志,可能是当前用户无法提交任务配置信息到yarn下的目录

    转载于:https://my.oschina.net/u/3770892/blog/3069558

    展开全文
  • HDFS JavaAPI

    2018-09-17 20:34:51
    利用java api实现HDFS增删查改文件和文件目录,运行代码首先eclipse集成hadoop环境 maven项目pom.xml导入相关依赖
  • 新版本的HDFS代码需要用到maven,要集成此工具到eclipse,找了好多资料,才搞定。 具体可以参考这个: http://www.huqiwen.com/2012/04/26/eclipse-install-maven-plugin/

    新版本的HDFS代码需要用到maven,要集成此工具到eclipse,找了好多资料,才搞定。

    具体可以参考这个:

    http://www.huqiwen.com/2012/04/26/eclipse-install-maven-plugin/

     

    hadoop代码地址:http://svn.apache.org/repos/asf/hadoop/

    主干分支:http://svn.apache.org/repos/asf/hadoop/common/trunk

    具体版本分支:http://svn.apache.org/repos/asf/hadoop/common/branches/branch-2.0.1-alpha/

     

     

    展开全文
  • 第一步:创建maven工程,导入pom 文件 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/&...

    第一步: 创建maven工程,导入 pom 文件

    <repositories>
            <repository>
                <id>cloudera</id>
                <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
            </repository>
        </repositories>
     
        <dependencies>
     
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>2.6.0-mr1-cdh5.14.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase-client</artifactId>
                <version>1.2.0-cdh5.14.0</version>
            </dependency>
            <dependency>
                <groupId>org.apache.hbase</groupId>
                <artifactId>hbase-server</artifactId>
                <version>1.2.0-cdh5.14.0</version>
            </dependency>
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
                <scope>test</scope>
            </dependency>
            <dependency>
                <groupId>org.testng</groupId>
                <artifactId>testng</artifactId>
                <version>6.14.3</version>
                <scope>test</scope>
            </dependency>
     
     
        </dependencies>
     
        <build>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.0</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                        <encoding>UTF-8</encoding>
                        <!--    <verbal>true</verbal>-->
                    </configuration>
                </plugin>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-shade-plugin</artifactId>
                    <version>2.2</version>
                    <executions>
                        <execution>
                            <phase>package</phase>
                            <goals>
                                <goal>shade</goal>
                            </goals>
                            <configuration>
                                <filters>
                                    <filter>
                                        <artifact>*:*</artifact>
                                        <excludes>
                                            <exclude>META-INF/*.SF</exclude>
                                            <exclude>META-INF/*.DSA</exclude>
                                            <exclude>META-INF/*/RSA</exclude>
                                        </excludes>
                                    </filter>
                                </filters>
                            </configuration>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </build>

     

    第二步 :检查   myuser2  是否拥有 数据

    
    hbase(main):010:0>   scan 'myuser2' 
    
    

    第三步 : 读取  myuser2 表中数据 并 写到 HDFS 上

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.conf.Configured;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.hbase.Cell;
    import org.apache.hadoop.hbase.CellScanner;
    import org.apache.hadoop.hbase.CellUtil;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.Put;
    import org.apache.hadoop.hbase.client.Result;
    import org.apache.hadoop.hbase.client.Scan;
    import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
    import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
    import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
    import org.apache.hadoop.hbase.mapreduce.TableMapper;
    import org.apache.hadoop.hbase.util.Bytes;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
    import org.apache.hadoop.util.Tool;
    import org.apache.hadoop.util.ToolRunner;
    
    import java.io.IOException;
    
    public class Hbase2Hdfs extends Configured implements Tool {
    
    
        @Override
        public int run(String[] args) throws Exception {
            Configuration configuration  =new Configuration();
            configuration.set("hbase.zookeeper.quorum","node001:2181,node002:2181,node003:2181");
            Job job = Job.getInstance(configuration);
    
            Scan scan = new Scan();
            scan.setCaching(500);
            scan.setCacheBlocks(false);
    
            TableMapReduceUtil.initTableMapperJob(TableName.valueOf("myuser2"),scan,HBaseMapper.class,ImmutableBytesWritable.class,Result.class,job);
    
            job.setOutputFormatClass(TextOutputFormat.class);
            TextOutputFormat.setOutputPath(job,new Path("hdfs://node001:8020/hbase/output/out1"));
    
            job.setReducerClass(HBaseReducer.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(NullWritable.class);
    
    
            boolean b = job.waitForCompletion(true);
            return b?0:1;
        }
    
    
        public static  class HBaseMapper extends TableMapper<ImmutableBytesWritable, Result>{
    
            @Override
            protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
    
                //rowkey  读出的一行数据
                context.write(key,value);
    
            }
        }
    
        public static class HBaseReducer extends Reducer<ImmutableBytesWritable,Result,Text,NullWritable>{
            @Override
            protected void reduce(ImmutableBytesWritable key, Iterable<Result> values, Context context) throws IOException, InterruptedException {
    
                for (Result result : values) {
                    CellScanner scanner = result.cellScanner();
    
                    while (scanner.advance()) {
    
                        Cell cell = scanner.current();
                        Text text = new Text();
                        // 封装数据
                        String row = Bytes.toString(CellUtil.cloneRow(cell)) + "\t";
                        String cf = Bytes.toString(CellUtil.cloneFamily(cell)) + "\t";
                        String cn = Bytes.toString(CellUtil.cloneQualifier(cell)) + "\t";
                        String value = Bytes.toString(CellUtil.cloneValue(cell)) + "\t";
    
                        StringBuffer buffer = new StringBuffer();
                        buffer.append(row).append(cf).append(cn).append(value);
                        text.set(buffer.toString());
    
                        // 写出
                        context.write(text,NullWritable.get());
                    }
                }
    
    
    
    
    
            }
        }
    
    
        public static void main(String[] args) throws Exception{
            int run = ToolRunner.run(new Hbase2Hdfs(), args);
            System.exit(run);
        }
    }
    
    查看运行结果
    
    [root@hadoop01 ~]# hadoop fs -cat /hbase/output/out1/part-r-00000

     

    展开全文
  • 前言:上篇文章介绍了如何利用Shell去操作HDFS中的文件,本文介绍使用Java代码去操作HDFS中的文件,它的操作内容和shell的操作内容和方法基本一致,开发集成工具选择IDEA。 一、新建Maven项目 填写项目名称和路径,...
  • Maven下项目使用没有任何问题,但是使用Spring boot 项目就出问题,怀疑是容器问题,查阅了相当多的资料,所有的大部分解决方案都是 拷贝core-site.xml到本地项目中,然后将下列配置添加到core-site.xml配置文件中,...
  • 1.HBase和MapReduce的集成 HBse集成MR的中文API文档 需求:将myuser表当中的f1列族的name和age字段写入...(1)在原有基础上导入集成MR的maven工程 (2)代码实现本地运行 1.创建Mapper类,读取出表myuser的name和age字段,写
  • springboot集成hadoop实战

    2020-12-01 19:41:41
    springboot集成hadoop实现hdfs增删改查 maven坐标 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop....
  • HBase与Hue集成

    2019-09-22 10:01:37
    文章目录19、HBase整合hue1、Hue的介绍HUE链接Hue的架构核心功能2、Hue的环境准备及...创建mysql数据库第七步:对hue进行编译第八步:启动hue服务并进行页面访问3、hue与其他框架的集成3.1、hue与hadoop的HDFS以及...
  • HBase与MR、hive集成

    2019-09-22 09:59:13
    文章目录12、HBase与MapReduce的集成需求一:读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步:创建myuser2这张表第二步:创建maven工程,导入jar包第三步:开发MR的程序第四步:运行运行第一种方式...
  • HBase与MapReduce的集成

    2020-05-22 11:48:29
    文章目录需求一:读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步:创建myuser2这张表第二步:创建maven工程,导入jar包第三步:开发MR的程序第四步:打包运行需求二:读取HDFS文件,写入到HBase表...
  • -- HUE第一部分 Hue概述第二部分 Hue编译安装2.1、下载软件包2.2、安装依赖2.3、安装Maven2.4、编译2.5、修改 Hadoop 配置文件2.6、Hue配置2.7、启动 Hue 服务第三部分 Hue整合Hadoop、Hive3.1 集成HDFS、YARN3.2 ...
  • hadoop-HFDS

    2020-07-02 10:19:14
    1.使用MAVEN集成对应的jar包 <!--HDFS 操作 API--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.1...
  • 81_hdfs-maven-idea的集成处理 82_hdfs-block大小-副本数设定9 o$ I! k4 |+ ]9 q2 h8 ]# x6 B, S* Y$ W 83_hdfs-网络拓扑-写入剖析2 g4 Z0 j& K; Z, K 84_hdfs-写入剖析2-packet-chunk 85_hdfs-压缩编解码器, u" o: ...
  • CentOS6.5 HUE 安装配置CentOS6.5 HUE 安装...编译(使用非root用户)3.5 编译成功后,修改编写hue.ini配置文件3.6 运行命令启动hue服务3.5 访问HUE服务主页二、HUE 与其他框架的集成1、HUE与HDFS1.1配置HDFS1.2启动
  • IBM在spark summit上分享的内容,包括编译spark源码,运行spark时候常见问题(缺包、OOM、GC问题、hdfs数据分布不均匀等),spark任务堆/thread dump 目录 编译spark的问题  1.正确配置相关环境,如Maven,...
  • 七牛云存储图片

    2020-03-31 22:53:33
    方案二:使用开源的分布式文件存储系统,例如Fastdfs、HDFS等 方案三:使用云存储,例如阿里云、七牛云等 2. 七牛云存储 七牛云官网 1.注册登录成功后点击页面右上角管理控制台: 2.新建存储空间 可以创建多个存储...
  • 《docker下,极速搭建spark集群(含hdfs集群)》 《docker下的spark集群,调整参数榨干硬件》 《用golang官方Docker镜像运行项目》 《Docker下Prometheus和Grafana三部曲之一:极速体验》 《Docker下Prometheus和...
  • 18. HDFS 67 18.1. 退出安全模式: 67 19. Kafka 67 19.1. 优化 67 20. Spark2.x 68 20.1. 示例执行 68 21. YARN 68 21.1. 错误处理 68 22. Docker安装 68 22.1. 在线安装 68 22.1.1. 使用国内docker源 68 22.1.2. ...
  • 122.PySpark实现从HDFS读取数据实现WordCount(属性配置) 123.深入WordCount程序之SortByKey 124.深入WordCount程序之TopKey 125.Anaconda2版本、安装、配置、使用及测试(针对pyspark编程) 126.Spark自带交互式...
  • Maven在生成环境的使用及其配置说明 Nexus Repository 3 介绍 Maven 私有库Sonatype Nexus2 SonarQube代码质量管理 SonarQube 代码质量管理平台的配置与使用 linux mysql安装 单节点 安装percona 5.7...
  • 支持上传文件到hdfs,支持使用hdfs文件资源 支持日志的实时滚动 支持任务失败自动恢复 实现集群HA,机器宕机环境实现机器断线重连与心跳恢复与hera集群HA,节点单点故障环境下任务自动恢复,master断开,worker抢占...

空空如也

空空如也

1 2
收藏数 23
精华内容 9
关键字:

maven集成hdfs