精华内容
下载资源
问答
  • WordCount.jar

    2020-08-07 13:35:14
    flink1.9版本自带的wordcount例子,位于flink-1.9.0\examples\streaming目录下
  • wordCount实例

    2018-03-08 23:02:52
    wordCount实例,是一个maven工程,对应的解说在http://blog.csdn.net/csdnliuxin123524/article/details/79469665,是我写的一个博客专栏
  • 主要介绍了大数据HelloWorld-Flink实现WordCount的相关知识,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
  • Hadoop初学MapReduce最经典的范例
  • 使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
  • wordcount.jar

    2020-01-01 23:11:41
    现成的word count包,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
  • CKEditor-WordCount-插件 CKEditor v4(或更高版本)的WordCount插件可对单词/字符进行计数,并在编辑器的页脚中显示单词计数和/或字符计数。 演示版 免责声明:这是一个分叉的版本,如果有人知道原始作者,我将...
  • hadoop实现wordcount

    2018-05-24 21:17:39
    通过hadoop 来进行感情分析,代码可以实现将几个GB大小的数据,来统计词的数量
  • hadoop demo wordcount

    2018-07-05 13:59:59
    hadoop入门程序wordcount的源代码,java编写。可供参考
  • 关于Hadoop的WordCount实例代码,能够实现实现单词计数。
  • 本文主要介绍Flink接收一个Kafka文本数据流,进行WordCount词频统计,然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境: // 创建Flink执行环境 ...
  • wordcount.zip

    2019-05-16 10:28:50
    Python编写的代码。北京大学计算语言学研究所1998年1月的标注语料库,并对所有的词语及词性进行了 统计。
  • 【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...
  • MapReduce之Wordcount实现

    2018-10-22 20:20:53
    Hadoop搭建 MapReduce之Wordcount代码实现 代码讲解,通俗易懂。
  • 字数 用C ++编写的字数统计程序 该程序是为我的算法设计和分析课制作的。
  • spark运行wordcount例子

    2018-10-31 10:14:25
    本例子是让新手熟悉了解如果用idea开发程序,提交到spakr集群上读取hdfs数据这么一个流程。博客讲解链接:https://blog.csdn.net/cuicanxingchen123456/article/details/83573838
  • WordCount.rar

    2020-04-27 10:39:55
    实现对一个给定目录下文本文件wordCount统计功能,假定文本中都是英文单词,且都用空格分隔,返回Map, Long>类型,key为word,value为count统计值。
  • hadoop mapreduce wordcount

    2018-08-24 09:25:35
    <artifactId>wordcount <version>0.0.1-SNAPSHOT <packaging>jar <name>wordcount <url>http://maven.apache.org</url> <project.build.sourceEncoding>UTF-8 <groupId>org.apache.hadoop ...
  • NULL 博文链接:https://xaocaotanghui.iteye.com/blog/2154210
  • hadoop wordcount 实验,成功运行 maven项目(全部源代码)
  • eclipse下运行wordcount

    2017-10-19 15:11:26
    window 下eclipse远程访问伪分布式hadoop 运行wordcount
  • MapReduce wordcount demo

    2018-05-11 11:34:59
    用java的MapReduce写了个demo,用于计算文档单词出现个数
  • MapReduce WordCount例子

    2017-03-30 20:26:55
    介绍如何在Intellij Idea中通过创建maven工程配置MapReduce的编程环境,WordCount代码。
  • Hadoop开发WordCount源码程序详细讲解,每一行都带注释说明。
  • 采用java实现的spark的wordcount单词技术的程序.可以跑通。
  • vscode-wordcount, vs 代码的样例字数扩展 VSCode - WordCount自述文件这是一个简单的扩展,说明了在编写 vs 代码扩展时的一些概念。在文件类型打开时激活对状态栏进行贡献订阅更新事件向扩展添加测试把 package....
  • 利用Spark Streaming实现WordCount 需求:监听某个端口上的网络数据,实时统计出现的不同单词个数。 1,需要安装一个nc工具:sudo yum install -y nc 2,执行指令:nc -lk 9999 -v import os #### 配置spark driver...
  • WordCount

    千次阅读 2019-01-09 22:05:06
    job.setJarByClass(WordCount.class); // Specify various job-specific parameters //给作业设置一个名字myjob job.setJobName("myjob"); // job.setInputPath(new Path("in")); // job....

    MyMapper

    package com.ny.mapreduce;
    
    import java.io.IOException;
    import java.util.StringTokenizer;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Mapper;
    
    //Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 
    /*
     * map数据类型不使用基本数据类型
     * 
     * 要用hadoop的数据类型
     */
    public class MyMapper  extends Mapper<Object, Text, Text, IntWritable> {
    	
    	 private final static IntWritable one = new IntWritable(1);
    	   private Text word = new Text();
    	 //key放置字符串的偏移量(行的偏移量)//value  放的是一行数据	     Object -> LongWritable
    	   public void map(Object key, Text value, Context context) throws IOException,     
            InterruptedException {
    
    	     StringTokenizer itr = new StringTokenizer(value.toString());
    	     while (itr.hasMoreTokens()) {
    	       word.set(itr.nextToken());
    	       context.write(word, one);
    	     }
    	   }
    	
    }
    
    package com.ny.mapreduce;
    
    import java.io.IOException;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    //reduce的输入是map的输出 <KEYIN,VALUEIN,KEYOUT,VALUEOUT>
    public class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    
    //相同的key为一组...调用一次reduce方法,在方法内迭代这一组数据,进行计算:sum count max min
    	
    	
    	   private IntWritable result = new IntWritable();
    
    	   public void reduce(Text key, Iterable<IntWritable> values,
                 Context context) throws IOException, InterruptedException {
    		   
    		   //hello 1
    		   //hello 1
    		   //hello 1
    		   //hello 1
    		   //hello 1
    		   //hello 1
    		   
    		   // key:hello
    		   // values:(1,1,1,1)
    		   
    			int sum = 0;
    			for (IntWritable val : values) {
    			sum += val.get();
    			}
    			result.set(sum);
    			context.write(key, result);
    			}
    
    	
    }
    

     WordCount

    package com.ny.mapreduce;
    import java.io.FileInputStream;
    import java.io.IOException;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FilterOutputFormat;
    public class WordCount {
    
    	/*
    	 * 先写客户端
    	 */
    	@SuppressWarnings("unused")
    	public static void main(String[] args) throws Exception {
    		
    		//获取配置文件的对象
    		Configuration conf = new Configuration(true);
    		
    		//在hdfs中的客户端抽象成了FileSystem	在Mapreduce中客户端抽象成了Job
    		//将conf传入获取 里面有相关角色的配置信息了 
    		//获取conf中的所有信息
    		Job job = Job.getInstance(conf);
    		
    		 // Create a new Job
    //	     Job job = Job.getInstance();
    		//打jar包的时候要把类名加进来
    	     job.setJarByClass(WordCount.class);
    	     
    	     // Specify various job-specific parameters     
    	     //给作业设置一个名字myjob
    	     job.setJobName("myjob");
    	     
    	     
    //	     job.setInputPath(new Path("in"));
    //	     job.setOutputPath(new Path("out"));
    	     
    	     //定义输入路径
    	     Path input = new Path("/user/root/wc.txt");
    	     FileInputFormat.addInputPath(job,input);	     
    	     
    	     //定义输出路径;
    	     Path output = new Path("/wc/output");
    	     //判断目录是否存在
    	     if(output.getFileSystem(conf).exists(output)) {
    	    	 
    	    	 output.getFileSystem(conf).delete(output,true);
    	     }
    	     
    	     
    	     FileOutputFormat.setOutputPath(job, output);
    	     
    	     
    	     //设置Map环节的类
    	     job.setMapperClass(MyMapper.class);
    	     //key的类型  输出的类型     
    	     job.setMapOutputKeyClass(Text.class);
    	     //value的类型  输出类型IntWritable
    	     job.setMapOutputValueClass(IntWritable.class);
    	    
    	     //设置reduce环节的类
    	     job.setReducerClass(MyReducer.class);
    
    	     // Submit the job, then poll for progress until the job is complete
    	     job.waitForCompletion(true);
    	 
    		
    		
    	}
    	
    	
    	
    }
    

     打项目的jar包

     

     

    Windows  Jdk的版本为1.8   Linux中Jdk版本为1.7

    这是由较高版本的JDK编译的java class文件试图在较低版本的JVM上运行产生的错误。

    所以windows中的jdk版本要和Linux中的jdk版本保持一致

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 61,928
精华内容 24,771
关键字:

wordcount