一、安装Eclipse
下载地址:
http://www.eclipse.org/downloads/packages/release/Oxygen/R
解压运行exe文件即可。


二、下载MinGW编译器
下载地址:
https://sourceforge.net/projects/mingw/files/latest/download?source=files
     1、双击运行exe文件，选择要下载到电脑的地方，等待一段时间;


2、开始安装，右击一个个选择mark for installation

3、选择installation下的apply changes，然后等待安装即可，需要一段时间;

4、安装好之后，需要配置MinGW;
我的电脑->属性->高级系统设置->环境变量->Path中:添加你安装目录下的bin文件夹

(如果没有表格显示，则要在后面加上分号，然后写入你的文件夹下面的bin目录)
测试:进入DOS目录，输入gcc;

出现上面的显示表示安装成功.
可以书写一个helloworld.c文件，然后进行编译gcc helloworld.c -o helloworld，将会生成一个helloworld.exe文件，dos输入helloworld将会打印出helloworld.c中编写的内容。


三、安装CDT插件
 1、进入http://www.eclipse.org/cdt/downloads.php 。选择和自己安装的
 Eclipse 匹配的 CDT 插件版本，这里以Oxygen版本为例，
将下面的连接，复制粘贴到Eclipse->help->Install New SoftWare...，键盘敲击Enter，然后勾选全部选项，点击Next进行插件下载即可。


2、点击右上角的小图标，出现C/C++视图表示插件安装成功.





四、运行C程序


步骤一：创建一个C项目




步骤二：这里其实选择VC++和下面的MinGW GCC均可



步骤三：

单击工程名，右键新建SourceFile添加一个C语言文件，编写一个简单的HelloWorld程序。



步骤四：右击项目，选择Build Project



步骤五：右击项目，选择Run as->Local C/C++ Application(其实右击文件，选择Run as->Local C/C++ Application也可以运行单个文件)



运行结果：






注：比较遗憾的是Eclipse中书写C/C++代码只有.、->、::的提示，并没有字母的提示，提示功能并没有VS那么强大。

好长时间没有用过eclipse，竟然忘记了程序进去的入口。

jdk的安装地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

eclipse安装地址：https://www.eclipse.org/
eclipse 和jDK安装过程不多说了，网上有安装教程。

下面说下使用eclipse运行java程序：

1.打开eclipse，点击左上角“File–New–Java Project”



2.进入如下所示的界面，填写"[Project name]–Finish"即可



3.完成之后，出现如下界面，右键“src–New–class”,创建java小程序。





4.出现如下界面。填写“[Name]–finish”,完成。



5.编写简单的java小程序为例，ctrl+S保存；

package test;
public class test1 {

public static void main(String args[])

{

System.out.println(“Hello.java World!”);

}
}

6.右键“Run As – java Application”，查看运行结果。



7.出现以下结果，表示运行成功。

下载eclipse  64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64

解压到安装目录

安装 Hadoop-Eclipse-Plugin

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin文件地址https://download.csdn.net/download/u014072118/10899835

在继续配置前请确保已经开启了 Hadoop。
配置 Hadoop-Eclipse-Plugin

启动 Eclipse 到preferences

切换 Map/Reduce 开发视图





设置 fs.defaultFS 为 hdfs://zhd:9000，则 DFS Master 的 Port 要改为 9000。Map/Reduce(V2) Master 的 Port 用默认的即可，Location Name 随意填写



未打开会产生以下错误或者上图配置名称不一致也会产生



3.在 Eclipse 中操作 HDFS 中的文件

配置好后，点击左侧 Project Explorer 中的 MapReduce Location （点击三角形展开）就能直接查看 HDFS 中的文件列表了（HDFS 中要有文件，如下图是 WordCount 的输出结果），双击可以查看内容，右键点击可以上传、下载、删除 HDFS 中的文件，无需再通过繁琐的 hdfs dfs -ls 等命令进行操作了

注意：HDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。



4.在 Eclipse 中创建 MapReduce 项目







代码

package org.apache.hadoop.examples;
 
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
 
public class WordCount {
    public WordCount() {
    }
 
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();
        if(otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
 
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setCombinerClass(WordCount.IntSumReducer.class);
        job.setReducerClass(WordCount.IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
 
        for(int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
 
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true)?0:1);
    }
 
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
 
        public IntSumReducer() {
        }
 
        public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            int sum = 0;
 
            IntWritable val;
            for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {
                val = (IntWritable)i$.next();
            }
 
            this.result.set(sum);
            context.write(key, this.result);
        }
    }
 
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private static final IntWritable one = new IntWritable(1);
        private Text word = new Text();
 
        public TokenizerMapper() {
        }
 
        public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
 
            while(itr.hasMoreTokens()) {
                this.word.set(itr.nextToken());
                context.write(this.word, one);
            }
 
        }
    }
}

右键点击刚创建的 WordCount.java，选择 Run As -> Run Configurations，在此处可以设置运行时的相关参数（如果 Java Application 下面没有 WordCount，那么需要先双击 Java Application）。切换到 “Arguments” 栏，在 Program arguments 处填写 “input output” 就可以了

最近在学spark，尝试在Windows+Eclipse运行程序，现在分享给大家 


首先，你得把你要处理的文件上传带HDFS,怎么上传文件网上都有教程，此处不再赘述。



项目结构图

 





源代码



import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "hdfs://master:9000/user/root/input/file1.txt" // 读取hdfs上的文件
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}



错误解决办法

可能大家在运行的时候会报如下错误

A master URL must be set in your configuration

 



这是因为从提示中可以看出找不到程序运行的master，此时需要配置环境变量。

传递给spark的master url可以有如下几种：



    local 本地单线程
    local[K] 本地多线程（指定K个内核）
    local[*] 本地多线程（指定所有可用内核）
    spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。
    mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。
    yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

    yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

不要慌，右键单击项目 Run Configuration进行如下配置 

输入“-Dspark.master=local”即可 

如下图 
 



点击run，运行结果如下图

 



附：

Scala for Eclipse