精华内容
下载资源
问答
  • 1、创建scala文件夹,然后选择File——Project Structure——Modules,在右侧选择创建scala目录,再点击上方的Source 2、如果在scala目录中不能创建scala类: File——Project Structure——Libraries 在项目中...

    1、创建scala文件夹,然后选择File——Project Structure——Modules,在右侧选择创建scala目录,再点击上方的Source

    手动创建Scala文件夹
    打开Project structure
    添加source

    2、如果在scala目录中不能创建scala类:File——Project Structure——Libraries 在项目中添加Scala SDK,选择相应的版本
    添加Scala SDK

    展开全文
  • 环境 jdk1.8 scala2.11.8 ...maven4.0 ...新建一个maven工程,添加jdk和scala支持 然后添加maven依赖 编写wordcount代码 右键运行scalamaven依赖: project xmlns="http://maven.ap

    环境

    jdk1.8

    scala2.11.8

    spark2.11

    maven4.0

    新建工程

    ide:idea

    新建一个maven工程,添加jdk和scala支持

    然后添加maven依赖

    编写wordcount代码

    右键运行scala类


    maven依赖:

    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
    
        <groupId>test</groupId>
        <artifactId>test</artifactId>
        <version>1.0</version>
    
        <dependencies>
            <dependency>
                <groupId>org.scala-lang</groupId>
                <artifactId>scala-library</artifactId>
                <version>2.11.8</version>
            </dependency>
            <dependency>
                <groupId>org.scala-lang</groupId>
                <artifactId>scala-compiler</artifactId>
                <version>2.11.8</version>
            </dependency>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.3.0-SNAPSHOT</version>
            </dependency>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-sql_2.11</artifactId>
                <version>2.3.0-SNAPSHOT</version>
            </dependency>
        </dependencies>
    
    </project>

    wordcout代码(忘了参考的哪位兄弟的,注释很详细):

    package com.spark.app
    
      import org.apache.spark.{SparkContext, SparkConf}
    
      object WordCount {
        def main(args: Array[String]) {
          /**
            * 第1步;创建Spark的配置对象SparkConf,设置Spark程序运行时的配置信息
            * 例如 setAppName用来设置应用程序的名称,在程序运行的监控界面可以看到该名称,
            * setMaster设置程序运行在本地还是运行在集群中,运行在本地可是使用local参数,也可以使用local[K]/local[*],
            * 可以去spark官网查看它们不同的意义。 如果要运行在集群中,以Standalone模式运行的话,需要使用spark://HOST:PORT
            * 的形式指定master的IP和端口号,默认是7077
            */
          val conf = new SparkConf().setAppName("WordCount").setMaster("local")
          //  val conf = new SparkConf().setAppName("WordCount").setMaster("spark://master:7077")  // 运行在集群中
    
          /**
            * 第2步:创建SparkContext 对象
            * SparkContext是Spark程序所有功能的唯一入口
            * SparkContext核心作用: 初始化Spark应用程序运行所需要的核心组件,包括DAGScheduler、TaskScheduler、SchedulerBackend
            * 同时还会负责Spark程序往Master注册程序
            *
            * 通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
            */
          val sc = new SparkContext(conf)
    
          /**
            * 第3步: 根据具体的数据来源(HDFS、 HBase、Local FS、DB、 S3等)通过SparkContext来创建RDD
            * RDD 的创建基本有三种方式: 根据外部的数据来源(例如HDFS)、根据Scala集合使用SparkContext的parallelize方法、
            * 由其他的RDD操作产生
            * 数据会被RDD划分成为一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴
            */
    
          val lines = sc.textFile("D:/resources/README.md")   // 读取本地文件
          //  val lines = sc.textFile("/library/wordcount/input")   // 读取HDFS文件,并切分成不同的Partition
          //  val lines = sc.textFile("hdfs://master:9000/libarary/wordcount/input")  // 或者明确指明是从HDFS上获取数据
    
          /**
            * 第4步: 对初始的RDD进行Transformation级别的处理,例如 map、filter等高阶函数来进行具体的数据计算
            */
          val words = lines.flatMap(_.split(" ")).filter(word => word != " ")  // 拆分单词,并过滤掉空格,当然还可以继续进行过滤,如去掉标点符号
    
          val pairs = words.map(word => (word, 1))  // 在单词拆分的基础上对每个单词实例计数为1, 也就是 word => (word, 1)
    
          val wordscount = pairs.reduceByKey(_ + _)  // 在每个单词实例计数为1的基础之上统计每个单词在文件中出现的总次数, 即key相同的value相加
          //  val wordscount = pairs.reduceByKey((v1, v2) => v1 + v2)  // 等同于
    
          wordscount.collect.foreach(println)  // 打印结果,使用collect会将集群中的数据收集到当前运行drive的机器上,需要保证单台机器能放得下所有数据
    
          sc.stop()   // 释放资源
    
        }
      }

    result

    17/10/09 16:25:59 INFO SparkUI: Stopped Spark web UI at http://WINDOWS-0EQCJPQ.hs.handsome.com.cn:4040
    
    
    (hello,14)
    (h1,14)
    
    
    17/10/09 16:25:59 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
    17/10/09 16:25:59 INFO MemoryStore: MemoryStore cleared
    17/10/09 16:25:59 INFO BlockManager: BlockManager stopped
    17/10/09 16:25:59 INFO BlockManagerMaster: BlockManagerMaster stopped
    17/10/09 16:25:59 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
    17/10/09 16:25:59 INFO SparkContext: Successfully stopped SparkContext
    17/10/09 16:25:59 INFO ShutdownHookManager: Shutdown hook called
    17/10/09 16:25:59 INFO ShutdownHookManager: Deleting directory C:\Users\hanqian18790\AppData\Local\Temp\spark-14748c73-2d1d-46b1-82de-5c1328f7fabe
    展开全文
  • 项目是用Maven 创建的,具体的创建过程就不做解释了。出现的问题如下: 具体问题的图,如下:打开设置界面的路径如下: 主界面File——>Project Structure——>modules 如上图红圈所示,我们可以根据对项目的任意...

    首先注明:本文不是原创,我也是在网上找了好久,找到这篇博文(链接),解决了我的问题,顺便在这里总结一下,给有需要的人。

    项目是用Maven 创建的,具体的创建过程就不做解释了。出现的问题如下:
    具体问题的图,如下:

    没有出现class

    打开设置界面的路径如下: 主界面File——>Project Structure——>modules
    这里写图片描述

    • 如上图红圈所示,我们可以根据对项目的任意目录进行这五种目录类型标注,这个知识点非常非常重要,必须会。
      • Sources 一般用于标注类似 src 这种可编译目录。有时候我们不单单项目的 src 目录要可编译,还有其他一些特别的目录也许我们也要作为可编译的目录,就需要对该目录进行此标注。只有 Sources 这种可编译目录才可以新建 Java 类和包,这一点需要牢记。
      • Tests 一般用于标注可编译的单元测试目录。在规范的 maven 项目结构中,顶级目录是 src,maven 的 src 我们是不会设置为 Sources 的,而是在其子目录 main 目录下的 java 目录,我们会设置为 Sources。而单元测试的目录是 src - test - java,这里的 java 目录我们就会设置为 Tests,表示该目录是作为可编译的单元测试目录。一般这个和后面几个我们都是在 maven 项目下进行配置的,但是我这里还是会先说说。从这一点我们也可以看出 IntelliJ IDEA 对 maven 项目的支持是比彻底的。
      • Resources 一般用于标注资源文件目录。在 maven 项目下,资源目录是单独划分出来的,其目录为:src - main -resources,这里的 resources 目录我们就会设置为 Resources,表示该目录是作为资源目录。资源目录下的文件是会被编译到输出目录下的。
      • Test Resources 一般用于标注单元测试的资源文件目录。在 maven 项目下,单元测试的资源目录是单独划分出来的,其目录为:src - test -resources,这里的 resources 目录我们就会设置为 Test Resources,表示该目录是作为单元测试的资源目录。资源目录下的文件是会被编译到输出目录下的。
      • Excluded 一般用于标注排除目录。被排除的目录不会被 IntelliJ IDEA 创建索引,相当于被 IntelliJ IDEA 废弃,该目录下的代码文件是不具备代码检查和智能提示等常规代码功能。

    通过上面的介绍,我们知道对于非 maven 项目我们只要会设置 src 即可。如上图箭头所示,被标注的目录会在右侧有一个总的概括。其中 classes 虽然是 Excluded 目录,但是它有特殊性,可以不显示在这里。

    这里写图片描述

    展开全文
  • 1.确认ide中有scala插件(File–settings–‘ctrl+f搜索plugins’–安装scala插件) 2.确认project structure中的global library中有scala sdk ...3.同样上图的modules中右键module–加号添加scala 完成

    1.确认ide中有scala插件(File–settings–‘ctrl+f搜索plugins’–安装scala插件)
    2.确认project structure中的global library中有scala sdk
    在这scala-sdk里插入图片scala描述
    3.同样上图的modules中右键module–加号添加scala

    完成

    展开全文
  • 步骤:新建项目、配置Scala、添加Spark的jar包。1 新建项目1)鼠标双击桌面的IDEA图标 2)双击选择Create New Project 3)选择Maven项目,然后点击Next按钮 4)输入GroupId, Artifactid,然后点击Next按钮 5)输入...
  • 首先注明:本文不是原创,我也是...项目是用Maven 创建的,具体的创建过程就不做解释了。出现的问题如下: 具体问题的图,如下: 打开设置界面的路径如下: 主界面File——>Project Structure——>modules ...
  • 在idea中新建scala工程,需要先安装scala插件。 1)File->setting->Plugins,然后搜索scala插件 安装。 安装完成后重启idea 2)设置scala sdk File->Project Structure->Libraries->+ ...
  • 目录1.如何在Maven项目中加入Scala源码2.构建Spark项目的流程参考文章   1.如何在Maven项目中加入Scala源码 ...在main文件夹下新建一个名为Scala的Source Folder,与Java并列,Scala文件放在S...
  • 创建Maven Scala项目 ...IntelliJ IDEA 中 右键新建(new)时,选项没有scala(java) class的解决方法和具体解释 https://blog.csdn.net/huan_chen/article/details/78574835 Intelli...
  • 新建project,选maven 创建好maven项目之后,在pom.xml文件中引入我们需要的包 增加框架 然后在项目目录右键,add Framwork Support 选择scala 导入spark 两种方式:1.使用maven添加 2.file-&gt;project ...
  • 1.看是否添加scala的SDK 2.什么都准备好了就是不能创建scala文件 检查该项 解决: 右键项目 ok!!
  • 刚写了一篇博客,发了点牢骚,被...新建maven project ,File->new->Maven peoject 2.选中project右键->new->scala object,发现报错提示Not a Scla project 3.选中project右键->configure->Ad...
  • 新建Maven项目 添加Scala框架 在项目名称上右键菜单中点击Add Framework Support…,然后在打开的对话框左侧边栏中,勾选Scala前面的复选框,然后点击确定。 在main文件夹中建立一个名为 scala 的文件夹...
  • 被这个死问题整整折磨了两个小时,首先我们来看一下如何建立一个使用maven的scala工程(虽然个人觉得sbt更好用) 新建项目后点击右侧scala选项,选择... ,选择maven之后,新建scala文件夹,右键scala文件夹选择M...
  • 在IDEA 14.1中新建maven工程spark-graphx-test 然后找到:File-&gt;Project Structure-&...main 右键点击New Folder,新建scala目录,然后选中scala,点击Sources。此步骤完成新建一个scala目录,并把此目录...
  • scala+maven生成spark项目步骤

    千次阅读 2018-03-16 11:11:40
    1.新建maven project如果没有scala选项,之前的文章有教怎么创建,链接http://blog.csdn.net/hylexus/article/details/52602774至此,maven项目构建完成。2.整合scala,在项目上点击右键,configure-add scala nature...
  • IDEA上运行Scala代码

    千次阅读 2019-01-07 17:16:49
    创建Scala object(若在新建Scala类时没有该选项,则点击该项目右键,Add framework Support) 打包程序:在View-Tool windows-maven projects下,找到当前项目,点击package,出现BUILD SUCCESS,则打包成功 ...
  • 问题描述:新建的非maven项目未做相关配置时,项目目录右键New文件时没有.class文件选项,如下图: 解决方式: 一是创建或添加成maven项目,二是在File->Project Structure->Modules选项中把需要创建....
  • Scala简要笔记整理

    2021-01-07 13:10:16
    新建目录需要编译 目录-->右键-->Mark Dirctory as --->Source Root 作为源码(编译成功 目录颜色会从灰色变色浅绿色) 把项目和Scala关联 项目-->右键-->Add Framework Support --->scala 右边选...
  • 然后找到:File->Project Structure->Project Settings->Modules->Sources->src->main 右键点击New Folder,新建scala目录,然后选中scala,点击Sources。此步骤完成新建一个scala目录,并把此目录作为和java目录并列...
  • IDEA 没有scala

    千次阅读 2018-07-27 20:52:17
    IntelliJ IDEA 中 右键新建(new)时,选项没有scala(java) class的解决方法和具体解释 2017年11月19日 16:10:04 阅读数:7352 首先注明:本文不是原创,我也是在网上找了好久,找到这篇博文(链接),解决了我的...
  • 新建module 右键项目名称 —&amp;amp;amp;amp;amp;amp;gt; new —&amp;amp;... maven ...main目录下新建Scala目录 右键scala目录 为module添加scala框架 右键module Finish scal

空空如也

空空如也

1 2
收藏数 37
精华内容 14
关键字:

maven右键新建scala