精华内容
下载资源
问答
  • IDEA 开发 scala

    千次阅读 2018-11-07 09:17:00
    说明:默认是没有scala插件的,需要添加 1.idea 设置 添加相应的组件 第一步:file - Settings - Plugins - 然后点击下图 黄色框框 中的按钮。 第二步.在搜索框中输入 scala - 下拉菜单 - Scala - 点 右边的 ...

    说明:默认是没有scala插件的,需要添加
    1.idea 设置 添加相应的组件

    第一步:file - Settings - Plugins - 然后点击下图 黄色框框 中的按钮。

    在这里插入图片描述

    第二步.在搜索框中输入 scala - 下拉菜单 - Scala - 点 右边的 Install 进行下载。

    第三步.下载好后,点击应用,然后ok,重启一下 IDEA 就好了。

    在这里插入图片描述

    如果出现这个问题,就手动添加
    在这里插入图片描述

     2.手动添加   
    

    把问题粘贴下来,然后会显示网址,进去手动下载。

    Plugin Scala was not installed: Cannot download ‘https://plugins.jetbrains.com/pluginManager/?action=download&id=org.intellij.scala&build=IU-171.4694.23&uuid=9b9abec7-b778-468b-a2dc-635a8336da7b’: connect timed out

    下载后以后,将压缩包放到指定目录下,然后打开IDEA - settings - plugins

    在这里插入图片描述

    然后点击箭头指示的
    重启即可!

    在这里插入图片描述

    在这里插入图片描述

    次处错误,应选择IDEA,不是SBT
    在这里插入图片描述

    创建scala工程

    在这里插入图片描述

    2.我选择用 IDEA 完成项目

    在这里插入图片描述

    3.选择自己的scalaSDK,很慢的,慢慢下载,

    在这里插入图片描述

    4.123

    在这里插入图片描述

    5.然后finish 一个scala项目就建立完成了,先跑一个最简单的helloScala测试下

    在这里插入图片描述

    删除项目:先file --》close project 然后去对应的盘里面删除

    hello scala 的测试代码

    package cn.beicai.day01

    /**
    ** Created by Administrator on 2016/7/6.
    */
    object helloScala {
    def main(args: Array[String]) {
    println(“hello scala,hello world!”)
    }
    }

    创建Maven+Scala

    1.创建一个mvn项目。

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    2.将Scala的框架添加到这个项目中,方法是在左侧栏中的项目名称上右键菜单中点击Add Framework Support…,然后在打开的对话框左侧边栏中,勾选Scala前面的复选框,然后点击确定即可(前提是上文中所述步骤都已正确走通,否则你很有可能看不到Scala这个选项的);

    在这里插入图片描述

    3.在main文件夹中建立一个名为 scala 的文件夹,并右键点击 scala 文件夹,选择 Make Directory as,然后选择Sources Root ,这里主要意思是将 scala 文件夹标记为一个源文件的根目录,然后在其内的所有代码中的 package ,其路径就从这个根目录下开始算起。举个例子,假如你在 scala 文件夹中建立了一个程序,这个程序的 package 属性为 com.abc.test,那么这个程序就一定要保存在 scala\com\abc\test 目录下,否则项目就找不到这个程序了;

    在这里插入图片描述

    修改scala的SDK:Project Structure -> Global Libraries -> + Scala SDK,然后选择上面下载解压出来的scala目录。

    展开全文
  • IDEA 运行 scala.class文件后报错 ![图片说明](https://img-ask.csdn.net/upload/202005/04/1588569501_448365.png)
  • 3、项目刚启动的时候,.scala文件的字体都是灰色的,idea底部会有个Indexing…过程,别急,等ta完后,会发现文件的关键字会高亮起来,比如“main”、“String”…,这时候再右键文件看是否有“Run…” ...

    注意以下三点:

    1、新建类时,要选择Object类型
    New -> Scala Class -> kind:Object

    2、不仅仅是要有object类而且得有main函数(参数也要有),两个缺一不可。

    //scala
    object HelloWorld {
      def main(args: Array[String]): Unit = {
        printf("Hello World!")
      }
    }
    

    3、项目刚启动的时候,.scala文件的字体都是灰色的,idea底部会有个Indexing…过程,别急,等ta跑完
    跑完后,会发现文件的关键字会高亮起来,比如“main”、“String”…,这时候再右键文件看是否有“Run…”
    在这里插入图片描述

    reference:
    https://blog.csdn.net/w5688414/article/details/78172358

    展开全文
  • 下载Hadoop:E:\software\Spark\spark-2.3.1-bin-hadoop2.7\spark-2.3.1-bin-hadoop2.7 解压tgz文件,下载7zip提取成tgz文件(tar压缩),再解压;...按参考教程运行WordCount.scala的程序; 报这个错: ...

    参考:http://www.cnblogs.com/zlslch/p/5880926.html
    下载Hadoop:E:\software\Spark\spark-2.3.1-bin-hadoop2.7\spark-2.3.1-bin-hadoop2.7

    解压tgz文件,下载7zip提取成tgz文件(tar压缩),再解压;

    按参考教程运行WordCount.scala的程序;
    报这个错:
    windows idea Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    参考教程定位问题的方法:
    https://blog.csdn.net/woshixuye/article/details/53461975

    分析问题
    打开源码,查看getQualifiedBinPath方法

    解决方案:

    exeFile不存在会报错,也就是fullExeName不存在。即windows中没有配置HADOOP_HOME。

    3 解决问题
    配置环境变量E:\Program Files\hadoop-2.7.0重启电脑。或者代码中设置System.setProperty(“hadoop.home.dir”, “E:\Program Files\hadoop-2.7.0”);还有一种可能HADOOP_HOME的bin目录下根本没有winutils.exe,下载地址https://github.com/srccodes/hadoop-common-2.2.0-bin

    要跑scala程序:
    安装java 1.8
    安装scala
    安装idea
    安装Hadoop
    每一个步骤都有设置

    【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法

    但是spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。

    参考:
    https://blog.csdn.net/dax1n/article/details/58197361

    package com.zhouls.spark
    
    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import java.lang.System
    
    
    object WordCount {
      System.setProperty("hadoop.home.dir", "E:\\software\\Spark\\spark-2.3.1-bin-hadoop2.7\\spark-2.3.1-bin-hadoop2.7")
      def main(args: Array[String]): Unit = {
        /*
         * 第1步:创建spark的配置对象sparkconf,设置spark程序的运行时的配置信息,
         * 例如说通过setMaster来设置程序要链接的spark集群的master的URL,如果设置为local,则代表spark程序在本地运行,
         * 特别适合于机器配置条件非常差(例如只有1G内存)的初学者
         */
        val conf = new SparkConf()//创建SparkConf对象
        conf.setAppName("Wow,My First Spark App!")//设置应用程序的名称,在程序运行的监控界面可以看到名称
        conf.setMaster("local")//此时,程序在本地运行,不需要安装spark集群
    
        /*
         * 第2步:创建SparkContext对象
         * SparkContext是spark程序所有功能的唯一入口,无论是采用scala、java、pthon、R等都必须有一个SparkContext
         * SparkContext核心作用:初始化spark应用程序运行所需要的核心组件、包括DAGScheduler、TaskScheduler、SchedulerBackend
         * 同时还会负责spark程序往master注册程序等
         * SparkContext是整个spark应用程序中最为至关重要的一个对象
         */
        val sc = new SparkContext(conf)
    
        /*
         * 第3步:根据具体的数据源(HDFS、HBase、Local FS、DB、S3等)通过SparkContext来创建RDD
         * RDD的创建基本有三种方式:根据外部的数据来源(如HDFS)、根据Scala集合、由其它的RDD操作数据会被RDD划分成
         * 一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴
         */
        // val lines:RDD[String] = sc.textFile("D://SoftWare//spark-1.6.2-bin-hadoop2.6//README.md", 1)//path指的是文件路径,minPartitions指的是最小并行度
        val lines = sc.textFile("E://software//Spark//spark-2.3.1-bin-hadoop2.7//spark-2.3.1-bin-hadoop2.7//README.md", 1)//path指的是文件路径,minPartitions指的是最小并行度
    
        /*
         * 第4步:对初始的RDD进行Transformation级别的处理,例如map、filter等高阶函数等的编程,来进行具体的数据计算
         *  第4.1步:将每一行的字符串拆分成单个的单词
         */
        val words = lines.flatMap{ line => line.split(" ")}//对每一行的字符串进行单词拆分并把所有行的拆分结果通过flat合并成为一个
    
        /*
        * 4.2步:在单词拆分的基础上对每个单词实例计数为1,也就是 word => (word,1)
        */
        val pairs = words.map { word => (word,1) }
    
        /*
         * 4.3步:在每个单词实例计数为1基础之上统计每个单词在文件中出现的总次数
         */
        val wordCounts =  pairs.reduceByKey(_+_)//对相同的key,进行value的累计(包括local和reducer级别同时reduce)
        wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + ":" + wordNumberPair._2))
    
        /*
         * 第5步
         */
        sc.stop();
      }
    
    展开全文
  • Idea无法创建scala.class的解决方法

    千次阅读 2018-12-16 17:33:24
    Idea无法创建scala.class的解决方法面临的问题1:pom.xml2:scala在windows的安装3:Global Libraries 面临的问题 在学习scala编程的时候,跟着课程的步骤进行练习,可是右键点击new的时候,没有出现scala.class,...
  • idea 远程调试sparck scala 一、添加远程同步目录(或者叫远程映射) 这里是远程目录显示 和我们集群上是一样的 =============================================================================...
  • IDEA中运行第一个scala程序

    千次阅读 2019-11-22 17:04:28
    首先需要安装IDEAscala,这些教材挺多的,自行搜索。 1. 新建一个工程 2. 在项目中创建scala目录,并标记为sourse root new->Directory makeDirectoryAs->Sources Root 3. 添加scala框架 ...
  • IDEAScala程序封装成jar(提交spark集群) 我从网上看了好几篇博客介绍如何在IDEA中封装jar,内容大体相同,但是也有细微的差别,可能是对于特定的任务有不同方法,但是对我提交spark集群不起作用,现将正确的...
  • 为了让Scala运行起来还是很麻烦,为了大家方便,还是记录下来: 1、首先我下载的是IDEA的社区版本,版本号为15. 2、下载安装scala插件: 2.1 进入设置菜单。   2.2 点击安装JetBrains plugin 2.3 输入scala...
  • idea maven Scala全依赖打包

    千次阅读 2018-07-25 11:46:58
    ... <modelVersion>4.0.0 ... <artifactId>projectone <version>1.0-SNAPSHOT ...有些时候不能把scala目标类打进jar包, 因此先在本地上一下,跑通了之后,然后run package就好了,看看jar包中有没有相应的文件
  • IDEA连接Spark集群执行Scala程序

    千次阅读 2019-12-03 14:31:56
    首先安装Scala插件,File->Settings->Plugins,搜索出Scla插件,点击Install安装; File->New Project->maven,新建一个Maven项目,填写GroupId和ArtifactId; 编辑pom....
  • 1.千万,千万,千万不要下载最新的scala,因为最新的scalaidea上运行会报找不到主类的错,scala-2.11.0+jdk1.8-171亲测可用。   2.如果报错: Error:(4, 8) HelloWorld is already defined as object Hello...
  • 配置内容 %SCALA_HOME% D:\ENV\scala-2.10.7 %PATH% %SCALA_HOME%\bin 1 ...配置完成后命令行输入...2.下载IDEA并安装scala插件 eclipse插件对scala支持不怎么友好,建议使用idea下载链接https://www.jetbrai...
  • IDEA15 下运行Scala遇到问题以及解决办法
  • 对于用习惯了eclipse或者myeclipse的... 对于大数据的学习者难免会使用scala语言,而离不开的编译器就属idea了,当前很多公司都在使用这个功能强大的编译器。由经常使用的java语言到idea,由经常使用的编译器到ecl...
  • 本人刚开始接触Scala语言,想搭建一个IDE开发环境,所有的操作都是按照网上的做的,但是就是没找到运行的地方在哪里,如图: 朋友告诉我,我的文件建错了,应该建一个object而不是建一个class 写入相应的...
  • Intellij IDEA 下开发Scala环境配置

    千次阅读 2017-01-26 17:24:14
    本文记录在Intellij IDEA 这个优秀的IDE下进行Scala开发的环境配置
  • 要运行一个程序,总是出现“ 找不到或无法加载主类”错误,如图       相关问题的资源比较有限,没有找到能解决这个问题的方法。测试了很久,终于找到了解决办法,并猜测出现该问题的原因,写下了记录下。...
  • >>> 在IDEA中写main方法经常有各种各样的问题导致不了,但是我们可以用`Scala Worksheet `。 IDEAScala Worksheet 很像Scala原生的REPL循环求值,但是它比Scala的REPL方便些,它可以调用你项目中的代码做测试。 ...
  • idea中写scala首先要下载scala插件,这个无需多言。一种是基于插件创造的项目,还有一种是基于maven。 上面是基于插件创建的项目 简单说一下这两个的特点吧:基于插件的方式,好处是简单,而且一上来就对java和...
  • Spark是基于scala开发的,所以这一次我们来看看scala的基本语法和功能,有个了解。 这一篇是我看视频的同时顺手写的笔记。 scala视屏地址为:https://www.bilibili.com/video/BV1JE411R7Xp?p=1 。 视频里面...
  • 本文只要是参考了同学的文章,链接如下: ...由于IDEA激活码突然不能用了,代码不好修改,此处就先不改了,运行时直接本机local运行即可 关闭虚拟机,开始复习 还有两门考试,再不复习就GG了 = =
  • IDEA是个很强大而且很好用的编辑器,最近刚好在学Scala,于是便想使用IDEA编写Scala代码,但是刚开始用就遇到了问题,当我写完一个简单的hello world程序后,右键运行,但是竟然找不到Run "HelloWorld"...
  • idea配置scala

    千次阅读 2018-04-10 14:16:32
    1.安装idea(已经安装过java) idea的安装以及能起以前的项目花了好久,以前习惯使用myeclipse,对于idea的全局和局部都混了一段时间,对了我还安装了一个中文包,resources_cn.jar,云盘这个很好下,放在...
  • <p>idea内容 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object wordcount { def main(args: Array[String]): Unit = { // 1. 获取Spark上下文操作对象 val ...
  • IDEA】如何Debug

    2020-01-30 21:58:09
    这里可能有个问题,不能同时两个线程?看下面这个图,就能解决 八、回退断点 在调试的时候,想要重新走一下流程而不用再次发起一个请求? 1、首先认识下这个方法调用栈,最上面的方法是当前断点所在的...
  • 整了好几天,把eclipse弄能用.. 期间报各种错,进度也被耽误了…archetype和pom部分引用他人的,可惜调试的太多,... Scala–>2.11.8 Spark–>2.2.0IDE, eclipseEE + scalaIDE插件–>oxygen:pom有报错,但是可用 sc
  • IDEA本地运行Flink程序报错,是很突然所有的class都会报这个错。 好多人遇到的都是一个套路 import org.apache.flink.streaming.api.scala._ import org.apache.flink.api.scala._ 导入隐式转换。 但是其实...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,102
精华内容 440
关键字:

ideascala跑