精华内容
下载资源
问答
  • 一、spark-shell.cmd 启动出错 NoClassDefFoundError 在load-spark-env.cmd 文件中增加以下设置环境变量内容,hadoop后面先在系统环境变量里设置,或者直接使用路径 @echo off rem ################### SET ENV ##...

     

    一、spark-shell.cmd 启动出错 NoClassDefFoundError

    在load-spark-env.cmd 文件中增加以下设置环境变量内容,hadoop后面先在系统环境变量里设置,或者直接使用路径

    @echo off
    rem ###################  SET ENV ##################
    rem  set SPARK_MASTER_IP=localhost
    rem  set SPARK_WORKER_CORES=1
    set SPARK_WORKER_MEMORY=1g

    echo HADOOP_HOME: %HADOOP_HOME%
    set HADOOP_CONF_DIR=”%HADOOP_HOME%\hadoop\etc\hadoop”
    echo HADOOP_CONF_DIR: %HADOOP_CONF_DIR%

    for /f %%i in (‘hadoop classpath’) do set SPARK_DIST_CLASSPATH=%%i

    echo SPARK_DIST_CLASSPATH: %SPARK_DIST_CLASSPATH%
    mkdir -p %SPARK_HOME%\temp
    SET temp=%SPARK_HOME%\temp

    echo %temp%

     

     

    二、 Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32

    把scala的jline-2.11.jar 放到spark 的jars目录下

    展开全文
  • windows运行spark

    2020-05-12 18:24:37
    windows上打开spark G:\Windows\System32>pyspark Python 3.7.4 (tags/v3.7.4:e09359112e, Jul 8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" ...

    在windows上打开spark

    G:\Windows\System32>pyspark
    Python 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32
    Type "help", "copyright", "credits" or "license" for more information.
    20/05/12 18:19:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    20/05/12 18:19:55 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
    20/05/12 18:19:56 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
    20/05/12 18:19:57 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /__ / .__/\_,_/_/ /_/\_\   version 2.1.1
          /_/
    
    Using Python version 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019 20:34:20)
    SparkSession available as 'spark'.
    >>> from pyspark.sql import SparkSession
    >>> spark=SparkSession \
    ... .builder \
    ... .master("yarn-client") \
    ... .appName("New SS") \
    ... .config("spark.executor.instances","10") \
    ... .config("spark.executor.memory","10g") \
    ... .getOrCreate()
    >>> spark
    <pyspark.sql.session.SparkSession object at 0x0000012A9BC5AD88>
    >>>
    
    展开全文
  • 异常信息为: ERROR Shell: Failed to locate the winutils binary in the hadoop binary Java.io.IOException: Could not locate ...虽然放着不管,也可以正常运行SparkStreaming程序,但要追求极致。  

    异常信息为:

    ERROR Shell: Failed to locate the winutils binary in the hadoop binary
    
    Java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    解决方法:

    1、到官网下载需要的hadoop版本的gz的压缩包,这里以hadoop2.6.1为例子,

    2、解压之后,配置环境变量:

    添加HADOOP_HOME,

    配置CLASSPATH和PATH:

    验证配置是否成功,打开cmd,输入hadoop version:

    3、下载winutils.exe

    到网上搜一下,就可以下载,然后将它放到hadoop解压后的bin目录下:

    4、重启IDEA(这一步很重要)

            完成上面4步,就可以解决问题。虽然放着不管,也可以正常运行SparkStreaming程序,但要追求极致。

     

    展开全文
  • windows运行spark程序

    千次阅读 2016-02-04 18:10:26
    linux普通用户开发spark程序时,由于无法使用IDEA的图形化操作界面,所以只能大包围jar,用spark-submit提交,...或是在spark-shell中逐行运行,下面是在windows运行sparkPi的代码及结果package comimport scala.ma

    linux普通用户开发spark程序时,由于无法使用IDEA的图形化操作界面,所以只能大包围jar,用spark-submit提交,不是很方便, spark的local模式可以方便开发者在本地调试代码,而不用打包为jar用spark-submit提交运行,或是在spark-shell中逐行运行,下面是在windows上运行sparkPi的代码及结果

    package com
    
    import scala.math.random
    import org.apache.spark._
    
    object localSpark {
      def main(args: Array[String]) {
        val conf=new SparkConf().setMaster("local[3]")
          .setAppName("Spark Pi")
          .set("spark.ui.port", "9995")
          .set("spark.driver.cores", "3")
          .set("spark.driver.memory", "1g")
          .set("spark.executor.memory", "2g")
          .set("spark.rdd.compress", "true")
    
        val spark = new SparkContext(conf)
        val slices = if (args.length > 0) args(0).toInt else 2
        val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
        val count = spark.parallelize(1 until n, slices).map { i =>
            val x = random * 2 - 1
            val y = random * 2 - 1
            if (x*x + y*y < 1) 1 else 0
          }.reduce(_ + _)
        println("Pi is roughly " + 4.0 * count / n)
        spark.stop()
      }
    }

    这里写图片描述

    sbt文件的配置为

    name := "SparkLocal"
    
    version := "1.0"
    
    scalaVersion := "2.10.4"
    
    libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.3.0"

    注意点:
    1.设置setMaster(“local[3]”),local的参数必须大于2,一个用作drive,剩下的作为worker
    2.windows上没有安装hadoop,所以spark的依赖包采用的spark-core,即只有spark的核心代码,不包含hadoop的配置,所以代码中不能读取hdfs的数据
    3.spark-core的版本采用1.5或更高的版本的时候,相关的依赖包下载总是报错,建议采用1.3版本

    展开全文
  • 为了运行spark程序我搭建了一个虚拟机的集群,但是我8G的内存被吃满了。。。别说跑个程序,就是基本运行都卡的不行。。。。。最后,我突然知道的本地也是可以运行spark的,,,,,唉 费虚拟机呢么大劲干嘛。。。。 ...
  • 1 项目目录 新建null/bin 把winutils.exe 放...java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Cla...
  • Exception in thread “main” org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=pc, access=EXECUTE, inode="/...
  • 2.解决spark运行中failed to locate the winutils binary in the hadoop binary path的问题 1.下载hadoop-common-2.2.0-bin并解压到某个目录 https://github.com/srccodes/hadoop-common-2.2.0-bin 2.设置...
  • windows+spark本地运行环境搭建

    千次阅读 2018-04-04 21:47:12
    windows下可以通过简单设置,搭建本地运行环境。1、下载spark预编译版本,spark运行环境依赖jdk,scala,这里下载的最新spark版本是2.3,对应jdk1.8+scala2.11.8。java -version java version "1.8.0_151" ...
  • 如何在Windows运行spark-shell   1. 下载winutils.exe,加入放置到d:/software/Hadoop/bin/winutils.exe目录下,注意,winutils.exe文件的上级目录一定是bin 2. 开启一个windows命令行窗口,在d:/software/...
  • 本地操作系统: windows 10. 1709 教育版 本地hadoop版本:hadoop-2.6.5 本地winutils版本:hadoop2.6.4-2.6.7 本地spark版本: spark-2.2.0-bin-hadoop2.6 本地scala版本:scala-2.11.11 本地java版本:jdk-1.8.0_...
  • spark踩坑记——windows环境下spark安装和运行

    万次阅读 多人点赞 2018-08-10 17:08:10
    本文主要记录windows系统上安装spark,scala,和intelj IDEA,并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala,spark,hadoop。而如果利用maven构建工具则只...
  • windows环境下本地运行spark程序

    千次阅读 2017-05-25 08:59:02
    在eclipse中调试spark程序需要注意两点,第一是要配置config('spark.sql.warehouse.dir', 'file:///C:/path/to/my/')不然会报错: IllegalArgumentException: 'java.net.URISyntaxException: Relative path in ...
  • 最近打算学习大数据,需要用到spark开放平台,根据CSDN攻略和自己实际遇到的问题进行修改。 从安装JDK到Hadoop和Spark。 1.安装Java/Jdk 根据自己的电脑安装对应的版本,这里选择安装window64位 jdk下载地址:...
  • 主要介绍了详解Java编写并运行spark应用程序的方法,内容详细,结合了作者实际工作中的问题进行具体分析,具有一定参考价值。
  • windows环境下部署spark运行环境。intelliji idea+spark1.6 +scala 2.10+java 1.8,包含需要的hadoop文件。
  • 主要介绍了Jupyter notebook运行Spark+Scala教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 运行环境 1.环境部署 1. 安装zookeepr 2.安装Kafka ...3.SparkStreaming实例 1. Maven依赖 2.代码 运行环境 os:Windows 10 zookeeper:zookeeper-3.4.6 kafka:kafka_2.11-1.1.0 sca...
  • SparkWindows运行,本地提交sp…

    千次阅读 2017-04-21 10:55:24
    【问题】Sparkwindows能跑集群模式吗? 我认为是可以的,但是需要详细了解cmd命令行的写法。目前win下跑spark的单机模式是没有问题的。 【关键点】spark启动机制容易被windows的命令行cmd坑  1、带空格、奇怪...
  • 一、下载Saprk程序 ... 解压到d:\spark-2.1.1-bin-hadoop2.7 二、下载winutil.exe https://github.com/steveloughran/winutils/blob/master/hadoop...
  • 1.下载 winutils.exe:...2.将此文件放置在某个目录下,比如C:\winutils\bin\中。 3.在程序的一开始声明:System.setProperty("hadoop.home.dir", "c:\\winutil\\") ...
  • windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本: win10 家庭装,64位,x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-...
  • 1:开发环境IDEA选择: IntelliJ IDEA Community Edition 2017.1.1 (相比eclipse更方便,不用装那么多插件,且提供免费版,官网直接下载安装就可以) 2:环境配置:(开发语言scala) ...(2) spark streami...
  • Spark Windows 本地模式(LOCAL)搭建指南

    千次阅读 2019-04-06 04:42:20
    本文将介绍sparkwindows下本地模式的搭建 Spark运行模式基本可以分为两种: 本地模式 即Driver程序只在本机运行 集群模式 即Dirver程序会在集群中运行,具体到集群模式,又可以分为spark集群、MESOS、YARN等。 ...
  • IntelliJ Idea开发spark程序及运行文章的源码,程序简单入门。 项目中缺这个包,请读者自行补上,在SPAKRK_HOME/lib下面有 spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址: ...
  • windows运行spark遇到的奇葩坑:

    千次阅读 2019-07-30 21:05:49
    今天配置windows下的spark运行环境,java,hadoop,spark,python环境配置一点问题都没有,但是总是显示错误,没有文件夹创建删除的权限,修改了一下午,简直要崩溃了。错误忘记截图了,只把解决办法截图了一下。 ...
  • 一、首先准备需要安装的软件 scala-2.10.4 下载地址:http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 ...spark-1.6.2-bin-hadoop2.6 下载地址:http://spar
  • Windows环境下在IDEA中运行Spark程序报错及解决方案汇总。
  • val lines = spark.sparkContext.textFile("D:\\status\\file\\wordcount.txt") val counts = lines.flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) counts.foreach(print(_)) spark.stop() } } ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,010
精华内容 5,604
关键字:

windows运行spark