一、spark-shell.cmd 启动出错 NoClassDefFoundError
 
在load-spark-env.cmd 文件中增加以下设置环境变量内容，hadoop后面先在系统环境变量里设置，或者直接使用路径
 
@echo off
 rem ###################  SET ENV ##################
 rem  set SPARK_MASTER_IP=localhost
 rem  set SPARK_WORKER_CORES=1
 set SPARK_WORKER_MEMORY=1g
 
echo HADOOP_HOME: %HADOOP_HOME%
 set HADOOP_CONF_DIR=”%HADOOP_HOME%\hadoop\etc\hadoop”
 echo HADOOP_CONF_DIR: %HADOOP_CONF_DIR%
 
for /f %%i in (‘hadoop classpath’) do set SPARK_DIST_CLASSPATH=%%i
 
echo SPARK_DIST_CLASSPATH: %SPARK_DIST_CLASSPATH%
 mkdir -p %SPARK_HOME%\temp
 SET temp=%SPARK_HOME%\temp
 
echo %temp%
 
 
 
 
 
二、 Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32
 
把scala的jline-2.11.jar 放到spark 的jars目录下

在windows上打开spark
 
G:\Windows\System32>pyspark
Python 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
20/05/12 18:19:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
20/05/12 18:19:55 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
20/05/12 18:19:56 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
20/05/12 18:19:57 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.1.1
      /_/

Using Python version 3.7.4 (tags/v3.7.4:e09359112e, Jul  8 2019 20:34:20)
SparkSession available as 'spark'.
>>> from pyspark.sql import SparkSession
>>> spark=SparkSession \
... .builder \
... .master("yarn-client") \
... .appName("New SS") \
... .config("spark.executor.instances","10") \
... .config("spark.executor.memory","10g") \
... .getOrCreate()
>>> spark
<pyspark.sql.session.SparkSession object at 0x0000012A9BC5AD88>
>>>

异常信息为：
 
ERROR Shell: Failed to locate the winutils binary in the hadoop binary

Java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
 
解决方法：
 
1、到官网下载需要的hadoop版本的gz的压缩包，这里以hadoop2.6.1为例子，
 
 
2、解压之后，配置环境变量：
 
添加HADOOP_HOME，
 
 
配置CLASSPATH和PATH：
 
 
 
验证配置是否成功，打开cmd，输入hadoop version：
 
 
3、下载winutils.exe
 
到网上搜一下，就可以下载，然后将它放到hadoop解压后的bin目录下：
 
 
4、重启IDEA（这一步很重要）
 
        完成上面4步，就可以解决问题。虽然放着不管，也可以正常运行SparkStreaming程序，但要追求极致。
 
 

linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果
 
package com

import scala.math.random
import org.apache.spark._

object localSpark {
  def main(args: Array[String]) {
    val conf=new SparkConf().setMaster("local[3]")
      .setAppName("Spark Pi")
      .set("spark.ui.port", "9995")
      .set("spark.driver.cores", "3")
      .set("spark.driver.memory", "1g")
      .set("spark.executor.memory", "2g")
      .set("spark.rdd.compress", "true")

    val spark = new SparkContext(conf)
    val slices = if (args.length > 0) args(0).toInt else 2
    val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
    val count = spark.parallelize(1 until n, slices).map { i =>
        val x = random * 2 - 1
        val y = random * 2 - 1
        if (x*x + y*y < 1) 1 else 0
      }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}
 
 
sbt文件的配置为
 
name := "SparkLocal"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.3.0"
 
注意点： 
 1.设置setMaster(“local[3]”)，local的参数必须大于2，一个用作drive，剩下的作为worker 
 2.windows上没有安装hadoop，所以spark的依赖包采用的spark-core，即只有spark的核心代码，不包含hadoop的配置，所以代码中不能读取hdfs的数据 
 3.spark-core的版本采用1.5或更高的版本的时候，相关的依赖包下载总是报错，建议采用1.3版本