• MAC系统中搭建Spark大数据平台(包括Scala) 总体介绍: 大家Spark大数据平台,包括三部分内容:JDK,Scala,Spark 这三者是依次依赖的关系,Spark依赖于Scala环境(Spark是使用Scala语言开发),Scala语言必须运行...

    MAC系统中搭建Spark大数据平台(包括Scala)

    总体介绍:
    大家Spark大数据平台,包括三部分内容:JDK,Scala,Spark
    这三者是依次依赖的关系,Spark依赖于Scala环境(Spark是使用Scala语言开发),Scala语言必须运行与JVM上,所以,Scala依赖于Java环境。
    1、JDK安装
    确保你本地以及安装了 JDK 1.5 以上版本,并且设置了 JAVA_HOME 环境变量及 JDK 的bin目录。
    大家可以自行搜索相关安装,最后需要验证一下是否安装成功:
    1.1 java安装是否成功:
    localhost:~ didi$ java -version
    java version "1.8.0_102"
    Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
    Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
    1.2 java编译器安装是否成功:
    localhost:~ didi$ javac -version
    javac 1.8.0_102

    如果大家Java环境没有安装成功,可以参考:java环境安装和配置

    2、Scala环境配置
    Spark运行的基础是Scala。Scala安装非常简单,两步1、下载scala压缩包;2、配置Scala的bin目录的环境变量
    2.1 下载Scala压缩包
    Scala官网下载地址:下载地址
    2.2 解压缩
    将Scala压缩包scala-2.11.8.tgz解压缩到/usr/local/Cellar文件夹下面,生成scala-2.11.8文件夹
    2.3 配置环境变量
    使用sudo su进入管理员权限,配置/etc/profile文件,添加如下内容:
    export PATH="$PATH:/usr/local/Cellar/scala-2.11.8/bin"

    2.4 测试安装是否成功:
    localhost:~ didi$ scala
    Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102).
    Type in expressions for evaluation. Or try :help.
    
    scala> 

    OK!Scala安装成功。

    3、Spark环境安装和配置
    3.1 下载Spark压缩包spark-2.0.1-bin-hadoop2.7.tgz
    官网下载地址:点击这里,我选择下载的版本如下:


    3.2 解压缩压缩文件到指定文件夹/usr/local/Cellar,生成spark-2.0.1-bin-hadoop2.7文件夹
    tar -zxvf spark-1.2.0-bin-hadoop1.tgz
    3.3 配置环境变量
    使用sudo su进入管理员权限,配置/etc/profile文件,添加如下内容:
    export PATH="$PATH:/usr/local/Cellar/spark-2.0.1-bin-hadoop2.7/bin"
    3.4 修改Spark的配置文件conf目录
    cp spark-env.sh.template spark-env.sh
    修改spark-env.sh中的内容,加入如下配置:
    </pre><pre code_snippet_id="1961561" snippet_file_name="blog_20161101_7_9283581" name="code" class="html">export SCALA_HOME=/usr/local/Cellar/scala-2.11.8/bin
    export SPARK_MASTER_IP=localhost
    export SPARK_WORKER_MEMORY=4g
    3.5 运行Spark
    ./start-all.sh

    3.6 使用spark shell进行测试
    localhost:bin didi$ spark-shell 
    Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
    Setting default log level to "WARN".
    To adjust logging level use sc.setLogLevel(newLevel).
    16/11/01 21:09:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    16/11/01 21:09:47 WARN Utils: Your hostname, localhost resolves to a loopback address: 127.0.0.1; using 10.97.182.157 instead (on interface en0)
    16/11/01 21:09:47 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
    16/11/01 21:09:48 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
    Spark context Web UI available at http://10.97.182.157:4040
    Spark context available as 'sc' (master = local[*], app id = local-1478005788625).
    Spark session available as 'spark'.
    Welcome to
          ____              __
         / __/__  ___ _____/ /__
        _\ \/ _ \/ _ `/ __/  '_/
       /___/ .__/\_,_/_/ /_/\_\   version 2.0.1
          /_/
             
    Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)
    Type in expressions to have them evaluated.
    Type :help for more information.
    
    scala> 

    OK!Spark环境搭建成功!

    总结,在安装环境的时候,我们需要首先弄清楚各个环境和依赖之间的关系,这样安装和配置环境的时候,会更加的自信和有条理。
    祝大家学习和工作顺利。共同研究大数据。


    展开全文
  • Mac安装Scala 2018-09-13 20:54:11
    随着spark越来越火,scala也是水涨船高,越来越多的人开始学习scala。 官网下载Scala:http://www.scala-lang.org/download/ 解压 tar -xzf scala-2.12.6.tgz 配置变量 Mac的环境变量是:vi .bash_profile...
  • 1、准备jdk... ... 3、配置ssh免密登录,方便在Hadoop集群上管理和共享资源 a、开启远程登录:系统偏好设置-->共享-->选择远程登录 b、打开终端 --> 输入ssh-keygen -t rsa --> 输入cat ~/.ss...
  • MAC安装虚拟机,其实和windows中几乎是一样的,就是虚拟机地址配置稍微有点曲折,但都是小问题。网上好多教程也有一点坑,我就将自己学习过程中的记录下来。 MAC中虚拟机 第一步MAC安装VMWare Fusion 第二步...
  • 研究学习大数据,自然要从Hadoop开始。 Hadoop不是一个简单的软件,而是有一些列软件形成的生态,其核心思想来自Google当初发布的三篇论文,后来做了开源的实现, 谷歌的实现和Hadoop的实现大致可以做这样的对应: ...
  • 一、centos装java 首先yum -y list java*查看有哪些java版本,然后可以看到有这些个版本: java-1.5.0-gcj.x86_64 1.5.0.0-29.1.el6 base  java-1.5.0-gcj-devel.x86_64 1.5.0.0-29.1.el...
  • 想学大数据,先搭个环境再说,要准备多少台服务器,每台服务器的基础环境设置,各个服务器的网络互联,真是很麻烦的一件事 第一座山先把想入门的学习者挡在门外,别放弃,这里又一个即全面又快捷的搭建大数据环境的...
  • 一## 大数据学习一之虚拟机环境配置 ## 在VMWare12.0上安装好centOS 6.x或导入安装好的虚拟机,这里使用导入。 一、导入虚拟机 将要导入的虚拟机文件夹移到默认路径下: 打开VMWare,点击左上角菜单栏“文件”...
  • 我为什么要学习大数据:因为我不喜欢现在国企的工作氛围,不看好这个行业,另外我通过多方渠道了解到,其中包括李笑来、凯文凯利、和各种新闻及文章,现在我们正处于大数据时代,我是一个不安于现状、喜欢探索顺应...
  • 大数据方向,这个方向... 其实也算不上个方向... 哎... 先说吧 ... 如果你毕业了, 去个什么公司,应聘个“大数据开发工程师”什么的,我们来看看职位要求是什么: 岗位职责: 1、负责数据分析、监控、安全、风控...
  • (这是我开始学习大数据看的博客,把地址整理了一下,分享给大家) 正式与非正式环境下自行选择要执行的步骤 1.安装VMware https://blog.csdn.net/chengyuqiang/article/details/71334057 2.安装Linux虚拟机 ...
  • 大数据发展愈演愈烈,为了快速跟上技术发展的步伐,最近在学习大数据的相关技术,当然第一步,还是要学习大数据集群的搭建,将自己的一些小经验分享给大家,希望对你们有帮助,当然也感谢在我学习的过程,提供资料和...
  • 我在学习大数据相关技术的时候,想到了一个点子: 用docker搭建一个大数据开发环境! 这么做有什么好处呢 ? 我只要有了这个docker-compose.yml 容器编排描述文件,我就可以在任何一个安装docker 软件的机器里,...
  • 来自尚学堂 ... ...Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一 ...第二阶段机器学习 R语言→mahout→项目实...
  • 大数据学习 2018-02-22 09:59:04
    关系数据库管理系统(RDBMS)MySQL:世界最流行的开源数据库;PostgreSQL:世界最先进的开源数据库;Oracle 数据库:对象-关系型数据库管理系统。框架Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)...
  • 当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的...
  • 小白如何学习大数据 2017-05-05 13:01:43
    java se ...就可以学习大数据了 49分钟: jave ee 更注重技术的本身,业务不需要知道 1: ssm的开发流程,要知道,不要开发具体的业务,例如增删改查的业务,只需要知道流程,代码实现不要知道
  • 大数据学习之Linux基础 2019-12-27 10:12:44
    大数据学习之Linux基础 自定义Linux虚拟机安装网络配置1.node1网络配置2.通过快照克隆虚拟机3.配置其他三个节点虚拟机Linux简单命令shell命令运行原理图1.关机与重启2.判断命令的命令3.常用功能命令4.文件系统命令...
  • 3.学习安装教程,配置安装环境; 4.学习操作语言; 5.注意事项; 一、学习教程 放假之前,老师给我们推荐了大数据学习的教程:http://dblab.xmu.edu.cn/post/5663/ 初步了解:Hadoop的所要求系统环境...
  • 大数据入门级学习攻略 2018-11-22 17:19:43
    学习大数据的话,可以给你一个大纲,入门可以参考。 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入...
1 2 3 4 5 ... 20
收藏数 7,936
精华内容 3,174