精华内容
下载资源
问答
  • 入门学习Linux常用必会60命令实例详解doc/txt

    千次下载 热门讨论 2011-06-09 00:08:45
    -n:一般而言,mount挂上后会/etc/mtab中写入一笔资料,系统中没有可写入文件系统的情况,可以用这个选项取消这个动作。 4.应用技巧 Linux 和Unix系统上,所有文件都是作为一个大型树(以/为根)的一部分...
  • 史上最全最详细的Anaconda安装教程

    万次阅读 多人点赞 2020-01-08 16:46:41
    目录 1. Anaconda简介 2. Anaconda安装情况的选择 ...2.1.5 创建和管理虚拟环境 2.2情况二 2.2.1 方法一:通过更改python.exe文件名 2.2.2方法二:通过切换虚拟环境 3. 结束语 1. Anaconda简介...

    第二版已经在知乎更新,可直接看第二版

    目录

    1. Anaconda简介

    2. Anaconda安装情况的选择

    2.1 情况一

    2.1.1 Anaconda的下载

    2.1.2 测试安装

    2.1.3 更改源

    2.1.4 更新包

    2.1.5 创建和管理虚拟环境

    2.2 情况二

    2.2.1 方法一:通过更改python.exe文件名

    2.2.2 方法二:通过切换虚拟环境

    3. 结束语

    1. Anaconda简介

    Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等

    因此安装Anaconda的好处主要为以下几点:

    1)包含conda:conda是一个环境管理器,其功能依靠conda包来实现,该环境管理器与pip类似,那有童鞋会问了:我能通过pip装conda包达到conda环境管理器一样的功能吗?答案是不能,conda包的实现离不开conda环境管理器。想详细知道两者异同可以去知乎遛一遛https://www.zhihu.com/question/279152320

    2)安装大量工具包:Anaconda会自动安装一个基本的python,该python的版本Anaconda的版本有关。该python下已经装好了一大堆工具包,这对于科学分析计算是一大便利,你愿意费时耗力使用pip一个个包去装吗?

    3)可以创建使用和管理多个不同的Python版本:比如想要新建一个新框架或者使用不同于Anoconda装的基本Python版本,Anoconda就可以实现同时多个python版本的管理

    2. Anaconda安装情况的选择

    Anaconda的安装分两种情况:

    情况一:电脑现在没有装python或者现在装的可以卸载掉(装Anaconda时先卸python);

    情况二:电脑目前装了python,但想保留它;

    2.1 情况一

    2.1.1 Anaconda的下载

    你可以根据你的操作系统是32位还是64位选择对应的版本到官网下载,但是官网下载龟速,建议到清华大学镜像站下载,多快又好省,博主使用的版本是:

    Anaconda3-5.2.0-Windows-x86_64.exe

    为什么不用最新版的

    Anaconda3-5.3.1-Windows-x86_64.exe

    不知是版本原因还是什么原因,包括博主在内的一大堆使用这个最新版本在构建虚拟环境或者安装包时出现了这样蛋疼的错误

    无法定位程序输入点 OPENSSL_sk_new_reserve 于动态链接库 E:\ProgramData\Anaconda3\Library\bin\libssl-1_1-x64.dll上

    最后有博文指出回退3-5.2.0版本毛事木有

    下载好Anaconda3后直接双击安装包即可,有几个地方需要注意

    Finish后安装完毕

    2.1.2 测试安装

    cmd输入

    conda --version

    若出现像这样的conda版本号即安装成功

    2.1.3 更改源

    使用

    conda install 包名

    安装需要的Python包非常方便,但是官方服务器在国外,下载龟速,国内清华大学提供了Anaconda的镜像仓库,我们把源改为清华大学镜像源

    更改方法一:cmd后依次输入下面命令

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes

    打开C盘用户目录,我这里是

    C:\Users\User

    找到.condarc文件,里面长这样就成了

    ssl_verify: true
    channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
      - defaults
    show_channel_urls: true

    更改方法二:打开 .condarc文件,直接简单粗暴的把上面的内容复制进去

    2.1.4 更新包

    更新时间较长,建议找个空余时间更新,不更新也可以,但为避免后续安装其他东西出错最好更一下,这里我就不更了,把命令贴出来

    先更新conda

    conda update conda

    再更新第三方所有包

    conda upgrade --all

    2.1.5 创建和管理虚拟环境

    第一种情况下Anaconda的安装到这里基本就结束了,后面关于虚拟环境部分属于Anaconda的使用了,这里会在第二种情况下再做介绍

    2.2 情况二

    情况二Anaconda的安装和情况一相同,但为保留自己安装的Python需要在安装Anaconda完成后进行操作

    进行操作有2个方法,这里更加推荐方法二

    2.2.1 方法一:通过更改python.exe文件名

    Anaconda安装时会自带一个Python,没装之前我们先看看电脑里Python的版本(姑且称为原生python),cmd后输入:

    python --version 或者 python -V

    这里显示原生python版本是3.7.4,我们到环境变量去看是这样的

    C:\ProgramFiles\Python37\Scripts\;
    C:\ProgramFiles\Python37\;
    %SystemRoot%\system32;
    %SystemRoot%;
    %SystemRoot%\System32\Wbem;
    %SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;
    C:\Program Files\PuTTY\

    按照第一种情况安装Anoconda后再输入

    python --version

    这时显示的是3.6.5,这里的版本就是Anaconda自带的python版本,我们再打开环境变量

    C:\ProgramData\Anaconda3;
    C:\ProgramData\Anaconda3\Library\mingww64\bin;
    C:\ProgramData\Anaconda3\Library\usr\bin;
    C:\ProgramData\Anaconda3\Library\bin;
    C:\ProgramData\Anaconda3\Scripts;
    C:\ProgramFiles\Python37\Scripts\;
    C:\ProgramFiles\Python37\;
    %SystemRoot%\system32;
    %SystemRoot%;
    %SystemRoot%\System32\Wbem;
    %SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;
    C:\Program Files\PuTTY\

    发现原生Python路径还在,同时在原生Python路径之前多了与Anaconda相关的路径,因此Anaconda自带安装的Python并不会覆盖掉原生Python,但为什么输python --version显示的是Anaconda的版本而不是原生的呢?这是因为环境变量优先级的缘故,这里Anaconda在前,原生在后,更改他们的顺序后输入python --version可以得到原生的版本号,有兴趣的童鞋可以自己尝试。

    C:\Program Files\Python37;
    C:\ProgramFiles\Python37\Scripts\;
    C:\ProgramData\Anaconda3;C:\ProgramData\Anaconda3\Library\mingww64\bin;
    C:\ProgramData\Anaconda3\Library\usr\bin;
    C:\ProgramData\Anaconda3\Library\bin;
    C:\ProgramData\Anaconda3\Scripts;
    %SystemRoot%\system32;
    %SystemRoot%;
    %SystemRoot%\System32\Wbem;
    %SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;
    C:\Program Files\PuTTY\

    因此方法一来了,把原生python安装路径下的python.exe改为python_ori.exe

    再把Anaconda安装路径下的python.exe改为python_ana.exe

    查看版本:

    使用时要注意区分,如进行pip安装时

    python_ori –m pip install 包名

    python_ano –m pip install 包名

    2.2.2 方法二:通过切换虚拟环境

    输入

    conda info -e  或者  conda-env list

    查看Anaconda中当前存在的环境

    可以看到当前只存在一个叫做base的环境,这个环境即是Anaconda安装的Python版本

    Anaconda装的版本是3.6.5的,假如我们想使用2.7版本的,这时可以通过创建虚拟环境来实现,输入

    conda create -n python27 python=2.7

    不用管是输入2.7.x,还是2.7,conda会为我们自动寻找2.7.x中的最新版本,再次查看Anaconda中存在的环境

    发现较之前多了一个python27,我们到Anaconda安装目录查看envs文件夹下的python27

    点进去看发现这不就是一个python安装过后的文件吗,说是创建虚拟环境,其实是真实的安装了Python2.7,我们切换至2.7版本的,输入

    activate python27

    切换成功后前面多一个python27

    这时我们保留原生python就有了思路:

    1)在Anaconda安装目录下的envi文件内新建一个名为python_ori的文件(没有envs文件夹就自己新建)

    2)将原生python整个安装目录复制python_ori

    3)全部复制后粘贴到python_ori

    4)cmd后激活切换至原生的python

    查询版本号

    没问题,3.7.4是原生版本,那是那个味哈哈。

    3. 结束语

    关于python自带IDLE的问题:如果想用Python自带的ILDE只需在找到idel.bat文件,双击运行即可

    Anaconda自带的python的idel.bat路径这里我把我的路径贴出来,同理其他版本的可在envs中找到

    C:\ProgramData\Anaconda3\Lib\idlelib

    关于配置其他集成开发环境的问题:如果使用pycharm开发,找到设置解释器的地方,可以选择Anaconda自带的python.exe,也可以选择envs下不同版本的python.exe,具体看个人需要。

    注:因水平有限,有错误之处还请不吝指教。

    展开全文
  • 未经我的允许,请不要转载我的文章,此郑重声明!!! 请先配置安装好Java的环境,若没有安装,请参照我博客上的步骤进行安装! 安装Java环境教程https://blog.csdn.net/qq_40881680/article/details/83585542 ...

    未经我的允许,请不要转载我的文章,在此郑重声明!!!

    请先配置安装好Java的环境,若没有安装,请参照我博客上的步骤进行安装!

    若不知道Java环境是否已经安装配置环境完成,cmd窗口输入 java 回车,之后再打开环境变量,参考 安装Java环境教程 打开,看看有没有JAVA_HOME。如果已经配置过,请忽略!


    目录

    Tomcat下载教程

    JDK、Tomcat安装视频教程

    Tomcat安装教程

    Tomcat配置环境变量教程

    Tomcat启动和验证配置环境变量是否成功

    Tomcat部署项目

    常见问题

    问题一·正常运行却访问不了

    问题二·出现乱码

    问题三·出现Access Error:404 -- Not Found

    问题四·经过一系列修改后还是启动闪退


    Tomcat下载教程

    请不要跳着看,仔细看,直到文章末尾

    首先确定你Windows系统是64位,还是32位(现在大部分是64位)

    查看操作系统位数步骤:(WindowsXP,Windows7,Windows8,Windows10查看步骤大同小异,举例Windows10)

    我以 博客专家 和 高访问量 担保,本篇文章可以解决你的问题,若未解决,扫码下方二维码加入QQ群,群主远程操作解决!!!(群号:564989410)

     

     

     

     

    请先确认你的JDK版本

    请先确认你的JDK版本

    请先确认你的JDK版本

    Tomcat在 JDK1.8 环境下能够正常运行,请确认JDK版本(在cmd窗口输入 java -version),如果是在12.0版本,1.7版本,Tomcat不能够正常启动!其他JDK版本不清楚,没有具体测试运行!

    1.8版本JDK下载 https://blog.csdn.net/qq_40881680/article/details/83585542

    Windows键+E 组合键打开页面

    JDK、Tomcat安装视频教程

    视频源:https://www.bilibili.com/video/av75390357

    JDK以及Tomcat安装教程(自备JDK1.8和Tomcat9.0)

    确定好后进入官网下载Tomcat,官网地址-点击进入 http://tomcat.apache.org/

    选择左侧的Tomcat版本,本篇文章举例Tomcat9,其它的版本安装都一样

    点击Tomcat9

    进入Tomcat9下载页面

    对应着操作系统位数进行下载,下载后会是一个zip压缩包

    Tomcat安装教程

    解压压缩包,放在想要放在的盘符(D盘、E盘...无所谓,记着路径就可以,但最好不要是C盘,可能会出现拒绝访问)

    就比如安装在D盘,那就解压出来放在D盘下就行,里面的文件名不要改动,或者放在D盘某一文件夹下,路径不要包含中文和特殊字符

    这一句话说的太苛刻了,你若熟悉安装,可以不用按我说的来

    放到这里即可

    Tomcat配置环境变量教程

    环境变量配置就如上述的 下载教程 ,进入如下页面

    点击高级系统设置

    选中高级,点击环境变量

    系统变量栏中选择新建

    之后出现如下图,

    变量名中填写:CATALINA_HOME(不要留空格)

    变量值就是你解压后的路径,你可以直接进入解压后的文件夹,点击如图部分,复制这个路径到变量值

    特别注意:

    在变量值中填写路径;路径就是你解压后Tomcat的文件夹路径,就如上述,那么路径就是: D:\apache-tomcat-9.0.12

    若解压到了其他盘符,如C盘,那就是 C:\apache-tomcat-9.0.12

    放在了某个文件夹下那路径就是 :

    盘符: \ 某文件夹 \ 解压后的tomcat整体文件夹(这里是apache-tomcat-9.0.12,看看你解压的文件夹名是什么)

    千万别整错了!!!!!!!(感觉自己好啰嗦,这是和小白说的,新手配置要注意了)

    好了,现在点击这个确定,就添加进去了

    之后再找到系统变量中的Path(不要说没有,好好找找,绝对有)

    之后再点击编辑文本

    若弹出对话框点击确定

    如图,在最后面追加    %CATALINA_HOME%\bin;

    (小提示:你可以直接按电脑上的 End 键 到最后)

    分号结尾,第一个%前面若没有分号,请手动打上去分号,分号是英文状态下输入的,特别注意

    之后点击如上图的确定(新手配置不要瞎点)

    之后又到了下图,再点击确定不要点别的

    之后到了下图页面,再点击确定就配好环境变量了(哎呀妈呀真费劲,为了第一次的小白配置,只能这么写了)

    Tomcat启动和验证配置环境变量是否成功

    Windows键+R,输入cmd,回车

    输入 startup.bat 后回车(你也可以到你解压的tomcat文件夹下的bin目录中点击startup.bat)

    之后出现了Tomcat的启动窗口,若没有报错或者一闪而过,那么说明启动成功了,让黑窗口保持运行,不能关,否则你的服务器也就关闭了,若出现了报错或者一闪而过(启动失败),可能是你的端口被占用,Tomcat默认的端口是8080,出现这两种情况那么可以试试以下两种

    一、重启电脑后再次按以上步骤启动Tomcat尝试是否能解决;

    二、修改Tomcat端口号后,再用以上步骤启动Tomcat。|| 修改端口号教程<点击进入

    三、若有问题,联系QQ(点击左方 技术交流栏目中QQ即可) ,如果我有时间,我会帮你远程操作

    欢迎加我的粉丝群,扫描左方栏目二维码(群号码:697614838)

    等等,重启前先把这篇文章的地址保存一下,或者直接关注我,待会你可能会找不到了

    之后验证环境变量是否配置成功,浏览器输入一下 http://localhost:8080 

    可以直接点击进入http://localhost:8080/

    切记,黑窗口一定不能关闭,否则等于Tomcat也关了!!!

    切记,黑窗口一定不能关闭,否则等于Tomcat也关了!!!

    切记,黑窗口一定不能关闭,否则等于Tomcat也关了!!!

    出现如下图,那么就说明配置成功了

    over,关注我一下吧,或者给我点个赞!

    扫描下二维码,加入我的QQ粉丝群吧!

     

     

    Tomcat部署项目

    Tomcat部署Web项目·内嵌https://blog.csdn.net/qq_40881680/article/details/100011988

    Tomcat部署Web项目·连接外部路径https://blog.csdn.net/qq_40881680/article/details/100047094

    帅的人会点赞,美的人也会点赞,好人也会点赞!

    帅的人会点赞,美的人也会点赞,好人也会点赞!

    帅的人会点赞,美的人也会点赞,好人也会点赞!

    常见问题

    问题一·正常运行却访问不了

    访问:https://blog.csdn.net/qq_40881680/article/details/100067140


    问题二·出现乱码

    访问:https://blog.csdn.net/qq_40881680/article/details/100067235


    问题三·出现Access Error:404 -- Not Found

    访问:https://blog.csdn.net/qq_40881680/article/details/100067301


    问题四·经过一系列修改后还是启动闪退

    此时此刻就不得怀疑是否是JDK版本的问题,有粉丝使用的是以下版本(12.0.1),启动后还是闪退,更换JDK版本即可(重新安装)

    我使用的是以下版本:

    若有问题,扫码加入Wehub QQ群 :我(群主)会帮你远程操作

     

     

    展开全文
  • SparkWindows环境搭建

    万次阅读 多人点赞 2016-10-19 23:40:21
    由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。为了突出”...

      由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。为了突出”From Scratch”的特点(都是标题没选好的缘故),所以下面的步骤稍显有些啰嗦,老司机大可不必阅读,直接跳过就好。
      

    一.JDK的安装与环境变量的设置

    1.1 JDK的安装

      JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,下载地址是Java SE Downloads,一般进入页面后,会默认显示一个最新版的JDK,如下图所示,当前最新版本是JDK 8,更为详细具体的地址是Java SE Development Kit 8 Downloads

      上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的一些更为详细的信息,如下图所示:


      首先,这里主要包含有8u101和8u102这两个版本,Java给出的官方说明是:

    “Java SE 8u101 includes important security fixes. Oracle strongly recommends that all Java SE 8 users upgrade to this release. Java SE 8u102 is a patch-set update, including all of 8u101 plus additional features (described in the release notes). ”

      也就是说Java推荐所有开发人员从以前的版本升级到JDK 8u101,而JDK 8u102则除了包括101的所有特性之外,还有一些其他的特性。对于版本的选择,自行选择就好了,其实对于普通开发人员来说,体现不了太大的区别,我这里就是使用的JDK 8u101版本。

      选好8u101版本后,再选择你的对应开发平台,由于我的机器是64位的,所以我这里选择Windows64位的版本。记得在下载之前,必须要接受上方的许可协议,在上图中用红色圈出。
      
      除了下载最新版本的JDK,也可以在Oracle Java Archive下载到历史版本的JDK,但官方建议只做测试用。
      
      JDK在windows下的安装非常简单,按照正常的软件安装思路去双击下载得到的exe文件,然后设定你自己的安装目录(安装目录在设置环境变量的时候需要用到)即可。
      

    1.2 环境变量的设置

      接下来设置相应的环境变量,设置方法为:在桌面右击【计算机】--【属性】--【高级系统设置】,然后在系统属性里选择【高级】--【环境变量】,然后在系统变量中找到“Path”变量,并选择“编辑”按钮后出来一个对话框,可以在里面添加上一步中所安装的JDK目录下的bin文件夹路径名,我这里的bin文件夹路径名是:F:\Program Files\Java\jdk1.8.0_101\bin,所以将这个添加到path路径名下,注意用英文的分号“;”进行分割。这样设置好后,便可以在任意目录下打开的cmd命令行窗口下运行

    java -version

    观察是否能够输出相关java的版本信息,如果能够输出,说明JDK安装这一步便全部结束了。

      全部流程如下图所示(后续软件安装的系统变量设置都是这套流程):

    1.3 一些题外话

     
      这里讲两句题外话,各位看官不关心的话可以跳过这里,不影响后续的安装步骤。
      在软件安装的时候,相信各位没少遇到过环境变量和系统变量,所以这里就来扒一扒令人头疼的PATH, CLASSPATHJAVA_HOME等参数的具体含义。

    1.3.1 环境变量、系统变量和用户变量

    • 环境变量包括系统变量和用户变量
    • 系统变量的设置针对该操作系统下的所有用户起作用;
    • 用户变量的设置只针对当前用户起作用

    如果对这些概念还不是特别熟悉的,建议先看完下面几个点之后,再回过头来看这三句话。

    1.3.2 PATH

      也就是上一步设置的系统变量,告诉操作系统去哪里找到Java.exe的执行路径,当你在命令行窗口冷不丁的敲上如下命令的时候,

    java -version

    操作系统首先会一惊,What the hell does “java” mean? 不过吐槽归吐槽,活还是得干,于是悠悠的记起来了盖茨爸爸说过的三句话:

    1. 当你看不懂命令行窗口中的一个命令的时候,你首先去你所在的当前目录下找找,是否有这个命令的.exe程序?如果有,那就用它来启动执行;
    2. 如果没有,千万别放弃,记得要去Path系统变量下的那些目录下去找一找,如果找到了,启动并执行命令;
    3. 如果上面两个地方依然还没找到,那你就撒个娇,报个错好了。

    所以我们将JDK安装目录下的bin文件夹添加到Path系统变量的目的也就在这里,告诉操作系统:如果在当前目录下找不到java.exe,就去Path系统变量里的那些路径下挨个找一找,直到找到java.exe为止。那为什么要设置bin文件夹,而不是JDK安装的根目录呢?原因就在于根目录下没有java.exe啊,只有bin文件夹下才有啊喂……

    如果只是在命令行窗口下运行一下java的命令,那其实也可以不设置系统变量,只是每次在命令行窗口运行java的命令时,都必须带上一长串路径名,来直接指定java.exe的位置,如下所示。

    C:\Users\weizierxu>F:\Program Files\Java\jdk1.8.0_101\bin\java.exe -version
    'F:\Program' 不是内部或外部命令,也不是可运行的程序
    或批处理文件。

    注意:这里报错的原因并不是说直接指定java.exe的路径名这种方式有问题,而是命令行下无法解析带有空格的路径名,所以需要用到双引号,如下:

    C:\Users\weizierxu>"F:\Program Files"\Java\jdk1.8.0_101\bin\java.exe -version
    java version "1.8.0_101"
    Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
    Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

    1.3.3 CLASSPATH

      CLASSPATH是在Java执行一个已经编译好的class文件时,告诉Java去哪些目录下找到这个class文件,比如你的程序里用到某个Jar包(Jar包里的都是已经编译好的class文件),那么在执行的时候,Java需要找到这个Jar包才行,去哪找呢?从CLASSPATH指定的目录下,从左至右开始寻找(用分号区分开的那些路径名),直到找到你指定名字的class文件,如果找不到就会报错。这里做一个实验,就能明白具体是什么意思了。
      首先,我在F:\Program Files\Java目录下,利用Windows自带的记事本写了一个类似于Hello World的程序,保存为testClassPath.java文件(注意后缀名得改成java),内容如下:

    public class testClassPath{
        public static void main(String[] args){
            System.out.println("Hello, this is a test on CLASSPATH!");
        }
    }

    然后,我将cmd的当前目录切换到(通过cd命令)F:\Program Files\Java目录下,然后用javac命令来对这个.java文件进行编译,如下图所示:


    从上图中可以看到,javac命令可以正常使用(没有任何输出的就表明正确编译了),这是因为执行该命令的javac.exe同样存在于JDK安装路径下的bin目录中,而这个目录我们已经添加到Path系统变量中去了,所以cmd能够认识这个命令。这个时候可以看到F:\Program Files\Java目录下多了一个testClassPath.class文件。不过运行这个class文件的时候,报错了。这个时候,CLASSPATH就派上用场了,和1.2节中对Path系统变量设置的方法一样,这里在CLASSPATH(如果系统变量的列表中没有CLASSPATH这个选项,那么点击新建,然后添加路径即可)中最后面添加上;.,英文的分号表示和前面已有的路径分割开,后面的小点.表示当前目录的意思。
    这个时候记得要另起一个新的cmd窗口,然后利用cd命令切换到testClassPath.class所在目录,然后再去执行,便可以成功得到结果了。

    F:\Program Files\Java>java testClassPath
    Hello, this is a test on CLASSPATH!

      因此,和Path变量不同的是,Java在执行某个class文件的时候,并不会有默认的先从当前目录找这个文件,而是只去CLASSPATH指定的目录下找这个class文件,如果CLASSPATH指定的目录下有这个class文件,则开始执行,如果没有则报错(这里有去当前目录下找这个class文件,是因为当前路径通过.的方式,已经添加到了CLASSPATH系统变量中)。
      上面讲的指定CLASSPATH系统变量的方法,都是直接写死在系统变量中的,为了避免造成干扰(比如多个同名class文件存在于多个路径中,这些路径都有添加到CLASSPATH系统变量中,由于在找class文件的时候,是从左往右扫描CLASSPATH系统变量中的路径的,所以在利用java testClassPath方法执行的时候,运行的便是位置在CLASSPATH系统变量中最左边的那个路径中,对应的class文件,而这显然不是我们想要的结果),因此在诸如Eclipse等等这些IDE中,并不需要人为手动设定CLASSPATH系统变量,而是只设定当前程序的特定的CLASSPATH系统变量,这样便不会影响到其他程序的运行了。

    1.3.4 JAVA_HOME

    JAVA_HOME并不是Java本身所需要的参数,而是其他的一些第三方工具需要这个参数来配置它们自己的参数,它存在的意义无非是告诉那些软件,我的JDK安装在这个目录下,你如果要用到我的Java程序的话,直接来我这个目录下找就好了,而JAVA_HOME就是JDK的安装路径名。比如我的JDK安装在F:\Program Files\Java\jdk1.8.0_101目录下(注意该目录下的bin目录,就是在1.3.2节里Path系统变量中要添加的值),那么JAVA_HOME里要添加的值便是F:\Program Files\Java\jdk1.8.0_101,以后碰到类似HOME的系统变量,都是软件的安装目录。

    二. Scala的安装

      首先从DOWNLOAD PREVIOUS VERSIONS下载到对应的版本,在这里需要注意的是,Spark的各个版本需要跟相应的Scala版本对应,比如我这里使用的Spark 1.6.2就只能使用Scala 2.10的各个版本,目前最新的Spark 2.0就只能使用Scala 2.11的各个版本,所以下载的时候,需要注意到这种Scala版本与Spark版本相互对应的关系。我这里现在用的是Scala 2.10.6,适配Spark从1.3.0到Spark 1.6.2之间的各个版本。在版本页面DOWNLOAD PREVIOUS VERSIONS选择一个适合自己需要的版本后,会进入到该版本的具体下载页面,如下图所示,记得下载二进制版本的Scala,点击图中箭头所指,下载即可:

      下载得到Scala的msi文件后,可以双击执行安装。安装成功后,默认会将Scala的bin目录添加到PATH系统变量中去(如果没有,和JDK安装步骤中类似,将Scala安装目录下的bin目录路径,添加到系统变量PATH中),为了验证是否安装成功,开启一个新的cmd窗口,输入scala然后回车,如果能够正常进入到Scala的交互命令环境则表明安装成功。如下图所示:

    如果不能显示版本信息,并且未能进入Scala的交互命令行,通常有两种可能性:
    - Path系统变量中未能正确添加Scala安装目录下的bin文件夹路径名,按照JDK安装中介绍的方法添加即可。
    - Scala未能够正确安装,重复上面的步骤即可。

    三. Spark的安装

      Spark的安装非常简单,直接去Download Apache Spark。有两个步骤:

    • 选择好对应Hadoop版本的Spark版本,如下图中所示;
    • 然后点击下图中箭头所指的spark-1.6.2-bin-hadoop2.6.tgz,等待下载结束即可。


      这里使用的是Pre-built的版本,意思就是已经编译了好了,下载来直接用就好,Spark也有源码可以下载,但是得自己去手动编译之后才能使用。下载完成后将文件进行解压(可能需要解压两次),最好解压到一个盘的根目录下,并重命名为Spark,简单不易出错。并且需要注意的是,在Spark的文件目录路径名中,不要出现空格,类似于“Program Files”这样的文件夹名是不被允许的。

      解压后基本上就差不多可以到cmd命令行下运行了。但这个时候每次运行spark-shell(spark的命令行交互窗口)的时候,都需要先cd到Spark的安装目录下,比较麻烦,因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\Spark\bin,那么就把这个路径名添加到系统变量的PATH中即可,方法和JDK安装过程中的环境变量设置一致,设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。

    四.HADOOP下载

      系统变量设置后,就可以在任意当前目录下的cmd中运行spark-shell,但这个时候很有可能会碰到各种错误,这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。在Hadoop Releases里可以看到Hadoop的各个历史版本,这里由于下载的Spark是基于Hadoop 2.6的(在Spark安装的第一个步骤中,我们选择的是Pre-built for Hadoop 2.6),我这里选择2.6.4版本,选择好相应版本并点击后,进入详细的下载页面,如下图所示,选择图中红色标记进行下载,这里上面的src版本就是源码,需要对Hadoop进行更改或者想自己进行编译的可以下载对应src文件,我这里下载的就是已经编译好的版本,即图中的’hadoop-2.6.4.tar.gz’文件。


      
      下载并解压到指定目录,然后到环境变量部分设置HADOOP_HOME为Hadoop的解压目录,我这里是F:\Program Files\hadoop,然后再设置该目录下的bin目录到系统变量的PATH下,我这里也就是F:\Program Files\hadoop\bin,如果已经添加了HADOOP_HOME系统变量,也可以用%HADOOP_HOME%\bin来指定bin文件夹路径名。这两个系统变量设置好后,开启一个新的cmd,然后直接输入spark-shell命令。

      正常情况下是可以运行成功并进入到Spark的命令行环境下的,但是对于有些用户可能会遇到空指针的错误。这个时候,主要是因为Hadoop的bin目录下没有winutils.exe文件的原因造成的。这里的解决办法是:
      
    - 去 https://github.com/steveloughran/winutils 选择你安装的Hadoop版本号,然后进入到bin目录下,找到winutils.exe文件,下载方法是点击winutils.exe文件,进入之后在页面的右上方部分有一个Download按钮,点击下载即可。
    - 下载好winutils.exe后,将这个文件放入到Hadoop的bin目录下,我这里是F:\Program Files\hadoop\bin
    - 在打开的cmd中输入

    F:\Program Files\hadoop\bin\winutils.exe chmod 777 /tmp/hive

    这个操作是用来修改权限的。注意前面的F:\Program Files\hadoop\bin部分要对应的替换成实际你所安装的bin目录所在位置。

      经过这几个步骤之后,然后再次开启一个新的cmd窗口,如果正常的话,应该就可以通过直接输入spark-shell来运行Spark了。
    正常的运行界面应该如下图所示:

    从图中可以看到,在直接输入spark-shell命令后,Spark开始启动,并且输出了一些日志信息,大多数都可以忽略,需要注意的是两句话:

    Spark context available as sc.
    SQL context available as sqlContext.

    Spark contextSQL context分别是什么,后续再讲,现在只需要记住,只有看到这两个语句了,才说明Spark真正的成功启动了。

    五. Python下的PySpark

      针对Python下的Spark,和Scala下的spark-shell类似,也有一个PySpark,它同样也是一个交互式的命令行工具,可以对Spark进行一些简单的调试和测试,和spark-shell的作用类似。对于需要安装Python的来说,这里建议使用Python(x,y),它的优点就是集合了大多数的工具包,不需要自己再单独去下载而可以直接import来使用,并且还省去了繁琐的环境变量配置,下载地址是Python(x,y) - Downloads,下载完成后,双击运行安装即可。因为本教程主要以Scala为主,关于Python的不做过多讲解。
      并且,pyspark的执行文件和spark-shell所在路径一致,按照上述方式解压好spark后,可以直接在cmd的命令行窗口下执行pyspark的命令,启动python的调试环境。
      但是如果需要在python中或者在类似于IDEA IntelliJ或者PyCharm等IDE中使用PySpark的话,需要在系统变量中新建一个PYTHONPATH的系统变量,然后

    PATHONPATH=%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.4-src.zip

    设置好后,建议使用PyCharm作为IDE(因为IDEA IntelliJ的设置繁琐很多,没耐心了设置一堆参数啦,哈哈哈)

    六. 小结

      至此,基本的Spark本地调试环境便拥有了,对于初步的Spark学习也是足够的。但是这种模式在实际的Spark开发的时候,依然是不够用的,需要借助于一个比较好用的IDE来辅助开发过程。下一讲就主要讲解ItelliJ IDEA以及Maven的配置过程。

    七. Tips

    • 血的教训:永远不要在软件的安装路径中留有任何的空格
    • 网上找Hadoop 2.7.2的winutils.exe找不到的时候,直接用2.7.1的winutils.exe,照样能用
       (2017.06.14更新) 

    参考

    展开全文
  • Python3.7.3安装(Win10)

    万次阅读 多人点赞 2019-04-21 20:59:46
    到2019年初,Python3已经更新到了Python3.7.3,Python有两个大版本Python2和Python3,Python3是现在和未来的主流。 本文介绍Python3.7.3的安装步骤. 一、下载Python3.7.3 1.百度搜索Python,找到Python官网,点击...

      Python3.7.3安装(Win10)

            到2019年初,Python3已经更新到了Python3.7.3,Python有两个大版本Python2和Python3,Python3是现在和未来的主流。

            本文介绍Python3.7.3的安装步骤.

    一、下载Python3.7.3

    1.百度搜索Python,找到Python官网,点击进入https://www.python.org/

    2.点击Python官网的Downloads,然后在下拉菜单中点Windows,进入版本选择页面

    3.进入版本选择页面,可以在最上面看到有Python3的最新版和Python2的最新版,在这里点击Python3.7.3进入下载页面(如果需要下载其他版本可以向下滚动页面,选择自己需要的版本)

    4.进入下载页面后,向下滚动鼠标,找到"Files",这里列出了Python3.7.3版本的不同操作系统的安装包或相关文件,我们是在Windows10里面安装,选择对应版本的安装包下载,点击下载,等待一会就可以下载完成了

     

    二、安装Python3.7.3

    1.将下载完成的Python3.7.3安装包剪切到电脑桌面(不放桌面也可以,只是这样更方便),双击打开,然后将下方的两个选项框都打钩,再点击Customize installation进入下一步

    2.这个界面默认所有选项都是打钩的,保持默认即可,点击Next进入下一步

    3.将Install for all users选项打钩,其他的选项保持默认,此时下方的默认安装路径为C:\Program Files\Python37,这里可以点击Browse,根据自己的需求选择安装目录,但是目录名中最好不要包含中文.

    如果C盘有很多空间,可以不更改,或者有固态硬盘的,可以选择将Python3.7.3装在固态盘中.

    确认好安装位置后,点击Install进行安装   

    4.现在Python3.7.3开始安装,可以看到安装的进度条在读条,什么也不用做,稍等一会就安装完成了

    5.进度条完成,会显示下面的菜单,表示已经安装成功了,现在点击Close即可,Python3.7.3已经安装成功了

    6.进入C:\Program Files\Python37目录,可以看到python.exe文件,Python3.7.3已经成功安装在这里了

     

    三、配置环境变量

           在安装完成Python3.7.3后,已经自动帮我们配好了环境变量(因为上面我们勾选了添加环境变量的选项,非常省事),我们直接在命令行里面使用python命令,就会进入Python3.7.3的交互界面.如果python命令之前是进入其他版本的Python,则现在已经被Python3.7.3覆盖了

           为了使用时可以和其他版本的Python进行区分,如与安装的Python2.7进行区分,电脑里还可能同时安装了其他版本的Python3,例如还安装有Python3.6,也要方便区分.我们到Python3.7.3的安装目录下,复制粘贴python.exe,并修改名字为python37.exe,这样在命令行中输入python37就可以进入Python3.7.3命令行模式

     

    四、验证安装结果

    1.按Win+R进入运行界面,在里面输入cmd回车,进入Windows的命令行,在命令行输入python37可以进入Python3.7.3的命令行模式,(输入a = 1,然后输入a,控制台输出1)测试成功,说明Python3.7.3安装成功

    2.也可以直接双击C:\Program Files\Python37的python.exe进入验证Python3.7.3是否安装完成

    现在,Python3.7.3已经安装完成.

     

    展开全文
  • Anaconda详细安装及使用教程(带图文)

    万次阅读 多人点赞 2018-08-15 17:48:52
     因为包含了大量的科学包,Anaconda 的下载文件比较(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。 Conda是一个开源的包、...
  • 文章里还有博主自己的愚见!!! 博主也是看到命令行参数(arg[1], arg[2])的时候,觉得一般的编译器都不能输入类似于命令行...首先写一完好的C语言程序,可以运行的通,自然是简单就好,下面给出一简单的示例
  • CentOS 7最小环境下安装Cinnamon桌面环境 ...这个环境是LinuxMint的默认桌面环境,现在看看CentOS 7上表现如何。 2 预备 2.1 硬件准备 先VMware Workstation上全新建立一台虚拟机,分配8GB内存,2个处理
  • Ubuntu搭建C/C++编程环境

    万次阅读 多人点赞 2017-10-06 15:27:24
    Ubuntu搭建C/C++编程环境 Ubuntu搭建C/C++编程环境,综合起来说就是vim+gcc+gdb。其中vim用于文本编辑,gcc用于程序编译,gdb用于代码调试。 要安装编程环境Terminal中执行sudo apt-get ...
  • 我们学习某一门语言初始,我们最先做的就是环境的搭建。相对于PHP开发语言言来说,其环境的搭建已经不是... 之所以先说PHPstudy主要是因为我使用这个使用的最多,绿色环境,解压就能用,切换版本相当方便,软件体积
  • Anaconda建立虚拟环境,安装Django

    千次阅读 2019-04-10 20:12:52
    原文网址:... 作者:wx2007300875 Django 是一Python定制框架,可用于简便、快速的开发数据库驱动的web站点。 要使用Django,首先要建立一虚拟工作环境。 使用工具:Anaconda P...
  • WIN10pytorch环境配置(安装了半天的血泪史)

    万次阅读 多人点赞 2020-03-05 04:12:46
    pytorch安装Anaconda 下载Anaconda 安装Anaconda 环境配置Anaconda Prompt显卡配置(无 Nvidia 显卡的略过)有序的管理环境安装 PyTorch 准备更换清华源.condarc继续安装 PyTorch验证是否安装成功关于报错下载时...
  • mac配置android开发环境

    万次阅读 2014-12-23 11:47:14
    1.安装java环境oracle官网下载java就可以,链接...安装adt-bundle形式的android开发环境由于google现在极力推广他的android studio,官网貌似已经把eclips
  • 用任何编程语言来开发程序,都是为了让计算机干活,比如下载一MP3,编写一文档等等,而计算机干活的CPU只认识机器指令,所以,尽管不同的编程语言差异极,最后都得“翻译”成CPU可以执行的机器指令。...
  • springboot配置多项目统一切换不同环境变量profile办法   springboot 适合于微服务那种多项目开发,每一小项目就是一springboot 项目,比如我们这样: 问题发生:   我们知道springboot 项目中的...
  • Win10系统配置jdk1.7环境环境变量配置问题

    万次阅读 多人点赞 2018-08-02 17:03:32
    对于刚入门新手,环境配置往往是个大麻烦,配了很久感觉没啥问题,但就是不好用。分享一下配置时候踩过的坑。其实很多人不知道为啥要配环境变量的,大多数是上网搜索安装JDK教程,然后按照教程走一遍流程,然后出现...
  • WindowsPATH,CLASSPATH等环境变量详解

    万次阅读 多人点赞 2017-05-22 00:51:38
    转载出处:http://legend2011.blog.51cto.com/3018495/553255,... 学习JAVA的过程中,涉及到多个环境变量(environment variable)的概念,如PATH,Classpath等。正确地配置这些环境变量,是能够顺
  • windows环境下python3安装Crypto

    万次阅读 多人点赞 2019-01-09 16:34:27
    pycrypto、pycrytodome和crypto是一个东西,cryptopython上面的名字是pycrypto,它是一个第三方库,但是已经停止更新三年了,所以不建议安装这个库; 这个时候pycryptodome就来了,它是pycrypto的延伸版本,用法和...
  • Ubuntu 18.04中配置GPU环境:安装CUDA 9.0等

    万次阅读 多人点赞 2019-04-25 09:14:31
    其中一的原因正是由于当前硬件设备(尤其是GPU技术)的发展,使得深层神经网络的超大计算量不再是洪水猛兽。本文演示Ubuntu 18.04系统上配置GPU环境(主要是安装CUDA)的基本过程与注意事项...
  • Anacondawindows安装与环境配置

    万次阅读 多人点赞 2018-07-25 21:18:43
    Anaconda 是一包含数据科学常用包的 Python...你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda,处理数据的过程将更加愉快。 Jupyter notebook 是一种 Web 文档,能让你将文本、图像和代码全部组合...
  • 强化学习仿真环境gym搭建

    万次阅读 多人点赞 2018-01-19 20:19:53
    然而,学习的第一步就是环境,所以首先搭建一gym的仿真环境现在大家用的最多的是openai的gym( openai/gym),或者universe(,openai/universe),。平台非常好,是通用的平台,而且与tensorflow和Theano...
  • windows 下环境变量 path 详解

    万次阅读 多人点赞 2016-10-14 09:06:22
    学习JAVA的过程中,涉及到多个环境变量(environment variable)的概念,如PATH。正确地配置这些环境变量,是能够顺利学习、开发的前提。而经常出现的问题是:有的学习者能够按照提示一步一步地正确配置,但时间一...
  • anaconda conda环境管理命令

    万次阅读 多人点赞 2018-02-27 14:45:25
    开始这个conda测试之前,你应该已经下载并安装好了Anaconda或者Miniconda注意:安装之后,你应该关闭并重新打开windows命令行。 一、Conda测试过程: 使用conda。首先我们将要确认你已经安装好了conda 配置...
  • Ubantu18.04环境下编译android源码

    万次阅读 2018-08-19 10:52:01
    最近看金泰延老师写的《Android 框架揭秘》一书,第一章就是下载并编译android源码,书中内容较为陈旧,所以不得不到网上收罗各种资料...另外还需要配置好git的user.email和user.name,这个自己随便写就行了 gi...
  • Linux环境下快速项目部署

    千次阅读 多人点赞 2014-05-16 13:59:15
    由于Linux和Java一样开源,所以现在在服务器的部署上基本上都是采用Linux平台作为服务器,然后部署项目!开发项目的过程中,绝部分程序猿还是使用最经典的windows操作系统,虽然Linux也有桌面化的系统,对于国人...
  • 环境光遮蔽主要用来控制物体和物体相交,夹角,褶皱等位置遮挡漫反射光线的效果,提高暗部阴影效果达到一种近似自阴影的效果,提升画面的层次感,增加细节。 本文主要实现几种主流的环境光遮蔽效果,AO贴图(使用预...
  • 搭建飞控开发环境:ubuntupixhawk开发环境搭建(PX4开发) 关于开发环境,可以选择Windows、Linux或者Mac,若选择Linux,建议安装Ubuntu16.04的版本,版本太旧会导致一些核心库文件无法下载。 博主最开始是用...
  • 初学者如何快速构建一Linux环境

    万次阅读 多人点赞 2018-07-24 17:38:54
    Linux系统的重要性越发突显,无论是传统的应用平台,还是云计算平台、大数据平台,还是现在及未来火热的人工智能平台都用到Linux系统。...本文是为初学才提供一快速构建一Linux学习环境的步骤...
  • Mac JAVA 环境变量的配置

    万次阅读 多人点赞 2019-02-09 23:42:40
    1.先点击 划红线的这个 【小火箭】 2.打开你会看到有【其他】 这一个栏目,点击打开。 3.打开后,你会看到这个【终端】,然后点击 4.会呈现出这样的界面 当然你别管是什么,紧接着第 5 步。   5.输入...
  • Visual Studio 2019 Python的开发环境搭建

    千次阅读 多人点赞 2020-11-27 15:52:29
    之所以会选择VS,是因为VS本身就是一功能非常强大的集成开发环境,其优秀的代码编辑和管理可能是其他IDE无法比拟的,再就是之前做C#开发,VC++开发都VS上进行的,不想因为现在想学习一下Pyth

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,029,956
精华内容 411,982
关键字:

在现在这个大环境下