最近在学习利用spark进行数据挖掘，整理了一下安装过程，以前安装过老版本，不能跟上发展需要，一下问新版本安装过程仅供参考：

一.软件下载地址：

由于我电脑是windows的但是windows安装会遇到很多兼容性问题，因此在本机安装了虚拟机进行学习，整理了VMware、ubuntu镜像文件、jdk、Hadoop、scala、spark和anaconda的下载地址：

VMware下载地址：      点击打开链接

ubuntu镜像文件下载地址：    点击打开链接

jdk下载地址:     点击打开链接

hadoop下载地址:    点击打开链接

scala下载地址:    点击打开链接

spark下载地址：    点击打开链接

anaconda3下载地址：   点击打开链接

2.软件安装过程：

2.1VMware和ubuntu安装过程

VMware和ubuntu安装过程：点击打开链接

2.2 安装软件

tar -zxvf   XXX解压文件，解压后可以直接使用（jdk、Hadoop、scala、spark路径）

bash anacondaXXX(anaconda路径)

2.3环境变量配置



2.4 测试是否正确安装

出现如下：说明java正确安装





出现如下说明scala正确安装



出现如下说明spark正确安装



出现如下说明pyspark正确安装



主要安装步骤如上，接下来就研究spark使用

网上基本没有关于虚拟机安装tensorflow的文章，然后以为虚拟机vmware安装ubuntu18.04后，可以在上面安装tensorflow-gpu的版本。
然后装了一天的cuda9.0都装不上，vmware上的ubuntu18.04一直提示，无法安装nvidia图形驱动，后来下载了nvidia-384.run也没用；另外还尝试了ppa安装，都失败了。 
纠结这么就之后查了一下显卡信息，发现虚拟机里面只有虚拟显卡，没有nvidia显卡，所以无论如何都装不上nvidia驱动，也就装不上cuda，更不用说tensorflow-gpu了。 
总结，虚拟机上老老实实的装tensorflow的CPU版本吧！

背景：由于公司部署的服务器A处于内网，因此需要在服务器上部署程序时需要完成虚拟环境的迁移。

环境： python3.6 windows server 2012

服务器A上安装Anaconda
服务器A上创建虚拟环境

conda create -n yourenvname --offline


服务器A上离线安装pip

conda install pip --offline


开发机B打包下载依赖包

activate yourenvname
pip freeze >requirements.txt
pip download  -r requirements.txt  -d yourprojectdir\whls


将开发机B上的项目文件全部拷贝至服务器A上
服务器A上安装依赖包

activate yourenvname
cd yourprojectdir
pip install --no-index --find-links= yourprojectdir\whls -r requirements.txt


完成。

在没有root权限的服务器上安装
服务器上似乎什么都没有，且权限很低，为了不干扰别人，需要在虚拟环境中运行。

流程：安装pip->通过pip安装virtualenv->虚拟环境下安装tensorflow
安装pip
wget https://bootstrap.pypa.io/get-pip.py
python3 get-pip.py --user

由于现在都用python3，所以不讨论2的情况，由于没有权限，所以必须加--user
用pip安装virtualenv
虽然用的是服务器，但是也出现了超时错误，所以使用清华的镜像
 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple virtualenv --user

同样需要加--user解决权限的问题

创建虚拟环境并安装tensorflow

这一部分参考了廖雪峰的博客，创建单独目录并切换到该目录下，没有按照博客说的不装所有的库，所以如此创建：
virtualenv venv

使用source进入环境
source venv/bin/activate

退出方法也很简单
deactivate

我为我的虚拟环境命名为了venv，在以虚拟环境运行时就会出现

(venv)
在虚拟环境中安装tensorflow1.4版本，因为目前主流都是1.几的，同样为了避免速度的问题，使用清华镜像，服务器还没装GPU，所以先下载的CPU的版本
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.4

安装完进入python3中import tensorflow，结果出现了如下的报错

/home/***/***/venv/lib/python3.5/site-packages/tensorflow/python/framework/dtypes.py:469:

FutureWarning: Passing (type, 1) or ‘1type’ as a synonym of type is

deprecated; in a future version of numpy, it will be understood as

(type, (1,)) / ‘(1,)type’.   _np_qint8 = np.dtype([(“qint8”, np.int8,

1)])

可以看到是np库也就是numpy有些没兼容，方法是降numpy的版本
pip install -U numpy==1.16.0

使用镜像应该会更快一点，但是这个大小也能忍了。。

至此降级了numpy，安装了tensorflow，再在python3中测试，没有bug
在本机安装
本机已经安装了pip3，之前总是出现超时错误，所以和服务器端一样，使用镜像，并且降级numpy就可以了。
在Anaconda中使用
其实并没有太高清anaconda中的python和本机的python的区别和联系，尤其在库函数上感觉非常迷。

但是juypter notebook的及时性还是非常时候入门上手，所以尝试
import tensorflow as tf

结果出现了报错

h5py_init_.py:26：FutureWarning: Conversion of the second argument of

issubdtype from float to np.floating is deprecated. In future, it

will be treated as np.float64 == np.dtype(float).type.   from ._conv

import register_converters as _register_converters

解决办法就是更新这个h5py的包
pip install h5py==2.8.0rc1

然后就可以了