K临近分类算法是数据挖掘中较为简单的一种分类方法，通过计算不同数据点间的距离对数据进行分类，并对新的数据进行分类预测。我们在之前的文章《K邻近(KNN)分类和预测算法的原理及实现》和《协同过滤推荐算法的原理及实现》两篇文章中都详细介绍过。本篇文章将介绍在python中使用机器学习库sklearn建立K临近模型(k-NearestNeighbor)的过程并使用模型对数据进行预测。
准备工作
首先是开始前的准备工作，导入我们需要使用的库文件。这里一共需要使用5个库文件。第一个是机器学习库，第二个是用于模型检验的交叉检验库，第三个是数值计算库，第四个是科学计算库，最后是图表库。
#导入机器学习KNN分析库
from sklearn.neighbors import KNeighborsClassifier
#导入交叉验证库
from sklearn import cross_validation
#导入数值计算库
import numpy as np
#导入科学计算库
import pandas as pd
#导入图表库
import matplotlib.pyplot as plt
读取并查看数据表
读取并导入所需数据，创建名为knn_data的数据表，后面我们将使用这个数据对模型进行训练和检验。
#读取并创建名为knn_data的数据表
knn_data=pd.DataFrame(pd.read_csv('knn_data.csv'))
使用head函数查看数据表的内容，这里只查看前5行的数据，数据表中包含三个字段，分别为贷款金额，用户收入和贷款状态。我们希望通过贷款金额和用户收入对最终的贷款状态进行分类和预测。
#查看数据表前5行
knn_data.head(5)
绘制散点图观察分类
创建模型之前先对数据汇总散点图，观察贷款金额和用户收入两个变量的关系以及对贷款状态的影响，下面是具体的代码，根据贷款状态将数据分为两组，第一组为Fully Paid，第二组为Charged Off。
#Fully Paid数据集的x1
fully_paid_loan=knn_data.loc[(knn_data["loan_status"] == "Fully Paid"),["loan_amnt"]]
#Fully Paid数据集的y1
fully_paid_annual=knn_data.loc[(knn_data["loan_status"] == "Fully Paid"),["annual_inc"]]
#Charge Off数据集的x2
charged_off_loan=knn_data.loc[(knn_data["loan_status"] == "Charged Off"),["loan_amnt"]]
#Charge Off数据集的y2
charged_off_annual=knn_data.loc[(knn_data["loan_status"] == "Charged Off"),["annual_inc"]]
数据分组后开始绘制散点图，下面是绘图过程和具体的代码。
#设置图表字体为华文细黑，字号15
plt.rc('font', family='STXihei', size=15)
#绘制散点图，Fully Paid数据集贷款金额x1，用户年收入y1，设置颜色，标记点样式和透明度等参数
plt.scatter(fully_paid_loan,fully_paid_annual,color='#9b59b6',marker='^',s=60)
#绘制散点图，Charge Off数据集贷款金额x2，用户年收入y2，设置颜色，标记点样式和透明度等参数
plt.scatter(charged_off_loan,charged_off_annual,color='#3498db',marker='o',s=60)
#添加图例，显示位置右上角
plt.legend(['Fully Paid', 'Charged Off'], loc='upper right')
#添加x轴标题
plt.xlabel('贷款金额')
#添加y轴标题
plt.ylabel('用户收入')
#添加图表标题
plt.title('贷款金额与用户收入')
#设置背景网格线颜色，样式，尺寸和透明度
plt.grid( linestyle='--', linewidth=0.2)
#显示图表
plt.show()
在散点图中，紫色三角形为Fully Paid组，蓝色圆形为Charged Off组。我们所要做的是通过KNN模型对这两组数据的特征进行学习，例如从肉眼来看Fully Paid组用户收入要高于Charged Off组。并使用模型对新的数据进行分类预测。
设置模型的自变量和因变量
创建KNN模型前，先设置模型中的自变量和因变量，也就是特征和分类。这里将贷款金额和用户收入设置为自变量，贷款状态是我们希望预测的结果，因此设置为因变量。
#将贷款金额和用户收入设为自变量X
X = np.array(knn_data[['loan_amnt','annual_inc']])
#将贷款状态设为因变量Y
Y = np.array(knn_data['loan_status'])
设置完成后查看自变量和因变量的行数，这类一共有29行数据，后面我们将把这29行数据分割为训练集和测试集，训练集用来建立模型，测试集则对模型的准确率进行检验。
#查看自变量和因变量的行数
X.shape,Y.shape
将数据分割为训练集和测试集
采用随机抽样的方式将数据表分割为训练集和测试集，其中60%的训练集数据用来训练模型，40%的测试集数据用来检验模型准确率。
#将原始数据通过随机方式分割为训练集和测试集，其中测试集占比为40%
X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, Y, test_size=0.4, random_state=0)
分割后测试集的数据为17条。这些数据用来训练模型。
#查看训练集数据的行数
X_train.shape,y_train.shape
对模型进行训练
将训练集数据X_train和y_train代入到KNN模型中，对模型进行训练。下面是具体的代码和结果。
#将训练集代入到KNN模型中
clf = KNeighborsClassifier(n_neighbors=3)
clf.fit(X_train,y_train)
使用测试集测对模型进行测试
使用测试集数据X_test和y_test对训练后的模型进行检验，模型准确率为75%。
#使用测试集衡量模型准确度
clf.score(X_test, y_test)
完成训练和测试后，使用模型对新数据进行分类和预测，下面我们建立一组新的数据，贷款金额为5000元，用户收入为40000，看看模型对新数据的分组结果。
#设置新数据，贷款金额5000，用户收入40000
new_data = np.array([[5000,40000]])
模型对新数据的分组结果为Charged Off。这个分类准确吗？我们继续再来看下模型对这组新数据分组的概率。
#对新数据进行分类预测
clf.predict(new_data)
67%的概率为Charged Off，33%的概率为Fully Paid。根据这一概率模型将新数据划分到Charged Off组。
#新数据属于每一个分类的概率
clf.classes_,clf.predict_proba(new_data)
—【所有文章及图片版权归 蓝鲸(王彦平)所有。欢迎转载，但请注明转自“蓝鲸网站分析博客”。】—

我正在学习Pythorch的基础知识，并打算创建一个简单的4层网络来训练虹膜数据集进行分类。在参考了许多教程之后，我写了这段代码。在import pandas as pd
from sklearn.datasets import load_iris
import torch
from torch.autograd import Variable
epochs=300
batch_size=20
lr=0.01
#loading data as numpy array
data = load_iris()
X=data.data
y=pd.get_dummies(data.target).values
#convert to tensor
X= Variable(torch.from_numpy(X), requires_grad=False)
y=Variable(torch.from_numpy(y), requires_grad=False)
print(X.size(),y.size())
#neural net model
model = torch.nn.Sequential(
torch.nn.Linear(4, 10),
torch.nn.ReLU(),
torch.nn.Dropout(),
torch.nn.Linear(10, 5),
torch.nn.ReLU(),
torch.nn.Dropout(),
torch.nn.Linear(5, 3),
torch.nn.Softmax()
)
print(model)
# Loss and Optimizer
optimizer = torch.optim.Adam(model.parameters(), lr=lr)
loss_func = torch.nn.CrossEntropyLoss()
for i in range(epochs):
# Forward pass
y_pred = model(X)
# Compute and print loss.
loss = loss_func(y_pred, y)
print(i, loss.data[0])
# Before the backward pass, use the optimizer object to zero all of the
# gradients for the variables it will update (which are the learnable weights
# of the model)
optimizer.zero_grad()
# Backward pass
loss.backward()
# Calling the step function on an Optimizer makes an update to its parameters
optimizer.step()
目前我面临两个问题。在我想将批大小设置为20。我该怎么做？在
在这个步骤y_pred = model(X)它显示了这个错误
错误
^{pr2}$

PS：这里不是使用caffe默认的终端调用训练指令，而是使用python脚本来进行网络训练，并在网络训练完毕后显示训练过程的loss和accuracy。

详细脚本如下：

1）需要修改的变量：

cafferoot=‘caffe根目录’

solver='网络solver文件'

loss和accuracy为自己网络文件中对应层的名称。

2）其中绿色、黄色和红色曲线分别代表训练loss、测试loss和测试的accuracy。

#coding=utf-8
import sys
cafferoot='/data_1/caffe-path/caffe-refinedet-shufflenet-nocudnn'	#修改为自己的caffe路径
sys.path.insert(0,cafferoot+'/python')  
import matplotlib.pyplot as plt 
from numpy import zeros,arange 
from math import ceil
import caffe   
caffe.set_device(0)  
caffe.set_mode_gpu()   
# 使用SGDsolver，即随机梯度下降算法，这个要看你solver文件里，一般不写的话就是sgd  
#solver=caffe.AdamSolver('/root/caffe/examples/mnist/lenet_solver_adam.prototxt')
solver = caffe.SGDSolver('/data_1/deep_learning_layer/layer/Resnet18/net/ResNet-18-depthwise/net_dw_thin/mobilenet_resnet18_solver.prototxt')  
  
# 等价于solver文件中的max_iter，即最大解算次数  
max_iter = 200000  
# 每隔100次收集一次数据  
display= 100  
  
# 每次测试进行100次解算，
test_iter = 100  
# 每10000次训练进行一次测试（100次解算）
test_interval =10000 
  
#初始化 
train_loss = zeros(int(max_iter * 1.0 / display))   
test_loss = zeros(int(max_iter * 1.0 / test_interval))  
test_acc = zeros(int(max_iter * 1.0 / test_interval))  
  
# iteration 0，不计入  
solver.step(1)  
  
# 辅助变量  
_train_loss = 0; _test_loss = 0; _accuracy = 0  
# 进行解算  
for it in range(max_iter):  
    # 进行一次解算  
    solver.step(1)  
    # 每迭代一次，训练batch_size张图片  
    _train_loss += solver.net.blobs['loss'].data  #注意，这里的‘loss’为你使用的网络中loss层的名称
 
    if it % display == 0:  
        # 计算平均train loss  
        train_loss[it // display] = _train_loss / display  
        _train_loss = 0  
  
    if it % test_interval == 0:  
        for test_it in range(test_iter):  
            # 进行一次测试  
            solver.test_nets[0].forward()  
            # 计算test loss  
            _test_loss += solver.test_nets[0].blobs['loss'].data	#注意，这里的‘loss’为你使用的网络中loss层的名称
            # 计算test accuracy  
            _accuracy += solver.test_nets[0].blobs['acc/top-1'].data	#注意，这里的‘acc/top-1’为你使用的网络中Accuracy层的名称
 
        # 计算平均test loss  
        test_loss[it / test_interval] = _test_loss / test_iter  
        # 计算平均test accuracy  
        test_acc[it / test_interval] = _accuracy / test_iter  
        _test_loss = 0  
        _accuracy = 0  
  
# 绘制train loss、test loss和accuracy曲线  
print '\nplot the train loss and test accuracy\n'  
_, ax1 = plt.subplots()  
ax2 = ax1.twinx()  
  
# train loss -> 绿色  
ax1.plot(display * arange(len(train_loss)), train_loss, 'g')  
# test loss -> 黄色  
ax1.plot(test_interval * arange(len(test_loss)), test_loss, 'y')  
# test accuracy -> 红色  
ax2.plot(test_interval * arange(len(test_acc)), test_acc, 'r')  
  
ax1.set_xlabel('iteration')  
ax1.set_ylabel('loss')  
ax2.set_ylabel('accuracy')  
plt.show()

 

Google提供了一个工具，TensorBoard，它能以图表的方式分析你在训练过程中汇总的各种数据，其中包括Graph结构。
所以我们可以简单的写几行Pyhton，加载Graph，只在logdir里，输出Graph结构数据，并可以查看其图结构。
执行下述代码，将数据流图保存为图片，在目录F:/tensorflow/graph下生成文件events.out.tfevents.1508420019.XM-PC
import tensorflow as tf
from tensorflow.python.platform import gfile
graph = tf.get_default_graph()
graphdef = graph.as_graph_def()
_ = tf.train.import_meta_graph("model.ckpt.metaa")
summary_write = tf.summary.FileWriter("./" , graph)
summary_write.close()
启用tensorboard
我用的python开发环境是Anaconda
(1)打开Anaconda Prompt，输入activate tensorflow进入tensorflow环境；
(2)开启tensorboard，输入如下命令
tensorboard --logdir=F://tensorflow//graph
其中logdir中的参数就是代码中保存graph的路径，如果写为单斜杠，tensorboard可打开，但graphs中显示“No graph definition files were found”，并不显示graph，路径参数改为双斜杠就可以了。
3.用tensorboard查看生成的graph
(1)在谷歌浏览器中打开http://127.0.0.1:6006/，会显示橙色界面；
(2)在第一行的选项卡中选择graphs，即可看到结果。
以上这篇tensorflow通过模型文件,使用tensorboard查看其模型图Graph方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持python博客。