精华内容
下载资源
问答
  • 机器学习模型可视化程序
    千次阅读
    2021-12-02 20:24:44

    一个完整的机器学习模型的流程

    总包含文章:

    机器学习作为人工智能的一个分支,在金融行业得到广泛的应用。然而,多数金融服务企业缺乏对机器学习价值的深入了解,其原因除了企业对机器学习缺乏深入的了解,对其价值抱有不切实际的期望,或者因为机器学习的研究和开发太高而望而却步,数据科学家和机器学习专家短缺也是重要的原因。在机器学习的推广方面,老企业因为需要更新数据和IT架构,推广力度和研发进度往往缺乏动力。

    本文介绍建立机器学习模型的主要步骤。

    前期准备:软件包和数据加载采集

    收集原始数据是机器学习过程的第一步,它从各个渠道被采集而来。数据的数量和质量直接影响模型的性能。在监督学习的场景中还需要对数据进行标记。例如,情感分析模型需要用标签标记。有时数据标记的工作往往非常耗时耗力,在某些场景中,这类工作不仅对人的专业背景要求高,而且完成标记所需的周期长。

    1. 数据处理和分析(EDA)

    原始数据往往有缺失信息或者噪音较多,需要将这些数据进行预处理,得到有效的训练数据。机器学习模型的数据预处理过程主要包含数据归一化(包括样本尺度归一化、逐样本的均值相减、标准化)和数据白化。另外,我们还需要将数据分为三种数据集,即:包括用来训练模型的训练集、开发过程中用户调参的验证集以及测试时所使用的测试集。

    在这里插入图片描述在这里插入图片描述

    2. 数据可视化(Data Visualization)

    数据可视化(Data Visualization)在机器学习中被大量使用,帮助用户直观地分析数据的特性,以及数据之间的相关性。如果使用Python开发机器学习模型,常用的可视化数据包有Matplotlib, Seaborn。此外,还可以通过一些数据分析软件帮助我们找寻数据间的关系与结构,进而设计更好的模型,例如power bi

    在这里插入图片描述

    3. 特征值工程

    在机器学习中,特征值(feature)是可度量的,反映观察对象特征的度量。特征值一般是数值型的,在特定应用中,结构化的或者图形化的特征值在模式识别中也有广泛的应用。当一个观察对象具有多维的特征时,特征值就构成了一个特征向量(feature vector)。所有观察对象的特征向量构成的空间就是特征空间(feature space)。

    特征值的重要性在于,它的选取和构造直接影响了模型的性能。原始数据的选取,特征值的构造和选择组成了特征值工程的主要部分。

    4. 机器学习模型

    • 选择模型

    机器学习模型类型众多,通常,根据可以实现的目标被分为三种主要类型:监督型模型,非监督型模型,强化学习模型。模型的选择依赖于数据的类型和问题本身需要达到的目标。以下举例说明常用的模型和相对应的应用场景。

    销售价格的预测,常用 Logistic Regression, XGBoost;图像处理,语音处理常用深度学习模型(Convolutional Neural Networks, Recurrent Neural Networks);错误信息检测常用Random Forest;试错学习常用 Reinforcement Learning;普通的分类问题常用 Fully Connected Networks或者Support Vector Machines。

    在这里插入图片描述

    • 训练模型

    在正式开始模型训练之前,需要针对我们的训练目标进行分类。理解目标的本质对选择训练的方式至关重要。前期算法工程师需要通过测试集和训练集,在集中可能的算法中做一些测试,再根据测试的结果选择具体的算法。有时候最终结果可能是多个模型结果的组合。

    • 模型评估

    利用在数据预处理中准备好的测试集对模型进行测试。由于测试集对模型来说是完全新的数据,因此可以客观地度量模型在现实世界中的性能表现。模型的效果通常以“拟合程度”来形容。值得注意的是,机器训练模型中经常出现过度拟合和拟合不足。

    在这里插入图片描述

    • 参数调整

    对模型评估结束后,可以通过调参对训练过程进行优化。参数可以分为两类,一类是超参数,即需要在训练前手动设置的参数,另一种是不需要手动设置、在训练过程中可以自动被调整的参数。调参的过程是一种基于数据集、模型、和训练过程细节的实证过程。

    根据模型测试的结果,调整特征值的选取,或者调整模型的参数,甚至尝试不同的模型。这是一个不断迭代的过程,直到取得满意的结果。

    • 预测

    得到最终的模型以后,对新的数据进行预测得到结果。

    更多相关内容
  • 在本文中,我们将会分享一些 Shap 创建的不同类型的机器学习模型可视化。 我们开始吧… 安装所需的库 使用pip安装Shap开始。下面给出的命令可以做到这一点。 pip install shap 导入所需库 在这一步中,我们将导入...

    解释一个机器学习模型是一个困难的任务,因为我们不知道这个模型在那个黑匣子里是如何工作的。解释是必需的,这样我们可以选择最佳的模型,同时也使其健壮。

    Shap 是一个开源的 python 库,用于解释模型。它可以创建多种类型的可视化,有助于了解模型和解释模型是如何工作的。

    在本文中,我们将会分享一些 Shap 创建的不同类型的机器学习模型可视化。

    我们开始吧…

    安装所需的库

    使用pip安装Shap开始。下面给出的命令可以做到这一点。

    pip install shap
    

    导入所需库

    在这一步中,我们将导入加载数据、创建模型和创建该模型的可视化所需的库。

    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    import shap
    from sklearn.model_selection import train_test_split
    import xgboost as xgb
    

    创建模型

    在这一步中,我们将创建机器学习模型。在本文中,我将创建一个XGBoost模型,但是你可以选择任何模型。我们将用于此模型的数据集是著名的糖尿病数据集,可从Kaggle下载。

    df = pd.read_csv('/content/Diabetes.csv')
    features = ['Pregnancies', 'Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']
    Y = df['Outcome']
    X =  df[features]
    X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 1234)
    xgb_model = xgb.XGBRegressor(random_state=42)
    xgb_model.fit(X_train, Y_train)
    

    创建可视化

    现在我们将为shap创建解释程序,找出模型的shape值,并使用它们创建可视化效果。

    explainer = shap.Explainer(xgb_model)
    shap_values = explainer(X_test)
    

    1、Bar Plot

    shap.plots.bar(shap_values, max_display=10)
    

    2、队列图

    shap.plots.bar(shap_values.cohorts(2).abs.mean(0))
    

    3、热图

    shap.plots.heatmap(shap_values[1:100])
    

    4、瀑布图

    shap.plots.waterfall(shap_values[0]) # For the first observation
    

    5、力图

    shap.initjs()
    explainer = shap.TreeExplainer(xgb_model)
    shap_values = explainer.shap_values(X_test)
    def p(j):
        return(shap.force_plot(explainer.expected_value, shap_values[j,:], X_test.iloc[j,:]))
    p(0)
    

    6、决策图

    shap_values = explainer.shap_values(X_test)[1]
    print("The expected value is ", expected_value)
    print("The final prediction is ", xgb_model.predict(X_test)[1])
    shap.decision_plot(expected_value, shap_values, X_test)
    

    这就是如何使用 Shap 创建与机器学习模型相关的可视化并对其进行分析。


    技术交流

    欢迎转载、收藏、有所收获点赞支持一下!

    在这里插入图片描述
    目前开通了技术交流群,群友超过2000人,添加方式如下:

    如下方式均可,添加时最好方式为:来源+兴趣方向,方便找到志同道合的朋友

    • 方式一、发送如下图片至微信,进行长按识别,回复加群;
    • 方式二、直接添加小助手微信号:pythoner666,备注:来自CSDN
    • 方式三、微信搜索公众号:Python学习与数据挖掘,后台回复:加群

    在这里插入图片描述

    展开全文
  • 理解和可视化机器学习中的数据迭代摘要绪论背景及相关工作理解数据迭代为什么要迭代数据数据迭代常用方法 摘要 成功的机器学习(ML)应用程序需要对建模和底层数据进行迭代。虽然先前的ML可视化工具主要集中在建模上...

    论文地址: Understanding and Visualizing Data Iteration in Machine Learning

    概览

    在这里插入图片描述

    绪论

    在这里插入图片描述
    一个传统的机器学习过程包括模型迭代和数据迭代,ML中有句俗语:垃圾输入,垃圾输出,说明了数据对于模型的重要性,机器学习研究人员经常通过迭代数据来提高模型性能,本文的研究主要集中在数据迭代上。

    背景及相关工作

    在本文中,我们将数据探索可视化技术扩展到随着模型开发时间的变化而变化的机器学习数据集,包括一种新的可视化方法,用于显示包含模型性能和支持数据版本比较的特征分布。

    理解数据迭代

    为什么要迭代数据

    • 数据引导建模
    • 数据提高性能
    • 世界在变,数据也在变

    数据迭代常用方法

    • Add
      • 添加采样实例
      • 添加特定实例
      • 添加合成实例
      • 添加标签
    • Remove
      • 移除实例
    • Modify
      • 修改特征、标签

    数据迭代的挑战

    • 跟踪试验和迭代历史
    • 何时"解冻"数据版本
    • 何时停止收集数据
    • 手动故障案例分析
    • 创建数据黑名单

    可视化数据迭代:动机和任务

    动机:用交互式可视化来了解数据演化如何影响模型性能
    任务

    • 跟踪和追溯数据版本上的数据迭代和模型度量
    • 属性模型度量更改为数据迭代
    • 通过训练、测试分割,性能(例如,正确的v.错误的预测)和数据版本(C2、C3、C5)来比较特征分布
    • 了解数据版本对模型的敏感性

    CHAMELEON: 不断变化数据的可视化分析

    在这里插入图片描述

    • 数据版本时间线:随时间变化的数据迭代
    • 特征视图:可视化演化分布
      在这里插入图片描述
    • 侧栏:可视化演化实例预测
      在这里插入图片描述
      A. 聚合嵌入:通过数据降维输出的离散化摘要图显示主数据版本,此图为用户提供了数据集的概述,对于发现类似实例的潜在集群非常有用
      B. 预测变化矩阵:显示了两个版本中存在的实例子集,并通过它们的预测正确性和版本对它们进行了划分
      C. 灵敏度直方图:显示了数据实例对所选版本范围内版本的预测敏感度
      在这里插入图片描述

    未来数据迭代工具的商机

    • 数据和模型迭代的接口
    • 帮助实验性切换的数据迭代工具
    • 数据作为跨用户专业技能的共享连接
    • 从数据编程中可视化概率标签
    • 限制:其他数据类型的可视化
    展开全文
  • 该项目包含一个干净优美的图形用户界面(GUI),该界面通过使用不同的Python库与8种机器学习模型和数据可视化工具进行交互。 在Rutgers,我们了解到Python是一种很棒的通用语言,它为所有专业的开发人员提供了极大的...
  • 三、设计目标本项目旨在设计出爬取效率较高的爬虫程序、充分而生动的可视化展示、误差较低的期望薪资预测模型 四、技术路线使用threading和queue进行多线程
  • 案例包括R语言程序调试、开发文本数据处理与挖掘的函数、各种可视化图集(具体可参考博客中展示的一部分)、k近邻与加权k近邻、最终的模型预测。 数据量为140多万记录,针对不同的预测变量进行了汇总,自己编写了对于k...
  • Model Builder是一个简单的UI工具,可在本地运行,以供开发人员在应用程序中构建,训练和运送自定义机器学习模型。 。 没有ML专业知识的开发人员可以使用此简单的可视化界面连接到他们存储在文件,SQL Server等中的...
  • 评估模型性能并使之可视化 设置 本教程包括一个用 Python 编写的 Jupyter Notebook。您可以使用免费试用帐户,通过 Watson Studio 在 IBM Cloud 上运行 Notebook。 注册或登录。 从 Try IBM Watson 页面登录到...
  • 机器学习案例之SVM人脸识别技术应用 PCA降维 网格搜索 结果可视化 该实验可用SVM技术进行人脸识别,通过不断调参增加人脸识别技术的准确性。

    基础知识介绍:

    LFW人脸识别数据集(http://vis-www.cs.umass.edu/lfw/)
    该实验可以在JupyterNotebook上运行,也可在其他Python程序上运行。(本人习惯用于JupyterNotebook)

    该实验可用SVM技术进行人脸识别,通过不断调参增加人脸识别技术的准确性。

    LWF数据库介绍:

    LFW (Labled Faces in the Wild)人脸数据集:是目前人脸识别的常用测试集,其中提供的人脸图片均来源于生活中的自然场景,因此识别难度会增大,尤其由于多姿态、光照、表情、年龄、遮挡等因素影响导致即使同一人的照片差别也很大。并且有些照片中可能不止一个人脸出现,对这些多人脸图像仅选择中心坐标的人脸作为目标,其他区域的视为背景干扰。LFW数据集共有13233张人脸图像,每张图像均给出对应的人名,共有5749人,且绝大部分人仅有一张图片。 每张图片的尺寸为250X250,绝大部分为彩色图像,但也存在少许黑白人脸图片。

    LFW (Labeled Faces in the Wild)人脸数据库是由美国马萨诸塞州立大学阿默斯特分校计算机视觉实验室整理完成的数据库,主要用来研究非受限情况下的人脸识别问题。LFW数据库主要是从互联网上搜集图像,而不是实验室,- 共含有13000 多张人脸图像,每张图像都被标识出对应的人的名字,其中有1680 人对应不只一张图像,即大约1680个人包含两个以上的人脸。

    LFW数据集主要测试人脸识别的准确率,该数据库从中随机选择了6000对人脸组成了人脸辨识图片对,其中3000对属于同一个人2张人脸照片,3000对属于不同的人每人1张人脸照片。测试过程LFW给出一对照片,询问测试中的系统两张照片是不是同一个人,系统给出“是”或“否”的答案。通过6000对人脸测试结果的系统答案与真实答案的比值可以得到人脸识别准确率。

    这个集合被广泛应用于评价face verification算法的性能。

    实验步骤及讲解:

    一、导入所需的库

    import matplotlib.pyplot as plt  #matplotlib画图库
    from sklearn.model_selection import train_test_split #拆分数据集
    from sklearn.datasets import fetch_lfw_people #导入LFW人脸数据集
    from sklearn.model_selection import GridSearchCV #导入网格搜索
    from sklearn.metrics import classification_report #导入精度、召回率、F1
    from sklearn.svm import SVC #导入SVM库
    from sklearn.decomposition import PCA #导入PCA降维库
    

    二、载入数据:

    lfw_people = fetch_lfw_people(min_faces_per_person = 70,resize = 0.4)
    

    查看LFW人脸数据集讲解:

    print(lfw_people.DESCR)
    

    在这里插入图片描述
    (由于内容过长,只展示部分内容)

    三、导出一张图片进行讲解:

    plt.imshow(lfw_people.images[0],cmap = "gray")
    plt.show()
    

    结果为:
    在这里插入图片描述

    查看照片的数据格式:

    n_samples,h,w = lfw_people.images.shape
    pri
    print(h)
    print(w)
    

    结果为:

    1288
    50
    37
    

    命令解释:

    • n_samples:图像的个数
    • h: 图片的宽度
    • w: 图片的长度
    lfw_people.data.shape
    

    结果为:

    (1288, 1850)
    

    结果表示为:有1288张图像,数据特征有1850个。

    四、查看数据标签
    4.1 类别里面有谁的名字

    target_names = lfw_people.target_names
    target_names
    

    结果为:

    array(['Ariel Sharon', 'Colin Powell', 'Donald Rumsfeld', 'George W Bush',
           'Gerhard Schroeder', 'Hugo Chavez', 'Tony Blair'], dtype='<U17')
    

    4.2 数据集中有多少人需要区分

    n_classes = lfw_people.target_names.shape[0]
    n_classes
    

    结果为:

    7
    

    表示有7个人需要区分

    五、拆分训练集与测试集实例化

    x_train,x_test,y_train,y_test = train_test_split(lfw_people.data,lfw_people.target)
    

    六、建立SVM分类模型

    6.1 模型实例化

    model = SVC(kernel = 'rbf',class_weight = 'balanced')
    

    6.2 模型训练

    model.fit(x_train,y_train)
    

    6.3 模型预测

    predictions = model.predict(x_test)
    

    6.4 模型评估

    print(classification_report(y_test,predictions,target_names=lfw_people.target_names))
    

    结果为:
    在这里插入图片描述

    七、PCA降维

    7.1 100个维度

    n_components = 100
    

    7.2 建立PCA模型

    pca = PCA(n_components = n_components,whiten = True).fit(lfw_people.data)
    

    7.3 将特征向量转化成低维矩阵

    x_train_pca = pca.transform(x_train)
    x_test_pca = pca.transform(x_test)
    x_train_pca.shape
    

    结果为:
    (996,100)

    7.4 模型实例化

    model = SVC(kernel = 'rbf',class_weight = 'balanced')
    

    7.5 模型训练

    model.fit(x_train_pca,y_train)
    

    结果为:

    SVC(class_weight='balanced')
    

    7.6 模型预测

    predictions = model.predict(x_test_pca)
    

    7.7 模型评估

    print(classification_report(y_test,predictions,target_names = target_names))
    

    结果为:
    在这里插入图片描述
    通过与6.4对比 accuracy 、 macro avg 、weighted avg值发现,降维后人脸识别准确率有了增长。
    【提示】:各位博主可通过更改降维值发现准确率是否提升,在此我只将维度降为100,各位可以进行尝试。

    八、网格搜索

    8.1 网格搜索调参

    param_grid = {'C':[0.1,1,5,10,100],
                  'gamma':[0.005,0.001,0.005,0.01],}
    

    命令解释:

    • C: 错误惩罚权重
    • gamma:建立核函数的不同比例

    8.2 模型实例化

    model = GridSearchCV(SVC(kernel = 'rbf',class_weight = 'balanced'),param_grid)
    

    【注】:选择核函数,建SVC,尝试运行,获取最好参数

    8.3 模型训练

    model.fit(x_train_pca,y_train)
    

    8.4输出最佳参数:

    print(model.best_estimator_)
    

    结果为:

    SVC(C=1, class_weight='balanced', gamma=0.005)
    

    8.5 模型预测:

    predictions = model.predict(x_test_pca)
    

    8.6 模型评估

    print(classification_report(y_test,predictions,target_names = target_names))
    

    结果为:
    在这里插入图片描述
    通过与6.4对比 accuracy 、 macro avg 、weighted avg值发现,网格搜索调参后人脸识别准确率也增长。

    九、结果可视化

    9.1画图,3行5列

    def plot_gallery(images,titles,h,w,n_row = 3,n_col=5):
        plt.figure(figsize=(1.8 * n_col,2.4 * n_row))
        plt.subplots_adjust(bottom = 0,left = .01,right = .99,top = .90,hspace = .35)
        for i in range(n_row * n_col):
            plt.subplot(n_row , n_col, i + 1)
            plt.imshow(images[i].reshape((h,w)),cmap = plt.cm.gray)
            plt.title(titles[i],size = 12)
            plt.xticks(())
            plt.xticks(())
    

    9.2 获取一张图片title

    def title(predictions,y_est,target_names,i):
        pred_name = target_names[predictions[i]].split(' ')[-1]
        true_name = target_names[y_test[i]].split(' ')[-1]
        return 'predicted: %s\ntrue:      %s' % (pred_name, true_name)
    

    9.3 获取所有图片title

    prediction_tites = [title(predictions,y_test,target_names,i)\
                        for i in range(len(predictions))]
    

    9.4 打印特征脸

    plot_gallery(x_test, prediction_titles, h, w)
    

    9.5 画图

    plt.show()
    

    结果为:
    在这里插入图片描述


    完整代码


    #导入必要的库
    import matplotlib.pyplot as plt
    from sklearn.model_selection import train_test_split
    from sklearn.datasets import fetch_lfw_people
    from sklearn.model_selection import GridSearchCV
    from sklearn.metrics import classification_report
    from sklearn.svm import SVC
    from sklearn.decomposition import PCA
    #载入数据
    lfw_people = fetch_lfw_people(min_faces_per_person = 70,resize = 0.4)
    print(lfw_people.DESCR)
    plt.imshow(lfw_people.images[0],cmap = "gray")
    plt.show()
    #查看照片的数据格式
    n_samples,h,w = lfw_people.images.shape
    print(n_samples)
    print(h)
    print(w)
    lfw_people.data.shape
    target_names = lfw_people.target_names
    target_names
    n_classes = lfw_people.target_names.shape[0]
    n_classes
    #拆分训练集与测集
    x_train,x_test,y_train,y_test = train_test_split(lfw_people.data,lfw_people.target)
    #建立SVM分类模型
    ##模型实例化
    model = SVC(kernel = 'rbf',class_weight = 'balanced')
    ##模型训练
    model.fit(x_train,y_train)
    ##模型预测
    predictions = model.predict(x_test)
    ##模型评价
    print(classification_report(y_test,predictions,target_names=lfw_people.target_names))
    #100个维度
    n_components = 100
    pca = PCA(n_components = n_components,whiten = True).fit(lfw_people.data)
    x_train_pca = pca.transform(x_train)
    x_test_pca = pca.transform(x_test)
    x_train_pca.shape
    model = SVC(kernel = 'rbf',class_weight = 'balanced')
    model.fit(x_train_pca,y_train)
    predictions = model.predict(x_test_pca)
    print(classification_report(y_test,predictions,target_names = target_names))
    #网格搜索
    param_grid = {'C':[0.1,1,5,10,100],
                  'gamma':[0.005,0.001,0.005,0.01],}
    model = GridSearchCV(SVC(kernel = 'rbf',class_weight = 'balanced'),param_grid)
    model.fit(x_train_pca,y_train)
    print(model.best_estimator_)
    predictions = model.predict(x_test_pca)
    print(classification_report(y_test,predictions,target_names = target_names))
    #画图,3行5列
    def plot_gallery(images,titles,h,w,n_row = 3,n_col=5):
        plt.figure(figsize=(1.8 * n_col,2.4 * n_row))
        plt.subplots_adjust(bottom = 0,left = .01,right = .99,top = .90,hspace = .35)
        for i in range(n_row * n_col):
            plt.subplot(n_row , n_col, i + 1)
            plt.imshow(images[i].reshape((h,w)),cmap = plt.cm.gray)
            plt.title(titles[i],size = 12)
            plt.xticks(())
            plt.xticks(())
    #获取一张图片title
    def title(predictions,y_est,target_names,i):
        pred_name = target_names[predictions[i]].split(' ')[-1]
        true_name = target_names[y_test[i]].split(' ')[-1]
        return 'predicted: %s\ntrue:      %s' % (pred_name, true_name)
    #获取所有图片title
    prediction_tites = [title(predictions,y_test,target_names,i)\
                        for i in range(len(predictions))]
    # 画图
    plot_gallery(x_test, prediction_titles, h, w)
    plt.show()
    
    展开全文
  • 使用Pylab和Matplotlib可视化数字。 6 显示MNIST数据集编号(完整字符) 7 编写程序以划分数据集。 8 西雅图图书馆 9 了解线性回归 10 分散 11 创建线性回归模型 12 创建温度预测模型 13 评估模型性能 ...
  • 多元线性回归程序示例 类似的,我们也可以实现多元线性回归。这里,我们需要创建多个特征(x),我们也可以像之前程序那样,随机生成多个特征,不过,这里,我们使用sklearn库提供的更方面的方法。 from sklearn....
  • 机器学习】交叉验证详细解释+10种常见的验证方法具体代码实现+可视化图 一、使用背景 由于在训练集上,通过调整参数设置使估计器的性能达到了最佳状态;但在测试集上可能会出现过拟合的情况。 此时,测试集上的...
  • 通过配置参数,针对导入的数据集进行机器学习分类、回归、聚类等模型的数据分析、清洗建模过程代码的生成。
  • 使用Flask进行机器学习模型部署

    千次阅读 2020-08-09 22:35:55
    该Web应用程序可以是某些网页,博客或我们的机器学习模型预测Web应用程序。 Flask是将我们的模型与前端网页连接以进行预测的中间媒介, 如下图所示。 API Data Flow API数据流 先决条件 (Prerequisites) We assume ...
  • 08-11 期,MedicalSeg 3D医学图像分割工具包、EasyRec 深度学习推荐算法框架、Nitro 用 Python 写 web 应用的框架、ImageNet 标注工具(前端)、feder 神经网络可视化工具、在生产中部署机器学习模型的5个考虑因素、...
  • 机器学习模型可解释性的详尽介绍

    千次阅读 多人点赞 2019-11-26 12:22:00
    机器之心平台来源:腾讯技术工程模型可...本文对机器学习模型可解释性相关资料汇总survey。综述机器学习业务应用以输出决策判断为目标。可解释性是指人类能够理解决策原因的程度。机器学习模型的可解释性越高,人...
  • 机器学习15】决策树模型详解

    万次阅读 多人点赞 2020-09-19 20:12:26
    模型基本流程二、熵的作用三、决策树构造实例四、信息增益率和gini系数五、剪枝方法六、分类、回归任务七、树模型可视化展示八、决策边界展示分析九、决策树预剪枝常用参数十、回归树模型总结 前言 随着人工智能...
  • 提高机器学习模型性能的五个关键方法

    万次阅读 多人点赞 2018-09-08 11:52:10
    如何提高机器学习模型性能, 可从五个关键方面入手。 1. 数据预处理 2. 特征工程 3. 机器学习算法 4. 模型集成与融合 5. 数据增强 以下是各个方面的具体分析和方法: [ 说明:1、这里主要是各个关键方法的...
  • Netron 是神经网络、深度学习与机器学习模型可视化工具。 1.在网页端直接使用(适合使用模型结构脚本文件) Step1.输入网址:https://lutzroeder.github.io/netron/ 网页加载... 完成后见到如下界面: Step2....
  • 机器学习模型部署的三种方法

    千次阅读 2020-08-13 10:49:29
    “企业机器学习需要从数据工程和数据平台的角度看待大局[...],”贾斯汀·诺曼(Justin Norman)在今年巴塞罗那的DataWorks峰会上关于机器学习模型的部署的演讲中说。实际上,工业机器学习系统是庞大数据基础架构的...
  • 基于Python构建机器学习Web应用

    千次阅读 多人点赞 2022-06-03 17:11:43
    在本文中,我们基于之前的亚洲美食数据集构建了SVC模型,并介绍了模型可视化工具Netron与Onnx模型格式的使用。与之前基于Python的pkl格式模型相比,Onnx格式的模型适用性更好,可以在多个平台使用。且OnnxRuntime...
  • 股票数据价格区间预测模型(国外+国内数据)2.3.1 模块加载与忽略警告设置2.3.2 加载数据和数据筛选2.3.3 探索式数据分析(EDA)2.3.4 探究字段之间的关联性2.3.5 特征工程2.3.6 模型创建与应用2.3.7 模型对比2.3.8 ...
  • 深度学习-71: Tensorflow的架构、模型可视化和案例库。文本介绍Tensorflow的架构,Tensorflow内置数据集,Tensorflow内置模型、内置可视化支持和相关在线资源。Tensorflow一个高度模块化的神经网络库,支持GPU和...
  • 基于特征码比对的一代技术 基于行为分析的二代技术 基于机器学习的三代技术 ...机器学习模型调试过程示例 机器学习引擎的工作过程 机器学习引擎截获未知恶意程序日志-WannaCry 跨代融合的终端安全防护
  • 使用机器学习算法进行预测分析并进行网上部署9 使用机器学习算法进行预测分析9.1 数据探索式分析9.1.1 环境配置与数据读入9.1.2 探究延误航班有多少数据量9.1.3 探究出发延期到达提前的数据量9.1.4 探究延误的平均...
  • 机器学习模型应用以及模型优化的一些思路

    万次阅读 多人点赞 2017-03-09 19:55:45
    本文会介绍如何应用机器学习模型来构建一个智能应用的通用的过程以及过程中每个环节一些实践性的思路,包括问题界定和定义、 label标注的定义、 数据样本的筛选和构造、 选择机器学习算法、 确定模型性能的度量...
  • tensorboard的可视化及模型可视化

    万次阅读 2017-08-15 10:14:03
    待整理How to Check-Point Deep ...Tensorboard 中文社区谷歌发布TensorBoard API,让你自定义机器学习中的可视化 查找tensorflow安装的位置pip show tensorflow-gpuName: tensorflow-gpu Version: 1.0.1 Summary: Tens
  • ML:根据不同机器学习模型输出的预测值+且与真实值相减得到绝对误差对比+误差可视化 目录 输出结果 实现代码 输出结果 实现代码 # -*- coding: utf-8 -*- #ML:根据不同机器学习模型输出的...
  • 数据聚焦于数据的采集、清理、预处理、分析和挖掘,图形聚焦于解决对光学图像进行接收、提取信息、加工变换、模式识别及存储显示,可视化聚焦于解决将数据转换成图形,并进行交互处理。 信息:是数据的内涵,信息是...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 43,791
精华内容 17,516
热门标签
关键字:

机器学习模型可视化程序