精华内容
下载资源
问答
  • 2021-04-20 08:43:23

    我想比较不同的机器学习算法.作为其中的一部分,我需要能够执行

    grid search for optimal hyperparameters.但是,我并没有真正想到为每个固定算法和其超参数的固定子集编写单独的网格搜索实现.相反,我希望它看起来更像是在

    scikit-learn,但可能没有那么多的功能(例如我不需要多个网格)并用MATLAB编写.

    到目前为止,我试图理解尚未编写的grid_search.m的逻辑

    function model = grid_search(algo, data, labels, varargin)

    p = inputParser;

    % here comes the list of all possible hyperparameters for all algorithms

    % I will just leave three for brevity

    addOptional(p, 'kernel_function', {'linear'});

    addOptional(p, 'rbf_sigma', {1});

    addOptional(p, 'C', {1});

    parse(p, algo, data, labels, varargin{:});

    names = fieldnames(p.Results);

    values = struct2cell(p.Results); % a cell array of cell arrays

    argsize = 2 * length(names);

    args = cell(1, argsize);

    args(1 : 2 : argsize) = names;

    % Now this is the stumbling point.

    end

    对grid_search函数的调用应如下所示:

    m = grid_search('svm', data, labels, 'kernel_function', {'rbf'}, 'C', {[0.1], [1], [10]}, 'rbf_sigma', {[1], [2], [3]})

    m = grid_search('knn', data, labels, 'NumNeighbors', {[1], [10]}, 'Distance', {'euclidean', 'cosine'})

    然后第一个调用将尝试rbf内核与Constraints和Sigmas的所有组合:

    {'rbf', 0.1, 1}

    {'rbf', 0.1, 2}

    {'rbf', 0.1, 3}

    {'rbf', 1, 1}

    {'rbf', 1, 2}

    {'rbf', 1, 3}

    {'rbf', 10, 1}

    {'rbf', 10, 2}

    {'rbf', 10, 3}

    args变量背后的想法是它是{‘name1′,’value1′,’name2′,’value2′,…,’nameN’,’valueN’}形式的单元格数组,稍后将会出现传递给相应的算法:algo(data,labels,args {:}). {name1′,’name2′,…,’nameN’}部分很容易.问题是我不能不知道如何在每一步创建{‘value1′,’value2′,…,’valueN’}部分.

    我知道每个人都不知道机器学习术语这就是为什么下面是一个自包含的例子:

    假设TARDIS的船员可能包括以下类别的生物:

    tardis_crew = {{'doctor'}, {'amy', 'clara'}, {'dalek', 'cyberman', 'master'}}

    由于Timelord,Companion和Villain总有一个地方,请告诉我如何生成以下单元格数组:

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'dalek'}

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'cyberman'}

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'master'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'dalek'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'cyberman'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'master'}

    解决方案应该是通用的,即如果一个类中的生物数量发生变化或者添加了更多类生物,它应该仍然有效.我非常感谢一步一步的descritption而不是代码.

    PS:原始grid_search.m的non-stripped github版本可能会让你更好地了解我的意思.

    更多相关内容
  • 如果您设置参数的上下限和间隔,框约束和核尺度,应用程序搜索最佳参数集。
  • 单台地震自动定位网格搜索法及其MATLAB试验.pdf
  • 搜索算法用于寻找从开始状态到目标状态的优化路径。 尽管存在一些缺点,但使用该算法可以解决大多数搜索问题。 D、D星、AD星是该算法的一些修改版本
  • 以某偏微分方程为例,应用多重网格法进行了求解,编写了matlab程序,注释详细,并对计算结果进行了分析。
  • 主要功能svm_grid_search使用以下参数执行网格搜索:要使用的内核名称,内核值,boxconstraint值和kktviolatonlevel级别的值。 它给出了带有训练过的 SVM 的输出数组,显示 SVM 是否无法训练(收敛)的数组,以及...
  • SIMPGRIDSEARCH 使用网格搜索 + 单纯形的多维无约束非线性最小化。 X = SIMPGDSEARCH(OBJFUN,GDVALUES) 返回一个向量 X,它是 OBJFUN 中描述的函数(通常是一个 m 文件:OBJFUN.M)的最小值。 有关如何编写目标...
  • 然而,我并不是真的想为每个固定算法和超参数的固定子集写一个单独的网格搜索实现。相反,我希望它看起来更像scikit-learn,但可能没有太多功能(例如,我不需要多个网格)并使用MATLAB编写。算法不可知的超参数在...

    我想比较不同的机器学习算法。作为其中的一部分,我需要能够执行grid search for optimal hyperparameters。然而,我并不是真的想为每个固定算法和超参数的固定子集写一个单独的网格搜索实现。相反,我希望它看起来更像scikit-learn,但可能没有太多功能(例如,我不需要多个网格)并使用MATLAB编写。算法不可知的超参数在MATLAB中的网格搜索

    到目前为止,我想了解的还没有被写入grid_search.m

    function model = grid_search(algo, data, labels, varargin)

    p = inputParser;

    % here comes the list of all possible hyperparameters for all algorithms

    % I will just leave three for brevity

    addOptional(p, 'kernel_function', {'linear'});

    addOptional(p, 'rbf_sigma', {1});

    addOptional(p, 'C', {1});

    parse(p, algo, data, labels, varargin{:});

    names = fieldnames(p.Results);

    values = struct2cell(p.Results); % a cell array of cell arrays

    argsize = 2 * length(names);

    args = cell(1, argsize);

    args(1 : 2 : argsize) = names;

    % Now this is the stumbling point.

    end

    到grid_search函数的调用逻辑应该是这个样子:

    m = grid_search('svm', data, labels, 'kernel_function', {'rbf'}, 'C', {[0.1], [1], [10]}, 'rbf_sigma', {[1], [2], [3]})

    m = grid_search('knn', data, labels, 'NumNeighbors', {[1], [10]}, 'Distance', {'euclidean', 'cosine'})

    的第一个电话,然后会尝试rbf内核与约束条件和sigma的所有组合:

    {'rbf', 0.1, 1}

    {'rbf', 0.1, 2}

    {'rbf', 0.1, 3}

    {'rbf', 1, 1}

    {'rbf', 1, 2}

    {'rbf', 1, 3}

    {'rbf', 10, 1}

    {'rbf', 10, 2}

    {'rbf', 10, 3}

    args变量背后的想法是它是一个格式为{'name1', 'value1', 'name2', 'value2', ..., 'nameN', 'valueN'}的单元格数组,它将在稍后传递给相应的算法:algo(data, labels, args{:})。 {'name1', 'name2', ..., 'nameN'}的一部分很简单。问题是我不能在每个步骤中指定如何创建{'value1', 'value2', ..., 'valueN'}零件。

    据我所知,机器学习术语并不无人不晓这就是为什么下面自带一个独立的例子:

    假设TARDIS的船员可以由人类的下列类:

    tardis_crew = {{'doctor'}, {'amy', 'clara'}, {'dalek', 'cyberman', 'master'}}

    因为总是有一个Timelord,同伴和对手只是一个地方,请告诉我如何生成以下电池阵列:

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'dalek'}

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'cyberman'}

    {'Timelord', 'doctor', 'Companion', 'amy', 'Villain', 'master'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'dalek'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'cyberman'}

    {'Timelord', 'doctor', 'Companion', 'clara', 'Villain', 'master'}

    该解决方案应该是一般性的,即如果一个类中生命的数量发生了变化,或者增加了更多类别的生命,它仍然应该起作用。我会非常感谢一步一步的解释,而不是代码。

    PS:non-stripped github版本的原始grid_search.m可能会让您更好地了解我的意思。

    展开全文
  • FMG运行图 MATLAB递归代码clear; clc;global f1f1 = fopen('out1.txt', 'w'); %该文件只是为了测试k = 5; ks = 1;% 总的网格层、开始层gamma = 1; ncy = 1;% 类型(V or W), 总的循环次数nu0 = 6; nu1 =2; nu2 = 1;...

    FMG运行图

    b4d5269f8575e1c352195c2a15e39f37.png

    MATLAB递归代码

    clear; clc;

    global f1

    f1 = fopen('out1.txt', 'w'); %该文件只是为了测试

    k = 5; ks = 1;% 总的网格层、开始层

    gamma = 1; ncy = 1;% 类型(V or W), 总的循环次数

    nu0 = 6; nu1 =2; nu2 = 1;

    fmg(k, ks, nu0, nu1, nu2, gamma, ncy)

    fclose(f1);

    a = load('out1.txt');

    figure(1)

    plot(a, 'bo-', 'LineWidth', 1.5);

    % FMG

    function fmg(k, ks, nu0, nu1, nu2, gamma, ncy)

    global f1

    if k == ks

    if ks == 1

    for i = 1 : nu0

    % 迭代代码

    fprintf(f1, '%d\n', k);

    end

    else

    for j = 1 : ncy

    cycle(k, nu0, nu1, nu2, gamma);

    end

    end

    else

    if k > ks

    fmg(k - 1, ks, nu0, nu1, nu2, gamma, ncy)

    % 向高一层插值代码

    for j = 1 : ncy

    cycle(k, nu0, nu1, nu2, gamma);

    end

    end

    end

    end

    function cycle(k, nu0, nu1, nu2, gamma)

    global f1

    if k == 1

    for i = 1 : nu0

    % 迭代代码

    fprintf(f1, '%d\n', k);

    end

    else

    for i = 1 : nu1

    % 迭代代码

    fprintf(f1, '%d\n', k);

    end

    for j = 1 : gamma

    cycle(k - 1, nu0, nu1, nu2, gamma);

    end

    for i = 1 : nu2

    % 迭代代码

    fprintf(f1, '%d\n', k);

    end

    end

    end

    运行图

    6ca203c6824269aa1335d364d5004a46.png

    由上图可知,实现了FMG循环的功能。

    参考文献

    Venner C.H., Lubrecht A.A. Multilevel methods in lubrication [M]. Elsevier, 2000.

    展开全文
  • 单台地震自动定位网格搜索法及其MATLAB试验
  • 网络搜索方法及其扫描缩放版本,用于找到f(x,y)的最优值。
  • 比较了现今应用比较广泛的3种支持向量机( SVM)参数优化方法. 具体分析了网格法、遗传算法和粒子群算 法在 SVM参数优化方面的性能以及优缺点,... 实验表明改进的网格搜索法耗时短,更适用于有时间要求的说话人识别应用中.
  • 序寻优matlab代码ILQR 和 MPC 群控制使用随机有限集理论应用于 Clohessy-Wiltshire 相对运动模型和加速度模型。 Bryce Doerr 的 MATLAB 代码 doerr024(at)umn.edu 论文“Random Finite Set Theory and Optimal ...
  • 折交叉验证进行网格搜索,请下载 并将其添加到您的 MATLAB 搜索路径中。 测试这个的脚本是: boundary_learning_2d.m boundary_learning_robots.m 这些包含必要的代码片段,用于为 2D 玩具问题和真实的大数据自碰撞...
  • 网格搜索法

    万次阅读 多人点赞 2018-08-28 21:37:09
    网格搜索法是指定参数值的一种穷举搜索方法,通过将估计函数的参数通过交叉验证的方法进行优化来得到最优的学习算法。 即,将各个参数可能的取值进行排列组合,列出所有可能的组合结果生成“网格”。然后将各组合...

    网格搜索法是指定参数值的一种穷举搜索方法,通过将估计函数的参数通过交叉验证的方法进行优化来得到最优的学习算法。

    即,将各个参数可能的取值进行排列组合,列出所有可能的组合结果生成“网格”。然后将各组合用于SVM训练,并使用交叉验证对表现进行评估。在拟合函数尝试了所有的参数组合后,返回一个合适的分类器,自动调整至最佳参数组合,可以通过clf.best_params_获得参数值

     

     

     

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_32547403/article/details/73008127

    交叉验证与网格搜索

    交叉验证与网格搜索是机器学习中的两个非常重要且基本的概念,但是这两个概念在刚入门的时候并不是非常容易理解与掌握,自己开始学习的时候,对这两个概念理解的并不到位,现在写一篇关于交叉验证与网格搜索的文章,将这两个基本的概念做一下梳理。

    网格搜索

    网格搜索(Grid Search)名字非常大气,但是用简答的话来说就是你手动的给出一个模型中你想要改动的所用的参数,程序自动的帮你使用穷举法来将所用的参数都运行一遍。决策树中我们常常将最大树深作为需要调节的参数;AdaBoost中将弱分类器的数量作为需要调节的参数。

    评分方法

    为了确定搜索参数,也就是手动设定的调节的变量的值中,那个是最好的,这时就需要使用一个比较理想的评分方式(这个评分方式是根据实际情况来确定的可能是accuracy、f1-score、f-beta、pricise、recall等)

    交叉验证

    有了好的评分方式,但是只用一次的结果就能说明某组的参数组合比另外的参数组合好吗?这显然是不严谨的,上小学的时候老师就告诉我们要求平均��。所以就有了交叉验证这一概念。下面以K折交叉验证为例介绍这一概念。

    1. 首先进行数据分割 
      将原始数据集分为训练集和测试集。如下图以8:2的方式分割: 
      png 
      训练集使用来训练模型,测试集使用来测试模型的准确率。 
      注意:绝对不能使用测试集来训练数据,这相当于考试的时候先让你把考试的答案背过了,又让你参加考试。
    2. 数据验真 
      在k折交叉验证方法中其中K-1份作为训练数据,剩下的一份作为验真数据:

    png1 
    这个过程一共需要进行K次,将最后K次使用实现选择好的评分方式的评分求平均返回,然后找出最大的一个评分对用的参数组合。这也就完成了交叉验证这一过程。

    ### 举例 下面使用一个简单的例子(预测年收入是否大于5万美元)来进行说明网格搜索与交叉验证的使用。 数据集来自[UCI机器学习知识库](https://archive.ics.uci.edu/ml/datasets/Census+Income)。

    import numpy as np
    import pandas as pd
    from IPython.display import display
    from sklearn.preprocessing import MinMaxScaler
    from sklearn.model_selection import train_test_split
    from sklearn.metrics import make_scorer, fbeta_score, accuracy_score
    from sklearn.model_selection import GridSearchCV, KFold
    
    %matplotlib inline 
    
    data = pd.read_csv("census.csv")
    
    # 将数据切分成特征和标签
    income_raw = data['income']
    features_raw = data.drop('income', axis=1)
    
    # 显示部分数据
    # display(features_raw.head(n=1))
    
    # 因为原始数据中的,capital-gain 和 capital-loss的倾斜度非常高,所以要是用对数转换。
    skewed = ['capital-gain', 'capital-loss']
    features_raw[skewed] = data[skewed].apply(lambda x: np.log(x + 1))
    
    # 归一化数字特征,是为了保证所有的特征均被平等的对待
    scaler = MinMaxScaler()
    numerical = ['age', 'education-num', 'capital-gain', 'capital-loss', 'hours-per-week']
    features_raw[numerical] = scaler.fit_transform(data[numerical])
    # display(features_raw.head(n=1))
    
    # 独热编码,将非数字的形式转化为数字
    features = pd.get_dummies(features_raw)
    income = income_raw.replace(['>50K', ['<=50K']], [1, 0])
    
    # 切分数据集
    X_train, X_test, y_train, y_test = train_test_split(features, income, test_size=0.2, random_state=0)
    
    # Adaboost
    from sklearn.ensemble import AdaBoostClassifier
    clf_Ada = AdaBoostClassifier(random_state=0)
    
    # 决策树
    from sklearn.tree import DecisionTreeClassifier
    clf_Tree = DecisionTreeClassifier(random_state=0)
    
    # KNN
    from sklearn.neighbors import KNeighborsClassifier
    clf_KNN = KNeighborsClassifier()
    
    # SVM
    from sklearn.svm import SVC
    clf_svm = SVC(random_state=0)
    
    # Logistic
    from sklearn.linear_model import LogisticRegression
    clf_log = LogisticRegression(random_state=0)
    
    # 随机森林
    from sklearn.ensemble import RandomForestClassifier
    clf_forest = RandomForestClassifier(random_state=0)
    
    # GBDT
    from sklearn.ensemble import GradientBoostingClassifier
    clf_gbdt = GradientBoostingClassifier(random_state=0)
    
    # GaussianNB
    from sklearn.naive_bayes import GaussianNB
    clf_NB = GaussianNB()
    
    scorer = make_scorer(accuracy_score)
    
    # 参数调优
    
    kfold = KFold(n_splits=10)
    # 决策树
    parameter_tree = {'max_depth': xrange(1, 10)}
    grid = GridSearchCV(clf_Tree, parameter_tree, scorer, cv=kfold)
    grid = grid.fit(X_train, y_train)
    
    print "best score: {}".format(grid.best_score_)
    display(pd.DataFrame(grid.cv_results_).T)

    best score: 0.855737070514.dataframe thead tr:only-child th { text-align: right; } .dataframe thead th { text-align: left; } .dataframe tbody tr th { vertical-align: top; }

     012345678
    mean_fit_time0.05625350.06921330.08851260.1102330.1283370.1587190.171240.1936370.223979
    mean_score_time0.002404740.002282120.002215290.00260470.002267720.002542970.002314810.002466960.00256622
    mean_test_score0.751140.8238110.8393450.8399260.8466710.8523920.8515080.8531390.855737
    mean_train_score0.751140.824210.8396280.8405030.8478780.8533290.8552640.8592020.863667
    param_max_depth123456789
    params{u’max_depth’: 1}{u’max_depth’: 2}{u’max_depth’: 3}{u’max_depth’: 4}{u’max_depth’: 5}{u’max_depth’: 6}{u’max_depth’: 7}{u’max_depth’: 8}{u’max_depth’: 9}
    rank_test_score987653421
    split0_test_score0.7606410.82670.8438360.8446660.8515750.8557210.8554450.860420.859038
    split0_train_score0.7500840.8238280.8391840.839430.8475380.8529130.8542950.8599470.863233
    split1_test_score0.7581540.8211720.8391380.8424540.8452180.8496410.8477060.8507460.852957
    split1_train_score0.7503610.8244420.8397060.8459110.8500880.8542030.8558310.8614820.864984
    split2_test_score0.7548370.8242120.8402430.840520.84660.8546160.8543390.8540630.856551
    split2_train_score0.7507290.8247180.8390310.8393070.8473230.8522370.8542030.8595780.86397
    split3_test_score0.731620.8206190.8380320.8383080.84660.8507460.8485350.8468770.852957
    split3_train_score0.7533090.8245030.8398290.8401060.8483370.8537420.855370.8581040.863171
    split4_test_score0.7465450.8186840.833610.8338860.839690.8479820.8454950.850470.848811
    split4_train_score0.7516510.8247180.8403210.8405970.8448970.8535580.8583190.8619120.864922
    split5_test_score0.7542840.8261470.8449420.8452180.8540630.8590380.857380.8582090.861802
    split5_train_score0.7507910.8238890.8390610.8393380.8473230.8527290.8541110.8569670.862741
    split6_test_score0.7542840.8253180.8380320.8377560.8454950.8485350.8485350.8521280.857103
    split6_train_score0.7507910.8239810.8398290.8401670.8484290.8537730.8556470.8577660.863141
    split7_test_score0.7497930.8213990.8354990.8354990.8446230.852640.8520870.8537460.85264
    split7_train_score0.751290.8244160.8401110.8404180.8483720.8535010.8549450.8608110.863882
    split8_test_score0.7533870.8263750.8382640.838540.844070.8520870.8529170.8523640.858446
    split8_train_score0.7508910.8238640.8398030.840080.8483720.8530710.8549450.8578010.863391
    split9_test_score0.7478570.8274810.8418580.8424110.848770.8529170.852640.8523640.857064
    split9_train_score0.7515050.8237410.8394040.8396810.8480960.8535630.8549750.8576470.863237
    std_fit_time0.01235830.004427880.005520260.006316910.00531950.01570110.004769910.006228540.0147429
    std_score_time0.0005292140.0004670910.0003550280.0007606240.0004608290.0005046270.0004462890.0004452560.000449312
    std_test_score0.007698980.002924640.003331180.003587760.003824960.003244060.003604140.003663890.00363761
    std_train_score0.0008554820.0003661660.0004189730.001852640.001246980.0005531710.001161510.001687320.000726325
    展开全文
  • matlab实现了图像通信中的全搜索算法与三步搜索算法这两种运动估值算法,给出了运动矢量图,对两种方法的计算复杂度和搜索性能进行了客观的比较。
  • LIBSVM 是台湾大学林智仁( Chih-Jen Lin)教授开发的。 说明:本教程仅针对电脑为64位的计算机,如果是32位的...① 将解压好的文件夹粘贴到Matlab的安装路径下的toolbox中 ② 打开matlab设置工具箱 ③添加工具箱文件
  • 超参数优化:网格搜索法

    千次阅读 2020-06-07 21:20:15
    使用Python完成网格搜索法在机器学习和深度学习的小案例!
  • 将支持向量机(SVM)理论与网格搜索及交叉验证相结合,应用于梯级水电系统隐随机优化调度中,实现径流不确定条件下的梯级实际优化运行。以系统结构风险最小为SVM训练目标,结合参数分布规律,采用指数划分的网格搜索...
  • 打开matlab机器学习工具箱选择决策树模型进行训练 选择准确度较高的决策树进行导出,点击右上角生成函数 导出后将已知变量进行替换(可以参考我ROC那篇博文) 确定要调整的参数,本文以下图箭头所指两参数为例:...
  • cg_matlab_优化算法_

    2021-10-02 04:57:08
    利用网格参数算法来寻找svm中的最有参数,与粒子群优化算法比较
  • 简单的网格法人脸识别算法,matlab程序代码
  • 聚类属于一种无监督学习方法,受自然界山体形式的启发,设计了一种邻域网格聚类算法。自然界中独立的山体可视为一个独立的类簇,山顶即为类簇中心,山底即为类簇的边缘。试想:将二维平面的离散数据点(如图1所示)以...
  • 程序有算例分析,详细介绍了三种优化SVM方法:遗传算法、PSO、网格搜索法
  • 《热传导方程有限差分MATLAB实现-史策》由会员分享,可在线阅读,更多相关《热传导方程有限差分MATLAB实现-史策(4页珍藏版)》请在读根文库上搜索。1、理论物理与应用物理学研究 收稿日期 :2009-04-20 作者...
  • 网络搜索法求公切线的MATLAB程序,程序十分简洁,复杂度低。
  • matlab实现二分法查找

    2021-04-18 03:22:42
    上次谈到matlab实现数据的位图数结构,实现大量数据的排序和存储,节省时间和空间。那么还是没有解决大量数据中查询特定数值的问题,有相关的解决办法,比如说,线性查找,即一个一个数据判断是否为真。举个例子说,...
  • 有限差分matlab实现

    千次阅读 2021-04-19 05:20:00
    《有限差分matlab实现》由会员分享,可在线阅读,更多相关《有限差分matlab实现(13页珍藏版)》请在金锄头文库上搜索。1、 有限差分解静电场的边值问题的算法实现及相关问题讨论: 王宁远 中国科学技术大学...
  • test_size=0.3) train_target,test_target=train_test_split(target,random_state=2,train_size=0.7,test_size=0.3) 网格搜索,找到最优参数,kflod为3折交叉验证,由于电脑性能问题,在gridsearchcv中未加入kflod ...
  • 文章目录 安装libsvm 安装MinGW C/C++编译器 配置编译器 下载葡萄酒数据 原始数据处理 划分测试集和训练集 制作libsvm要求数据集 网格搜索-参数寻优(c、g) 建立模型 安装libsvm 安装libsvm详细 安装MinGW C/C++...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,769
精华内容 707
关键字:

网格搜索法matlab程序

matlab 订阅