精华内容
下载资源
问答
  • Sequential 模型

    千次阅读 2018-04-07 09:34:16
    #将层的列表传递给 Sequential 的构造函数,来创建一个 Sequential 模型 from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential([ Dense(32, input_shape=(784,)),...

    模型构建:
    方法一:

    #将层的列表传递给 Sequential 的构造函数,来创建一个 Sequential 模型
    from keras.models import Sequential
    from keras.layers import Dense, Activation
    
    model = Sequential([
        Dense(32, input_shape=(784,)),
        Activation('relu'),
        Dense(10),
        Activation('softmax'),
    ])

    方法二:用 .add() 方法将各层添加到模型中

    model = Sequential()
    model.add(Dense(32, input_dim=784))
    model.add(Activation('relu'))

    顺序模型中的第一层(只有第一层,因为下面的层可以自动地推断尺寸)需要接收关于其输入尺寸的信息。在 input_shape 中不包含数据的 batch 大小。
    如果你需要为你的输入指定一个固定的 batch 大小,你可以传递一个 batch_size 参数给一个层。

    #下面的代码片段是等价的
    model = Sequential()
    model.add(Dense(32, input_shape=(784,)))
    #
    model = Sequential()
    model.add(Dense(32, input_dim=784))

    编译compile
    在训练模型之前,您需要配置学习过程

    # 多分类问题
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    
    # 二分类问题
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy'])
    
    # 均方误差回归问题
    model.compile(optimizer='rmsprop',
                  loss='mse')
    
    # 自定义评估标准函数
    import keras.backend as K
    
    def mean_pred(y_true, y_pred):
        return K.mean(y_pred)
    
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy', mean_pred])

    训练
    Keras 模型在输入数据和标签的 Numpy 矩阵上进行训练。为了训练一个模型,你通常会使用 fit 函数。

    # 对于具有2个类的单输入模型(二进制分类):
    
    model = Sequential()
    model.add(Dense(32, activation='relu', input_dim=100))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy'])
    
    # 生成虚拟数据
    import numpy as np
    data = np.random.random((1000, 100))
    labels = np.random.randint(2, size=(1000, 1))
    
    # 训练模型,以 32 个样本为一个 batch 进行迭代
    model.fit(data, labels, epochs=10, batch_size=32)
    # 对于具有10个类的单输入模型(多分类分类):
    
    model = Sequential()
    model.add(Dense(32, activation='relu', input_dim=100))
    model.add(Dense(10, activation='softmax'))
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    
    # 生成虚拟数据
    import numpy as np
    data = np.random.random((1000, 100))
    labels = np.random.randint(10, size=(1000, 1))
    
    # 将标签转换为分类的 one-hot 编码
    one_hot_labels = keras.utils.to_categorical(labels, num_classes=10)
    
    # 训练模型,以 32 个样本为一个 batch 进行迭代
    model.fit(data, one_hot_labels, epochs=10, batch_size=32)

    一些例子:
    基于多层感知器 (MLP) 的 softmax 多分类

    import keras
    from keras.models import Sequential
    from keras.layers import Dense, Dropout, Activation
    from keras.optimizers import SGD
    
    # 生成虚拟数据
    import numpy as np
    x_train = np.random.random((1000, 20))
    y_train = keras.utils.to_categorical(np.random.randint(10, size=(1000, 1)), num_classes=10)
    x_test = np.random.random((100, 20))
    y_test = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
    
    model = Sequential()
    # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。
    # 在第一层必须指定所期望的输入数据尺寸:
    # 在这里,是一个 20 维的向量。
    model.add(Dense(64, activation='relu', input_dim=20))
    model.add(Dropout(0.5))
    model.add(Dense(64, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(10, activation='softmax'))
    
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    model.compile(loss='categorical_crossentropy',
                  optimizer=sgd,
                  metrics=['accuracy'])
    
    model.fit(x_train, y_train,
              epochs=20,
              batch_size=128)
    score = model.evaluate(x_test, y_test, batch_size=128)

    基于多层感知器的二分类:

    import numpy as np
    from keras.models import Sequential
    from keras.layers import Dense, Dropout
    
    # 生成虚拟数据
    x_train = np.random.random((1000, 20))
    y_train = np.random.randint(2, size=(1000, 1))
    x_test = np.random.random((100, 20))
    y_test = np.random.randint(2, size=(100, 1))
    
    model = Sequential()
    model.add(Dense(64, input_dim=20, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(64, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
    
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
    
    model.fit(x_train, y_train,
              epochs=20,
              batch_size=128)
    score = model.evaluate(x_test, y_test, batch_size=128)

    类似 VGG 的卷积神经网络:

    import numpy as np
    import keras
    from keras.models import Sequential
    from keras.layers import Dense, Dropout, Flatten
    from keras.layers import Conv2D, MaxPooling2D
    from keras.optimizers import SGD
    
    # 生成虚拟数据
    x_train = np.random.random((100, 100, 100, 3))
    y_train = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
    x_test = np.random.random((20, 100, 100, 3))
    y_test = keras.utils.to_categorical(np.random.randint(10, size=(20, 1)), num_classes=10)
    
    model = Sequential()
    # 输入: 3 通道 100x100 像素图像 -> (100, 100, 3) 张量。
    # 使用 32 个大小为 3x3 的卷积滤波器。
    model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(100, 100, 3)))
    model.add(Conv2D(32, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
    
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
    
    model.add(Flatten())
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(10, activation='softmax'))
    
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    model.compile(loss='categorical_crossentropy', optimizer=sgd)
    
    model.fit(x_train, y_train, batch_size=32, epochs=10)
    score = model.evaluate(x_test, y_test, batch_size=32)

    基于 LSTM 的序列分类:
    #

    from keras.models import Sequential
    from keras.layers import Dense, Dropout
    from keras.layers import Embedding
    from keras.layers import LSTM
    
    model = Sequential()
    model.add(Embedding(max_features, output_dim=256))   ####
    model.add(LSTM(128))  ####
    model.add(Dropout(0.5))  ##
    model.add(Dense(1, activation='sigmoid'))
    
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
    
    model.fit(x_train, y_train, batch_size=16, epochs=10)
    score = model.evaluate(x_test, y_test, batch_size=16)

    基于栈式 LSTM 的序列分类
    在这个模型中,我们将 3 个 LSTM 层叠在一起,使模型能够学习更高层次的时间表示

    from keras.models import Sequential
    from keras.layers import LSTM, Dense
    import numpy as np
    
    data_dim = 16
    timesteps = 8
    num_classes = 10
    
    # 期望输入数据尺寸: (batch_size, timesteps, data_dim)
    model = Sequential()
    model.add(LSTM(32, return_sequences=True,
                   input_shape=(timesteps, data_dim)))  # 返回维度为 32 的向量序列
    model.add(LSTM(32, return_sequences=True))  # 返回维度为 32 的向量序列
    model.add(LSTM(32))  # 返回维度为 32 的单个向量
    model.add(Dense(10, activation='softmax'))
    
    model.compile(loss='categorical_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
    
    # 生成虚拟训练数据
    x_train = np.random.random((1000, timesteps, data_dim))
    y_train = np.random.random((1000, num_classes))
    
    # 生成虚拟验证数据
    x_val = np.random.random((100, timesteps, data_dim))
    y_val = np.random.random((100, num_classes))
    
    model.fit(x_train, y_train,
              batch_size=64, epochs=5,
              validation_data=(x_val, y_val))

    带有状态 (stateful) 的 相同的栈式 LSTM 模型
    #
    有状态的循环神经网络模型中,在一个 batch 的样本处理完成后,其内部状态(记忆)会被记录并作为下一个 batch 的样本的初始状态。

    from keras.models import Sequential
    from keras.layers import LSTM, Dense
    import numpy as np
    
    data_dim = 16
    timesteps = 8
    num_classes = 10
    batch_size = 32
    
    # 期望输入数据尺寸: (batch_size, timesteps, data_dim)
    # 请注意,我们必须提供完整的 batch_input_shape,因为网络是有状态的。
    # 第 k 批数据的第 i 个样本是第 k-1 批数据的第 i 个样本的后续。
    model = Sequential()  ####
    model.add(LSTM(32, return_sequences=True, stateful=True,
                   batch_input_shape=(batch_size, timesteps, data_dim)))
    model.add(LSTM(32, return_sequences=True, stateful=True))
    model.add(LSTM(32, stateful=True))
    model.add(Dense(10, activation='softmax'))
    
    model.compile(loss='categorical_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
    
    # 生成虚拟训练数据
    x_train = np.random.random((batch_size * 10, timesteps, data_dim))
    y_train = np.random.random((batch_size * 10, num_classes))
    
    # 生成虚拟验证数据
    x_val = np.random.random((batch_size * 3, timesteps, data_dim))
    y_val = np.random.random((batch_size * 3, num_classes))
    
    model.fit(x_train, y_train,
              batch_size=batch_size, epochs=5, shuffle=False,
              validation_data=(x_val, y_val))

    上述方法的好处:允许处理更长的序列,同时保持计算复杂度的可控性。


    展开全文
  • Sequential模型

    千次阅读 2018-03-28 14:29:52
    Keras的核心数据结构是model,一种组织网络层的方式,最简单的数据模型是Sequential模型,它是由多个网络层线性堆叠的栈,对于更复杂的结构,你应该使用Keras函数式,它允许构建任意的神经网络图。sequential模型具体...

    Keras的核心数据结构是model,一种组织网络层的方式,最简单的数据模型是Sequential模型,它是由多个网络层线性堆叠的栈,对于更复杂的结构,你应该使用Keras函数式,它允许构建任意的神经网络图。

    sequential模型具体步骤如下所示:

    from keras.models importSequential
    
    model = Sequential()

    可以简单地使用 .add() 来堆叠模型:

    from keras.layers import Dense
    
    model.add(Dense(units= 64, activation= 'relu', input_dim= 100))
    
    model.add(Dense(units= 10, activation= 'softmax'))

    也可以是一个完整的形式:

    from keras.models import Sequential  
    from keras.layers import Dense, Activation  
    model = Sequential([  
    Dense(32, input_dim=784),  
    Activation('relu'),  
    Dense(10),  
    Activation('softmax'),])
    指定输入数据的 shape

    模型需要知道输入数据的shape,因此, Sequential 的第一层需要接受一个关于输入数据shape的参数,后面的各个层则可以自动的推导出中间数据的 shape ,因此不需要为每个层都指定这个参数。有几种方法来为第一层指定输入数据的 shape:

    1 传递一个input_shape的关键字参数给第一层, input_shape是一个tuple类型的数据,其中也可以填入None,则表示此位置可能是任何正整数。数据的batch大小不应包含在其中。
    2 传递一个 batch_input_shape 的关键字参数给第一层,该参数包含数据的batch大小。该参数在指定固定大小 batch 时比较有用,例如在 stateful RNNs 中。事实上, Keras 在内部会通过添加一个 None 将 input_shape 转化为 batch_input_shape。

    3 有些2D层,如Dense,支持通过指定其输入维度input_dim来隐含的指定输入数据shape。一些3D的时域层支持通过参数input_dim和input_dim input_length来指定输入shape。


    下面的三个指定输入数据 shape 的方法是严格等价的:

    [html]  view plain  copy
    1. model = Sequential()  
    2. model.add(Dense(32, <span style="background-color:rgb(255,153,255);">input_shape</span>=(784,)))  
    3.   
    4. model = Sequential()  
    5. model.add(Dense(32, <span style="background-color:rgb(255,153,255);">batch_input_shape</span>=(None, 784)))  
    6. # note that batch dimension is "None" here,  
    7. # so the model will be able to process batches of any size.</pre>  
    8.   
    9.  model = Sequential()  
    10. model.add(Dense(32,<span style="background-color:rgb(255,153,255);"> input_dim</span>=784))  

    下面三种方法也是严格等价的:

    [html]  view plain  copy
    1.   
    [html]  view plain  copy
    1. model = Sequential()  
    2. model.add(LSTM(32, <span style="background-color:rgb(255,153,255);"><span style="color:#330033;">input_shape=(10, 64)</span></span>))  
    3.   
    4.  model = Sequential()  
    5. model.add(LSTM(32, <span style="background-color:rgb(255,153,255);">batch_input_shape=</span>(None, 10, 64)))  
    6.   
    7.  model = Sequential()  
    8. model.add(LSTM(32,<span style="background-color:rgb(255,153,255);"> input_length=10input_dim=64))</span>  
    
    
    展开全文
  • Sequential模型字面上的翻译是顺序模型,给人的第一感觉是那种简单的线性模型,但实际上Sequential模型可以构建非常复杂的神经网络,包括全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、等等。这里的...

    keras中的主要数据结构是model(模型),它提供定义完整计算图的方法。通过将图层添加到现有模型/计算图,我们可以构建出复杂的神经网络

    Sequential模型字面上的翻译是顺序模型,给人的第一感觉是那种简单的线性模型,但实际上Sequential模型可以构建非常复杂的神经网络,包括全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、等等。这里的Sequential更准确的应该理解为堆叠,通过堆叠许多层,构建出深度神经网络
    如下代码向模型添加一个带有64个大小为3 * 3的过滤器的卷积层:

    from keras.models import Sequential
    from keras.layers import Dense, Activation,Conv2D,MaxPooling2D,Flatten,Dropout
    
    model = Sequential()
    model.add(Conv2D(64, (3, 3), activation='relu'))

    Sequential模型的核心操作是添加layers(图层),以下展示如何将一些最流行的图层添加到模型中:

    #添加卷积层
    model.add(Conv2D(64, (3, 3), activation='relu'))
    #添加最大池化层
    model.add(MaxPooling2D(pool_size=(2, 2)))
    #添加全连接层
    model.add(Dense(256, activation='relu'))
    #添加dropout层
    model.add(Dropout(0.5))
    #Flattening layer(展平层)
    model.add(Flatten())

    基本的sequential开发流程:

    首先,网络的第一层是输入层,读取训练数据。为此,我们需要指定为网络提供的训练数据的大小,这里input_shape参数用于指定输入数据的形状:

    model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(224, 224, 3)))

    上面的代码中,输入层是卷积层,其获取224 * 224 * 3的输入图像。

    接下来就是为模型添加中间层和输出层。

    然后,进入最重要的部分: 选择优化器(如rmsprop或adagrad)并指定损失函数(如categorical_crossentropy)来指定反向传播的计算方法。在keras中,Sequential模型的compile方法用来完成这一操作。例如,在下面的这一行代码中,我们使用’rmsprop’优化器,损失函数为’binary_crossentropy’。
     

    model.compile(loss='binary_crossentropy',optimizer='rmsprop')

    到这一步,我们创建了模型,接下来就是调用fit函数将数据提供给模型。这里还可以指定批次大小(batch size)、迭代次数、验证数据集等等。其中批次大小、迭代次数需要根据数据规模来确定,并没有一个固定的最优值。

    model.fit(x_train, y_train, batch_size=32, epochs=10,validation_data=(x_val, y_val))

    最后,使用evaluate方法来评估模型:

    score = model.evaluate(x_test,y_test,batch_size = 32)

    使用Sequential模型解决线性回归问题

    import keras
    from keras.models import Sequential
    from keras.layers import Dense
    import numpy as np
    
    #生成数据集
    trX = np.linspace(-1, 1, 101)
    trY = 3 * trX + np.random.randn(*trX.shape) * 0.33
    
    #创建模型
    model = Sequential()
    #代码创建一个Sequential模型,这里使用了一个采用线性激活的全连接(Dense)层。它实际上封装了输入值x乘以权重w,加上偏置(bias)b,然后进行线性激活以产生输出。
    model.add(Dense(input_dim=1, output_dim=1, init='uniform', activation='linear'))
    
    #查看参数值
    weights = model.layers[0].get_weights()
    w_init = weights[0][0][0]
    b_init = weights[1][0]
    print('Linear regression model is initialized with weights w: %.2f, b: %.2f' % (w_init, b_init))
    #选择优化器和损失函数
    model.compile(optimizer='sgd', loss='mse')
    #训练模型
    model.fit(trX, trY, nb_epoch=200, verbose=1)
    #训练完毕后查看权重和偏执向量
    weights = model.layers[0].get_weights()
    w_final = weights[0][0][0]
    b_final = weights[1][0]
    print('Linear regression model is trained to have weight w: %.2f, b: %.2f' % (w_final, b_final))

    训练前权重和偏置向量的值:

    训练200轮后权重和偏置向量的值:

    展开全文
  • Keras中Sequential模型及方法详细总结

    千次阅读 2019-12-10 21:11:17
    Sequential 序贯模型 序贯模型是函数式模型的简略版,为最简单的线性、从头到尾的结构顺序,不分叉,是...我们可以通过将层的列表传递给Sequential的构造函数,来创建一个Sequential模型。 from keras.models import...

    Sequential 序贯模型

    序贯模型是函数式模型的简略版,为最简单的线性、从头到尾的结构顺序,不分叉,是多个网络层的线性堆叠。

    Keras实现了很多层,包括core核心层,Convolution卷积层、Pooling池化层等非常丰富有趣的网络结构。

    我们可以通过将层的列表传递给Sequential的构造函数,来创建一个Sequential模型。

    from keras.models import Sequential
    from keras.layers import Dense, Activation
     
    model = Sequential([
        Dense(32, input_shape=(784,)),
        Activation('relu'),
        Dense(10),
        Activation('softmax'),
    ])
    

    也可以使用.add()方法将各层添加到模型中:

    model = Sequential()
    model.add(Dense(32, input_dim=784))
    model.add(Activation('relu'))
    

    指定输入数据的尺寸

    模型需要知道它所期待的输入的尺寸(shape)。出于这个原因,序贯模型中的第一层(只有第一层,因为下面的层可以自动的推断尺寸)需要接收关于其输入尺寸的信息,后面的各个层则可以自动的推导出中间数据的shape,因此不需要为每个层都指定这个参数。有以下几种方法来做到这一点:

    传递一个input_shape参数给第一层。它是一个表示尺寸的元组(一个整数或None的元组,其中None表示可能为任何正整数)。在input_shape中不包含数据的batch大小。

    某些 2D 层,例如 Dense,支持通过参数 input_dim 指定输入尺寸,某些 3D 时序层支持 input_dim 和 input_length 参数。
    如果你需要为你的输入指定一个固定的 batch 大小(这对 stateful RNNs 很有用),你可以传递一个 batch_size 参数给一个层。如果你同时将 batch_size=32 和 input_shape=(6, 8) 传递给一个层,那么每一批输入的尺寸就为 (32,6,8)。

    因此下面的代码是等价的。

    model = Sequential()
    model.add(Dense(32, input_shape=(784,)))
     
    model = Sequential()
    model.add(Dense(32, input_dim=784))
    

    下面三种方法也是严格等价的

    model = Sequential()
    model.add(LSTM(32, input_shape=(10, 64)))
     
     
    model = Sequential()
    model.add(LSTM(32, batch_input_shape=(None, 10, 64)))
     
     
    model = Sequential()
    model.add(LSTM(32, input_length=10, input_dim=64))
    

    编译

    在训练模型之前,我们需要配置学习过程,这是通过compile方法完成的,他接收三个参数:

    优化器 optimizer:它可以是现有优化器的字符串标识符,如 rmsprop 或 adagrad,也可以是 Optimizer 类的实例。详见:optimizers。
    损失函数 loss:模型试图最小化的目标函数。它可以是现有损失函数的字符串标识符,如 categorical_crossentropy 或 mse,也可以是一个目标函数。详见:losses。
    评估标准 metrics:对于任何分类问题,你都希望将其设置为 metrics = [‘accuracy’]。评估标准可以是现有的标准的字符串标识符,也可以是自定义的评估标准函数。

    # 多分类问题
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
     
    # 二分类问题
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy'])
     
    # 均方误差回归问题
    model.compile(optimizer='rmsprop',
                  loss='mse')
     
    # 自定义评估标准函数
    import keras.backend as K
     
    def mean_pred(y_true, y_pred):
        return K.mean(y_pred)
     
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy', mean_pred])
    

    训练

    Keras 模型在输入数据和标签的 Numpy 矩阵上进行训练。为了训练一个模型,你通常会使用 fit 函数。文档详见此处

    # 对于具有2个类的单输入模型(二进制分类):
     
    model = Sequential()
    model.add(Dense(32, activation='relu', input_dim=100))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy'])
     
    # 生成虚拟数据
    import numpy as np
    data = np.random.random((1000, 100))
    labels = np.random.randint(2, size=(1000, 1))
     
    # 训练模型,以 32 个样本为一个 batch 进行迭代
    model.fit(data, labels, epochs=10, batch_size=32)
    
    
    # 对于具有10个类的单输入模型(多分类分类):
     
    model = Sequential()
    model.add(Dense(32, activation='relu', input_dim=100))
    model.add(Dense(10, activation='softmax'))
    model.compile(optimizer='rmsprop',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
     
    # 生成虚拟数据
    import numpy as np
    data = np.random.random((1000, 100))
    labels = np.random.randint(10, size=(1000, 1))
     
    # 将标签转换为分类的 one-hot 编码
    one_hot_labels = keras.utils.to_categorical(labels, num_classes=10)
     
    # 训练模型,以 32 个样本为一个 batch 进行迭代
    model.fit(data, one_hot_labels, epochs=10, batch_size=32)
    

    例子

    这里有几个可以帮助你开始的例子!

    examples 目录 中,你可以找到真实数据集的示例模型:

    CIFAR10 小图片分类:具有实时数据增强的卷积神经网络 (CNN)
    IMDB 电影评论情感分类:基于词序列的 LSTM
    Reuters 新闻主题分类:多层感知器 (MLP)
    MNIST 手写数字分类:MLP 和 CNN
    基于 LSTM 的字符级文本生成

    基于多层感知器 (MLP) 的 softmax 多分类:

    import keras
    from keras.models import Sequential
    from keras.layers import Dense, Dropout, Activation
    from keras.optimizers import SGD
     
    # 生成虚拟数据
    import numpy as np
    x_train = np.random.random((1000, 20))
    y_train = keras.utils.to_categorical(np.random.randint(10, size=(1000, 1)), num_classes=10)
    x_test = np.random.random((100, 20))
    y_test = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
     
    model = Sequential()
    # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。
    # 在第一层必须指定所期望的输入数据尺寸:
    # 在这里,是一个 20 维的向量。
    model.add(Dense(64, activation='relu', input_dim=20))
    model.add(Dropout(0.5))
    model.add(Dense(64, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(10, activation='softmax'))
     
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    model.compile(loss='categorical_crossentropy',
                  optimizer=sgd,
                  metrics=['accuracy'])
     
    model.fit(x_train, y_train,
              epochs=20,
              batch_size=128)
    score = model.evaluate(x_test, y_test, batch_size=128)
    

    基于多层感知器的二分类:

    思路:

    输入数据:定义输入一个二维数组(x1,x2),数据通过numpy来随机产生,将输出定义为0或者1,如果x1+x2<1,则y为1,否则y为0.

    隐藏层:定义两层隐藏层,隐藏层的参数为(2,3),两行三列的矩阵,输入数据通过隐藏层之后,输出的数据为(1,3),t通过矩阵之间的乘法运算可以获得输出数据。

    损失函数:使用交叉熵作为神经网络的损失函数,常用的损失函数还有平方差。

    优化函数:通过油画函数来使得损失函数最小化,这里采用的是Adadelta算法进行优化,常用的有梯度下降算法。

    输出数据:将隐藏层的输出数据通过(3,1)的参数,输出一个一维向量,值的大小为0或者1.

    import numpy as np
    from keras.models import Sequential
    from keras.layers import  Dense,Dropout
     
    # 生成数据,训练数据和测试数据
    # x_train/x_test 生成随机的浮点数,x_train为1000行20列 x_test为100行20列
    # 列数一定要一一对应,相当于特征个数要对应
    # 此处的二元分类,可以不需要one_hot编译,np.random.randint可以直接生成0 1 编码
    x_train = np.random.random((1000,20))
    y_train = np.random.randint(2,size=(1000,1))
    # print(x_train)
    # print(y_train)
    x_test = np.random.random((100,20))
    y_test = np.random.randint(2,size=(100,1))
     
    # 设计模型,通过add的方式叠起来
    # 注意输入时,初始网络一定要给定输入的特征维度input_dim 或者input_shape数据类型
    # activition激活函数既可以在Dense网络设置里,也可以单独添加
    model = Sequential()
    model.add(Dense(64,input_dim=20,activation='relu'))
    # Drop防止过拟合的数据处理方式
    model.add(Dropout(0.5))
    model.add(Dense(64,activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1,activation='sigmoid'))
     
    # 编译模型,定义损失函数,优化函数,绩效评估函数
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
     
    # 导入数据进行训练
    model.fit(x_train,y_train,epochs=20,batch_size=128)
     
    # 模型评估
    score  = model.evaluate(x_test,y_test,batch_size=128)
    print(score)
    

    类似VGG的卷积神经网络

    import numpy as np
    import keras
    from keras.models import Sequential
    from keras.layers import Dense, Dropout, Flatten
    from keras.layers import Conv2D, MaxPooling2D
    from keras.optimizers import SGD
     
    # 生成虚拟数据
    x_train = np.random.random((100, 100, 100, 3))
    y_train = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)
    x_test = np.random.random((20, 100, 100, 3))
    y_test = keras.utils.to_categorical(np.random.randint(10, size=(20, 1)), num_classes=10)
     
    model = Sequential()
    # 输入: 3 通道 100x100 像素图像 -> (100, 100, 3) 张量。
    # 使用 32 个大小为 3x3 的卷积滤波器。
    model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(100, 100, 3)))
    model.add(Conv2D(32, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
     
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))
    model.add(Dropout(0.25))
     
    model.add(Flatten())
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(10, activation='softmax'))
     
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    model.compile(loss='categorical_crossentropy', optimizer=sgd)
     
    model.fit(x_train, y_train, batch_size=32, epochs=10)
    score = model.evaluate(x_test, y_test, batch_size=32)
    

    基于LSTM的序列分类

    from keras.models import Sequential
    from keras.layers import Dense, Dropout
    from keras.layers import Embedding
    from keras.layers import LSTM
     
    model = Sequential()
    model.add(Embedding(max_features, output_dim=256))
    model.add(LSTM(128))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
     
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
     
    model.fit(x_train, y_train, batch_size=16, epochs=10)
    score = model.evaluate(x_test, y_test, batch_size=16)
    

    基于 1D 卷积的序列分类:

    from keras.models import Sequential
    from keras.layers import Dense, Dropout
    from keras.layers import Embedding
    from keras.layers import Conv1D, GlobalAveragePooling1D, MaxPooling1D
     
    model = Sequential()
    model.add(Conv1D(64, 3, activation='relu', input_shape=(seq_length, 100)))
    model.add(Conv1D(64, 3, activation='relu'))
    model.add(MaxPooling1D(3))
    model.add(Conv1D(128, 3, activation='relu'))
    model.add(Conv1D(128, 3, activation='relu'))
    model.add(GlobalAveragePooling1D())
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
     
    model.compile(loss='binary_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
     
    model.fit(x_train, y_train, batch_size=16, epochs=10)
    score = model.evaluate(x_test, y_test, batch_size=16)
    

    基于栈式 LSTM 的序列分类

    在这个模型中,我们将 3 个 LSTM 层叠在一起,使模型能够学习更高层次的时间表示。

    前两个 LSTM 返回完整的输出序列,但最后一个只返回输出序列的最后一步,从而降低了时间维度(即将输入序列转换成单个向量)。
    在这里插入图片描述

    from keras.models import Sequential
    from keras.layers import LSTM, Dense
    import numpy as np
     
    data_dim = 16
    timesteps = 8
    num_classes = 10
     
    # 期望输入数据尺寸: (batch_size, timesteps, data_dim)
    model = Sequential()
    model.add(LSTM(32, return_sequences=True,
                   input_shape=(timesteps, data_dim)))  # 返回维度为 32 的向量序列
    model.add(LSTM(32, return_sequences=True))  # 返回维度为 32 的向量序列
    model.add(LSTM(32))  # 返回维度为 32 的单个向量
    model.add(Dense(10, activation='softmax'))
     
    model.compile(loss='categorical_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
     
    # 生成虚拟训练数据
    x_train = np.random.random((1000, timesteps, data_dim))
    y_train = np.random.random((1000, num_classes))
     
    # 生成虚拟验证数据
    x_val = np.random.random((100, timesteps, data_dim))
    y_val = np.random.random((100, num_classes))
     
    model.fit(x_train, y_train,
              batch_size=64, epochs=5,
              validation_data=(x_val, y_val))
    

    带有状态 (stateful) 的 相同的栈式 LSTM 模型

    有状态的循环神经网络模型中,在一个 batch 的样本处理完成后,其内部状态(记忆)会被记录并作为下一个 batch 的样本的初始状态。这允许处理更长的序列,同时保持计算复杂度的可控性。

    from keras.models import Sequential
    from keras.layers import LSTM, Dense
    import numpy as np
     
    data_dim = 16
    timesteps = 8
    num_classes = 10
    batch_size = 32
     
    # 期望输入数据尺寸: (batch_size, timesteps, data_dim)
    # 请注意,我们必须提供完整的 batch_input_shape,因为网络是有状态的。
    # 第 k 批数据的第 i 个样本是第 k-1 批数据的第 i 个样本的后续。
    model = Sequential()
    model.add(LSTM(32, return_sequences=True, stateful=True,
                   batch_input_shape=(batch_size, timesteps, data_dim)))
    model.add(LSTM(32, return_sequences=True, stateful=True))
    model.add(LSTM(32, stateful=True))
    model.add(Dense(10, activation='softmax'))
     
    model.compile(loss='categorical_crossentropy',
                  optimizer='rmsprop',
                  metrics=['accuracy'])
     
    # 生成虚拟训练数据
    x_train = np.random.random((batch_size * 10, timesteps, data_dim))
    y_train = np.random.random((batch_size * 10, num_classes))
     
    # 生成虚拟验证数据
    x_val = np.random.random((batch_size * 3, timesteps, data_dim))
    y_val = np.random.random((batch_size * 3, num_classes))
     
    model.fit(x_train, y_train,
              batch_size=batch_size, epochs=5, shuffle=False,
              validation_data=(x_val, y_val))
    

    Sequential模型方法

    1 compile

    compile(self, optimizer, loss=None, metrics=None, loss_weights=None,
     sample_weight_mode=None, weighted_metrics=None, target_tensors=None)
    

    用于配置训练模型。

    1.1 参数

    optimizer: 字符串(优化器名)或者优化器对象。详见 optimizers
    loss: 字符串(目标函数名)或目标函数。详见 losses。 如果模型具有多个输出,则可以通过传递损失函数的字典或列表,在每个输出上使用不同的损失。模型将最小化的损失值将是所有单个损失的总和。
    metrics: 在训练和测试期间的模型评估标准。通常你会使用 metrics = [‘accuracy’]。 要为多输出模型的不同输出指定不同的评估标准,还可以传递一个字典,如 metrics = {‘output_a’:‘accuracy’}。
    sample_weight_mode: 如果你需要执行按时间步采样权重(2D 权重),请将其设置为 temporal。 默认为 None,为采样权重(1D)。如果模型有多个输出,则可以通过传递 mode 的字典或列表,以在每个输出上使用不同的 sample_weight_mode。
    weighted_metrics: 在训练和测试期间,由 sample_weight 或 class_weight 评估和加权的度量标准列表。
    target_tensors: 默认情况下,Keras 将为模型的目标创建一个占位符,在训练过程中将使用目标数据。相反,如果你想使用自己的目标张量(反过来说,Keras 在训练期间不会载入这些目标张量的外部 Numpy 数据),您可以通过 target_tensors 参数指定它们。它应该是单个张量(对于单输出 Sequential 模型)。
    **kwargs: 当使用 Theano/CNTK 后端时,这些参数被传入 K.function。当使用 TensorFlow 后端时,这些参数被传递到 tf.Session.run。

    1.2 异常

    ValueError: 如果 optimizer, loss, metrics 或 sample_weight_mode 这些参数不合法。
    

    2 fit

    fit(self, x=None, y=None, batch_size=None, epochs=1, verbose=1,
     callbacks=None, validation_split=0.0, validation_data=None,
    shuffle=True, class_weight=None, sample_weight=None,
     initial_epoch=0, steps_per_epoch=None, validation_steps=None)
    

    以固定数量的轮次(数据集上的迭代)训练模型。

    2.1 参数

    x: 训练数据的 Numpy 数组。 如果模型中的输入层被命名,你也可以传递一个字典,将输入层名称映射到 Numpy 数组。 如果从本地框架张量馈送(例如 TensorFlow 数据张量)数据,x 可以是 None(默认)。
    y: 目标(标签)数据的 Numpy 数组。 如果模型中的输出层被命名,你也可以传递一个字典,将输出层名称映射到 Numpy 数组。 如果从本地框架张量馈送(例如 TensorFlow 数据张量)数据,y 可以是 None(默认)。
    batch_size: 整数或 None。每次提度更新的样本数。如果未指定,默认为 32.
    epochs: 整数。训练模型迭代轮次。一个轮次是在整个 x 或 y 上的一轮迭代。请注意,与 initial_epoch 一起,epochs 被理解为 「最终轮次」。模型并不是训练了 epochs轮,而是到第 epochs 轮停止训练。
    verbose: 0, 1 或 2。日志显示模式。 0 = 安静模式, 1 = 进度条, 2 = 每轮一行。
    callbacks: 一系列的 keras.callbacks.Callback 实例。一系列可以在训练时使用的回调函数。详见 callbacks
    validation_split: 在 0 和 1 之间浮动。用作验证集的训练数据的比例。模型将分出一部分不会被训练的验证数据,并将在每一轮结束时评估这些验证数据的误差和任何其他模型指标。验证数据是混洗之前 x 和y 数据的最后一部分样本中。
    validation_data: 元组 (x_val,y_val) 或元组 (x_val,y_val,val_sample_weights),用来评估损失,以及在每轮结束时的任何模型度量指标。模型将不会在这个数据上进行训练。这个参数会覆盖 validation_split。
    shuffle: 布尔值(是否在每轮迭代之前混洗数据)或者 字符串 (batch)。batch 是处理 HDF5 数据限制的特殊选项,它对一个 batch 内部的数据进行混洗。当 steps_per_epoch非 None 时,这个参数无效。
    class_weight: 可选的字典,用来映射类索引(整数)到权重(浮点)值,用于加权损失函数(仅在训练期间)。这可能有助于告诉模型 「更多关注」来自代表性不足的类的样本。
    sample_weight: 训练样本的可选 Numpy 权重数组,用于对损失函数进行加权(仅在训练期间)。您可以传递与输入样本长度相同的平坦(1D)Numpy 数组(权重和样本之间的 1:1 映射),或者在时序数据的情况下,可以传递尺寸为 (samples, sequence_length) 的 2D 数组,以对每个样本的每个时间步施加不同的权重。在这种情况下,你应该确保在 compile() 中指定 sample_weight_mode=“temporal”。
    initial_epoch: 开始训练的轮次(有助于恢复之前的训练)。
    steps_per_epoch: 在声明一个轮次完成并开始下一个轮次之前的总步数(样品批次)。使用 TensorFlow 数据张量等输入张量进行训练时,默认值 None 等于数据集中样本的数量除以 batch 的大小,如果无法确定,则为 1。
    validation_steps: 只有在指定了 steps_per_epoch时才有用。停止前要验证的总步数(批次样本)。

    2.2 返回

    一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值,以及验证集损失和评估值的记录(如果适用)。

    2.3 异常

    RuntimeError: 如果模型从未编译。
    ValueError: 在提供的输入数据与模型期望的不匹配的情况下。

    3 evaluate

    evaluate(self, x=None, y=None, batch_size=None, verbose=1,
     sample_weight=None, steps=None)
    

    在测试模式,返回误差值和评估标准值。

    计算逐批次进行。
    3.1 参数

    x: 输入数据,Numpy 数组或列表(如果模型有多输入)。 如果从本地框架张量馈送(例如 TensorFlow 数据张量)数据,x 可以是 None(默认)。
    y: 标签,Numpy 数组。 如果从本地框架张量馈送(例如 TensorFlow 数据张量)数据,y 可以是 None(默认)。
    batch_size: 整数。每次梯度更新的样本数。如果未指定,默认为 32。
    verbose: 日志显示模式,0 或 1。
    sample_weight: 样本权重,Numpy 数组。
    steps: 整数或 None。 声明评估结束之前的总步数(批次样本)。默认值 None。
    3.2 返回

    标量测试误差(如果模型没有评估指标)或标量列表(如果模型计算其他指标)。 属性 model.metrics_names 将提供标量输出的显示标签。
    4 predict

    predict(self, x, batch_size=None, verbose=0, steps=None)
    

    为输入样本生成输出预测。

    计算逐批次进行。
    4.1 参数

    x: 输入数据,Numpy 数组。
    batch_size: 整数。如未指定,默认为 32。
    verbose: 日志显示模式,0 或 1。
    steps: 声明预测结束之前的总步数(批次样本)。默认值 None。

    4.2 返回

    预测的 Numpy 数组。

    4.3 异常

    ValueError: 如果提供的输入数据与模型的期望数据不匹配,或者有状态模型收到的数量不是批量大小的倍数。

    展开全文
  • Sequential模型实现手写数字识别 Sequential模型是一个神经网络的框架,只有一组输入和一组输出,各个层之间按照顺序先后堆叠。 一般来说使用Sequential搭建、使用、评估神经网络可以有以下几步: 1、建立模型 首先...
  • 一、引入相关包 # coding: utf-8 import tensorflow as tf from tensorflow.keras import layers ...三、声明Sequential模型 # Sequential模型堆叠 # Y = σ(Wx+B) σ=relu model = tf.keras.Sequen.
  • 文章目录一、导入数据二、预处理三、建立网络并训练模型四、模型评估以及效果评价五、模型的预测六、模型拟合过程的可视化 一、导入数据 以iris数据集为例,导入并切分数据。 # 导入数据并拆分数据 from sklearn ...
  • import tensorflow as tf from tensorflow import keras from tensorflow.keras import * ...加载和预测都需要先有原来模型的结构 from tensorflow.keras import backend as K def create_model()
  • Sequential模型:只有一个输入和输出,而且网络是层的线性堆叠 可以通过向Sequential模型传递一个layer的list来构造该模型: from keras.models import Sequential from keras.layers import Dense, ...
  • mnist手写数字识别(tensorflow+keras+Sequential模型

    千次阅读 热门讨论 2020-08-02 23:28:47
    今天记录一下深度学习的另外一个入门项目——《mnist数据集手写数字识别》,这是一个入门必备的学习案例,主要使用了tensorflow下的keras网络结构的Sequential模型,常用层的Dense全连接层、Activation激活层和...
  • keras 神经网络模型 Sequential模型

    千次阅读 2018-08-16 14:20:16
    Sequential模型,就是多个网络层的线性堆叠。它建立模型有两中方式,一种是向layer中添加list,一种是通.add()的方式一层层的天添加。 from keras.models import Sequential from keras.layers.core import Dense,...
  • keras中的sequential模型

    2020-11-06 20:08:46
    Sequential模型的核心操作是添加layers(图层),以下展示如何将一些最流行的图层添加到模型中: 卷积层 model.add(Conv2D(64, (3, 3), activation='relu')) #激活函数为relu 最大池化层 model.add(MaxPooling2D...
  • 版权声明:本文为博主的原创文章,遵循CC 4.0 by-sa版权...该例子选用Sequential序贯模型 序贯模型是函数式模型的简略版,为最简单的线性、从头到尾的结构顺序,不分叉,是多个网络层的线性堆叠。 Keras实现了很多...
  • 简单上手Sequential模型

    2018-07-10 15:54:00
    通过向Sequential模型传递一个layer的list构造模型;from keras.models import Sequential from keras.layers import Dense, Activation ''' 参数说明: Dense表示设置全连接层输入和输出,然后设置第一层中的激活...
  • keras中Sequential模型及方法

    千次阅读 2019-02-21 21:00:59
    Sequencial 序贯模型: ...可以通过将层的列表传递给Sequential的构造函数,来创建一个Sequential模型。 from keras.models import Sequential from keras.layers import Dense, Activation m...
  • 文章目录记录TensorFlow听课笔记一,Sequential模型二,实现手写数字识别 一,Sequential模型 二,实现手写数字识别 #使用Sequential模型 实现手写数字识别 import tensorflow as tf import numpy ...
  • 解决方法: 在 fit 模型前对模型进行编译 compile(optimizer, loss=None, metrics=None, loss_weights=None, sample_weight_mode=None, weighted_metrics=None, target_tensors=None) ValueError: 可能原因提供的...
  • from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential([ Dense(32, input_shape=(784,)), Activation('relu'), Dense(10), Activation('soft...
  • keras中文-快速开始Sequential模型

    千次阅读 2016-09-29 19:15:21
    keras中文-快速开始Sequential模型 2016-09-27 keras-cn 大脑模拟 快速开始Sequential模型 Sequential是多个网络层的线性堆叠 可以通过向Sequential模型传递一个layer的list来构造该模型: 也...
  • 2——快速开始Sequential模型

    万次阅读 2016-12-12 11:13:20
    这一节学习了一下keras的sequential models的大致流程。   以下记录笔记使用的keras版本为1.0.0   流程分为以下几步:   一:The Model layer  Getting started with the Keras Sequential model  首先获得...
  • 基于多层感知器的softmax多分类: # -*- coding: utf-8 -*- """ Created on Tue Jan 9 00:11:20 2018 @author: BruceWong ...from keras.models import Sequential from keras.layers import Dense, Dropout, A
  • from keras.models import Sequential from keras.layers import Dense, Dropout from keras.layers import Embedding from keras.layers import LSTM model = Sequential() model.add(Embedding(max_
  • 深入学习Keras中Sequential模型及方法
  • MLP的二分类: # -*- coding: utf-8 -*- """ ...序贯模型实例 @author: BruceWong """ #MLP的二分类: import numpy as np from keras.models import Sequential from keras.layers import Dens

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 48,708
精华内容 19,483
关键字:

sequential模型