精华内容
下载资源
问答
  • 通过load_data()下载数据失败的时候可以直接选择直接下载数据包,存放到对应的文件夹下即可运行。 C:\Users\Administrator\.keras\datasets = = 其中Administrator是自己的用户名! 数据包地址:...

    通过load_data()下载数据失败的时候可以直接选择直接下载数据包,存放到对应的文件夹下即可运行。

    C:\Users\Administrator\.keras\datasets
    

    = = 其中Administrator是自己的用户名!

    数据包地址:https://download.csdn.net/download/qq_39099905/11896809

    展开全文
  • 开发了一个定制的VGG16模型,并对从Kaggle和IMDB下载的开源面部数据集进行了训练。 OpenCV,dlib和keras用于辅助面部检测和视频处理。 最终系统可以通过任何给定的图像,视频或实时网络摄像头检测人们的情绪,年龄...
  • 在tensorflow调用imdb数据集时,经常会出现下载中断或者无法下载的问题 下载的keras中默认的imdb下载地址是 https://s3.amazonaws.com/img-datasets/mnist.npz 但是现在这个地址已经不存在了。 可以将地址改为此网站 ...
  • Dataset之IMDB影评数据集:IMDB影评数据集的简介、下载、使用方法之详细攻略 目录 IMDB影评数据集的简介 File descriptions Data fields IMDB影评数据集的下载 IMDB影评数据集的使用方法 IMDB影评...

    Dataset之IMDB影评数据集:IMDB影评数据集的简介、下载、使用方法之详细攻略

     

     

    目录

    IMDB影评数据集的简介

    File descriptions

    Data fields

    IMDB影评数据集的下载

    IMDB影评数据集的使用方法


     

     

     

    IMDB影评数据集的简介

           标签数据集包含5万条IMDB影评,专门用于情绪分析。评论的情绪是二元的,这意味着IMDB评级< 5导致情绪得分为0,而评级>=7的情绪得分为1。没有哪部电影的评论超过30条。标有training set的2.5万篇影评不包括与2.5万篇影评测试集相同的电影。此外,还有另外5万篇IMDB影评没有任何评级标签。
         The labeled data set consists of 50,000 IMDB movie reviews, specially selected for sentiment analysis. The sentiment of reviews is binary, meaning the IMDB rating < 5 results in a sentiment score of 0, and rating >=7 have a sentiment score of 1. No individual movie has more than 30 reviews. The 25,000 review labeled training set does not include any of the same movies as the 25,000 review test set. In addition, there are another 50,000 IMDB reviews provided without any rating labels.

    File descriptions

    • labeledTrainData - The labeled training set. The file is tab-delimited and has a header row followed by 25,000 rows containing an id, sentiment, and text for each review.  文件以制表符分隔,头行后面跟着25000行,每行包含id、情绪和文本。
    • testData - The test set. The tab-delimited file has a header row followed by 25,000 rows containing an id and text for each review. Your task is to predict the sentiment for each one. 测试集。以制表符分隔的文件有一个头行,后面是25,000行,其中包含每个检查的id和文本。你的任务是预测每个人的情绪。
    • unlabeledTrainData - An extra training set with no labels. The tab-delimited file has a header row followed by 50,000 rows containing an id and text for each review. 没有标签的额外训练集。以制表符分隔的文件有一个头行,后跟50,000行,其中包含每个审阅的id和文本。
    • sampleSubmission - A comma-delimited sample submission file in the correct format.以逗号分隔的示例提交文件,要求提交的格式必须正确。

    Data fields

    • id - Unique ID of each review 每个评论的唯一id。
    • sentiment - Sentiment of the review; 1 for positive reviews and 0 for negative reviews 评论的情绪,正面评价为1、负面评价为0
    • review - Text of the review 评论的文本内容。

     

    IMDB影评得分估计竞赛任务一共为参赛者提供了4份不同的数据文件,其中包括:
    (1)、labeledTrainData.tsv:已经标有情感倾向的训练文件,里面有25000条影评以及对应的情感倾向标识。
    (2)、sampleSubmission.csv:待测试文件,同样也另有25000条电影评论。
    (3)、unlabeledTrainData.tsv:还有一份无标注但是数据量更大的影评文件。
    (4)、sampleSubmission.csv:最后是一份样例文件,用来告知参赛者最终结果的提交格式。

     

    IMDB影评数据集的下载

    IMDB影评数据集下载

     

     

     

     

    IMDB影评数据集的使用方法

    更新ing

     

     

    展开全文
  • 直接到官网下载,放到Keras文件夹下面 一般的默认路径如下: C:\Users\Administrator\.keras\datasets 下载地址,下载完直接保存到上面的默认路径即可: ...https://s3.amazonaws.com/text-datasets/imdb.npz

    直接到官网下载,放到Keras文件夹下面

    一般的默认路径如下:

    C:\Users\Administrator\.keras\datasets

    下载地址,下载完直接保存到上面的默认路径即可:

    https://s3.amazonaws.com/text-datasets/imdb.npz

     

    展开全文
  • 下载数据集到本地提取码:9h3u存储位置:C:/用户/用户名/.keras/datasets(用户名不同人不一样,可能电脑不一样存储位置也略有差异)第二步 导入数据集import kerasimport numpy as np# load datafrom keras.datasets ...

    第一步 下载数据集到本地

    提取码:9h3u

    存储位置:C:/用户/用户名/.keras/datasets

    (用户名不同人不一样,可能电脑不一样存储位置也略有差异)

    第二步 导入数据集

    import keras

    import numpy as np

    # load data

    from keras.datasets import imdb

    (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

    ----------

    查看数据集是否导入正确

    print(train_labels[0]) #1

    print(max([max(sequence) for sequence in train_data])) #9999

    ----------

    遇到的一些小问题以及解决办法:

    若出现了几个问题,最后差不多是这样:raise ValueError("Object arrays cannot be loaded when " ValueError: Object arrays cannot be loaded ……

    这说明numpy版本太高了,我一开始的版本是1.16.4,之后转换成了1.16.2

    版本转换:

    cmd输入xxxxxxxxxxxxxxxx numpy==1.16.2

    xxxxxxxxxx为https://mirrors.tuna.tsinghua.edu.cn/help/pypi/中代码,可加快下载速度,直接复制,只需要将some-package改成numpy==1.16.2即可

    第三步 电影评论二分类完整代码示例

    import keras

    import numpy as np

    # load data

    from keras.datasets import imdb

    (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

    print(train_labels[0]) #1

    print(max([max(sequence) for sequence in train_data])) #9999

    # 将索引解码为单词,需要下载imdb_word_index.json至C:/用户/用户名/.keras/datasets

    # 链接:https://pan.baidu.com/s/1kkmpXrr1tkFtg7D3LX_lcw 提取码:wzjw

    word_index = imdb.get_word_index() #将单词映射为整数索引的字典

    reverse_word_index = dict([(value, key) for (key, value) in word_index.items()]) #键值颠倒,将整数索引映射为单词

    decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])

    #print(decoded_review)

    # 对列表进行one-shot编码,eg.将[3,5]转换成[0.0,0.0,1.0,0.0,1.0,0.0,0.0,0.0,...]

    def vectorize_sequences(sequences, dimension=10000):

    results = np.zeros((len(sequences), dimension))

    for i, sequence in enumerate(sequences):

    results[i,sequence] = 1. #将 results[i] 的指定索引设为 1

    return results

    # handle input data

    x_train = vectorize_sequences(train_data)

    x_test = vectorize_sequences(test_data)

    #print(x_train[0]) #[0. 1. 1. ... 0. 0. 0.]

    # handle output data

    y_train = np.asarray(train_labels).astype('float32')

    y_test = np.asarray(test_labels).astype('float32')

    # 验证集预留

    x_val = x_train[:10000]

    partial_x_train = x_train[10000:]

    y_val = y_train[:10000]

    partial_y_train = y_train[10000:]

    # build model

    from keras import models

    from keras import layers

    model = models.Sequential()

    model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))

    model.add(layers.Dense(16, activation='relu'))

    model.add(layers.Dense(1, activation='sigmoid'))

    # train model

    model.compile(optimizer='rmsprop',

    loss='binary_crossentropy',

    metrics=['accuracy'])

    history = model.fit(partial_x_train,

    partial_y_train,

    epochs=20,

    batch_size=512,

    validation_data=(x_val, y_val))

    history_dict = history.history

    #print(history_dict.keys()) #dict_keys(['val_loss', 'val_acc', 'loss', 'acc'])

    # 绘制训练损失、验证损失、训练精度、验证精度

    import matplotlib.pyplot as plt

    # plot loss

    acc = history.history['acc']

    val_acc = history.history['val_acc']

    loss = history.history['loss']

    val_loss = history.history['val_loss']

    epochs = range(1, len(acc)+1)

    plt.plot(epochs, loss, 'bo', label='Training loss') #blue o

    plt.plot(epochs, val_loss, 'b', label='Validation loss') #blue solid line

    plt.title('Training and validation loss')

    plt.xlabel('Epochs')

    plt.ylabel('Loss')

    plt.legend()

    plt.show()

    # plot accuracy

    plt.clf() #清空图像

    plt.plot(epochs, acc, 'bo', label='Training acc')

    plt.plot(epochs, val_acc, 'b', label='Validation acc')

    plt.title('Training and validation accuracy')

    plt.xlabel('Epochs')

    plt.ylabel('Accuracy')

    plt.legend()

    plt.show()

    ----------

    此处验证集用来确定训练NN可采用的最佳epoch,训练集--->NN参数,得出epochs=4

    用新参数搭建的NN去训练train_data,注释掉history以及history之后的代码:

    model.fit(x_train, y_train, epochs=4, batch_size=512)

    results = model.evaluate(x_test, y_test)

    print(results)

    print(model.predict(x_test))

    ------------

    进一步实验的实验结果,(控制变量:

    [0.29455984374523164, 0.88312] #原结构共三层

    [0.2833905682277679, 0.88576] #共两层

    [0.30949291754722597, 0.87984] #神经元个数为32

    [0.08610797638118267, 0.88308] #mse

    [0.32080167996406556, 0.87764] #用tanh代替relu

    选定的结构较为合适。

    展开全文
  • 记录一下下载torchtext中的imdb数据集过慢甚至下载终端的解决方法: import spacy import torch from torchtext import data from torchtext import datasets # nlp = spacy.load('en') #测试是否安装成功 # print...
  • Imdb影评的数据集介绍与下载

    千次阅读 2020-07-31 23:33:35
    1. Imdb影评的数据集介绍 这是用于二进制情感分类的数据集,其包含的数据比以前的基准数据集要多得多。 我们提供了25,000套极地电影评论供培训,而25,000套则用于测试。 也有其他未标记的数据可供使用。 提供原始...
  • 第一步 下载数据集到本地下载链接:https://pan.baidu.com/s/15belo01keGvFri43K8TxFQ 提取码:9h3u存储位置:C:/用户/用户名/.keras/datasets(用户名不同人不一样,可能电脑不一样存储位置也略有差异)第二步 导入...
  • data-movies, 从IMDB影片下载数据并解析为有用的形式 网站是一个专门用于收集电影和影迷提供的电影数据的网站,它是一个网站。 它声称是网络上最大的电影数据库,由亚马逊运行。 更多关于信息 imdb.com的信息可以在...
  • 谷歌的资源国内下载很容易卡住 首先从百度网盘下载数据集压缩包存放到 XXX/tensorflow_datasets 文件夹 链接:imdb_reviews 提取码:vfng 然后修改源码中如下方法 tensorflow_datasets.text.imdb.IMDBReviews#_...
  • 解决keras自带文件无法下载mnist,imdb等数据库问题 按照github shadowsocks-wiki配置好网络,打开终端,以imdb数据库为例,输入 $ proxychains wget https://s3.amazonaws.com/text-datasets/imdb.npz 然后将函数...
  • Keras的imdb和MNIST数据集无法下载问题解决

    千次阅读 多人点赞 2019-05-05 14:33:35
    比如,图像识别领域的手写识别MNIST数据集、文本分类领域的电影影评imdb数据集等等。这些数据库可以用一条代码就可以调用: from keras.datasets import mnist ​from keras.datasets import imdb (x_train, y_...
  • 参考TensorFlow官方教程 import tensorflow as tf from tensorflow import keras import numpy as np ...imdb = keras.datasets.imdb (train_data, train_labels), (test_data, test_labels) = imdb....
  • 介绍在博客:Java爬虫之下载IMDB中Top250电影的图片中我们实现了利用Java爬虫来下载图片,但是效率不算太高。本次分享将在此基础上,利用多线程,提高程序运行的效率。思路本次分享建立在博客Java爬虫之下载IMDB中...
  • IMDB 参考Tensorflow官网代码 模型如下 vocab_size = 10000 model = keras.Sequential() model.add(keras.layers.Embedding(vocab_size, 16)) model.add(keras.layers.GlobalAveragePooling1D()) model.add...
  • 1771-IMDB

    2021-03-18 04:19:42
    1771-IMDB.pdf 介绍了关于1771-IMDB的详细说明,提供AB其它PLC的技术资料的下载
  • 我们将会爬取IMDB中Top250电影的图片到自己电脑上,其网页截图如下: 思路   我们实现图片下载的爬虫思路如下: 利用Jsoup解析网页,得到电影图片的url和name 利用FileUtils.copyURLToFile()函数将图片下载到本地 ...
  •   在博客:Java爬虫之下载IMDB中Top250电影的图片中我们实现了利用Java爬虫来下载图片,但是效率不算太高。本次分享将在此基础上,利用多线程,提高程序运行的效率。 思路   本次分享建立在博客Java爬虫之...
  • 命令行实用程序可使用从IMDb下载的数据快速交叉引用和查询表演,演员及其所描绘的角色。 如果您不需要较长的README文件,请直接跳至 目录 动机 在观看电视节目或电影时,您是否曾经发现过熟悉的面Kong,但是不记得...
  • keras框架已经内置好了imdb数据集 但是在下载的过程中,产生了许多的问题 这些数据集是通过 url = https://s3.amazonaws.com进行下载的,但是目前这个网站不能用了,这些数据也使用不了。我们可以通过另一种方式去...
  • script_for_downloading_IMDb_face A python script for downloading IMDb images (SenseTime clean datasets) with multi processings. Before using this script to download images, you should download the ...

空空如也

空空如也

1 2 3 4 5 ... 18
收藏数 353
精华内容 141
关键字:

imdb下载