精华内容
下载资源
问答
  • DataSet数据集

    千次阅读 2012-04-29 09:13:14
    填充DataSet数据集  DataSet数据集表示来自一个或多个数据源数据的本地副本,是数据的集合,也可以看作是一个虚拟的表。DataSet对象允许Web窗体半独立于数据源运行。DataSet能够提高程序性能,因为DataSet从数据源...

    填充DataSet数据集

     DataSet数据集表示来自一个或多个数据源数据的本地副本,是数据的集合,也可以看作是一个虚拟的表。DataSet对象允许Web窗体半独立于数据源运行。DataSet能够提高程序性能,因为DataSet从数据源中加载数据后,就会断开与数据源的连接,开发人员可以直接使用和处理这些数据,当数据发生变化并要更新时,则可以使用DataAdapter重新连接并更新数据源。DataAdapter可以进行数据集的填充,创建DataAdapter对象的代码如下所示。 

    SqlDataAdapter da=new SqlDataAdapter("select * from news",con); //创建适配器 

     

    上述代码创建了一个DataAdapter对象并初始化DataAdapter对象,DataAdapter对象的构造函数允许传递两个参数初始化,第一个参数为SQL查询语句,第二个参数为数据库连接的SqlConnection对象。初始化DataAdapter后,就需要将返回的数据的集合存放到数据集中,示例代码如下所示。

    DataSet ds = new DataSet(); //创建数据集 
    da.Fill(ds, "tablename"); //Fill方法填充 

     

    上述代码创建了一个DataSet对象并初始化DataSet对象,通过DataAdapter对象的Fill方法,可以将返回的数据存放到数据集DataSet中。DataSet可以被看作是一个虚拟的表或表的集合,这个表的名称在Fill方法中被命名为tablename。 

    ====================================================================================================================================

    显示 DataSet 

    当返回的数据被存放到数据集中后,可以通过循环语句遍历和显示数据集中的信息。当需要显示表中某一行字段的值时,可以通过DataSet对象获取相应行的某一列的值,示例代码如下所示。

     ds.Tables["tablename"].Rows[0]["title"].ToString(); //获取数据集 

     

    上述代码从DataSet对象中的虚表tablename中的第0行中获取title列的值,当需要遍历DataSet  时,可以使用DataSet对象中的Count来获取行数,示例代码如下所示。

    for (int i = 0; i < ds.Tables["tablename"].Rows.Count; i++) //遍历DataSet数据集
     {
      Response.Write(ds.Tables["tablename"].Rows[i]["title"].ToString());
     } 
    


    DataSet不仅可以通过编程的方法来实现显示,也可以使用ASP.NET中提供的控件来绑定数据集并显示。ASP.NET中提供了常用的显示DataSet数据集的控件,包括RepeaterDataListGridView等数据绑定控件。将DataSet数据集绑定到DataList控件中可以方便的在控件中显示数据库中的数据并实现分页操作,示例代码如下所示。

    DataList1.DataSource = ds; //绑定数据集 
    DataList1.DataMember = "tablename";
    DataList1.DataBind(); //绑定数据 


    上述代码就能够将数据集ds中的数据绑定到DataList控件中。DataList控件还能够实现分页、自定义模板等操作,非常方便开发人员对数据开发。

     

    =============================================================================================================================================

     

    DataAdapter适配器对象 

    在创建了数据库连接后,就需要对数据集DataSet进行填充,在这里就需要使用DataAdapter对象。在没有数据源时,DataSet对象对保存在Web窗体可访问的本地数据库是非常实用的,这样降低了应用程序和数据库之间的通信次数。然而DataSet必须要与一个或多个数据源进行交互,DataAdapter就提供DataSet对象和数据源之间的连接。 

     

    若要使一个使用DataAdapter对象的DataSet要能够和一个数据源之间交换数据,则可以使用DataAdapter属性来指定需要执行的操作,这个属性可以是一条SQL语句或者是存储过程,示例代码如下所示。

    string str = "server='(local)';database='mytable';uid='sa';pwd='sa'"; //创建连接字串
    SqlConnection con = new SqlConnection(str); 
    con.Open(); //打开连接 
    SqlDataAdapter da = new SqlDataAdapter("select * from news", con); //DataAdapter对象 
    con.Close(); //关闭连接 

    上述代码创建了一个DataAdapter对象,DataSet对象可以使用该对象的Fill方法来填充数据集。 

     

     

    展开全文
  • 加密DataSet数据集

    2018-08-11 11:32:21
    加密DataSet数据集,代码测试正常可以实现功能!。。。。。
  • 之前四个专题我们主要讲了一下如何制作内存对象数据集, 接下来的部分我们主要讲一下如何制作Dataset数据集, 对于AI领域来说, 数据集的重要性肯定是重中之重,如果数据集选不好, 模型再好也是白费, 所以掌握好...

    之前四个专题我们主要讲了一下如何制作内存对象数据集, 接下来的部分我们主要讲一下如何制作Dataset数据集, 对于AI领域来说, 数据集的重要性肯定是重中之重,如果数据集选不好, 模型再好也是白费, 所以掌握好数据集制作的部分尤为重要。

    tf.data.Dataset接口是一个可以生成Dataset数据集的高级接口。使用tf.data.Dataset接口来处理数据集会使代码变得简单,这也是目前tensorflow主推的一种数据集的处理方式。

    tf.data.Dataset接口是通过创建Dataset对象来生成Dataset数据集的, Dataset对象可以由不同的数据源转化而来,在tf.data.Dataset接口中,有三种方法可以将内存中的数据转换为Dataset对象,具体如下:

    1、tf.data.Dataset.from_tensors:根据内存对象生成Dataset对象, 该Dataset对象中只有一个元素。

    2、tf.data.Dataset.from_tensor_slices:根据内存对象生成Dataset对象,将内存对象是列表,元组,字典,Numpy数组等类型,另外, 该方法也支持tensorflow中的tensor张量类型。

    3、tf.data.Dataset.from_generate:根据生成器对象生成Dataset对象。

    Dataset接口支持的数据集变换操作有:乱序(shuffle),自定义元素变换(map),批次组合(batch ), 重复(repeat)等

    这几种方法的使用基本类似,本实例中使用的是tf.data.Dataset.from_tensor_slices接口来记录演示:

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @ProjectName : 05_create_memory_dataset.py
    # @DateTime :  2019-11-24 15:33
    # @Author : 皮皮虾
    
    
    import tensorflow as tf
    import numpy as np
    
    
    # 在内存中生成模拟数据
    def generate_data(data_size=100):
        train_x = np.linspace(start=-1, stop=1, num=data_size)
        # y = 2x 加入了浮动
        train_y = 2 * train_x + np.random.randn(*train_x.shape) * 0.3
        return train_x, train_y
    
    # 调用
    train_data = generate_data()
    
    # 将内存数据转换为Dataset对象
    # 以元组的方式生成Dataset对象
    dataset1 = tf.data.Dataset.from_tensor_slices(tensors=train_data)
    # 以字典的方式生成Dataset对象
    dataset2 = tf.data.Dataset.from_tensor_slices(tensors={
        "x": train_data[0],
        "y": train_data[1]
    })
    
    # 对Dataset对象进行变换操作
    # 定义批次的样本个数
    batch_size= 10
    # batch:按批次组合数据, repeat无限循环
    dataset3 = dataset1.repeat().batch(batch_size=batch_size)
    # map(transformation func, iter):转换数据集中数据的类型
    dataset4 = dataset2.map(lambda data: (data["x"], tf.cast(x=data["y"], dtype=tf.int32)))
    # shuffle: 乱序操作 buffer_size数值越大, 数据越乱
    dataset5 = dataset1.shuffle(buffer_size=100)
    
    def get_one(dataset):
        # 生成一个迭代器
        iterator = dataset.make_one_shot_iterator()
        # 从迭代器中取出一个元素
        one_element = iterator.get_next()
        return one_element
    
    one_element1 = get_one(dataset=dataset1)
    one_element2 = get_one(dataset=dataset2)
    one_element3 = get_one(dataset=dataset3)
    one_element4 = get_one(dataset=dataset4)
    one_element5 = get_one(dataset=dataset5)
    
    def show_one(one_element,dataset_name):
        print("{0:-^50}".format(dataset_name))
        for i in range(5):
            # 通过静态图注入的方式传入数据
            _data_ = sess.run(one_element)
            print(dataset_name, "-", i, "|x, y:", _data_)
    
    def show_batch(onebatch_element, dataset_name):
        print("{0:-^50}".format(dataset_name))
        for i in range(5):
            # 通过静态图注入的方式传入数据
            _data_ = sess.run(onebatch_element)
            print(dataset_name, "-", i, "|x.shape:", np.shape(_data_[0]), "|x[:3]:", _data_[0][:3])
            print(dataset_name, "-", i, "|y.shape:", np.shape(_data_[1]), "|y[:3]:", _data_[1][:3])
    
    # 创建session, 读取数据
    with tf.Session() as sess:
        show_one(one_element=one_element1, dataset_name="dataset1")
        show_one(one_element=one_element2, dataset_name="dataset2")
        show_batch(onebatch_element=one_element3, dataset_name="dataset3")
        show_one(one_element=one_element4, dataset_name="dataset4")
        show_one(one_element=one_element5, dataset_name="dataset5")
    

    以上就是调用tf.data.Dataset.from_tensor_slices来创建dataset数据集。

    展开全文
  • DEAP dataset数据集 SEED dataset数据集

    千次阅读 2020-12-31 14:40:47
    DEAP 数据集 data_preprocessed_python 提取处理函数 def save_all_labels_into_file(): x = pickle.load(open('D:\eng\data_preprocessed_python\s01.dat', 'rb'), encoding='latin1') # dict labels = x['...

    数据集:一个是公开数据集,一个自己做实验

    自己做实验,一方面设备昂贵不够准确,另一方面公信力不够,更多用公开数据

    但deap数据集申请时间长难度大,就网站有偿找了一份,用代码跑了一遍。

     

    DEAP 数据集

    data_preprocessed_python

    提取处理函数

    def save_all_labels_into_file():
        x = pickle.load(open('D:\eng\data_preprocessed_python\s01.dat', 'rb'), encoding='latin1')  # dict
        labels = x['labels']
        valence_and_arousal = (labels[:, [0, 1]] - 5) / 4
        labelswithanglesandemotions = append_angle_and_emotion(valence_and_arousal)
        for i in range(2, 33):
            x = pickle.load(
                open('D:\eng\data_preprocessed_python\s' + str(i).zfill(2) + '.dat', 'rb'), encoding='latin1')  # dict
            labels = x['labels']  # numpy.ndarray
            # valence,arousal,dominance,liking
            valence_and_arousal = (labels[:, [0, 1]] - 5) / 4
            labelswithanglesandemotions = numpy.concatenate(
                (labelswithanglesandemotions, append_angle_and_emotion(valence_and_arousal)), 0)
        with open('D:\eng\data_preprocessed_python\labels.txt', 'wb') as outfile:
            numpy.savetxt(outfile, labelswithanglesandemotions, "%.2f")

     

    SEED数据集

    数据提取代码

    from utils.tools import build_preprocessed_eeg_dataset_CNN, RawEEGDataset, subject_independent_data_split
    import torch
    import torch.nn as nn
    from torch.utils.data import DataLoader
    from torch.utils.tensorboard import SummaryWriter
    
    
    # 加载数据,整理成所需要的格式
    folder_path = '../data/Preprocessed_EEG/'
    feature_vector_dict, label_dict = build_preprocessed_eeg_dataset_CNN(folder_path)
    train_feature, train_label, test_feature, test_label = subject_independent_data_split(feature_vector_dict, label_dict,
                                                                                          {'2', '6', '9'})
    
    desire_shape = [1, 62, 200]
    train_data = RawEEGDataset(train_feature, train_label, desire_shape)
    test_data = RawEEGDataset(test_feature, test_label, desire_shape)

     

    展开全文
  • 主要介绍了C#中遍历DataSet数据集对象实例,经常忘记如何操作DataSet,这里记下来并分享,让需要的朋友可以参考下
  • Amazon Review Dataset数据集记录了用户对亚马逊网站商品的评价,是推荐系统的经典数据集,并且Amazon一直在更新这个数据集,根据时间顺序,Amazon数据集可以分成三类: 2013 版 ...

    Amazon Review Dataset数据集记录了用户对亚马逊网站商品的评价,是推荐系统的经典数据集,并且Amazon一直在更新这个数据集,根据时间顺序,Amazon数据集可以分成三类:

    Amazon数据集可以根据商品类别分为 Books,Electronics,Movies and TV,CDs and Vinyl等子数据集,这些子数据集包含两类信息:

    以2014版数据集为例:

    1. 商品信息描述

      asin 商品id
      title 商品名称
      price 价格
      imUrl 商品图片链接
      related 相关商品
      salesRank 折扣信息
      brand 品牌
      categories 目录类别

      官方例子:

      {
        "reviewerID": "A2SUAM1J3GNN3B",
        "asin": "0000013714",
        "reviewerName": "J. McDonald",
        "helpful": [2, 3],
        "reviewText": "I bought this for my husband who plays the piano.  He is having a wonderful time playing these old hymns.  The music  is at times hard to read because we think the book was published for singing from more than playing from.  Great purchase though!",
        "overall": 5.0,
        "summary": "Heavenly Highway Hymns",
        "unixReviewTime": 1252800000,
        "reviewTime": "09 13, 2009"
      }
      
    2. 用户评分记录数据

      reviewerID 用户id
      asin 商品id
      reviewerName 用户名
      helpful 有效评价率(helpfulness rating of the review, e.g. 2/3)
      reviewText 评价文本
      overall 评分
      summary 评价总结
      unixReviewTime 评价时间戳
      reviewTime 评价时间
      {
        "asin": "0000031852",
        "title": "Girls Ballet Tutu Zebra Hot Pink",
        "price": 3.17,
        "imUrl": "http://ecx.images-amazon.com/images/I/51fAmVkTbyL._SY300_.jpg",
        "related":
        {
          "also_bought": ["B00JHONN1S", "B002BZX8Z6"],
          "also_viewed": ["B002BZX8Z6", "B00JHONN1S"],
          "bought_together": ["B002BZX8Z6"]
        },
        "salesRank": {"Toys & Games": 211836},
        "brand": "Coxlures",
        "categories": [["Sports & Outdoors", "Other Sports", "Dance"]]
      }
      

    Amazon数据集读取:

    因为下载的数据是json文件,不易操作,这里主要介绍如何将json文件转化为csv格式文件。以2014版Amazon Electronics数据集的转化为例:

    商品信息读取

    import pickle
    import pandas as pd
    
    file_path = 'meta_Electronics.json'
    fin = open(file_path, 'r')
    
    df = {}
    useless_col = ['imUrl','salesRank','related','title','description']  # 不想要的字段
    i = 0
    for line in fin:
        d = eval(line)
        for s in useless_col:
            if s in d:
                d.pop(s)
        df[i] = d 
        i += 1
    df = pd.DataFrame.from_dict(df, orient='index')
    df.to_csv('meta_Electronics.csv',index=False)
    

    用户评分记录数据读取

    file_path = 'Electronics_10.json'
    fin = open(file_path, 'r')
    
    df = {}
    useless_col = ['reviewerName','reviewText','unixReviewTime','summary'] # 不想要的字段
    i = 0
    for line in fin:
        d = eval(line)
        for s in useless_col:
            if s in d:
                d.pop(s)
        df[i] = d 
        i += 1
    df = pd.DataFrame.from_dict(df, orient='index')
    df.to_csv('Electronics_10.csv',index=False)
    
    展开全文
  • asp.net使用DataSet数据集插入表记录
  • LSP_dataset数据集

    2020-11-13 10:21:38
    LSP_dataset用于姿态评估的数据集。用来训练UniPose等。外网下载比较麻烦。为了给大家提供方便,现将我下载下来的数据集和大家分享一下。希望大家会喜欢。
  • MPII_dataset数据集

    2020-11-13 10:27:21
    MPII_dataset用于姿态评估的数据集。用来训练UniPose等。外网下载比较麻烦。为了给大家提供方便,现将我下载下来的数据集和大家分享一下。希望大家会喜欢。
  • C# excel数据导入,返回dataSet数据集 /// <summary> /// 根据表名导入excel数据到dataSet集,批量导入 /// </summary> /// <param name="tableName">表名(非文件名)</param> /// &...
  • C# 遍历DataSet数据集

    2018-07-06 16:48:30
    // 遍历 DataSet 数据集 DataSet ds = ExecuteDataSetByText("select * from studentinfo"); foreach (DataTable dt in ds.Tables)// 遍历所有数据表 { foreach (D...
  • 索引DataSet数据集简介使用DataSet数据集自定义数据集新建数据集:配置文件新建数据集:动态数据提取并使用数据集 DataSet数据集简介 DataSet主要用于管理所有的自定义数据集,任何需要存储数据的地方都可以定义为...
  • DataSet数据集的遍历

    2016-03-24 09:49:42
    关于Dataset数据集的遍历问题。  一.遍历一列多行的数据集 foreach (DataRow row in ds.Tables[0].Rows) { al.Add(row[0].ToString()); }  二.遍历一行多列的数据集 foreach (DataColumn column in ds....
  • TensorFlow2.0 DataSet数据集的使用 import tensorflow as tf import numpy as np # 模拟数据 def GenerateData(data_size=100): train_x = np.linspace(-1, 1, data_size) print(*train_x.shape) train_y = 2 *...
  • 1.将图片文件制作成Dataset数据集 1.1获取文件名与标签 import tensorflow as tf import os from PIL import Image import numpy as np #生成图片与对应标签的列表 def load_sample(sample_dir): ...
  • 最近没有更新博客了,可能...今天主要记录一下如何将TFRecord文件转化成Dataset数据集。 上代码: #!/usr/bin/env python # -*- coding: utf-8 -*- # @ProjectName : 07_create_tfrecord_dataset.py # @DateTime...
  • 下面附上详细的将图片文件转换为Dataset数据集的代码: #!/usr/bin/env python # -*- coding: utf-8 -*- # @ProjectName : 06_create_image_dataset.py # @DateTime : 2019-11-30 13:32 # @Author : 皮皮虾 # ...
  • 实例128DataSet数据集

    2020-05-23 16:07:58
    DataSet 类 ... DataSet对象模型姓由下列几个对象构成: ...同一个DataSet经常不只是一个表,因此,在该模型中还需要一个数据表集合对象( DataTableCollection),在该数据表集合中就保存了数据集DataSet中...
  • tf.data.Dataset数据集的制作及使用 在tf.keras中,我们可以将numpy多维数组数据集整个放入训练接口进行训练,例如model.fit(train_x,train_y,…)。但如果数据集过大,是很难一次放入存储空间的,例如几十G以上的...
  • DataSet数据集的用法

    2012-03-21 10:30:53
    DataSet数据集的用法 连接数据库成功后,进行添加记录操作,如何让数据库也随之更新。 private void add_button_Click(object sender, EventArgs e)  {  DataRow dr = ds.Tables["student"].NewRow(); //...
  • 创建dataset数据集方法

    2020-09-24 09:31:15
    创建自己的数据集需要数据和标签,并且需要一一对应: import pandas as pd import os import numpy as np from torch.utils.data import Dataset from torch.utils.data import DataLoader import torchvision....
  • import torch from torch.utils.data import Dataset,DataLoader class SmsDataset(Dataset): def __init__(self): self.file_path = "./SMSSpamCollection" self.lines = open(self.fi...
  • 1 /// <summary> 2 /// TXT文件转换成DataSet数据集 3 /// </summary> 4 /// <param name="FilePath"></param> 5 /// <param name="Tab...
  • 数据集介绍 一个可用于FUNSD(噪声很多的扫描文档)上进行表单理解的数据集。 这里的表单理解是指对表单中的文本内容进行抽取,并生成结构化数据。 数据集包含199个真实的、完全注释的、扫描的表单。 文档有很多噪声...
  • T_person2TableAdapter adapter = new T_person2TableAdapter(); DataSet数据集.DataSetT_Person2.T_person2DataTable dt = adapter.GetData();//利用数据集读取表数据 //for (int i
  • asp.net TXT文件转换成DataSet数据集

    千次阅读 2013-03-13 10:23:14
    /// /// TXT文件转换成DataSet数据集 /// /// /// /// private DataSet TextFileLoader(string FilePath, string TableName) { DataSet ds = ne
  • C#操作Dataset数据集与SQLite数据库

    千次阅读 2014-07-03 17:50:34
    近日有需要写点C#程序,有用到Dataset数据集和SQLite数据库,由于我从来就不擅长记各种编程语言的语法,所以在查阅一堆资料后,留下以下内容备忘:  一、SQLite操作,直接贴代码,很简单:  //创建一个...
  • FaceDataSet数据集

    2017-07-17 12:27:31
    参见博客:http://blog.csdn.net/chenriwei2/article/details/50631212
  • Echarts使用dataset数据集管理数据

    千次阅读 2018-05-30 22:45:00
    1、可以看官网api的入门例子  使用常见的对象数组的格式... dataset: { // 这里指定了维度名的顺序,从而可以利用默认的维度到坐标轴的映射。 // 如果不指定 dimensions,也可以通过指定 series.encode 完成映...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,971
精华内容 5,188
关键字:

dataset数据集