精华内容
下载资源
问答
  • pytorch MNIST数据转换成图片和txt

    千次阅读 2018-05-20 09:24:01
    1.下载Mnist 数据集import os # third-party library import torch import torch.nn as nn from torch.autograd import Variable import torch.utils.data as Data import torchvision import matplotlib.pyplot as...

    1.下载Mnist 数据集

    import os
    
    # third-party library
    import torch
    import torch.nn as nn
    from torch.autograd import Variable
    import torch.utils.data as Data
    import torchvision
    import matplotlib.pyplot as plt
    
    # torch.manual_seed(1)    # reproducible
    
    
    DOWNLOAD_MNIST = False
    
    
    # Mnist digits dataset
    if not(os.path.exists('./mnist/')) or not os.listdir('./mnist/'):
        # not mnist dir or mnist is empyt dir
        DOWNLOAD_MNIST = True
    
    train_data = torchvision.datasets.MNIST(
        root='./mnist/',
        train=True,                                     # this is training data
        transform=torchvision.transforms.ToTensor(),    # Converts a PIL.Image or numpy.ndarray to
                                                        # torch.FloatTensor of shape (C x H x W) and normalize in the range [0.0, 1.0]
        download=DOWNLOAD_MNIST,
    )

    下载下来的其实可以直接用了,但是我们这边想把它们转换成图片和txt,这样好看些,为后面用自己的图片和txt作为准备

    2. 保存为图片和txt

     

    import os
    from skimage import io
    import torchvision.datasets.mnist as mnist
    import numpy
    
    
    
    root = "./mnist/raw/"
    
    train_set = (
        mnist.read_image_file(os.path.join(root, 'train-images-idx3-ubyte')),
        mnist.read_label_file(os.path.join(root, 'train-labels-idx1-ubyte'))
    )
    
    test_set = (
        mnist.read_image_file(os.path.join(root,'t10k-images-idx3-ubyte')),
        mnist.read_label_file(os.path.join(root,'t10k-labels-idx1-ubyte'))
    )
    
    print("train set:", train_set[0].size())
    print("test set:", test_set[0].size())
    
    
    def convert_to_img(train=True):
        if(train):
            f = open(root + 'train.txt', 'w')
            data_path = root + '/train/'
            if(not os.path.exists(data_path)):
                os.makedirs(data_path)
            for i, (img, label) in enumerate(zip(train_set[0], train_set[1])):
                img_path = data_path + str(i) + '.jpg'
                io.imsave(img_path, img.numpy())
                f.write(img_path + ' ' + str(label) + '\n')
            f.close()
        else:
            f = open(root + 'test.txt', 'w')
            data_path = root + '/test/'
            if (not os.path.exists(data_path)):
                os.makedirs(data_path)
            for i, (img, label) in enumerate(zip(test_set[0], test_set[1])):
                img_path = data_path + str(i) + '.jpg'
                io.imsave(img_path, img.numpy())
                f.write(img_path + ' ' + str(label) + '\n')
            f.close()
    
    
    convert_to_img(True)
    convert_to_img(False)
     

    http://www.codeblogbt.com/archives/21690

     
    展开全文
  • 本测试程序非常简单,对本人来说,意义在于读取电池放电的采样数据,然后得到的离散数据用excel绘制一条放电曲线,找到电池满电以及空点的临界点,最后应用到应用层的电池充放电的图标绘制; 二、代码说明 ...

    一、前言

    1. 刚步入社会工作,只是想把自己做的事情做一个记录,同时也可以分享给网友,虽然都是些基础,但领导说得很对,细节非常重要;
    2. 本测试程序非常简单,对本人来说,意义在于读取电池放电的采样数据,然后把得到的离散数据用excel绘制成一条放电曲线,找到电池满电以及空点的临界点,最后应用到应用层的电池充放电的图标绘制;

    二、代码说明

    1. 打开要保存文件的方式

    linux环境支持的文件打开的几种方式,可以用man fopen进行查看,如下:
    这里写图片描述

    跟我在以前谭浩强C语言课本中看到的有点不一样,还有b选项,我采用的是“a+”模式,当文件关闭后,可以继续追加写;
    fp = fopen("/usr/value_ad.txt","a+");

    2. 整数转换字符串再存取

    开始准备fwrite()进行写操作的,后来发现还是把整数转换成字符串存入文件更方便,经查阅资料发现,非linux环境下的整数转换字符串除了支持 sprintf()函数外,还支持itoa()函数,在此针对linux环境就只采用sprintf()函数;
    通过fputs()函数进行写,需添加头文件#include

    sprintf(str,"%d",data);
    fputs(str,fp);

    3. linux环境与windows环境的换行格式的差别

    在每次写一个字符窜数据之后,都要写一个换行符,如果采用如下代码:

    fputs("\n",fp)

    在linux打开保存的文件如下:
    这里写图片描述
    但在windows下面打开该文件的数据排版如下:
    这里写图片描述
    解决该问题的方法如下:
    利用“\r\n”替换“\n”,即

    fputs("\r\n",fp)

    源码及测试

    以下源码为我单独编写的,思路都是一样,数据来源不一样而已;

    #include <stdio.h>
    #include <stdlib.h>
    
    #define READ_DATA_COUNT 20
    #define OPEN_FILE_COUNT 5
    
    int main(int argc,char **argv){
        int data = 222;//模拟读取的数据
        int count = 0;//记录所读取数据的次数,再进行存取操作
        int saveData_perOpen = 0;//每次打开设备文件所要所存数据的数量
        char str[25];
    
        FILE *fp;
             if((fp = fopen("/usr/value_ad.txt","a+")) == NULL)//打开设备文件
             {
                     printf("cannot open this file\n");
                     return 0;
             }
      //如果自己测试就把while(1)改成有限循环来执行;      
        while(1){//因为要测试电池的AD值,并不知道循环具体的终止条件,那么就让嵌入式设备自动关机来结束
            data++;
            count++;
                    if(count%READ_DATA_COUNT == 0){//因为采样的数据频率快,我选择每读取20个数据存一次
                            printf("%d\n", data);
                            sprintf(str,"%d",data);//整数转换字符串
                            if(fputs(str,fp) == '\0')//写字符串
                            {
                                    printf("cannot open file\n");
                                    return 0;
                            }
                            fputs("\r\n",fp);//写换行符
                            count = 0;
                            saveData_perOpen++;
                            if (saveData_perOpen == OPEN_FILE_COUNT)//如果不采用这个if,估计设备关机是不会执行fclose()函数的(我直接用ctrl+c终止后台测试的),数据就不能保存成功,所以采用一种比较笨的方法,每存5个数时关闭文件再打开,还可以fflush()函数刷新;
                            {
                                    fclose(fp);//关闭设备文件
                                    if((fp = fopen("/usr/value_ad.txt","a+")) == NULL)//重新打开设备文件
                                    {
                                            printf("cannot open this file\n");
                                            return 0;
                                    }
                                    saveData_perOpen = 0;
                            }
                    }
        }
        fclose(fp);//关闭设备文件
        return 0;
    }

    在采集的2万多个数据中,存取了1500个左右的数据,然后用所得的数据绘制成一张电池的放电曲线,如下图:
    这里写图片描述
    这里写图片描述
    开始的数据可能是接了外接电源的缘故,AD值会大一些,但不会影响整个曲线趋势的大体走向。

    展开全文
  • 包含单词10余个的电子词典数据。 相关下载 (本人资源中可以找到): 英汉词典数据 - 单词数据库 (汉字 转换成 英语版本)
  • 最近公司有一个项目 需要原来的系统从 MSSQL 升迁到阿里云RDS MySQL 上面 为便于测试 所以需要原来系统的所有数据表以及测试数据转换到 MySQL 上面 在百度上找了很多方法 有通过微软 DTS 的 也有使用 mss2sql ...
  • 十进制转换成二进制 void conversion(){ InitStack(S); scanf(“%d”,n); while(N){ Push(S,n%2) n=n/2; } while(!StackEmpty(S)){ Pop(S,e); printf(“%d”,e); } }//conversion

    十进制转换成二进制

    void conversion(){

    InitStack(S);

    scanf(“%d”,n);

    while(N){

    Push(S,n%2)

    n=n/2;

    }

    while(!StackEmpty(S)){

    Pop(S,e);

    printf(“%d”,e);

    }

    }//conversion

    展开全文
  • 非结构化到结构化数据转换的研究与实现[D]. 西南交通大学, 2013. 文中提到了一种方法:非结构化数据(通过提取有关的元数据)——>xml文档(根据约束条件)——>结构化数据 通过这样的方式来使得数据从...

    ---恢复内容开始---

    参考文献:

    万里鹏. 非结构化到结构化数据转换的研究与实现[D]. 西南交通大学, 2013.

     

     

    文中提到了一种方法:非结构化数据(通过提取有关的元数据)——>xml文档(根据约束条件)——>结构化数据

    通过这样的方式来使得数据从非结构化到结构化。

     

    如何提取有关的元数据呢?

    一般采用了文件模板的方式,即把文件分为(1)文件字段名(2)字段类型(3)索引 以及更多的类型,这里的类型就依据所需要处理的属性具体划分,而文件模板的主要作用就是用于创建数据表,从而使得其原始数据能够结构更加清晰。

    文件模板存放于系统模板库中,这样的话能够重复利用。

     

    文中提到的比较多的文件类型是PDF、Office文档、文本数据以及HTML网页。都是不具有通用性,只能根据某一种文件的某一个特征进行分析、转换为xml。

    (1)Word文档用到了Jacob技术

    (2)Excel文档用到了Java Excel API技术

    (3)HTML网页需要用到Webharvest、htmlparser或者htmlclean

    (4)图片、图像、音频、视频这类非文本的以二进制形式存储的文件,则不能转换为xml文档

     

    所提到的这些技术能够支持非结构化数据到xml文档的转换。其实也可以换一种思路理解,xml是一个承载数据转化的中间过程,最终的数据是以结构化的形式存储在关系数据库中的。

     1.首先,先要了解一下jacob.官方的解释是JavaCOM Bridge,即Java和com组件间的桥梁.com一般表现为dll或exe等二进制文件,像我们一会将用到的jacob-1.14.3-x64.dll文件。

       2.通过maven的pom.xml文件依赖第三方Jacob.jar包:

    https://mvnrepository.com/artifact/net.sf.jacob-project/jacob

     

    <dependency>

     

    <groupId>net.sf.jacob-project</groupId>

     

    <artifactId>jacob</artifactId>

     

    <version>1.14.3</version>

     

    </dependency>

     

    ————————————————————————————————————————————————————————————————————————

    结合自己研究的方向,主要将目光聚焦于如何处理html网页的日志文档,而处理html网页需要用的技术也是调用相应的包。

    Web-Harvest 是一个用Java 写的开源的Web 数据提取工具。它提供了一种从所需的页面上提取有用数据的方法。为了达到这个目的,你可能需要用到如XSLT,XQuery,和正则表达式等操作text/xml 的相关技术。Web-Harvest 主要着眼于目前仍占大多数的基于HMLT/XML 的页面内容。另一方面,它也能通过写自己的Java 方法来轻易扩展其提取能力。

        Web-Harvest 的主要目的是加强现有数据提取技术的应用。它的目标不是创造一种新方法,而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程,每一个处理器被看作是一个函数,它拥有参数和执行后同样有结果返回。而且处理是被组合成一个管道的形式,这样使得它们可以以链式的形式来执行,此外为了更易于数据操作和重用,Web-Harvest 还提供了变量上下方用于存储已经声明的变量。

     

        web-harvest 启动,可以直接双击jar包运行,不过该方法不能指定web-harvest java虚拟机的大小。第二种方法,在cmd下切到web-harvest的目录下,敲入命令“java -jar -Xms400m webharvest_all_2.jar” 即可启动并设置起java虚拟机大小为400M。

     

    采用

    import org.webharvest.definition.ScraperConfiguration;

    import org.webharvest.runtime.Scraper;

    这样的方式,将jar包引入。

    如果你对编程感兴趣或者想往编程方向发展,可以关注微信公众号【筑梦编程】,大家一起交流讨论!小编也会每天定时更新既有趣又有用的编程知识!
     

    展开全文
  • 一、背景 导出的excel中只有详细地址,...1、首先想到的就是直接在excel中进行数据处理,由于数据量很大(几十级别),因此用Java读取excel再处理的方式难度较大。 2、由于详细地址中很多没有省市区相关标志,而...
  • 在编程时,可能只需要整数,那么就得小数转换为整数,有时可能还需要类似&amp;amp;quot;4&amp;amp;quot;这样的字符串转换为一个数值,这就需要数据类型转换。 一、隐式转换和显示转换 隐式转换就是...
  • echarts自定义X轴,x轴数据转换

    千次阅读 2019-03-06 09:25:00
    echarts x轴自定义,数据转换,比如,x轴的原始数据转换成汉字或者一定格式的显示,如星期转换、24小时转换 以星期转换为例 option = { xAxis: { type: 'category', data: ['Mon', 'Tue', 'Wed', 'Thu', '...
  • 深度图转换成点云

    万次阅读 热门讨论 2019-08-22 12:47:58
    最近由于课题需要数据源,但是没有直接获取的方法,所以只能在周老师http://www.qianyi.info/的网站上自己下载深度图转换成点云数据,大概花了三点的时间,终于弄得差不多了,这里做个记录。 二、数据准备和环境配置...
  • 做93学社项目的时候,用帆软做的报表,一直报无效的月份的错误,数据十几条没法挨个查看。百度出的的oracle函数有错,修改了半天,不多说,直接上函数: create or replace function is_DATE(datevar in varchar2...
  • delphi数据类型转换

    千次阅读 2017-05-07 11:05:56
    //Char 类型与其编码值的转换: var b: Byte; c: Char; begin b := Ord('A'); {返回: 65} b := Ord(#65); {返回: 65} b := Ord($41); {返回: 65} b := Ord(#$41); {返回: ...
  • wu-easy-upsert-starter 轻量级数据转换存储服务 简介: 针对轻量级数据(单次包数据量10)处理,提供数据转移存储到MySQL、Kafka、ES、HBase、Redis 配置相应的数据源,注入IUpser对象并使用upsert方法 配置...
  • 我们先来看一张数据扭转的图,这个是DDD思想下各种对象转换的过程。 VO(View Object):视图对象,用于展示层,它的作用是某个指定页面(或组件)的所有数据封装起来。 DTO(Data Transfer Object):数据传输...
  • 由于后台传过来的数据是以“分”为单位的,所以这个时候要对金额进行转换,当金额上万时,以为单位。 // 金额转换 function changeMoney(num) { num = (num / 100).toFixed(2) if (num &amp;amp;gt; 10000) ...
  • js基本数据类型转换

    千次阅读 2009-05-17 09:21:00
    js虽然弱化数据类型,但有时候依然需要数据类型的转换,比如一个函数,通过参数得到的输入。其实想来,js当年的设计,还是挺超前的,现在来来看他的数据类型,用值... 第一种,转换成数字 xxx*1 转换成字符串 xxx+""
  • 错误 0xc02020a1: 数据流任务 1: 数据转换失败。列“最后修改用户标识”的数据转换返回状态值 4 和状态文本“文本被截断,或者一个或多个字符在目标代码页中没有匹配项。”。  (SQL Server 导入和导出向导)   ...
  • 这是《Python数据挖掘课程》系列文章,前面很多文章都讲解了数据挖掘、机器学习,这篇文章主要讲解数据分析预处理中字符特征转换为数值特征、数据标准化、数据归一化,这都是非常基础的工作。最后通过KNN实现KDD CUP...
  • Easy-upsert-starter 轻量级数据转换存储服务-HBase使用简介快速开始初始化工程引入依赖HBase配置文件配置如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中...
  • Java实现阿拉伯数字转换成汉字数字

    千次阅读 2020-02-10 21:00:24
    文章目录问题 输入一串阿拉伯数组将其转换成汉字数字?问题分析阿拉伯数字转换汉字数字分析汉字数字带技术单位分析具体代码 问题 输入一串阿拉伯数组将其转换成汉字数字? 问题分析 阿拉伯数字转换汉字数字分析 ...
  • @desc: python实现 数值 转换,亿单位,保留3位小数 """ def str_of_num(num): ''' 递归实现,精确为最大单位值 + 小数点后三位 ''' def strofsize(num, level): if level >= 2: return num,.
  • 不同的基本类型之间可以相互...(需要转换成的类型)变量 但这样转换可能会造成精度损失或者溢出 强制转换时的精度丧失和溢出 基本类型转换示例,注意强制转换时可能会造成的精度丧失和溢出 int a=100; int b=200; lo
  • JS实现转换千分位计数 350000.00-------350,000.00 var num=0; function format (num) {  return (num.toFixed(2) + '').replace(/\d{1,3}(?=(\d{3})+(\.\d*)?$)/g, '$&,'); } var num = 12345; console.log...
  • movielens数据集读取、转换

    千次阅读 2018-03-16 15:38:50
    【1】从https://grouplens.org/datasets/movielens/上下载数据集,包含6000用户,4000多电影的100数据【读数据】import pandas as pd import numpy as np users_Name=['user_id','gender','age','work','zip'] ...
  • python 将数字转换为中文/python将阿拉伯数字转换成中文/ python将数字转换为汉字/python将阿拉伯数字转换成汉字/ 对比了三种不同方法,字符串法最优。
  • ![图片说明]...很奇怪的现象,我一共有一千数据量,不是一条都不能导入,有时候能导入几千条,有时候 能导入几条就断了。就是总是报text类型转换为date类型
  • 下载好数据集,我的数据集一开始是这样的 第一步创建出来market1501的数据集文件夹格式 market1501数据集的具体介绍可以看看这个http://blog.fangchengjin.cn/reid-market-1501.html import os def make_...
  • * 9、金额转换,阿拉伯数字转换成中国传统形式。 * 例如:101000001010 转换为 壹仟零壹拾亿零壹仟零壹拾圆整 * 分析问题:a、小数点之前为整数,小数点后只有两位,为角分。 b、小数点之前单位依次为 圆,拾,...
  • 刚开始首先想到的是用程序去做,但是因为时间很紧,写程序加调试,也不来及,于是就像直接excel的数据转化insert语句,然后批量执行, 数据如下, 1、excel的数据inser into ,  ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 162,825
精华内容 65,130
关键字:

怎么把数据转换成万