精华内容
下载资源
问答
  • 由于公司发展需要,我们需要找其他厂家一款数据呈现的软件,后台的数据抓取利用了另外一款软件,这款软件把数据利用ODBC放到了数据库中,每个数据都只带了简单的时间戳,但没有对每天、每月、每年的数据分表,需要...
  • 比特币数据分析软件的开发

    千次阅读 2018-07-29 10:48:35
    前几天,我写了三篇关于如何「股票数据分析软件」的图文,分为以下三个部分: - 数据的抓取 - 数据的分析 - 数据的可视化 我们知道国内交易股票的市场只有沪深两家,属于中心化的交易所,它们不向具有编程技能...

    前几天,我写了三篇关于如何做「股票数据分析软件」的图文,分为以下三个部分:
    - 数据的抓取
    - 数据的分析
    - 数据的可视化

    我们知道国内交易股票的市场只有沪深两家,属于中心化的交易所,它们不向具有编程技能的人免费提供API接口,对这些人来说有些无从使力,受券商束缚,很难受。

    但在币圈,所有的数字货币交易所为所有人免费开放API接口。这为那些具备编程技能以及拥有一定数学基础,喜欢量化的人提供了验证自己交易策略的机会。

    在股票市场,设计交易策略主要的参考标的是沪深300指数,因为国家开放了针对这个指数的股指期货,大资金可以做对冲,能够体现整个市场的趋势。

    而在数字货币市场,跟沪深300指数起到类似效应的是比特币(BTC)的交易情况,通常其它主流数字货币如ETH、EOS、BTM等都跟BTC联动。故设计数字货币的交易策略,需要锚定BTC的交易趋势。

    对BTC交易趋势的判断,无外乎又是那一套,先爬取数据,接着分析数据,最后可视化结果,根据结果设计交易策略。

    既然套路一致,那么把以前设计的软件进行扩展就可应用在BTC数据的分析上,岂不是很自然的想法,说干就干,于是昨天下午完善了以前的代码,除了能够分析股票的数据外,也可以分析数字货币的数据。完美!


    其实,需要扩展的地方只有抓取数据部分,其它部分逻辑一致,修改配置参数即可。

    CoinMarketCap 是数字货币领域比较权威的测评网站,很多APP都是抓取此网站的数据来做的,我们的数据也从这个网站抓取。

    抓取BTC数据的请求地址:

    https://coinmarketcap.com/currencies/bitcoin/historical-data/?start=20180426&end=20180726

    抓取EOS数据的请求地址:

    https://coinmarketcap.com/currencies/eos/historical-data/?start=20180426&end=20180726

    经过对比 currencies/bitcoincurrencies/eos 中的后半部分是数字货币的名称。参数 startend 表示请求数据的起始时间和终止时间。

    这样,我们就可以写一个函数来得到 HTMLDOM 节点:

    private IHtmlDocument GetHtmlDocument(string coinName, DateTime start, DateTime end)
    {
        string start1 = DateToYearMonthDay(start);
        string end1 = DateToYearMonthDay(end);
        string url = "https://coinmarketcap.com/currencies/"
                        + coinName
                        + "/historical-data/?start="
                        + start1 +
                        "&end=" + end1;
    
        IHtmlDocument document;
        try
        {
            document = new JumonyParser().LoadDocument(url);
        }
        catch
        {
            document = null;
        }
        return document;
    }
    
    private string DateToYearMonthDay(DateTime dt)
    {
        //规范化时间的表示
        string result = dt.Year.ToString();
        result += dt.Month.ToString().PadLeft(2, '0');
        result += dt.Day.ToString().PadLeft(2, '0');
        return result;
    }

    得到 HTMLDOM 节点之后,利用 JQuery 选择器的语法可以找到对应标签,从而得到想要的数据。

    这块的知识点见 七天学会「股票数据分析软件」的开发(上),还有一点需要注意,股票数据是通过抓取新浪财经网站得来,网址如下:

    http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_MarketHistory/stockid/000300/type/S.phtml?year=2018&jidu=3

    这块的数据起始与终止时间是按照 年份 year 和 季度 jidu 传递的,为了扩展我们的代码而非修改代码,需要做一个 DateTimeyearjidu 的映射,这样所有代码的逻辑就完全一致了,映射函数如下:

    public static void GetDateTime(int year, int jidu, out DateTime start, out DateTime end)
    {
        // 给定 年份 和 季度 得到 起始时间 和  终止时间
        start = new DateTime(year, 1, 1);
        end = new DateTime(year, 3, 31);
    
        switch (jidu)
        {
            case 2:
                start = new DateTime(year, 4, 1);
                end = new DateTime(year, 6, 30);
                break;
            case 3:
                start = new DateTime(year, 7, 1);
                end = new DateTime(year, 9, 30);
                break;
            case 4:
                start = new DateTime(year, 10, 1);
                end = new DateTime(year, 12, 31);
                break;
        }
    }

    其它需要注意的地方就没有了,最后看看我做的Demo:

    主窗体:用来展示可视化的数据以及为各种功能提供导航。
    主窗体

    数据的采集窗体:用来从 CoinMarketCap 网站爬取数字货币的数据。
    数据采集

    数据的分析窗体:用来分析爬取下来的交易数据。
    数据分析

    数据的可视化窗体:用图形的方式展示数据以及分析的结果。主要包括蜡烛图、交易曲线图、分位数图、筹码分布图等。
    蜡烛图

    交易曲线图

    筹码分布图


    到此,关于爬取数据,分析数据,可视化数据的整个逻辑通过两个案例就全部介绍完了,大家有什么问题随时问我,我给大家答疑

    至于数字货币交易所之间的套利以及交易所内部的三角套利,这些代码等开学后让新来LSGO软件技术团队的同学们来练手就好,我还是抓紧时间干正事吧。

    前两天跟梅华威老师吃饭,他的思维很宏观,哲学、历史、成功学等等懂很多的东西,他在 DreamTeach 哪边教同学们做人的道理,培养了很多优秀的学生。非常钦佩他。

    我的思维却很微观,视角比他低很多,我会跟LSGO这边的学生讲一些编程的最小必要知识,带着他们去解决一些问题,告诉他们解决这些问题需要哪些知识点,这些知识点之间有哪些关联,通过不断的解决问题,把所学到的知识点连接成网络,慢慢形成一套解决问题的知识体系。同样,也培养了很多优秀的学生。

    要走出去,降低自己在实验室写代码的时间,多跟其他老师的团队交流,相互融合,没准华电这块,除了搞电力,其它方面也会做的不错。

    今天就写到这里吧!See You!

    展开全文
  • 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除...因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误...

    数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。

    数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。

    主要类型

    残缺数据

    这一类数据主要是一些应该有的信息缺失,如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库

    错误数据

    这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不可见字符的问题,只能通过写SQL语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。

    重复数据

    对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。

    数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。

    以上是百度百科的答案,以下才是我的理解。

    总之:

    数据清洗ETL是指对过来的数据进行处理成干净的数据。

    主要的步骤有以下几个:

    首先是需要接收数据

    然后还有可能涉及到数据格式的转换,logstash是将结构化的数据转换成json格式的数据的一种方式

    另外如果是进行离线数据处理的话还需要存储过来的脏数据,脏数据一般是存储在HDFS上的。离线一般使用MapReduce进行数据的清洗工作

    如果是流式处理框架的话需要接收数据,去进行处理的。我们一般在流式处理框架中是使用kafka进行数据的接收,然后用sparkstreaming充当消费者进行数据的处理的。同时在这个sparkstreaming中进行数据清洗工作。

    数据清洗之后就是干净的数据了,需要进行存储,由于数据的量比较大,因此又需要进行存储,一般会选择hdfs进行数据的存储处理。

    之后数据就算是入库了,需要进行分析或者进行可视化或者进行AI模型训练等。

    这就是数据处理过程的大概流程。

    其中数据清洗阶段需要做的工作就是将这些脏数据进行处理,弄成干净的数据。具体怎么做呢?那么何为脏数据呢?

    脏数据包括:

    1、重复数据

    2、残缺不全的数据,也就是数据中有一部分段或者该字段的一部分丢失了

    3、错误数据,就是某一些字段或者一些字段对应的值明显是错误的。

    那么针对于这些值应该怎么处理呢?

    不同的数据,用途不同,处理的方式也是不一样的。一般的处理方式式删除掉,过滤掉,就是下一次存入数据库的时候不进行存车这些数据;还有就是将残缺的数据进行补齐,当然在补齐的时候是需要有一定的规则的,常见的方式式进行对这个值及其前后值去请均值;

    如果是重复数据的话,那么使用distinct进行去重;

    如果是不太全的数据,后期还需要进行做机器学习模型训练,那么就需要非常大量的数据,而当数据量又不太大的时候需要进行处理加工的,常见的方式就是进行前后值取平均值、和它前边的数据保持一致,和后边的数据进项保持一致等。

    如果是错误数据是需要进行纠正错误的,比如将错误的值进行纠正等。

    如果数据只是单纯的进行可视化,那么就是不让数据在前端展示就好了,这个时候错误数据处理的方式就有以下几种:

    一个是在接口去库里进行查询的时候,做个判断,如果是不符合要求的数据,那么就不要查询这个字段的数据,这个是最后的最笨的办法,其实还有比较聪明的办法,就是在数据第二次入库之前,进行etl数据清洗,将脏数据处理就好了。这个就是ETL做的工作了。

    展开全文
  • 自己量化交易软件(10)通通量化AI框架的数据获取与格式 我与2018年07月08日开始学习python编程和设计通通量化AI框架,到昨天晚上2018年10月30日,基本框架已经完成.能够显示K线图形,能够使用仿通达信公式,能够用...

    自己做量化交易软件(10)通通量化AI框架的数据获取与格式
    我与2018年07月08日开始学习python编程和设计通通量化AI框架,到昨天晚上2018年10月30日,基本框架已经完成.能够显示K线图形,能够使用仿通达信公式,能够用python编写策略,并显示出来.而且增加了股票投资类的AI知识库.
    通通量化框架
    (通通量化框架主画面)
    通通量化框架双均线回测
    (通通量化框架回测界面)
    通通量化框架AI对话
    (通通量化框架信息输出和交互,集成有股票投资类的知识库.)

    在这几个月的学习中,我得到了广大朋友,群友的大量帮助,也得到了度娘的帮助,大量代码都是复制粘贴修改所完成.难免让大家看我的程序似成相识.
    我自己在这个几个月对python语言的理解也逐步蜕变升级.更多进步都是我不断试错代码,才取得的进步.无论怎么说,我还是坚持完全开源的思想,把我的通通量化AI框架全部代码,无保留奉献给有兴趣的朋友.
    1.我们通通量化框架与其说是用于金融投资,例如股票,期货,虚拟币,彩票分析等等.更重要的是,通过我的努力学习,把互联网上碎片的python编写程序的知识,进行了汇总和合成.如果你理解了我的通通量化框架的总体设计思想.你完全可以给自己的裸奔算法,加上华丽的外衣(漂亮的客户端界面).
    2.我的傻瓜型通通量化AI金融投资框架,针对于不懂电脑人来安装使用.这就是我对使用python编程的朋友第2个贡献.我们提供的64位python是绿色版本,只要解包安装,执行py36.bat. 要知道开始使用python对于我这个电脑玩家来说,安装python耗费了我不少时间.绿色py36压缩后1G左右,解包后3.2G,基本上你所需要的所有包已经集成好了,网上复制来的代码,能够直接在这个环境下运行.我已经集成了聚宽数据JQData数据包,Tushare数据接口包,OpenDataTools数据包.这些平台的股票数据获取,你可以随便使用.(聚宽数据需要网站申请免费使用帐户)
    3.傻瓜型通通量化AI金融投资框架是全开放型的,用户可以看到全部代码,可以按照自己喜欢的样子,方式,习惯去修改.如果不想修改,也可以增加新的VIEW窗口画面,程序改变窗口状态和画面.这看起来一点不傻瓜,不是python高手,无法使用.但是,你能引用,复制,装载高手设计的新框架来使用.至于这些框架是如果编写设计的,你看不懂不要紧,能使用就可以了,你说"傻瓜不傻瓜".高手完全可以在程序运行过程中,增加自己喜欢的回测画面模板.
    闲话说多了,跑题了.
    通通量化早期设计是用的聚宽数据,因此内部核心数据格式是聚宽df格式,下面我们看看聚宽数据格式.

    import pandas as pd  
    import numpy  as np
    import datetime as dt
    import time
    import jqdatasdk as jq
    
    x=jq.auth('聚宽账户','密码')  #这里用户输入自己的账户和密码
    security='000001.XSHE'
    ds=time.strftime('%Y-%m-%d',time.localtime(time.time()))
    de=time.strftime('%Y-%m-%d',time.localtime(time.time()))
    df1=jq.get_price(security, start_date=None, end_date=de, frequency='daily', fields=None, skip_paused=False, fq='pre', count=None)
    print(df1.head(5))
    print(df1.dtypes)
    print(df1.index)
    

    上面代码运行结果如下图:
    在这里插入图片描述
    我们能够看到,索引是DatetimeIndex格式.通通量化在K线图显示是用了聚宽格式数据,是我们通通量化的核心数据格式.但是通通量化保存数据的格式又是Tushare数据格式.使用期间要经常相互转化,后期我们评估后,再统一格式.
    下面我们看看Tushare数据格式.

    import tushare as ts
    import pandas as pd
    
    df1=ts.get_k_data('000001',ktype='D',start='2018-01-01',end='2018-10-15',index=False,autype='qfq')
    print(df1.head(5))
    print(df1.dtypes)
    print(df1.index)
    

    上面代码运行的结果如下图:
    在这里插入图片描述
    我们能够看到,索引是Int64Index格式.无论什么格式数据,我们重点关注date,open,close,high,low,volume等列,这是股票核心数据.程序处理就以这几个数据为主.
    下面我们再看看OpenDataTools数据格式:
    from opendatatools import stock

    df1, msg = stock.get_daily('600000.SH',start_date='1991-01-01',end_date='2018-08-17')
    print(df1.head(5))
    print(df1.dtypes)
    print(df1.index)
    

    上面代码运行的结果如下图:
    在这里插入图片描述
    OpenDataTools数据格式的索引与Tushare数据格式一致,所以使用基本一样.但是OpenDataTools数据又多了很多内容,对我们程序没有影响,用户可以在自己策略中引用这些数据了,例如换手率change等等信息.
    上面三种数据格式的股票代码不一样,大家使用中要注意.
    本地数据格式,数据处理我放到HP_data.py文件中了.常用函数格式用法同Tushare数据函数格式.

    import datetime as dt
    from datetime import datetime
    import pandas as pd
    import HP_global as g 
    import HP_set 
    import HP_data as hp
    import tushare as ts
    
    df1=hp.get_k_data('000001',ktype='D',start='2018-01-01',end='2018-10-15',index=False,autype='qfq')
    print('通通本地数据')
    print(df1.head(5))
    print(df1.dtypes)
    print(df1.index)
    
    df2=ts.get_k_data('000001',ktype='D',start='2018-01-01',end='2018-10-15',index=False,autype='qfq')
    print('Tushare数据')
    print(df2.head(5))
    print(df2.dtypes)
    print(df2.index)
    

    上面代码运行的结果如下图:
    在这里插入图片描述
    我们可以看到本地数据格式和Tushare数据格式除了code不同外,其他都一致.
    朋友们明白了吗?把hp换为ts,就能直接在网上获取数据.
    下面我给出HP_data.py中的数据转换函数,仅供参考,

    #聚宽数据格式转为Tushare数据格式
    def jqtots(df1):
        a=[x.strftime("%Y-%m-%d") for x in df1.index]
        df1.insert(0,'date',a)
        df1=df1.reset_index(level=None, drop=True ,col_level=0, col_fill='')  
        return df1
    
    #Tushare数据格式转为聚宽数据格式
    def tstojq(df1):
        a=[dt.datetime.strptime(x,'%Y-%m-%d') for x in df1['date']]
        df1.insert(0,'date2',a)
        df1=df1.reset_index(level=None, drop=True ,col_level=0, col_fill='')  
        df1.index=df1['date2']
        del df1['date2']
        del df1['date']
        return df1
    

    朋友们明白了数据格式,就可以写自己的量化分析策略了.

    为什么我有空写文章啦,今天没带移动硬盘,没法完善通通量化框架了.

    展开全文
  • 我们在做数据分析时,一定要提前做好充分的了解。今天要和大家分享的内容是数据分析中常用的五种软件,下面让我们一起来好好理解一下吧。 Excel是我们最常用的一个办公软件,可以进行各种数据的处理、统计分析和辅助...


    想要做好数据分析,一定要提前了解好关于数据分析的一些相关知识,比如数据分析常用的软件有哪些?我们在做数据分析时,一定要提前做好充分的了解。今天要和大家分享的内容是数据分析中常用的五种软件,下面让我们一起来好好理解一下吧。

    Excel是我们最常用的一个办公软件,可以进行各种数据的处理、统计分析和辅助决策操作,广泛地应用于管理、统计财经、金融等众多领域。包括有数据透视功能、统计分析、图表功能、高级筛选、自动汇总功能、高级数学计算等众多功能。

    SAS软件,是全球最大的软件公司之一,是统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。它有3个优点,第一点1、功能强大,统计方法齐,全,新;SAS提供了从基本统计数的计算到各种试验设计的方差分析,相关回归分析以及多变数分析的多种统计分析过程,几乎囊括了所有最新分析方法,其分析技术先进,可靠。第二点,使用简便,操作灵活;SAS以一个通用的数据(DATA)步产生数据集,尔后以不同的过程调用完成各种数据分析。第三点,提供联机帮助功能;使用过程中按下功能键F1,可随时获得帮助信息,得到简明的操作指导。

    R软件,R是一套完整的数据处理、计算和制图软件系统。优点有:数据存储和处理系统;数组运算工具;完整连贯的统计分析工具;优秀的统计制图功能;简便而强大的编程语言:可操纵数据的输入和输出,可实现分支、循环,用户可自定义功能。

    SPSS,是世界上最早的统计分析软件。优点有:操作简便:界面友好,除了数据录入及部分命令程序等少数输入工作需要键盘键之外,大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成;编程方便:具有第四代语言的特点,告诉系统要做什么,无需告诉怎样做。只要了解统计分析的原理,无需通晓统计方法的各种算法,即可得到需要的统计分析结果;功能强大:具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。自带11种类型136个函数;数据接口:能够读取及输出多种格式的文件;模块组合:SPSS for Windows软件分为若干功能模块;针对性强:SPSS针对初学者、熟练者及精通者都比较适用。

    Python是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰,具有丰富和强大的类库。它的优点有:简单;易学;速度快;免费、开源;高层语言;可移植性;解释性;面向对象;可扩展性;可嵌入型;丰富的库;规范的代码。

    上文就是小编为大家介绍的数据分析常用的五大常用软件,为大家简单做一下介绍。Excel、SAS软件、R软件、SPSS、Python是数据分析中使用最频繁的五种工具,掌握着五种常用工具是想要从事数据分析这个行业的基础,如果您有意愿加入数据分析行业,从事数据分析师的职位,那就赶快学习起来吧。

    展开全文
  • 数据分析好用的软件工具

    千次阅读 2020-02-15 12:32:56
    做数据分析除了需要良好的数学统计基础,对数据的敏感性,有一个熟练使用的“家伙什儿”是很重要的,那么常用的数据分析挖掘工具都有哪些呢?有哪些又是适合自己工作场景的呢?1 PythonPyt...
  • 最好硬盘数据恢复软件是哪个

    千次阅读 2013-11-23 09:45:20
    经常使用电脑,只是会一些简单的操作的用户们,经常会为了数据的误删和丢失而苦恼,似乎所有的数据公司都发现了这一点,开始针对这一现象研发新的软件,最近我发现了一款优秀的数据恢复软件,今天强烈推荐,它是一款...
  • 请问制作的软件中输出数据到excel中能不能产生两个独立的画面?请问怎么?谢谢
  • M400数据采集管理软件,采集的数据怎么获取? 我想写个C#winform程序去获取采集的数据个预警功能。 求大神们指点 ![![图片说明](https://img-ask.csdn.net/upload/201706/29/1498708597_950463.png)图片说明]...
  • 今天,仔细研究了钱龙,大智慧,通信达这三个主流股票分析软件。分别解析了其数据格式。自后,这三个数据格式转换。...晚点,会一个站点,自己股票分析和统计软件。和一个比较成熟交易系统。 ...
  • 也是一款国产可视化工具软件,由广州思迈特公司开发,这家公司本是Excel插件起家,后来进入到BI领域。Smartbi是国内老牌BI 厂商,企业级商业智能应用平台,经过多年持续发展,凝聚了多年商业智能最佳实践...
  • 昨天下午把《我不是药神》这部电影看了,搞得我哭稀里哗啦,里面有一些情节触痛了内心中最薄弱...还是回到我们今天主题,把 「股票数据分析软件」 最后一个部分带着大家完。 这套软件分为三个部分,第一部...
  • 自己量化交易软件(24)小白量化增强仿通达信财务基本数据公式 通达信公式指标中有很多关于系统或基本面函数,小白量化公式系统只有关于行情方面公式基本函数。为了便于移植更多自编通达信公式指标,我们给...
  • IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有实力公司相继(通过收购或研发途径)推出了自己的数据仓库解决方案,BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。...
  • InSAR数据处理软件简介

    千次阅读 2019-12-04 13:22:46
    目前InSAR技术发展迅速,在地震、火山、城市沉降、滑坡监测发挥了举足轻重作用。如何选择一款合适自己的数据...第二是可以对软件脚本按照自己要求修改,提高效率。一般我习惯用有三款软件:GMTSAR,ISCE和SN...
  • 企业背后推手—数据可视化软件

    千次阅读 2017-04-28 13:16:32
    科技在发展,社会在进步,以前大家都只知道做数据表格。却从不知道数据可视化究竟是什么?更不知道数据可视化可以给企业带来什么利益和价值。近年来,数据可视化也被越来越多人熟知。现在很多企业已经都用上了数据...
  • 目前很多互联网软件应用,除了应用程序本身外,后台都会有数据库支撑。...在实际工作中创建测试数据的过程,往往需要很长的时间,有时候多影响到项目的进度。下面将从平时测试一些实际应用出发,
  • 数据分析软件的现状与发展趋势

    千次阅读 2019-10-30 09:53:41
    在开场Keynote环节,O'ReillyChief Data Scientist,Ben Lorica先生简单介绍了目前大数据分析现状和发展趋势,以及各个公司在此领域所做的努力。这本文章把Ben Lorica先生演讲内容进行整理,同时把我在会议...
  • BI软件什么用?今天小麦从数据连接、数据处理、制作报表、自助分析、数据共享等方面,和大家探讨下BI软件具体能什么呢?一、BI软件可以连接不同各种数据库和文件的数据。众所周知,无论是制作报表进行数据...
  • 教程演示创建爬虫项目编写需要爬取字段(items.py)编写spider文件(wuyou.py)编写数据库连接(pipelines.py)编写反爬措施(settings.py)MongoDB数据库安装软件下载数据测试本人已经爬取了一部分数据,分享...
  • 最近在图像语义分割方面学习,前期已经在本地电脑完整地地训练ADEChallengeData2016数据,下一阶段准备使用自己的数据集完成一些任务。下面整理一下我在使用labelme进行标注,实现自己数据制作。主要分为...
  • 我自己用Java写了一个程序,能采集一些数据,将数据用这个程序更新到自己网站上该怎么?比如八爪鱼是这样、大神们能给我这个小白讲一讲吗? ![图片说明]...
  • 实验时候需要与sota方法作比较。无奈很多代码都没开源,因此想办法从文章中图表中扣数据来画图。engauge digitizer是一款可实现该功能开源软件。其可用于从文献曲线图或地图中提取数据(网址)。软件无需...
  • 本文要点 ...软件设计师应该在不影响工作情况下尽量避免接触数据。换句话说,如果没有必要就不要轻易访问个人隐私数据,除非你是处心积虑要这么。 如果你打算在2018年推出软件解决方案,那么就很
  • 做数据的人都知道,每次做报告或做图表,大家最喜欢的莫过于数据可视化,可视化中最喜欢的莫过于数据地图。谁让大家都是视觉动物,而地图可视化最能唬人。 但是如何制作地图可视化,本文来分享一些技巧。 目前市场上...
  • 财务软件数据丢失,第一时间你了什么?你做法是正确吗?  错误一:数据丢失后在原盘操作,尝试恢复!  财务软件数据恢复过程中最怕被误操作而造成二次破坏,因为财务软件的数据都保存在数据库中,数据库是...
  • 补充:我担心是,即便神经网络训练出了变量之间关系,可能也只是仿真软件内部关系(比如我做的,流体力学公式和格子玻尔兹曼法近似关系)。或者说,我得到规律是仿真规律,没有足够说服力认为是物理上...
  • 软件工程数据流图画法

    千次阅读 2019-04-27 19:55:49
    系统流程图是在系统分析员在系统构架阶段,或者说,在接触实际系统时,对未来构建信息处理系统一种描述。这种描述是相对简单且完全,涉及到未来系统中使用处理部件,如磁盘,显示器,用户输入以及处理过程...
  • 志向做数据分析师职业规划

    千次阅读 2015-04-26 15:20:48
    对于数据分析,有一句话说得非常好:SPSS、SQL之类的软件、决策树、时间序列之类的方法,这些仅仅就都是个工具而已,最重要的是对业务的把握。没有正确的业务理解,再牛的理论,再牛的工具,都是白搭。一名合格的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,128
精华内容 10,451
关键字:

做数据的软件