精华内容
下载资源
问答
  • 数据挖掘是近年来出现的一种信息技术,在金融业有着较为广泛的应用。本文从银行业的角度出发,归纳了数据挖掘在银行应用的主要方面,并对数据挖掘在银行具体应用的几个阶段进行了阐述。
  • 数据库设计是指对于一给定的应用环境,构造最优数据库模式,使之能够有效地存储数据,满足各种用户的应用需求。 数据库设计过程包括需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库实施、数据库...

    数据库设计过程包括需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施、数据库的运行和维护六个主要阶段。数据库设计是指对于一个给定的应用环境,构造最优的数据库模式,使之能够有效地存储数据,满足各种用户的应用需求。
    数据库设计过程包括需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施、数据库的运行和维护六个主要阶段。数据库设计是指对于一个给定的应用环境,构造最优的数据库模式,使之能够有效地存储数据,满足各种用户的应用需求。

    数据库设计的设计内容包括:需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施和数据库的运行和维护。

    (学习视频分享:mysql视频教程)

    相关介绍:

    数据库设计(Database Design)是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,满足各种用户的应用需求(信息要求和处理要求)。在数据库领域内,常常把使用数据库的各类系统统称为数据库应用系统。

    数据库设计原则:

    1、一对一设计原则

    在软件开发过程中,需要遵循一对一关系设计原则进而开展数据维护工作,通过利用此原则能够尽量减少维护问题的出现,保证数据维护工作顺利开展同时降低维护工作难度。在此过程中,尽量避免数据大且数据杂现象出现,否则既会影响到软件开发进度,又会增加工作难度,给其产品质量带来影响。所以,设计工作人员必须重视起此问题。同时充分了解实体间存在的必然联系,进而实现信息数据分散的目标,并在此基础上提高整体工作人员的工作效率,提高软件应用程序可靠性、科学性、安全性以及自身性能。

    2、独特命名原则

    独特命名原则的应用是为了减少在数据库设计过程中出现重复命名和规范命名现象出现。通过应用此原则能够减少数据冗杂,维护数据一致性,保持各关键词之间存在必然相对应联系。独特命名原则能够锻炼工作人员对大小写字母熟练操作能力,有利于规范化后台代码工作的开展。

    3、双向使用原则

    双向使用原则包括:事务使用原则和索引功能原则。首先,双向使用原则是在逻辑工作单元模式基础上实现其表现形式的,不仅给非事务性单元操作工作提供基础保障,也保证其能够及时更新、获取数据资源。索引功能原则的有效运用,使其获取更多属性列数据信息,并且对其做到灵活排序。目前,软件市场常见的索引模式有:多行检索聚簇索引和单行检索非聚簇索引。

    展开全文
  • 方法:将IRT模型应用于弗吉尼亚联合体五年内从136站点进行观测数据,该数据是按大小与抽样计划成比例阶段系统分层收集。 结果:找到数据关系,并使用加权逻辑回归模型选择进行确认。 实际应用:IRT...
  • 互联网企业中,随着机器规模以及业务量爆发式增长,监控数据逐渐成为一种大数据,对监控大数据分析,包括数据采集、数据缓存、数据聚合分析、数据存储、数据展现等几个阶段。不同阶段有不同解决方案及支撑工具...

            互联网企业中,随着机器规模以及业务量的爆发式增长,监控数据逐渐成为一种大数据,对监控大数据的分析,包括数据采集、数据缓存、数据聚合分析、数据存储、数据展现等几个阶段。不同阶段有不同的解决方案及支撑工具,而数据展现作为最终的可视化手段,在整个监控大数据分析过程中起着举足轻重的作用,本文分享一下笔者基于Grafana的监控数据钻取功能应用实践,供感兴趣的同行做参考。

           Grafana作为一个开源的数据分析展现平台,其丰富的图表、灵活的插件、多样的数据源、快速华丽的展现,总让做监控数据分析的人爱不释手,叹为观止,可以说“无Grafana,不监控展现”,关于Grafana的详细介绍不再赘述,本文重点探讨下Grafana的钻取功能。

     

            Grafana虽然可以迅速展现各种监控时序数据,但当数据量比较大时,也会出现性能瓶颈,因此不宜用Grafana直接展现收集到的监控原始数据,而应对监控原始数据做聚合分析,将分析后的摘要数据存储到时序数据库中,将监控原始(详细)数据存储到NoSQL数据库中,Grafana只展现监控摘要数据,通过钻取功能,查看对应的监控详细数据,从而加速数据展现并对监控数据进行溯源。

     

           在Grafana的General标签页下内置了两种钻取功能:通过链接跳转到另一个面板(Type为dashboard)或者跳转到自定义的钻取界面(Type为absolute),为了能更精确的控制钻取联查结果,我们一般采用后者。其中Url即要跳转到的页面的链接,Title是这个链接的显示名称,Url params是传递给链接的静态参数,也可以设置一些动态参数,比如时间范围(Include time range)、变量(Include variables)等,链接默认是在当前窗口打开的,也可以设置在新的窗口打开(Open in new tab)。钻取设置完毕,会在对应的Panel左上角显示一个向上的钻取箭头,鼠标移动到钻取箭头上,会显示前面定义的Title,点击该Title,就跳转到了自定义的钻取详情页面。

    钻取详情页面,一般先通过列表的方式展现时序数据,推荐使用InfluxDB存储监控时序数据,查询InfluxDB中一段时间范围的时序数据时,会涉及到分页展现的问题,通过以下方式可以对InfluxDB进行数据库端分页:

    1.查询总条数

      SELECT COUNT(某一个Filed列) FROM measurement WHERE 时间范围

    2.查询指定页指定条数

      假设前台传过来的页数字段是page,每页条数字段是rows,那么查询指定页指定条数可以这样写:

      SELECT time,Field列 FROM measurement WHERE 时间范围 LIMIT rows OFFSET (page - 1)*rows

     通过列表展现时序数据后,可以继续钻取联查存储在HBase或ES中监控详细数据,从而实现通过Grafana快速展现摘要数据,逐步穿透钻取联查详细数据的效果。

    转载于:https://www.cnblogs.com/liugh/p/10629754.html

    展开全文
  • 数据采集有线上和线下两种方式,线上一般通过爬虫、通过抓取,或者通过已有应用系统采集,在这个阶段,我们可以做一个大数据采集平台,依托自动爬虫(使用python或者nodejs制作爬虫软件),ETL工具、或者自定义...

    数据采集

    数据采集有线上和线下两种方式,线上一般通过爬虫、通过抓取,或者通过已有应用系统的采集,在这个阶段,我们可以做一个大数据采集平台,依托自动爬虫(使用python或者nodejs制作爬虫软件),ETL工具、或者自定义的抽取转换引擎,从文件中、数据库中、网页中专项爬取数据,如果这一步通过自动化系统来做的话,可以很方便的管理所有的原始数据,并且从数据的开始对数据进行标签采集,可以规范开发人员的工作。并且目标数据源可以更方便的管理。

    数据采集的难点在于多数据源,例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。

    数据汇聚

    数据的汇聚是大数据流程最关键的一步,你可以在这里加上数据标准化,你也可以在这里做数据清洗,数据合并,还可以在这一步将数据存档,将确认可用的数据经过可监控的流程进行整理归类,这里产出的所有数据就是整个公司的数据资产了,到了一定的量就是一笔固定资产。

    数据汇聚的难点在于如何标准化数据,例如表名标准化,表的标签分类,表的用途,数据的量,是否有数据增量?,数据是否可用? 需要在业务上下很大的功夫,必要时还要引入智能化处理,例如根据内容训练结果自动打标签,自动分配推荐表名、表字段名等。还有如何从原始数据中导入数据等。

    数据转换和映射

    经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步,主要就是考虑数据如何应用,如何将两个?三个?数据表转换成一张能够提供服务的数据。然后定期更新增量。

    经过前面的那几步,在这一步难点并不太多了,如何转换数据与如何清洗数据、标准数据无二,将两个字段的值转换成一个字段,或者根据多个可用表统计出一张图表数据等等。

    数据应用

    数据的应用方式很多,有对外的、有对内的,如果拥有了前期的大量数据资产,通过restful API提供给用户?或者提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据,供自己的应用查询?这里对数据资产的要求比较高,所以前期的工作做好了,这里的自由度很高。
    人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    送给大数据开发初学者的良言,有兴趣的可以看看
    http://www.duozhishidai.com/article-7742-1.html
    在人工智能和大数据的开发过程中,有哪些特别需要注意的要点?
    http://www.duozhishidai.com/article-2052-1.html
    对于大数据开发的学习,最经典的学习路线是什么?
    http://www.duozhishidai.com/article-1544-1.html


    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台
    展开全文
  • 关于自动化测试的几个概念/阶段

    千次阅读 2008-03-12 11:33:00
    自动化测试,老实讲,个人目前对于数据驱动测试把握是比较到位,但是对于关键字驱动测试应用不是很熟练,或许在数据驱动测试过程中已经应用了关键字驱动一些理念来设计,但是对于关键字驱动测试精髓把握...
              自动化测试,老实讲,个人目前对于数据驱动测试的把握是比较到位的,但是对于关键字驱动的测试应用不是很熟练,或许在数据驱动的测试过程中已经应用了关键字驱动的一些理念来设计,但是对于关键字驱动的测试精髓把握的确不够。网上找到一些介绍,感觉自动化测试的进展还是飞速的,这些方法不仅仅是自动化测试的理念,同样也是所有做功能测试的测试者应该掌握的测试用例设计方法。
    
    数据驱动(data driven测试是一项单个脚本使用不同的输入和响应数据重复执行的技术。在数据驱动测试中,自动化测试脚本使用从外部数据源中读取的变量,而不是直接使用文字值(Literal value)。数据驱动测试的优势在于其将数据与测试脚本分离,从而可以在不修改测试脚本的情况下通过更新测试数据完成对测试用例的增加、更改和删除。
    这种情况下,数据驱动测试在解决数据和脚本的分离上是比较有效的,但是对于界面对象和实测对象的分离、执行用例和实现细节之间的分离关注是不够的。
    那么又引入了关键字驱动测试:
    关键字驱动(keyword-driven)测试原理及特点 1.关键字驱动测试是数据驱动测试的一种改进类型 2.主要关键字包括三类:被操作对象(Item)、操作(Operation)和值(value),用面向对象形式可将其表现为 Item.Operation(Value) 3.将测试逻辑按照这些关键字进行分解,形成数据文件。 4.用关键字的形式将测试逻辑封装在数据文件中,测试工具只要能够解释这些关键字即可对其应用自动化  
    关键字驱动测试是数据驱动测试的一种改进类型,它将测试逻辑按照关键字进行分解,形成数据文件,关键字对应封装的业务逻辑。关键字驱动的主要思想是:脚本与数据分离、界面元素名与测试内部对象名分离、测试描述与具体实现细节分离。
           关键字驱动测试实际是在待测系统之上又做了一次封装,针对待测对象的不同,封装的可以是一个对象,也可以说是一个业务组建,类似于SCA的这种模式和规范。
    那么大胆的设想一下自动化测试的最新发展,当解决组建化之后,必定要解决的是服务的问题,面向服务的测试框架。那么如何暴露给测试者更少的服务接口,如何在服务之上再进行一次测试方面的封装我想是个人对下一代测试工具的期待。
     
    展开全文
  • 生物资源是本综述的主要主题,必须提供应对与明天的健康,食品,能源或化学有关的几个主要挑战的答案。 它们提供各种成分,可用于树木,植物,草,蔬菜,藻类,牛奶,食物垃圾,动物粪便和其他有机垃圾。 该领域的...
  • 数据挖掘在电信欺诈侦测中的应用

    千次阅读 2014-11-07 21:58:19
    具体通过商业理解、数据理解、数据准备、模型生成、模型应用几个步骤完成欺诈侦测。在模型生成阶段利用聚类算法中Kohonen神经网络算法,Kohonen是一种自组织学习算法。 【关键字】数据挖掘;欺诈侦测;...
  • java语言广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网,受到各个行业欢迎。整体来说,2020年,Java工程师就业形势依然大好。想入门Java小伙伴与日俱增。那么,Java到底该如何学习呢...
  • 对于多数应用来说,MySQL都是作为最关键的数据存储中心,所以,如何让MySQL提供HA服务,是我们不得不面对问题。当master当机时候,我们如何保证数据尽可能不丢失,如何保证快速获知master当机并进行...
  • 记得以前在XX做电力时,百万条数据,那时一检索查询可以让你等你分钟。现在我是想探讨下对大数据处理,那时我就在想例如腾讯,盛大,动辄数以亿计帐号,怎么能这么快呢, 于是找到了互联网现在对数据处理...
  • 记得以前在XX做电力时,百万条数据,那时一检索查询可以让你等你分钟。现在我是想探讨下对大数据处理,那时我就在想例如腾讯,盛大,动辄数以亿计帐号,怎么能这么快呢, 于是找到了互联网现在对数据处理...
  • 企业数据化转型大概分为这四个个阶段: 明细报表阶段—中国式复杂报表迁移:报表工具使用首要任务就是解放一线业务人员生产力,把原来需要个人花上上十天功夫才能做出报表,固化到我们平台上,实现一键...
  • 原文:微服务下的数据一致性的几种实现方式之概述 本人最近学习了一下微服务下数据一致性的特点,总结了下目前的保障微服务下数据一致性的几种实现方式如下,以备后查。此篇文章旨在给大家一基于微服务的数据一致...
  • 58同城作为中国最大生活服务平台,涵盖了房产、招聘、二手、二手车、黄页等核心业务。58同城发展之初,大规模使用关系...MongoDB经过几个版本迭代,到2.0.0以后,变越来越稳定,它具备高性能、高扩展性、Auto-
  • 大数据时期,商业银行金融企业竞相开始寻找新发展之路,...紧随大数据时期步伐,银行于2014年创建了行内第一个电子器件地图平台,现阶段早已在行内银行信贷、风险性等好几个系统取得成功运用,具备统计数据形象
  • 该系统是根据诸如OKR和Agile之类的管理方法精简的几个概念构建的。 弧线 是汇总托管工作的中心位置。 Arc可以围绕由资产,结果和挑战组成的管理环境,将任意数量的人员分组,甚至一个人都是完美的有效Arc设置。 每...
  •  随着我国经济快速发展、城乡居民收入不断提高和闲暇时间大量增加,旅游消费进入一快速发展阶段。为了解决旅游发展过程中交通问题,基于固定轨道旅游列车应景而生。本文研究设计了一种景点旅游列车辅助...
  • 大数据时代已经悄然来临,不懂大数据就做不了大生意,未来甚至做不了生意。 中国零售企业在经历十几年信息化高度发展历程,也积攒了大量宝贵...首先我们谈谈数据分析几个阶段。 第一阶段丨集成展示 有句...
  • 然而基于深度学习向量化推荐即将引燃第三代推荐算法革命,本课程中将会与各位分享推荐算法三阶段的思路逻辑,数据分析系列课程是一培训性质在线课程,针对数据分析、挖掘技术在某一具体场景中的应用进行深度...
  • 不论是传统企业,还是互联网公司,发展到一定阶段,都需要一整套体系化的应用架构来支撑其运转。良好、合理的应用架构可以支持企业高效开展业务,控制经营风险,而混乱、不合理的应用架构则会限制企业快速发展...
  • 机器学习是人工智能研究领域重要分支,近十年因为以深度学习为代表研究方向在图像识别,语音识别,文本翻译及深度强化学习在围棋等游戏应用重大突破而又重新兴起,变成新技术浪潮。但是机器学习还没有...
  • 过去的几个月中,我参加了一些公司数据科学、机器学习等方向初级岗位的面试。 我面试的这些岗位和数据科学、常规机器学习还有专业的自然语言处理、计算机视觉相关。我参加了亚马逊、三星、优步、华为等大公司的面试...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,409
精华内容 563
关键字:

数据应用的几个阶段