精华内容
下载资源
问答
  • 并不会把缓存中的记录算在内,所以,一边在大量更新提交数据库,一边要及时查询了解更新情况,如果不知道还有许多记录在缓存中而去查询,你将得到根本不靠谱的结果,特别是金额计算,根本就是错误的! 我是这样...
  • 智能手机的普及过程中,带来巨大的流量红利,所谓“大道至简”,获取更多的利润发生在每行每业,不光光是游戏产业。...不妨先说说及时性。 无线网络的普及,移动设备的大促销,信息传递更快了,给我们写作、阅读、工作

    智能手机的普及过程中,带来巨大的流量红利,所谓“大道至简”,获取更多的利润发生在每行每业,不光光是游戏产业。

    游戏作为一种娱乐方式,在流量大潮中,让不少的弄潮儿赚得盆满钵满。自然而然,一片厮杀中,蓝海变红海,追求“降低成本,提高效率”的精益模式被推到了舞台中央。最为瞩目的,非数据分析与挖掘莫属了。各路英雄好汉,都听说了“数据驱动商业价值飞速增长”的传闻。关于通过数据分析发挥产品更多价值的思考可以有很多,以后再讲。不妨先说说及时性。

    无线网络的普及,移动设备的大促销,信息传递更快了,给我们写作、阅读、工作、娱乐带来了便利,尤其是移动游戏。

    这种便利性,无形中就要求了数据分析工作的及时性,本质上,这是用户使用需求的革新。试想,对于移动游戏来说,潜在的一批批玩家们,完全有可能在数百个不同的渠道下载、注册,并且他们使用的移动设备五花八门。稍有不慎,辛辛苦苦制作出来的游戏就根本没法打开,即使勉强登陆后,也可能会遇到各种原因导致的闪退。数据分析师的帮忙找出问题。

    上面说的主要是移动设备的多样性,难道设备相对固定的主机游戏、电视游戏,它们的数据分析就不需要及时性了吗?

    的确,游戏测评曾经集中在个别媒体、资深玩家、主播等的口中,影响了大批的路人。但随着新一代人类的成长,越来越讲究兴趣、个性的张扬,这种意见领袖式的影响力已经在变弱,或者说只局限于忠实的粉丝了。比方说,如果一个游戏有瑕疵、恶趣味、不足之处,分分钟就能通过活跃玩家群体散播开,新一代的潜在玩家会快速更新印象,口碑效应真可怕!

    所以游戏数据分析师们不仅仅要抓紧找出新用户的体验障碍,还得寻思着玩家们为什么不高兴了?哪里没得到满足?

    但似乎这些“急需及时性”,都有一个共同的前提,就是:激烈的市场竞争。倘使没有那么多的游戏可供人们选择,似乎也就不需要为了降低成本、抢夺用户而追求找出问题、解决问题的及时性了。是的,移动游戏产业的初期便是粗放式的。

    不过,无论何时,产业的,并不一定是具体的,毕竟世存匠人。

    文/良宵听雨。授权“游戏夜读”发表。

    展开全文
  • 基于及时性数据挖掘和时空图的空间信息网络新型路由算法
  • 金蝶软件工程师写的关于针对ERP软件设计的技术文档
  • 通过 建立异地数据容灾,可以保证在本地系统出现灾难时,异地存在一份与本地数据完全一致(同步方式)或接近一致(异步方式)的数据备份(具有完整的一致)。 但这时我们必须考虑数据传输的带宽及时延等因素。下面...
  •  集群中各结点间由于数据同步不及时造成暂时的数据不一致,但数据同步完成后,终具有一致;  更新一致  · 悲观方式  使用写锁  大幅降低系统响应能力  可能导致死锁  · 乐观方式  先让冲突...
  • 数据质量管理

    2021-01-10 21:04:16
    数据完整性数据唯一性数据有效性数据一致性数据准确性数据及时性数据可信性 什么是数据质量? 数据质量:一个评估规则维度提供一种测量与管理信息和数据的方式。 区分规则维度有助于:将维度与业务需求相匹配,并且...

    随着大数据行业的深入发展,数据质量越来越成为一个绕不开的话题,那当大家在聊数据质量的时候,通常会聊什么呢?从什么是数据质量开始。


    什么是数据质量?

    数据质量:一个评估规则维度提供一种测量与管理信息和数据的方式。

    区分规则维度有助于:将维度与业务需求相匹配,并且划分评估的先后顺序;了解从每一维度的评估中能够/不能够得到什么;在时间和资源有限的情况下,更好地定义和管理项目计划中的行动顺序。

    数据质量检核主要分为以下规则维度:

    • 完整性(Completeness):用来描述信息的完整程度。
    • 唯一性(Uniqueness):用来描述数据是否存在重复记录,没有实体多余出现一次。
    • 有效性(Validity):用来描述模型或数据是否满足用户定义的条件。通常从命名、数据类型、长度、值域、取值范围、内容规范等方面进行约束。
    • 一致性(Consistency):用来描述同一信息主体在不同的数据集中信息属性是否相同,各实体、属性是否符合一致性约束关系。
    • 准确性(Accuracy):用来描述数据是否与其对应的客观实体的特征相一致(需要一个确定的和可访问的权威参考源)。
    • 及时性(Timeless):用来描述从业务发生到对应数据正确存储并可正常查看的时间间隔程度,也叫数据的延时时长,数据在及时性上应能尽可能贴合业务实际发生时点。
    • 可信性(credibility):用来描述数据发生是否符合客观规律。

    每一规则维度可能需要不同的度量方法、时机和流程。这就导致了完成检核评估所需要的时间、金钱和人力资源会呈现出差异。数据数据质量的提升不是一蹴而就的,在清楚了解评估每一维度所需工作的情况下,选择那些当前较为迫切的检核维度和规则,从易到难、由浅入深的逐步推动数据质量的全面管理与提升。规则维度的初步评估结果是确定基线,其余评估则作为继续检测和信息改进的一部分,作为业务操作流程的一部分。


    数据完整性

    数据完整性维度大类下可细分为以下维度小类:

    • 非空约束:描述检核对象是否存在数据值为空的情况。如客户开户时,客户名称是必填项,不能出现为空的情况。
    • 非空约束:非空约束比较容易理解,简单的讲就是字段不能为空,检查方式也比较容易,只需要设定需要检查的字段,通过 sql 查询列值不能为空即可。将为空的数据查询出来进行整改。
    • 当然非空约束可以通过设置非空约束的方式限制数据无法写入数据库,如果支持这种方式可以避免事后的数据非空检查。

    数据唯一性

    数据唯一性维度大类下可细分为以下维度小类:

    • 唯一性约束:描述同一客观实体在不同业务数据集中的信息,经整合后是唯一的,针对目标通常是单一主键或联合主键,如证件类型+证件号码+姓名相同,则其客户编号应唯一。
    • 唯一性约束:举个简单的例子,唯一性约束在技术上一般具备唯一的标识字段可以判断其唯一性,在业务上可以通过几个关联的业务属性对确定唯一业务实体。若在这种情况出现数据重复的问题,即违反了唯一性约束。这种情况的如果是单一的业务主键,可以通过对主键分组去重的方式检查,如果是业务联合属性判断唯一实体的情况只能业务人员进行手动检查。

    数据有效性

    数据有效性维度大类下可细分为以下维度小类:

    • 代码值域约束:描述检核对象的代码值是否在对应的代码表内。如业务规则定义“性别”的取值应该是“1-未知的性别”、“2-男性”、“3-女性”、“4-未说明的性别”,如果出现“A”、“B”这样的取值,则认为“性别”的代码值域存在问题;
    • 长度约束:描述检核对象的长度是否满足长度约束。如“金融机构编码”在《人民银行金融机构编码规范》中规定长度为14位,如果出现非14位的值,则判定为不满足长度约束,不是一个有效的“金融机构编码”;
    • 内容规范约束:描述检核对象的值是否按照一定的要求和规范进行数据的录入与存储。如“存款账号”应仅含数字,如果出现字母或其他非法字符,则不是一个有效的“存款账号”,不满足内容规范约束;
    • 取值范围约束:描述检核对象的取值是否在预定义的范围内。如“授信额度”取值范围应大于等于 0,如果出现小于 0 的情况,则超出了取值范围的约束,不是一个有效的“授信额度”;

    代码值域约束

    • 描述检核对象的值是否按照一定的要求和规范进行数据的录入与存储。
      例 1 : 依业务规则性别只有 “0:男” ,”1:女”,则性别字段只应出现0或1。
      例 2 : 货币代码 (CURCODE) 只应有RMB或是USD值。
      数据质量中代码值域首先要指定企业级的统一编码表,然后按照对照关系进行 etl 转换,至于出报告只需要通过 sql 查询不再范围内的数值就可以了。

    长度约束

    • 描述检核对象的长度是否满足长度约束。
      例如身份证号是 18 位。
      长度约束可以通过建表时指定字符长度去限制,如果业务系统最初没有做限制,只能通过 sql 判断长度的方式获取异常值再进行处理。

    内容规范约束

    • 描述检核对象的值是否按照一定的要求和规范进行数据的录入与存储。
      例如:余额或者日期等一般都会按照固定类型存储,如果最初设计为字符型后续应按照对应类型调整。
      首先这种情况最好一开始就建立好统一规范,按照业务含义去指定技术类型。如果最初做的不好,可以通过类型进行数据探查,对数据统一格式化。

    取值范围约束

    • 描述检核对象的取值是否在预定义的范围内。
      例如:余额不能为负数,日期不能为负数等等。
      如果业务初始没有做限制,只能通过 sql 去对数据过滤查询,对有问题数据集中 etl 处理。

    数据一致性

    数据一致性维度大类下可细分为以下维度小类:

    • 等值一致性依赖约束:描述检核对象之间数据取值的约束规则。一个检核对象数据取值必须与另一个或多个检核对象在一定规则下相等。
    • 存在一致性依赖约束:描述检核对象之间数据值存在关系的约束规则。一个检核对象的数据值必须在另一个检核对象满足某一条件时存在。
    • 逻辑一致性依赖约束:描述检核对象之间数据值逻辑关系的约束规则。一个检核对象上的数据值必须与另一个检核对象的数据值满足某种逻辑关系(如大于、小于等)。

    等值一致性依赖约束

    • 一般指外键关联的场景。例如:保单表,理赔表的保单号存在保单主表,同一张表,两个字段之间的关联关系。

    存在一致性依赖约束

    • 主要是强调业务的关联性,一个状态发生了则某个值一定会如何。
      例如:投保状态为已投保,则投保日期不应为空;

    逻辑一致性依赖约束

    • 主要强调的是字段间的互相约束关系。
      例如:投保开始时间小于等于投保结束时间。

    数据准确性

    数据准确性主要是指取值的准确性,描述该检核对象是否与其对应的客观实体的特征相一致。

    • 例如:投保人的性别代码为 0-女性,虽然满足代码值域约束,但却不满足取值准确性约束,因为该人为男性,其性别代码应为 1-男性;
      再如:国际保函业务的手续费应录入为国际担保手续费收入,却录入成国内担保手续费收入。
      准确性要求不仅数据的取值范围和内容规范满足有效性的要求,其值也是客观真实世界的数据。由此可见,有效的数据未必是准确的,反之成立。
      准确性通常需要业务人员或其他当事人手工核查。

    对待这种情况,数据质量规则没办法直接统一处理,只能通过即使查询的方式对数据结果进行详细核查。


    数据及时性

    及时性约束:描述检核数据能否及时反映其对应的实际业务的时点状态。

    • 例如:系统中贷款五级分类的分类比实际中的延迟几天变化;再如理财业务在理财系统中是成功状态,但在核心系统中却因通信的原因而没有入账。
      及时性由于多个系统、通信等原因而造成,通常需要业务人员或系统人员手工核查。
      一般来说数据同步都是基于业务系统的落表技术字段(比如:CREATE_DT),而真是业务发生的时间可能与该字段存在时间间隔。可以通过简单的sql对两个时间比较,判断数据的及时性是否符合需求。

    数据可信性

    数据可信性约束:描述再数据同步中每日/月增量数据是否符合理论的经验值。
    例如:保单数据的每日分区数据较前日一般有 10% 增长,突然数据增长变为200%,这种情况有可能时数据同步出现问题。
    再如:每月的营收总额一般都按一定规律上涨,突然数据波动较大则一般都可能出现问题。
    可信性要求数据的总量波动符合基本客观规律,一般通过对 7,15,30 日数据进行比较,如果出现差距较大则进行详细的问题探查。

    展开全文
  • 摘要:数据对用户的重要不言而喻,当数据丢失后,easyrecovery能够快速有效的找回丢失数据,免除用户的后顾之忧。  Easyrecovery数据恢复软件是美国ontrack公司研发出品的一款超级实用的万能数据恢复软件,软件...

     摘要:数据对用户的重要性不言而喻,当数据丢失后,easyrecovery能够快速有效的找回丢失数据,免除用户的后顾之忧。

      Easyrecovery数据恢复软件是美国ontrack公司研发出品的一款超级实用的万能数据恢复软件,软件采用最新的数据扫描功能,从磁盘底层读出损失的原始数据,通过高级的数据分析,帮助丢失的文件和数据建立分区和结构,数据恢复成功率高达99%以上。

    407f37aa10764b52812f1ea5f034f88a_th.png

      图1:easyrecovery个人版

      众所周知,设备有价而数据无价,如果不经意间数据丢失了,辛苦一天甚至更长时间的工作内容全都消失了,对用户来说,真的是一个不小的打击,因此,当出现数据丢失的情况时,很多用户都会去网上搜索相关的解决方法,但是网络上的结果千奇百怪,用户也不能确定什么样的方法能够快速有效的恢复丢失的数据,去求助专业的电脑技术人员,花了钱又不能保证恢复效果。因此,这时候用户就需要一款专业且强大的数据恢复软件来恢复丢失的数据。接下来小编就为大家介绍:easyrecovery数据恢复软件,功能非常强大哦。

    63839dd6daba452188edb7c411e80f91_th.png

      图2:选择恢复场景

      Easyrecovery支持恢复误删除、格式化、分区丢失、电脑忽然断电等多种原因导致的数据丢失,使数据恢复更加的简单和快捷,相对于同类型的软件,恢复数据的效率更快,完整性也最有保障。

      Easyrecovery在恢复性能上,有很大的兼容性,可以恢复包括XP、VISTA、WIN7、WIN8、WIN10等Windows系统,同时,软件独创的mac版本,让mac上发生的数据丢失问题也能迎刃而解,不用花费过多的人力和屋里。而且,easyrecovery的操作方法非常简单,用户只需要按照选择媒体类型、选择需要扫描的卷标、选择恢复场景、检查您的选项、保存文件等五个简单的步骤,一步一步的操作,就可以恢复包括手机、电脑、SD卡、U盘、相机、mac等多种媒体发生的数据丢失问题。

    617adb88040a40f6a75943879d0b472d_th.png

      图3:保存文件

      通过以上小编的介绍,想必大家已经对easyrecovery有了相当程度的了解,有木有想哭的冲动,原来之前的数据都白瞎的丢掉了,所以如果你还在担心数据丢失的问题,那么easyrecovery免费版非常适合你哦。当然,对于用户来说,保证数据安全性最好的方法就是及时做好数据的备份工作。

      更多数据恢复资讯请关注easyrecovery官网:http://www.easyrcoverychina.com

    转载于:https://my.oschina.net/u/2361220/blog/788150

    展开全文
  • 本次案例根据实际场景改编,一定程度上体现了PQ的高效数据清洗和核对能力!也算是一个真正实际应用过程中的M函数书写展示!业务场景业务场景:分公司A和分公司B距离较近,经常发生交叉签单的情况,发生这种情况,...

    本次案例根据实际性场景改编,一定程度上体现了PQ的高效数据清洗和核对能力!也算是一个真正实际应用过程中的M函数书写展示!业务场景业务场景:分公司A和分公司B距离较近,经常发生交叉签单的情况,发生这种情况,需要在实际签单公司登记,最后合并到一起计算!在合并数据时,为了确保准确性,使用姓名和身份证号码作为条件!避免重名或者同人身份照号码录入不一致导致的错误!但是这种情况下,一般遇到姓名或者身份证号码录入错误就无法准确合并,所以我们要找出同名但身份证号码不同的数据进行核实是否同一人,以及身份照号相同姓名不同的数据!模拟数据如下:一人可能有多条数据

    3191f4764f34b6e4021cdfffb324ece1.png

    找出姓名同身份照号不同的数据
    加载进入PQ等基础,这里就不再介绍,不懂的同学,可以看一下PQ入门第一期:PQ 第一期 | Power Query是什么?怎么学?
    先说一下处理思路:按照姓名分组,因为一个人可能有多条件记录,所以分组后,我们需要对身份号去重,对于不重复值,我们还要看是哪一个分公司的,后续沟通处理,所以我们需要对去重的身份证号和公司名称拼接一下,放在一个单元格中!
    具体操作如下:

    01 | 按照姓名分组处理

    = Table.Group(源,"姓名",{"res",each _})
    464a5ddf2557a499f1f1425391ec1400.gif

    姓名相同的数据会聚合到一起形成Table,后续我们对这个table进行处理!

    02 | 去重找异常

    bc906f562ba5beae99403c26b4eb61d7.png

    看上去是不是有点有点多有点复杂,其实这就是我一般在实际使用过程中的基本常态!所以不用担心,只要我们思路清晰,非常简单!
    格式化一下方便我们解读:

    9b2c9b725052bd8aca5330dc0f438e38.png

    代码思路解读:
    1、相同姓名在不同分公司或者相同分公司都有可能有多条数据,所以我们第一步考虑把身份证号和分公司(名称)这两列提取出来,然后去重,Table.SelectColumns 名字够直接了,就是选取列!多列使用list即可!不要告诉我你不知道什么是list(查看入门第二期),去重Table.Distinct,也够直接,不用多讲,这里使用Record包裹,是因为我们后面还需要使用到【提取两列】这个过度表,这样就不用重复写,直接使用!未来也可以使用let …… in 结构!
    2、上一步去重后,可以排除掉重复的数据,但是一个人只要在两个公式都出现就有会两条记录,所以我们还要对身份证号去重,正常情况下一个人一个身份证号码,结果肯定是一条,所以我们最后要的结果就是 去重身份证号码个数大于1 且 身份证号和分公司去重 行数 大于1
    3、找出这些满足条件的数据,结果是两列,我们希望先号码和分公司合并,然后再 每一行合并,放在一个单元格,这里的#(lf)表示换行符,PQ中特殊符号或者系统自带的一般都使用#开头 比如#shared,#table构建比较等。
    Text.Combine大家比较熟悉了,使用分隔符合并两个文本!

    03 | 排除空值,得到结果

    ba5482e3d28890f44679aa71e111ce89.png

    最后筛选 不等于空的结果!其实这一步也可以直接合并到上面一步搞定!

    04 | 修改数据,刷新动态更新

    e2b37bee62f79195b6977277fe908ad7.gif


    全部源码:(左右滑动查看或者复制到PQ编辑器)

    let    源 = Excel.CurrentWorkbook(){[Name="表1"]}[Content],    自定义1 = Table.Group(        源,"姓名",            {"res",each                 [提取两列 = Table.SelectColumns(_,{"身份证号码","分公司"}),                号码去重 = List.Count(List.Distinct([身份证号码])),                两列去重 = Table.Distinct(提取两列),                结果=                     if Table.RowCount(两列去重)>1 and  号码去重 >1 then                         Text.Combine(                            List.Transform(Table.ToRows(两列去重),                                    (x)=>Text.Combine(x,":"))                                ,"#(lf)"                            )                     else ""                ][结果]                        }        ),    筛选的行 = Table.SelectRows(自定义1, each ([res] <> ""))in    筛选的行


    为了大家理解方便,我们代码中大部分变量都使用的中文,实际情况,大家可以根据习惯来,个人开发,可读性也可以适当往前靠靠,方便维护!身份证相同姓名不同
    原理基本差不多,我们就直接来写:

    4435911994d48c292dc37acbab649c3e.png

    可以看到两个异常一个是末尾添加的了空格,一个是许褚写成了徐诸,不筛选出来我们是很难看出的!
    在PQ编辑中,我们使用双斜杠来注释,这算是一个新的知识!
    本次我们稍微换一下思路,更清晰,先判断新名是否唯一,不唯一再两列去重合并,本次使用合并两列的Table.CombineColumns函数,这些函数都比较简单,基本大家学完前两期基础,这些看一下是完全没有问题的了!let …… in 结果会在我们以后的基础教程中继续讲解!

    小结一下


    1、对于很多PQ新手一看M函数代码这么长就放弃了,其实M函数和Excel函数嵌套一样,掌握参数和每个函数的结果类型,思路清晰非常简单!
    2、使用PQ的好处是,本次写好后,以后再有类型的情况,我们只要更新数据源,右击刷新即可,不用每次都去处理一遍。同时相对于VBA要简单很多!
    本文由“壹伴编辑器”提供技术支持

    展开全文
  • 在本文中,我们首次尝试指定WSCN的安全性要求,即不可区分性,可到达性和及时性。 此外,首次指出了WSCN中的几种新攻击,包括可区分的风险,丢弃攻击和无序攻击。 轻量级方案LIRT提出了量身定制的设计,以确保WSCN...
  • 想要通过多维数据去认识个人、集体和组织的工作行为,就需要及时获取具备能够如实反映他们在日常工作过程中所产生的各种相关数据,这些数据的维度越多、越真实(有质量保证)就能使得认识越好、越准确,所以要想...
  • 本次案例根据实际情场景改编,一定程度上体现了...在合并数据时,为了确保准确,使用姓名和身份证号码作为条件!避免重名或者同人身份照号码录入不一致导致的错误!但是这种情况下,一般遇到姓名或者身份证号码录...
  • 分布式事务和数据一致

    千次阅读 2018-04-26 18:49:19
    数据一致(状态一致) raft协议会在几个节点之中选择一个领导,领导负责向外提供写,其他节点可以向外提供读。 其它节点接受领导的命令进行相关的操作,只要半数人状态达成一致就行了。 raft协议分成两个阶段...
  • 缺陷数据分析的重要 统计未修复的缺陷数目(特别是严重高的缺陷),预计软件是否可以如期发布 分析缺陷的类型分布,发现存在较多缺陷的程序模块,找出原因,进行软件开发过程改进 根据测试人员报告缺陷的数量...
  • 在移动低占空比无线传感器网络中,由于节点的存储空间有限,并且节点的移动及睡眠会导致网络不连通、数据无法及时传输等问题,使数据很难被快速分发并存储,数据持续较低。为此,提出一种卢比变换码的分布式数据...
  • 数据集合的可用性可以从数据的一致性、准确性、完整性、时效性及实体同一性五个方面进行考察。 数据的一致性:指数据信息系统中各相关数据...数据的时效性:是指在不同需求场景下数据及时性和有效性。对应用系统...
  • 市场推广的及时性要素 前几天,和某事业部的产品经理谈了产品和流程的建议:该事业部目前几款产品的耦合性较强,但是这几款产品的周期和玩法明显是不一样的。按照拍脑袋的直觉,当时给了几个参考的数据:产品是...
  • 很多业务系统中,为了快速、规范 地搜集信息,就产生了我们称之为“填报”的需求。为了数据的进一步使用,填报表...但是,经常求 助技术部门的业务伙伴肯定知道,“严谨”的开发周期一般都会影响填报的及时性。而...
  • 曙光推出的S240为中小企业和行业小型应用提供高安全的服务器产品,它们最大的特点是,将RAID磁盘阵列与12U主机容为一体,缩小了体积,提高了整机的可管理、易用和可用,使用户的数据资料在遭到破坏时能在最...
  • 作为企业的运维人员,其掌握着数据应用服务器的最高权限,一旦运维人员的操作出现任何问题,那么将给企业带来巨大的损失,为了能够预防和及时阻止此类事情的发生,运维堡垒机应运而生。从跳板机到硬件堡垒机、软件...
  • Redis缓存雪崩、穿透、击穿、数据一致缓存机制要解决的问题1.缓存一致2.缓存雪崩3.缓存穿透4.缓存击穿总结相同点不同点 缓存机制 主要是为了提高数据的读取速度因为服务器和应用客户端之前存在着流量的瓶颈 所以...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,668
精华内容 2,267
关键字:

数据及时性