精华内容
下载资源
问答
  • 数据转换

    万次阅读 2011-10-17 13:44:45
    数据进行转换就是对数据的合并、清理和整合。通过转换,可以实现不同的源数据在语义上的一致性。SAP BI 的转换(Transformation) 定义的就是对数据进行处理的规则。当数据从一个BI 对象加载到另一个BI 对象时,数据...
     
    

    对数据进行转换就是对数据的合并、清理和整合。通过转换,可以实现不同的源数据在语义上的一致性。SAP BI 的转换(Transformation) 定义的就是对数据进行处理的规则。当数据从一个BI 对象加载到另一个BI 对象时,数据是经过转换的。在源对象和目标对象之间创建一个转换,转换将源对象的字段格式转变成目标对象的字段格式。从前面的章节可以看出转换在SAP BI 数据流中的地位和作用,其中信息提供者是信息对象、数据存储对象、信息立方体和信息集等对象的统称。

    接着,我们来创建一个转换。首先右键对应的数据源,点击“创建转换”。弹出下面的窗口。在Object Type中可以选择要传输的目标对象,然后填写目标名称。源数据的信息是系统自动填充的。这时点击继续。

    clip_image001

    下面我们来定义转换规则。

    clip_image003

    一个转换可以包含多个转换例程与转换规则组。每个转换规则组可以有多个转换规则。

    通常系统根据数据源的情况来自动关联一些字段,但是我们还是需要做继续的修改才能达到我们的目标。上面的图示中左侧的表格是代表数据源,右侧的代表对应字段的转换规则,也就是说要想把数据从开始的数据源转换为最后我们想要的格式化后的数据,就需要在右侧表格中进行规则化。

    我们来详细阐述下怎么创建和编辑规则。当你把对应字段拖动完成后,你可以双击此线,然后会弹出下面的窗口。请重点看规则类型中的规则。

    clip_image005

    (1) 常数。直接为目标字段指定一个常数值,而不是使用源字段。

    (2) 直接分配。直接使用所选的源字段的值填充目标字段。这是最常用的一种赋值方式。

    (3) 公式。选择公式后会弹出一个窗口,在里面可以进行对字段的加减乘除等等公式计算。

    (4) 初始值/无转换

    对于关键字段,即目标对象的键值,系统提供的选项是"初始值"系统自动为根据目标字段的类型赋予一个初始值。对于非关键字段,系统提供的选项是"无转换"系统不在目标对象中更新目标字段,这使得目标字段保存原来的值成为可能。

    (5) 读主数据

    这里的主数据指的是信息对象中含有属性的特性。源字段是特性的键值,通过源字段读取特性里的属性,用属性的值更新目标字段。因此,源字段必须包含特性的键值,而特性必须包含目标字段对应的信息对象作为属性。

    (6) 例程

    例程就是我们可以自己定义的程序代码。我们可以自己编程定义转换例程,为目标字段赋值。如果更新的目标字段是具有单位的关键值,如收入或数量,我们还可以使用规则类型"具有单位的例程"。在例程的返回参数中,除了目标字段,还有单位字段。

    (例程详细请参见SAP顾问靠手BW篇 — SAP中的例程)

    转换例程应用:

    在数据传输过程中需要补充物料前导零,则在信息对象例程中加入以下代码即可。

    *$*$ begin of routine - insert your code only below this line
    CALL FUNCTION 'CONVERSION_EXIT_ALPHA_INPUT'
    EXPORTING
    INPUT = SOURCE_FIELDS-MATNR
    IMPORTING
    OUTPUT = RESULT.
    *$*$ end of routine - insert your code only before this line

    (7) 时间更新

    由于时间字段的特殊性,系统提供了3 种不同的时间更新的方式。

    1 )直接更新。系统直接将源字段的值赋予目标字段的值。这适用于源字段和目标字段

    类型相同的情况,比如都是日历年。

    2) 时间转换。系统会自动辨别源字段与目标字段的类型,可使用相应的时间转换函数。

    比如从日历天到日历年的转换,系统会自动使用时间转换。

    3) 时间分配。用于从大的时间单位向小的时间单位赋值。系统会自动将源对象的数据

    字段,即关键值,按比例分给目标字段的数据字段。

    注意:

    上面我们讲到的转换通常在不同的信息体中是有略微的差别,看下面图例,我们来介绍下。clip_image006

    图中多了一个集合(Aggregation)的选择框。

    1) 如果目标对象是信息立方体,可能的选项有: 合计、最大值和最小值。

    2) 对于信息对象,即特性,只有"覆盖"这一选项。对于主键相同的记录,后面的记录的

    值会直接覆盖以前的记录。

    3) 对于数据存储对象,根据数据和数据源的不同,可能的选项有4 种。

    ①合计:当数据源支持加总的增量更新时才可用。对于数据类型字符、日期、时间、货币、单位等不能使用汇总选项。

    ②最大值。

    ③最小值。

    ④覆盖:当数据源支持增量更新时才可用。

    对于数值型的字段,系统使用特性ORECORDMODE 来表明更新的类型。如果数据源只提供残留图像,系统会建议使用"覆盖"选项。当然,我们也可以根据应用情景改变这一设置。比如我们想统计记录变化的次数,可以设置一个计数器字段,在更新规则中,将它的值设置为常数"1 ,并将更新类型设置为"合计"。

    特性ORECORDMODE 用于标志从SAP 源系统的增量更新记录。如果不是将增量请求更新到数据存储对象,或者只是以文本文件作为数据源,可以不必使用特性

    ORECORDMODE 。

    规则组

    学习完转换类型后,我们再看学习下什么叫规则组,这也是转换中一个很重要的东西。

    顾名思义,规则组是转换规则的组合。一个转换可以包含多个规则组。每一个转换至少包括一个规则组,称为标准组。其他的规则组都以标准组为参照。就是说,如果标准组发生

    了变化,其他规则组可以选择自动进行与标准组同样的变化。当对标准组进行修改时,系统会弹出对话框询问是否将变化应用到所有规则组或者只是改变标准组。

    从转换规则,特别是集合类型的介绍中我们可以看出,所有的关键值〈数值字段〉的更新都是与特定的特性(关键字段)相关的。关键值也只有与系统的特性相联系,才具有具体的业务含义。但是,对于有些关键值而言,需要同时更新不同的特性的组合。这时候,就需要多个规则组来实现关键值对不同特性组合的更新。

    我们可以根据上面的一张图来找到Rule Group。点击后可以看到新建规则组,然后我们输入规则组名称,这样就可以新建一个规则组了。然后我们对规则进行编辑以达到我们的需求。

    使用多个规则组的一个例子

    某公司在计算销售人员的奖金时是以销售额作为计算基数的。对于一线的销售人员,他们取得的销售额就是计算基数。对于经理人员,他们手下的销售人员的销售额的10% 计入经理人员的奖金计算基数。

    在系统实现时,源对象存储了销售的原始数据,目标对象存储奖金计算基数。这时,我们可以使用两个规则组实现,如图下所示。

    clip_image008

    看下图,绿色的图标就是创建的转换。

    clip_image009

    展开全文
  • 之前在《笔记︱信用风险...**笔者将其定位于对自变量的数据转换。 现在来看看对于因变量的数据转换:BOX-COX转换。** 内容主要参考交大的课件:BoxCox-变换方法及其实现运用.pptx 优势: 线性回...

    之前在《笔记︱信用风险模型(申请评分、行为评分)与数据准备(违约期限、WOE转化)》中提到过WOE转换,WOE转换=分箱法=Logit值,与等深、等宽不同是根据被解释变量来重新定义一个WOE值

    笔者将其定位于对自变量的数据转换。
    现在来看看对于因变量的数据转换:BOX-COX转换。

    内容主要参考交大的课件:BoxCox-变换方法及其实现运用.pptx

    优势:

    • 线性回归模型满足线性性、独立性、方差齐性以及正态性的同时,又不丢失信息,此种变换称之为Box—Cox变换。
    • 误差与y相关,不服从正态分布,于是给线性回归的最小二乘估计系数的结果带来误差
    • 使用Box-Cox变换族一般都可以保证将数据进行成功的正态变换,但在二分变量或较少水平的等级变量的情况下,不能成功进行转换,此时,我们可以考虑使用广义线性模型,如LOGUSTICS模型、Johnson转换等。
    • Box-Cox变换后,残差可以更好的满足正态性、独立性等假设前提,降低了伪回归的概率

    其中:
    在一些情况下(P值<0.003)上述方法很难实现正态化处理,所以优先使用Box-Cox转换,但是当P值>0.003时两种方法均可,优先考虑普通的平方变换。

    **此时的检验步骤为:**先对数据进行正态性检验 -> 观察检验的P值 -> 根据P值挑选合适的box-cox转换函数


    常规的经济学转换方式:

    log,对数转换,是使用最多的(数据必须大于0)
    还有:
    平方根转换
    倒数转换
    平方根后取倒数
    平方根后再取反正弦
    幂转换
    这里写图片描述

    Box-Cox变换的正态变换:

    数据不比大于>0
    这里写图片描述

    没有Box-Cox变换的回归:

    这里写图片描述

    Box-Cox变换之后的回归:

    这里写图片描述


    **公众号“素质云笔记”定期更新博客内容:**
    ![这里写图片描述](https://img-blog.csdn.net/20180226155348545?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2luYXRfMjY5MTczODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
    展开全文
  • 14.数据转换之高阶函数数据处理

    万次阅读 2020-02-09 15:24:31
    在dataframe中使用apply方法,调用自定义函数对数据进行处理 ... 可以使用map函数进行数据转换 f1=lambda x:str(x).strip() and str(x).replace(',','') farmer_loan['贷款余额']=farmer_loan[...
    • 在dataframe中使用apply方法,调用自定义函数对数据进行处理
    • 函数apply,axis=0表示对行进行操作,axis=1表示对列进行操作
    • 可以使用astype函数对数据进行转换
    • 可以使用map函数进行数据转换
    f1=lambda x:str(x).strip() and str(x).replace(',','')
    farmer_loan['贷款余额']=farmer_loan['贷款余额'].apply(f1)
    farmer_loan['贷款发放金额']=farmer_loan['贷款发送金额'].astype(float)
    farmer_loan['ID']=farmer_loan['户主身份证号'].apply(lambda x:x[0:3])

    axis=0是跨行,axis=1是跨列

    • axis=0:0值表示沿着行的方向或者行标签、索引值向下执行方法
    • axis=1:1值表示沿着列的方向或列标签值执行对应的方法

    可以看出当axis=0时,遍历的是每行,或者说保存列标签不变,对行进行操作

    当axis=1时,遍历的是每列,所有当我们求每列的均值时,应该是遍历每行加总求均值。

     


     

    df2=pd.read_csv('sam_tianchi_num_baby.csv',dtype=str,encoding='utf-8')
    df2.head(10)
    #存储函数,将数字转化为汉字
    def f(x):
        if '0' in str(x):
            return '女'
        elif '1' in str(x):
            return '男'
        else:
            return '未知'
    #结果放在新建'性别'列
    df2['性别']=df2['gender'].apply(f)
    df2[df2['gender']=='2']
    df2.head(10)
    
    del df2['性别']
    #map函数,以字典形式传入
    df2['性别']=df2['gender'].map({'0':'女','1':'男','2':'未知'})
    df2.head(10)
    
    #map函数映射,以自定义函数传入
    df2['性别']=df2['gender'].map(f)
    df2.head(10)
    #拖尾处理,密码可以这样处理
    df2['user_id'].apply(lambda x:sr(x).replace(x[1:3],'**'))
    
    #apply应用更广泛,map应用于映射、字符串切片
    df2['birthday'].apply(lambda x:x[0:4])#取第1到第五
    
    
    

     

    展开全文
  • 什么是数据转换

    千次阅读 2018-12-03 17:39:49
    数据转换定义 数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程。数据转换对于数据集成和数据管理等活动至关重要。数据转换可以包括一系列活动:您可以转换数据类型,通过删除空值或重复数据来清理...

    数据转换定义

    数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程。数据转换对于数据集成和数据管理等活动至关重要。数据转换可以包括一系列活动:您可以转换数据类型,通过删除空值或重复数据来清理数据,丰富数据或执行聚合,具体取决于项目的需要。

    通常,该过程涉及两个阶段。

    在第一阶段,您:

    • 执行数据发现,以识别源和数据类型。
    • 确定需要发生的结构和数据转换。
    • 执行数据映射以定义各个字段的映射,修改,连接,过滤和聚合方式。

    在第二阶段,您:

    • 从原始源提取数据。源的范围可以变化,包括结构化源(如数据库)或流式源(如连接设备的遥测)或使用Web应用程序的客户的日志文件。
    • 执行转换。您可以转换数据,例如聚合销售数据或转换日期格式,编辑文本字符串或连接行和列。
    • 将数据发送到目标商店。目标可以是处理结构化和非结构化数据的数据库或数据仓库。

    为何转换数据?

    出于多种原因,您可能希望转换数据。通常,企业希望转换数据以使其与其他数据兼容,将其移动到另一个系统,将其与其他数据连接,或者聚合数据中的信息。

    例如,请考虑以下情形:您的公司已购买了较小的公司,您需要为人力资源部门合并信息。购买的公司使用与母公司不同的数据库,因此您需要做一些工作以确保这些记录匹配。每个新员工都已获得员工ID,因此这可以作为一个关键。但是,您需要更改日期的格式,您需要删除任何重复的行,并且您必须确保Employee ID字段没有空值,以便考虑所有员工。在将数据加载到最终目标之前,所有这些关键功能都在暂存区域中执行。

    转换数据的其他常见原因包括:

    • 您正在将数据移动到新的数据存储; 例如,您正在迁移到云数据仓库,您需要更改数据类型。
    • 您希望将非结构化数据或流数据与结构化数据相结合,以便您可以一起分析数据。
    • 您希望向数据添加信息以丰富它,例如执行查找,添加地理位置数据或添加时间戳。
    • 您希望执行聚合,例如比较来自不同地区的销售数据或来自不同地区的总销售额。

    数据是如何转换的?

    有几种不同的方法可以转换数据:

    • 脚本。一些公司使用SQL或Python通过脚本执行数据转换,以编写代码来提取和转换数据。
    • 内部部署ETL工具。ETL(提取,转换,加载)工具可以通过自动化流程来完成脚本转换的大部分痛苦。这些工具通常托管在您公司的站点上,可能需要大量的专业知识和基础架构成本。
    • 基于云的ETL工具。这些ETL工具托管在云中,您可以利用该供应商的专业知识和基础架构。

    数据转换挑战

    由于多种原因,数据转换可能很困难:

    • 耗时。您可能需要广泛清理数据,以便转换或迁移它。这可能非常耗时,并且是使用非结构化数据的数据科学家的常见抱怨。

    • 费钱。根据您的基础架构,转换数据可能需要专家团队和大量的基础架构成本。

    • 慢。由于提取和转换数据的过程可能会给您的系统带来负担,因此通常会分批进行,这意味着您可能需要等待最多24小时才能处理下一批。这可能会花费您时间做出业务决策。

    大规模管理数据并不难。了解完全免费的  开源HPCC Systems  平台如何使其更易于更新,更易于编程,更易于集成数据以及更易于管理群集。 立即下载并开始  使用。

    展开全文
  • 怎么把javaweb的后台数据转换成json数据格式, 然后在jsp用el表达式输出request域中的数据, 求大神回答 ,最好有例子,谢谢
  • https://www.cnblogs.com/skullboyer/p/8134199.html8bit数据 转换为 16bit数据的四种方法unsigned char a = 0x12;unsigned char b = 0x34;unsigned int c = 0;如何把两个8位数据和在一起变成16位数据?一般情况下 ...
  • 使用ArcMap将txt数据转换成shp数据

    万次阅读 2017-11-24 02:03:54
    在平时工作中,经常会遇到只有txt坐标的勘测定界图等数据,通过以下操作步骤可将txt数据转换成shp数据。 (方法一) 先将txt坐标导入excel表中,简单处理后,通过ArcMap将excel表中的数据转换成点坐标文件,然后将点...
  • 大数据预处理之数据转换

    千次阅读 2019-06-26 15:57:46
    数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。 1)平滑处理 帮助除去数据中的噪声,主要技术方法有 Bin 方法、聚类方法和回归方法。 2)合计处理 对数据...
  • MATLAB 信号数据转换

    千次阅读 2017-02-07 10:43:23
    数据转换是指改变音频格式中的采样频率或量化位数  转换原理: 先用矩阵插值或抽取技术实现变量变换 如果是抽取数据还需在变换前作滤波处理使之满足采样定理 变量变换完成后再用 audioread函数重新...
  • R语言将数据库数据转换为数据框

    千次阅读 2020-02-21 14:59:14
    R语言将数据库数据转换为数据框,str后能直接查看数据库中的字段名称
  • 13.数据转换之python日期格式处理

    万次阅读 2020-02-09 13:14:05
    原因:在做数据清洗的时候,往往会遇到数据格式不一致的情况,因此需要数据转换。 常见的数据转换: 日期格式数据处理 字符串数据处理 高级函数数据处理 日期格式数据处理 Pandas使用to_datatime()方法将文本...
  • Python数据和matlab数据转换

    千次阅读 2017-02-04 10:59:44
    1. Python数据和matlab数据转换 1.1 Python加载和写入.mat文件 File IO (scipy.io) See also numpy-reference.routines.io (in numpy)1212 MA
  • 如何将数据转换为时间序列数据

    万次阅读 2018-06-11 18:18:13
    如何将数据转换为时间序列数据 生活中股票、金融等数据是随着时间的变化的序列数据。这些数据是根据预定义的变量并在固定的间隔时间采集的。时间序列数据最主要的特征就是其顺序是非常关键的。 为了对这些数据进行...
  • gml格式数据转换

    万次阅读 2016-05-09 17:18:50
    gml格式数据转换在国外很多网络数据给出的都是gml格式(Newman主页的数据),但是Matlab、C等语言最喜欢的还是TXT等常用格式。在这里,我们会告诉你如何把gml格式转换为其他格式。 在这里我们主要用到软件是Gephi...
  • vue与element表格数据转换

    千次阅读 2018-08-02 18:50:20
    但是怎么在表格中显示成男和女呢,这里就需要用到数据转换 formatter属性 1.第一步给返回的数据添加数据转换方法 2.第二步在methods中写数据转换方法,此处为formatRole //数据转换 formatRole: functio.....
  • 批量txt数据转换为excel

    千次阅读 2019-09-18 16:27:40
    批量txt数据转换为excel 日常工作中经常会遇到大量的数据处理,尤其是大量的txt文件需要转换为excel,只能一个个粘贴复制,有了如下代码,分分钟即可完成繁琐的数据处理工作。 环境准备 需要python和python里的...
  • Java SE基础(二)数据转换及运算符

    千次阅读 2021-03-17 18:05:32
    Java SE基础(二)数据转换及运算符数据转换隐式转换显式转换运算符算数运算符赋值运算符关系运算符逻辑运算符三元运算符 程序会出现各种bug。bug分编译时bug(编译不过)与运行时bug(编译通过,但功能不正常。如:...
  • 浮点数与字节数据转换详解

    万次阅读 2017-10-23 21:01:54
    本文参考网络上的诸多文章,首先分析了单精度浮点数是如何在机器中存储的,然后将浮点数转换为内存中显示的字节数据,进而又将字节数据转换为单精度浮点数。主要用于对数据存储的分析和字节流转换为有效数据方面。
  • Sql查询语句将数据转换数据格式

    千次阅读 2017-10-26 14:46:27
    小编今天要分享的是,通过Sql查询语句将数据转换成想要的数据格式banji表结构为: name scores subject 张三 60 英语 张三 82 数学 张三 73 语文 李四 74 数学 李四 89 英语 李四 90 语文 tiyu表结构为: name scor
  • matlab将nc数据转换为tif

    万次阅读 多人点赞 2017-06-11 12:17:28
    matlab将nc数据转换为tif
  • json数据转换为list集合

    万次阅读 2018-06-28 17:20:20
    JSONObject.parseArray(content,class);将json数据转换为list集合,class类中必须定义与json数据的key一致的对象,例如其中getEvent_catalog()是json数据
  • 因为在开发过程中遇到一个树控件(被公司大佬封装过的)只能解析树形结构数据,所以我只能将sql查到的列表结构数据转换为树形结构数据。首先想到就是百度,结果百度半天没百度着合适的,那就自己写一个吧。 下面...
  • 本文主要讲述了SQL查询语句表之间的行列转换,同时也包括如何将一行数据转换成两列数据的方法、子查询的应用、decode函数的用法。希望文章对你有所帮助~ 1.创建数据库表及插入数据 2.子查询统计不同性质的学生总数 3...
  • 小码农最近在研究深度学习,对所学知识做点记录,以供以后翻阅。在Caffe框架中,数据的格式都是LMDB的,如何将图像数据转换成这个格式呢?
  • python2.7将unicode数据转换成json格式数据 json_str = json.dumps(str) ojt = json.loads(json_str).encode('utf-8') ojt = json.loads(ojt) obj = json.dumps(josn.loads(json_str))
  • java对象数据转换成json数据格式

    万次阅读 2014-12-09 11:00:05
    本次心得体会,使用gson类库,把java对象数据转换成json数据格式
  • SSIS数据转换-查找

    千次阅读 2015-11-09 14:54:50
    SSIS数据转换中,查找组件的使用
  • 提供一种方便、简捷、易学、易用的栅格数据格式\范围\坐标系统的转换,可以提供栅格向矢量网格和...从而避免在做数据转换这类最基本而简单的GIS操作时,却要进行的软件安装,注册破解、软件学习、功能查找、硬件环...
  • 这些方法统一可以称为数据转换(Data Transform)。 一句话解释版本: 数据转换就是通过标准化、离散化与分层化让数据变得更加一致,更加容易被模型处理。   数据分析与挖掘体系位置 数据转换是有数据预处理中...
  • oracle一行数据转换成多行数据

    千次阅读 2014-12-23 00:24:05
    实际开发中我们经常遇到需要一张临时表的数据来作为 关联表,当然我们可以通过create一张表来满足我们的需求,但是如果是线上环境不允许我们建表... 一行数据转换成多行数据" TITLE="oracle 一行数据转换成多行数据

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 257,156
精华内容 102,862
关键字:

数据转换