精华内容
下载资源
问答
  • 多表联查,有相同字段,同名字段会覆盖前一字段的值,设置别名,hibernate不能识别 在连接mysql数据库添加useOldAliasMetadataBehavior=true 例如:jdbc.url=jdbc:mysql://192.168.122.5:3306/teamtodo?...

    多表联查,有相同的字段,同名字段会覆盖前一字段的值,设置别名时,hibernate不能识别

    在连接mysql数据库时添加useOldAliasMetadataBehavior=true

    例如:jdbc.url=jdbc:mysql://192.168.122.5:3306/teamtodo?autoReconnect=true&characterEncoding=utf-8&useSSL=true&useOldAliasMetadataBehavior=true

    展开全文
  • SQL实现JOIN一般是采用HASH分堆的办法,即先计算关联键的HASH值,再将相同HASH值的记录放到一起再做遍历对比。每一个JOIN都要做一轮这样的运算。如果数据量相对于内存并不是很大,可以事先全部加载到内存中,那么...

    一、 问题背景与适用场景

    SQL中JOIN的性能是个老大难问题,特别是关联表较多时,计算性能会急剧下降。

    SQL实现JOIN一般是采用HASH分堆的办法,即先计算关联键的HASH值,再将相同HASH值的记录放到一起再做遍历对比。每一个JOIN都要做一轮这样的运算。

    如果数据量相对于内存并不是很大,可以事先全部加载到内存中,那么可以利用内存指针的机制,事先把关联关系建立好。这样做运算时就不必再做HASH与对比运算了。具体来说,就是在数据加载时一次性把HASH和对比运算做完,用指针方式保存关联结果,然后每次运算可以直接引用到关联记录,从而提高运算的性能。

    不幸的是,SQL没有指针数据类型,无法实现这个优化逻辑,即使数据量可以在内存中装下,也很难利用预关联技巧提速,基于SQL的内存数据库也大都有这个缺点。而SPL有指针数据类型,就可以实现这种机制。

    我们下面来测试一下SQL实现单表计算和多表关联计算的差距,再用SPL利用预关联技巧同样做一遍,看一下两者的差距对比。

    二、 测试环境

    采用TPCH标准生成的8张数据表,共50G数据(要小到能放进内存)。TPCH数据表的结构网上有很多介绍,这里就不再赘述了。

    测试机有两个Intel2670 CPU,主频2.6G,共16核,内存128G,SSD固态硬盘。

    由于 lineitem 表数据量太大,这台服务器内存不足以将它装入,所以创建了一张表结构与它一样的表 orderdetail, 将数据量减少到内存能装下,下面就用这张表来做测试。

    为方便看出差距,下面测试都用单线程计算,多核并不起作用。

    三、 SQL测试

    这里用 Oracle 数据库作为 SQL 测试的代表,从orderdetail表里查询每年零件订单的总收入。

    1. 两表关联

    查询的SQL语句如下:

    select

    l_year,

    sum(volume) as revenue

    from

    (

    select

    extract(year from l_shipdate) as l_year,

    (l_extendedprice * (1 - l_discount) ) as volume

    from

    orderdetail,

    part

    where

    p_partkey = l_partkey

    and length(p_type)>2

    ) shipping

    group by

    l_year

    order by

    l_year;

    2. 六表关联

    查询的SQL语句如下:

    select

    l_year,

    sum(volume) as revenue

    from

    (

    select

    extract(year from l_shipdate) as l_year,

    (l_extendedprice * (1 - l_discount) ) as volume

    from

    supplier,

    orderdetail,

    orders,

    customer,

    part,

    nation n1,

    nation n2

    where

    s_suppkey = l_suppkey

    and p_partkey = l_partkey

    and o_orderkey = l_orderkey

    and c_custkey = o_custkey

    and s_nationkey = n1.n_nationkey

    and c_nationkey = n2.n_nationkey

    and length(p_type) > 2

    and n1.n_name is not null

    and n2.n_name is not null

    and s_suppkey > 0

    ) shipping

    group by

    l_year

    order by

    l_year;

    3. 测试结果

    bf40c7cbe8f82a5aa378b125cc5c668a.png

    两个查询语句都用了嵌套写法,Oracle自动优化后的计算性能比无嵌套时还要好一些(无嵌套时group by和select有可能会有重复计算)。

    这两个测试数据是多次运行后的结果,在测试中发现,Oracle 在第一次运行某查询时,往往比第 2、3... 次要慢很多,说明在内存大于数据量时,数据库可以把全部数据都缓存进内存(Oracle的缓存很强),所以我们取多次运行中最快那一次的时间,这样就几乎没有硬盘读取时间,仅是运算时间。

    同时,在上面两组测试中,过滤条件始终都为真,也就是没有对数据产生实质过滤,两个查询都涉及orderdetail表的全部记录,计算规模是相当的。

    从测试结果可以看出,六表关联比两表关联慢了167/26=6.4倍!性能下降非常多。排除掉硬盘时间后,这里增加的时间主要就是表间关联以及针对关联表字段的判断,而这些判断非常简单,所以大部分时间消耗在表间关联上。

    这个测试表明,SQL的JOIN性能确实很差。

    四、 SPL预关联测试

    1. 预关联

    实现预关联的SPL脚本如下:

    2b67507c4f6caa1073c6b2ba255ada5d.png

    脚本中前7行分别将7个组表读入内存,生成内表,并设成全局变量。后5行完成表间连接。在SPL服务器启动时,就先运行此脚本,完成环境准备。

    我们来看看预关联后,内存中表对象的数据结构,以orderdetail为例:

    2acc3e55a6785d33b8795964aed37a59.png

    图中只列了orderdetail的第一条记录的预关联情况,其它记录与此类似。限于版面宽度,各表只列出了部分字段。

    2. 两表关联

    编写SPL脚本如下:

    a44bdf8ce25baa461df5bad51d268a3c.png

    3. 六表关联

    编写SPL脚本如下:

    caeaddc86783a94607cdca8d74ef90d2.png

    预关联后,SPL代码也非常简单,关联表的字段直接可以作为本表字段的子属性访问,很易于理解。

    4. 运行结果

    09c1e8b7c73671e1b42b5e7d617accf8.png

    六表关联仅仅比两表关联慢2倍,基本上就是增加的计算量(引用这些关联表字段)的时间,而因为有了预关联,关联运算本身不再消耗时间。

    五、 结论

    测试结果汇总:

    0b6975d54ece97720933dc781fd5faa2.png

    六表关联比两表关联,SQL慢了6.4倍,说明SQL处理JOIN消耗CPU很大,性能降低明显。而采用预关联机制后的SPL只慢2倍,多JOIN几个表不再出现明显的性能下降。

    在进行关联表较多的查询时,如果内存大到足以将数据全部读入内存(内存数据库的应用场景),使用预关联技术将极大地提升计算性能!而关系数据库(包括内存数据库)用SQL语言则无法实现这一优化技术。

    展开全文
  • 在做一对多出现的问题,引发的思考:当数据库表中,主表的主键id和明细表的中的字段相同时怎么办?Mybatis进行自动映射赋值的时候会不会出现异常? 注意:Mybatis中做多表联查的时候,不管是一对一、一对多、...

    在做一对多出现的问题,引发的思考:当数据库表中,主表的主键id和明细表的中的字段名相同时怎么办?Mybatis进行自动映射赋值的时候会不会出现异常?
                        
    注意:Mybatis中做多表联查的时候,不管是一对一、一对多、一对多对多:多对多:都不能有字段重名的情况:不管是主键还是普通字段。一旦字段重名的话,就会造成数据少自动赋值,或者覆盖,甚至重复赋值!规避和解决此类问题的方法:
    1.尽量不要表间重名,mybatis里处理起来很麻烦!id和普通字段都是。但是在表多的时候,很难不会出现字段重名的情况。主键id最容易重名!那么就要用以下的办法了!
                            
    2.在mybatis中写原生SQL进行查询的时候,查的字段尽可能的少,这也影响速率,强烈禁止使用*,用多少查多少!这样也能及时发现字段重名的情况!
                            
    3.最后如果真的需要查出重名的字段,并且修改数据库字段名造成的更改过大,这里推荐的方式是给字段取别名,在写resultMap映射的时候,其中的column属性就填写SQL语句中查出字段取的别名,这样就能解决重复问题了!
         

     

    转载于:https://www.cnblogs.com/mzywucai/p/11053359.html

    展开全文
  • 因为在多表联查时,如果出现相同的字段,数据库自动使这些相同字段的值相等。 比如说,订单表有一个表示订单状态的status字段,而它的外键关联的表car有一个表示车状态的status字段,这两个status表示的含义完全不...

    1.各关联表尽量不要使用相同的字段。因为在多表联查时,如果出现相同的字段,数据库自动使这些相同字段的值相等。

            比如说,订单表有一个表示订单状态的status字段,而它的外键关联的表car有一个表示车状态的status字段,这两个status表示的含义完全不一样,但因为两个status字段一样,数据库默认将他们的值相等,导致数据失真。

    2.在mapper.xml文件中使用的sql语句,应先在数据库测试成功后才使用。

    3.在运行整个项目之前,应先对各个mapper,service,controller进行单元测试,高效开发必备。

    展开全文
  • 用java代码实现多表查询怎么给查询的列取别名,因为表中有相同名字的字段id,怎么区分
  • 两张表,a b a中字段有a1 a2 a3 a4 b中字段有b1 b2 b3 b4 当a1=b1=1, 查询 a2 a3 a4 b1 b2 b3 b4 并且a2 b2相同的部分要在一行,不同的部分也要查出来
  • 多表联查,有相同字段,同名字段会覆盖前一字段的值 解决: 在连接mysql数据库添加useOldAliasMetadataBehavior=true(applicationContext.xml中) 例如: jdbc:mysql://localhost:3306/{数据库名}?...
  • 在多表联查的时候,... 这时如果左表和右表中有相同的字段,并且查出来了左表的该相同字段,这时会把左表和右表对应的实体类的该字段赋值,原本右表对应的实体类应该是空,在字段赋值之后就不为空了 转载于:https...
  • 如下xml映射文件所示,数据库联查时两边有列名相同 <resultMap id="bai" type="com.boot.model.entity.ActReDelegateRule"> <id column="id" property="id" /> <result column="assignee" property...
  • 如果两表联查,主表和明细表的主键都是id的话,明细表的多条只能查询出来第一条。 造成以上情况可能的原因:  1、级联查询的时候,主...但在mybatis中主从表需要为相同字段名设置别名。设置了别名就OK了。 例...
  • 如果两表联查,主表和明细表的主键都是id...但在mybatis中主从表需要为相同字段名设置别名。设置了别名就OK了。例子:主表Standard, 从表StandEntity,均有名为id的字段1 2 3 (依据下面的select中更名的字段id别名...
  • spring data jpa使用别名--as

    千次阅读 2019-06-26 11:32:49
    使用jpa进行两表联查时总会有字段相同,所以需要用别名进行区分; 例子: department表同时包含子级id和父级id: 查询语句为: select d.id,d.name,d.description,d.parent_id,temp.name as parent_name ...
  • mysql列类型选择

    2019-09-25 10:06:53
    1、字段类型优先级 整型>data,time>char,varchar>blob 整型,time运算快,节约空间 char,varchar要考虑字符集的转化和排序校对集,...如:varchar(10),varchar(300)存储内容相同,但在表联查时,varchar(...
  • : 当数据库表中,主表的主键id和明细表的 ... 当表中的字段相同时怎么办?多表联查? 注意:Mybatis中做多表联查的时候,不管是 一对一、一对多、一对多对多:多对多: ...
  • (多表联查查询出现的问题)列'ID'在字段列表中重复,其实就是两张表有相同字段,但是使用表字段的名称前没有加表名,导致指代不明 解决方案:加上别名就可以了。 ### Cause: java.sql....
  • eas供应链dep案例集

    2017-11-18 22:32:39
    新增及调整字段 EASSCMA1P0009 付款单单头增加“国家”字段 客户为餐饮企业,每日进行采购,且采购物品85%左右相同,做采购申请单,往往是复制上日的采购申请单,然后再进行修改,其中很大程度上只是修改日期...
  • 超实用sql语句

    2011-11-11 19:17:33
    因为这样可以避免 top的字段如果是逻辑索引的,查询的结果后实际表中的不一致(逻辑索引中的数据有可能和数据表中的不一致,而查询如果处在索引则首先查询索引) 14、说明:前10条记录 select top 10 * form table...
  • 经典SQL语句大全

    热门讨论 2014-12-20 12:00:30
    因为这样可以避免 top的字段如果是逻辑索引的,查询的结果后实际表中的不一致(逻辑索引中的数据有可能和数据表中的不一致,而查询如果处在索引则首先查询索引) 14、说明:前10条记录 select top 10 * form table...
  • 因为这样可以避免 top的字段如果是逻辑索引的,查询的结果后实际表中的不一致(逻辑索引中的数据有可能和数据表中的不一致,而查询如果处在索引则首先查询索引) 14、说明:前10条记录 select top 10 * form ...
  • sql经典语句一部分

    2011-07-31 11:16:50
    因为这样可以避免 top的字段如果是逻辑索引的,查询的结果后实际表中的不一致(逻辑索引中的数据有可能和数据表中的不一致,而查询如果处在索引则首先查询索引) 14、说明:前10条记录 select top 10 * form table...
  •  15、说明:选择在每一组b值相同的数据中对应的a最大的记录的所有信息(类似这样的用法可以用于论坛每月排行榜,每月热销产品分析,按科目成绩排名,等等.) select a,b,c from tablename ta where a=(select max(a) ...

空空如也

空空如也

1 2
收藏数 26
精华内容 10
关键字:

联查时相同字段