今天开发同事碰到一个有些复杂的数据复制需求，想让我帮忙看看能否实现，当然猛一听需求是不可能实现的。不过还是耐着性子和他们讨论了一下，不过我想了下，似乎还是有改进的余地，也算是拨云见雾吧。


	  目前有一个表做了拆分，即分库分表。在统计业务中还是需要把数据整合起来查询。大体就是下面的架构方式。


	

源端是一些分库，存在一些不同的用户，里面存放着相同结构的表。数据根据拆分规则进入不同的分库。


	目标端是统计业务所用，没有使用OGG,而直接使用物化视图的方式做了数据刷新复制，当然目标端由此就有了相同数量的物化视图，为了让应用端查取方便，于是建立了一个同名的视图，这样就达到了一个基本的数据拆分到整合的过程。


	但是数据有一些问题。假设表中存在下面的字段，那么其中一个字段modify_date就是数据记录的修改时间戳。


	

应用端可以根据这个时间戳来进行数据的统计分析，而且目前来看只有增加和部分修改，没有删除操作，但是恰恰不如意的是，这个字段因为不同产品的期望，目前是可为空的，而对于统计业务来说又是必须的。


	对于统计业务来说，不会可以关注精确的时分秒，精确到日即可。于是我们就有了一些讨论。


	开发同学


	有个疑惑，BI这边是今天取昨天的增量数据，假设今天取数据的时候出错了，过了几天我想修复历史数据，还能知道前天增加了哪些数据吗？


	goldengate也是使用主键吗


	DBA:


	这是两个问题，如果取数的时候出错了，按照目前的数据一致性，那么剩下没有应用到的数据是肯定不会应用到目标库的，所以数据层面的修复是平滑的。 


	第二个是查看之前增加的历史数据，Oracle有些辅助功能可以实现，不过得看你的需求，不一定能完全实现。


	开发同学：


	就像现在这个数据，很多modify_date是空的，我们就很想知道2008年01月01日的增量数据


	就是每一天的增量，好实现吗？


	DBA：


	你说的增量是新增的还是修改的也算，新增的那就简单了，可以用分区，如果是修改的，这个还比较麻烦。


	那样得确认一点


	比如1月1日 新增了100条数据


	1月5日，新增了200条数据，


	同是修改了1月1日的2条数据。


	那这两条数据是算在1月1日还是算在1月5日。


	开发同学：


	恩·是这个问题，算1月5日的


	因为BI这边会按这个时间建分区，虽然1月1日的分区里也有这条数据，但是不会导致丢失，这边可以取最新的使用


	DBA:


	对，按照时间建分区，分区设置上做一些特定的设置，可以的。(其实就是开启row movement,可以跨分区更新)


	


	但是想起来思路是通，但是这就有两个大问题需要解决了。目标是物化视图刷新，因为物化视图是只读的，如何修改modify_date的值就是个大问题。


	如何得到这些增量变化的数据，目前来看，时间的部分只能依赖于系统时间了。但是增量的数据如何鉴别，我一个设想就是根据modify_date来分区。


	这样一来，架构方式就是如下的形式：


	

	根据分区的方式，数据就能够区分开来了。但是增量的数据如何鉴别，这是个很实际的问题，这个时候我们就可以联系一些更具体的信息了，那就是物化视图日志，在源端，每个表开启增量刷新，必然要创建一个物化视图日志，这个物化视图日志里面的数据说不上完整，但是有主键ID和基本的时间戳，这就够了。我们可以在增量刷新之前得到一个基本的id列表，然后关联分区的方式修改数据为系统时间，这样一来，数据就会从默认分区流动到指定的分区中。后续供统计分析所用。


	


	看起来不大可能的需求还是有一些的应用场景，估且算是一个特殊的刷新场景吧。


	


	个人微信公众号如下，欢迎扫描关注。


	
           
        
        
                
    

这一节我们就来讲一讲Power View字段这一块的功能，正如标题所言，如Excel数据透视表般华丽。
本例还是使用上一节课的素材（销售情况表）。


我们可以看到在最右侧的”Power View字段“视图下，可以根据下面字段的选择显示那些需要显示的字段。


对于不需要的字段，我们可以右键进行删除。
若现在的需求是根据业务员对其销量进行汇总，我们就可以按如下图方式操作。
将业务员字段和吨位字段拉到下面的”字段“列表，其中还要对吨位字段进行求和。




当然也可以根据业务员以及品种进行汇总。


那么问题来了，现在若要将品种放到列方向呢，该如何操作？
这个时候我们就引入一个”矩阵“的概念。


点击”矩阵“进行切换。我们可以清楚的发现，它多了值、行、列的功能，这不正类似于我们熟悉的数据透视表么！


将”品种“字段拖到列里面（注意，这里拖动功能很不好使，若不方便就直接在区域里面右击字段进行添加）。






若要去掉行列的总计，也可以直接在”设计“选项卡下面的”总计“按钮里操作。

最近在研究tableau，发现没有自带的tab切换，于是通过在网上找各种资料终于完成，但是发现有个问题：参数作为筛选器只能单选，排版是上下排版，无法实现左右，例如这样，通过下拉菜单的方式完成切换
我在上述基础上将参数与文本标签切合，实现了下面这种方式切换
主要步骤如下：
1、使用tableau自带的官方示例，先建3个工作表，分别为饼图，柱状图，条形图
2、新建参数如下
2、新引入数据源excel，（主要作用是显示tab文本标签，如果无权限添加excel，可在源数据基础上自行定义几个tab标签，可参见方案2截图），使用其中1个方案实现功能即可
3、参考下面步骤
4、将第3步创建的【选择tab】计算字段，分别拖入饼图，柱状图，条形图工作表，并限制值分别对应饼图，柱状图，条形图
5、新建仪表板，选择浮动，将tab菜单，饼图，条形图，柱状图几个工作表添加仪表板
其中饼图，条形图，柱状图重叠
6、最重要的一步来了，点击菜单-仪表板-操作，选择添加操作-更改参数，截图如下
最后点击仪表板几个tab按钮，即可实现自动切换
谢谢大家，我是鱼木，一个默默无闻的小人物，愿世界美好与你环环相扣！

最近在研究tableau，发现没有自带的tab切换，于是通过在网上找各种资料终于完成，但是发现有个问题：参数作为筛选器只能单选，排版是上下排版，无法实现左右，例如这样，通过下拉菜单的方式完成切换
我在上述基础上将参数与文本标签切合，实现了下面这种方式切换
主要步骤如下：
1、使用tableau自带的官方示例，先建3个工作表，分别为饼图，柱状图，条形图
2、新建参数如下
2、新引入数据源excel，（主要作用是显示tab文本标签，如果无权限添加excel，可在源数据基础上自行定义几个tab标签，可参见方案2截图），使用其中1个方案实现功能即可
3、参考下面步骤
4、将第3步创建的【选择tab】计算字段，分别拖入饼图，柱状图，条形图工作表，并限制值分别对应饼图，柱状图，条形图
5、新建仪表板，选择浮动，将tab菜单，饼图，条形图，柱状图几个工作表添加仪表板
其中饼图，条形图，柱状图重叠
6、最重要的一步来了，点击菜单-仪表板-操作，选择添加操作-更改参数，截图如下
最后点击仪表板几个tab按钮，即可实现自动切换
谢谢大家，我是鱼木，一个默默无闻的小人物，愿世界美好与你环环相扣！