solr 配置自动同步数据库数据(全量,增量)
 
    solr6.3.3
    mysql-connector-java-5.1.45-bin.jar
    solr 以 jetty 方式部署 (非tomcat)
    * 1.将 mysql-connector-java-5.1.45-bin.jar 放到 ./dist下
    * 2. 修改数据仓库下的配置文件 ./collocation1/conf/solrconfig.xml
    在大约70行左右的范围 加入以下几行
    <lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar"/>
    <lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql-connector-java-\d.*\.jar" />
    <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
        <lst name="defaults">
            <str name="config">data-config.xml</str>
        </lst>
    </requestHandler>
    * 3. 再在 ./collocation1/conf 创建 data-config.xml文件, 内容如下:
    <?xml version="1.0" encoding="UTF-8" ?>
    <dataConfig>
        <dataSource type="JdbcDataSource" name="test" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/test" user="root" password="1234"/>
        <document>
            <entity
            pk="id"
            dataSource="test"
            name="t_product"
            query="select id,name,alias_name,old_product_id,top_product_id,type from t_product where status = '1' "
            deltaQuery="select id from t_product where update_dt > '${dataimporter.last_index_time}'"
            deletedPkQuery="select id from t_product where status = 10"
            deltaImportQuery="select id,name,alias_name,old_product_id,top_product_id,type from t_product where id='${dataimporter.delta.id}'"
            >
                <field name="id" column="id" />
                <field name="name" column="name" />
                <field name="alias_name" column="alias_name" />
                <field name="old_product_id" column="old_product_id" />
                <field name="top_product_id" column="top_product_id" />
                <field name="type" column="type" />
            </entity>
        </document>
    </dataConfig>
    # 同步数据语句
    query="select id,name,alias_name,old_product_id,top_product_id,type from t_product where status = '1' "
    # 增量同步语句 只去 id 用于 只同步被修改的 根据 ${dataimporter.last_index_time}'
    # 这里注意时间 update_dt 为int, dataimporter.last_index_time为 timestamp
    deltaQuery="select id from t_product where FROM_UNIXTIME(update_dt , '%Y-%m-%d %H:%i:%S') > '${dataimporter.last_index_time}'"
    # 拉取 增量同步需要修改的数据
    deltaImportQuery="select id,name,alias_name,old_product_id,top_product_id,type from t_product where id='${dataimporter.delta.id}'"
    # 同步需要删除的数据
    deletedPkQuery="select id from t_product where status = 10"

    * 4. 在 ./bin 的 solr.in.sh 内 修改 solr 的默认时区为 PRC, 大约在 60+ 行
    # By default the start script uses UTC; override the timezone if needed
    SOLR_TIMEZONE="Asia/Shanghai"
    # 不生效的话 可以修改 ./bin/solr
    vim solr
    搜索 /UTC/
    改为 Asia/Shanghai
    * 5. 定时脚本修复
    # 在索引之前先清除索引
    clean=true
    # 无论做什么操作 都提交
    commit=true
    # 更新那个实体对应 的 配置文件中的 实体
    entity=t_product
    # 无论做什么操作 都优化
    optimize=false
    # 是否开启 debug
    debug=false
    # 是否阻塞所有请求
    synchronous=false
    # 增量更新数据
    http://localhost:8983/solr/collocation1/dataimport?command=delta-import&clean=false&commit=true&wt=json&indent=true&entity=t_product&verbose=false&optimize=false&debug=false&synchronous=false&id=1
    # 全量跟新数据
    http://localhost:8983/solr/collocation1/dataimport?command=full-import&clean=true&commit=true&wt=json&indent=true&entity=t_product&verbose=false&optimize=false&debug=false&synchronous=false
    # 重载配置
    http://localhost:8983/solr/collocation1/dataimport?command=reload-config
    # 查看运行的统计状态
    http://localhost:8983/solr/collocation1/dataimport?command=status
    # 查看配置
    http://localhost:8983/solr/collocation1/dataimport?command=show-config


    tips: 一定要注意改对文件(注意文件位置)
    ps -aux | grep solr 可以查看 solr 启动的各种配置项.

sql server 触发器实时同步数据库表数据
 
创建两个相同结构的数据库表
 
CREATE TABLE [dbo].[Table_1](
	[id] [varchar](50) NOT NULL,
	[name] [varchar](50) NULL,
	[dept] [varchar](50) NULL,
	[company] [varchar](50) NULL
) ON [PRIMARY]
GO
CREATE TABLE [dbo].[Table_2](
	[id] [varchar](50) NOT NULL,
	[name] [varchar](50) NULL,
	[dept] [varchar](50) NULL,
	[company] [varchar](50) NULL
) ON [PRIMARY]
GO
 
创建触发器
 
向数据库表Tabel1增加触发器，当该表中数据发生变化则触发相应的触发器，分别是insert、update、delete
 
检查触发器是否已存在
 
--如果存在同名触发器则删除
if exists(select * from sys.triggers where name= 'trigger_insert')
drop trigger trigger_insert
go 
 
--创建insert触发器
create trigger  trigger_insert
ON Table_1 for insert
as
insert into Table_2 
select * from [Table_1]
where not exists(select 1 from [Table_2]
where [Table_1].id = [Table_2].id)
go
 
--创建update触发器
create trigger trigger_update
ON Table_1 for update
as
	if update(id)
		begin 
			update Table_2 set Table_2.name = inserted.name from Table_2,inserted  where inserted.id=Table_2.id
		end
go
 
--创建delete触发器
create trigger trigger_delete
ON Table_1 for delete
as	
		begin 
			delete Table_2  from Table_2,deleted  where deleted.id=Table_2.id
		end
go
 
测试触发器
 
当向数据库表Tabel1中插入、更新和删除数据时，将触发相应的触发器，对Table2表进行实时同步更新

SSIS（SQL Server Integration Services）是用于生成企业级数据集成和数据转换解决方案的平台。使用 Integration Services 可解决复杂的业务问题，具体表现为：复制或下载文件，发送电子邮件以响应事件，更新数据仓库，清除和挖掘数据以及管理 SQL Server 对象和数据。这些包可以独立使用，也可以与其他包一起使用以满足复杂的业务需求。Integration Services 可以提取和转换来自多种源（如 XML 数据文件、平面文件和关系数据源）的数据，然后将这些数据加载到一个或多个目标。 
 
下面我使用SSIS来演示一个实际例子。比如我有一个数据库，出于备份数据或者其它的目的，会定期的对这个数据库的数据迁移到其它的数据库去。迁移的时候，有些新增的字段会被插入备份数据库，而有些被修改过的字段也会在备份数据库被修改。现在我们就用SSIS来完成这项任务。
 
首先在我源数据库db_source和目标数据库db_destination中运行以下SQL创建好需要的表，就以这一个表test_1来进行示范。
 
 
 
CREATE TABLE [dbo].[test_1](
    [Id] [int] IDENTITY(1,1) NOT NULL primary key,
    [Name] [varchar](50) NULL,
    [Age] [int] NULL
)
 
 
 
 
建好表好在源数据表中可以随便加几条记录，目标数据库暂时留空。
 
现在我们打开VS，创建一个Intergration Services Project。（注意：如果SQL Server 装的是Express版的话是没有这个项目工程模板的）
 
 
 
 
创建好工程后，在Control Flow这个Tab下拖入一个Data Flow Task，如下图：
 
 
 
 
双击这个Data Flow Task，我们就会进入Data Flow这个Tab标签中。
 
 
 
然后我们在左边工具栏里找到OLE DB Source，继续拖两个OLE DB Source出来。分别给它们命名为Source DB和Destination DB。
 
 
 
 
将数据源拖出来后，双击它，可以对它进行一些设置，主要就是链接数据库及选择你要进行迁移的表或者视图等设置，这里我就不详细说明了。注意一点的是就像上图所示，如果一个图形上出现一个红X的话说明设置有错误。
 
再来就是拖两个Sort及一个Merge Join出来，将之前的数据源箭头分别指向两个Sort，最后两个Sort出来的数据同时输入Merge Join中。
 
 
 
 
分别双击两个Sort，钩选表中的ID，对ID这个字段进行一次排序。因为Merge Join这个流程要求输入的数据是已排序好的。这个排序也可以直接在数据源中对它们的输出字段设置SortKeyPosition这个属性来排序这里我们第一次从Sort拉箭头到Merge Join的时候，会让我们选择这个输入的数据是作为左输入还是右输入，我们按照图示的那样，左边的作为左输入，右边的作为右输入。然后我们双击Merge Join，按照如下图所示设置：
 
 
 
 
这里打钩的是这个流程之后输出的数据，Join Type需要选择为Left outer join，因为左边是我们的原始数据表，右边是我们备份的表，右表可以看成是一个左表的一个子集，如果左表有的数据，右表没有的，那些就是需要新插入备份数据库的数据。本文来自http://www.14271.com/bcnews/bw/20120918334.html
 
现在我们需要一个分支，即新的数据需要插入备份数据库中，而已有的数据需要更新为新的值。我们从工具栏中拖入一个Conditional Split来进行这样的分支处理。我们将Merge Sort中的输出指向Conditional Split，然后双击Conditional Split，如下图所示设置（注意条件一个是ISNULL，一个是非ISNULL）。
 
 
 
 
这时它们的输入值就被分成两种条件输出，最后我们再拖入一个OLE DB Destination来插入数据和一个OLE DB Command来更新数据库，最终流程如下图：
 
 
 
 
 
 
双击设置OLE DB Destionation，选择好数据导入的目标数据库中的表，这里需要注意的就是要钩选Keep identity这个选项，因为我创建表的时候对ID字段使用了自增属性。
 
双击设置OLE DB Command，首先在Connection Managers这个Tab中选择好链接对象，然后在Component Properties这个选项卡中，设置你的SqlCommand属性。如下图：
 
 
 
 
这里的参数值都是用？号来代替，之后在Column Mappings这个Tab中设置代替值实际代替的列，如下图：
 
 
 
 
至此，任务就创建完毕了，没有编写任何代码，直接拖拉完成了。现在可以直接在VS中按F5运行看下效果，我们的目标数据表将插入源数据表中的值。然后我们修改一下原数据表，再来运行一下上面这个任务，就可以在目标数据库中看到更改了。
 
 
 
那么如何去定时完成任务哩？这里可以用SQL Server Agent去调用上面我们写好的包， 或者在Windows计划任务中使用DTExec.exe去执行上面的任务。

sqlite 有没有类似mysql的功能在两个库或者多个库之间进行数据同步呢？当然是可以的。
 1，安装Sqlite Expert
 2，打开数据库A,然后Attach 数据库B
 
 3，打开之后我们可以看到数据库A的表以及带有数据库B前缀的表
 
 4.将两个数据库A,B的数据进行同步