当CRT显示器显示一幅图像时，电子枪是从左到右、从上到下来扫描屏幕的。由电子枪打出的电子经由偏转线圈的偏转得以打到屏幕的不同点上。电子束在从左到右扫描完一行后，需要回到起始方向进行下一行的扫描，这个返回的工作由回程转换器来完成。   
  
     
  
   这一系列动作要想很精确，就得使电子枪、偏转线圈、回程转换器协同（同步）工作。为了达到这个目标，我们需要两个信号：   
  
   1， 水平同步信号，显示设备（显示器）接收到这个信号后，就开始画下一行。   
  
   2， 垂直同步信号，显示设备（显示器）接收到这个信号后，就开始画下一帧。   
  
   这样，通过传递这两个信号，电子枪、偏转线圈、回程转换器就能精确协作了。   
  
     
  
   这两个信号由谁传递呢？答案是显卡，显卡每隔一段时间就会给显示设备（显示器）发送这样的信号。   
  
     
  
   显卡隔多长时间发送一次信号呢？这和屏幕的刷新率有关。假设我们的屏幕刷新率是60HZ，也就是一秒内我们要发送60个垂直同步信号给显示设备（显示器）。再假设我们的分辨率是800＊600，就是说屏幕一共有600行，一秒内我们会发送这么多个水平同步信号：60*600＝36000。画每一条线所用的时间也可以容易的算出来。 
 
 
 

    VGA需要行场同步信号 ，而且液晶显示器对同步信号要求很苛刻。跟CRT显示器不一样。  这两天调VGA视频输出，CRT上已经没问题了，但是VGA输出总是闪屏。真不好搞。。 
 
 
 
 

引言：
go-mysql-elasticsearch 是国内作者开发的一款插件。测试表明：该插件优点：能实现同步增、删、改、查操作。不足之处（待完善的地方）： 
1、仍处理开发、相对不稳定阶段； 
2、没有日志，不便于排查问题及查看同步结果。 
本文深入详解了插件的安装、使用、增删改查同步测试。
1. go-mysql-elasticsearch 插件安装
步骤1：安装go
yum install go
步骤2：安装godep
go get github.com/tools/godep
步骤3：获取go-mysql-elastisearch插件
go get github.com/siddontang/go-mysql-elasticsearch
步骤4：安装go-mysql-elastisearch插件
cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch 
make
2.go-mysql-elasticsearch 插件使用
2.1修改配置文件
[root@5b9dbaaa148a etc]# cat river.toml
# MySQL address, user and password
# user must have replication privilege in MySQL.
my_addr = "192.168.1.1:3306"
my_user = "root"
my_pass = "password@!"

# Elasticsearch address
es_addr = "192.168.1.1:9200"

# Path to store data, like master.info, and dump MySQL data 
data_dir = "./var"

# Inner Http status address
stat_addr = "192.168.1.1:12800"

# pseudo server id like a slave 
server_id = 1

# mysql or mariadb
flavor = "mysql"

# mysqldump execution path
mysqldump = "mysqldump"

# MySQL data source
[[source]]
schema = "test"

# Only below tables will be synced into Elasticsearch.
# "test_river_[0-9]{4}" is a wildcard table format, you can use it if you have many sub tables, like table_0000 - table_1023
# I don't think it is necessary to sync all tables in a database.
tables = ["cc"]

# Below is for special rule mapping
#[[rule]]
#schema = "test"
#table = "cc"
#index = "go_river"
#type = "go_rivert"

    # title is MySQL test_river field name, es_title is the customized name in Elasticsearch
 #   [rule.field]
    # This will map column title to elastic search my_title
  #  title="es_title"
    # This will map column tags to elastic search my_tags and use array type
   # tags="my_tags,list"
    # This will map column keywords to elastic search keywords and use array type
    #keywords=",list"

# wildcard table rule, the wildcard table must be in source tables 
[[rule]]
schema = "test"
table = "cc"
index = "gocc"
type = "gocc_t"

    # title is MySQL test_river field name, es_title is the customized name in Elasticsearch
    [[rule.fields]]
    mysql = "mysql101"
    elastic = "es_mysql101"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
2.2执行同步操作
cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch 
./bin/go-mysql-elasticsearch -config=./etc/river.toml
3. go-mysql-elasticsearch 插件同步测试结果
3.1插入Insert操作实时同步验证（验证ok）
3.1.1Mysql端插入操作
mysql> insert into cc(id,name) values(12, ‘test12’); 
Query OK, 1 row affected (0.06 sec)
3.1.2Mysql执行insert后查询结果
mysql> select * from cc where id =12; 
+—-+——–+——–+———————+ 
| id | name | status | modified_at | 
+—-+——–+——–+———————+ 
| 12 | test12 | ok | 2016-06-24 02:27:29 | 
+—-+——–+——–+———————+ 
1 row in set (0.02 sec)
3.1.3ES端能查询到新增的value字段。
[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '
> {"query":
> {"term":
> {"id":12}}}'
{
  "took" : 402,
  "timed_out" : false,
  "_shards" : {
    "total" : 8,
    "successful" : 8,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "gocc",
      "_type" : "gocc_t",
      "_id" : "12",
      "_score" : 1.0,
      "_source" : {
        "id" : 12,
        "modified_at" : "2016-06-24T02:27:29+01:00",
        "name" : "test12",
        "status" : "ok"
      }
    } ]
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
3.2修改Update操作实时同步验证（验证ok）
3.2.1mysql执行更新操作
mysql> update cc set name = 'test12_001' where id = 12;
Query OK, 1 row affected (0.05 sec)
Rows matched: 1  Changed: 1  Warnings: 0
1
2
3
3.2.2mysql执行修改后查询
Mysql查询修改后结果：
mysql> select * from cc where id = 12;
+----+------------+--------+---------------------+
| id | name       | status | modified_at         |
+----+------------+--------+---------------------+
| 12 | test12_001 | ok     | 2016-06-24 02:27:29 |
+----+------------+--------+---------------------+
1 row in set (0.00 sec)
1
2
3
4
5
6
7
3.2.3 ES查询修改结果
[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '
{"query":
{"term":
{"id":12}}}'
{
  "took" : 59,
  "timed_out" : false,
  "_shards" : {
    "total" : 8,
    "successful" : 8,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "gocc",
      "_type" : "gocc_t",
      "_id" : "12",
      "_score" : 1.0,
      "_source" : {
        "id" : 12,
        "modified_at" : "2016-06-24T02:27:29+01:00",
        "name" : "test12_001",
        "status" : "ok"
      }
    } ]
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
3.3删除操作实时同步验证
3.3.1Mysql执行删除操作
mysql> delete from cc where id = 12;
Query OK, 1 row affected (0.04 sec)
1
2
3.3.2删除后查询表
mysql> select * from cc;
+----+--------------------+--------+---------------------+
| id | name               | status | modified_at         |
+----+--------------------+--------+---------------------+
|  1 | laoyang360         | ok     | 0000-00-00 00:00:00 |
|  2 | test002            | ok     | 2016-06-23 06:16:42 |
|  3 | dlllaoyang360      | ok     | 0000-00-00 00:00:00 |
| 11 | test11             | ok     | 2016-06-24 02:09:15 |
|  5 | jdbc_test_update08 | ok     | 0000-00-00 00:00:00 |
|  7 | test7              | ok     | 0000-00-00 00:00:00 |
|  8 | test008            | ok     | 0000-00-00 00:00:00 |
|  9 | test009            | ok     | 0000-00-00 00:00:00 |
| 10 | test10             | ok     | 2016-06-24 02:08:14 |
+----+--------------------+--------+---------------------+
9 rows in set (0.02 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
3.3.3ES查询删除后结果
[root@5b9dbaaa148a bin]# curl -XGET http://192.168.1.1:9200/gocc/_search?pretty -d '
{"query":
{"term":
{"id":12}}}'
{
  "took" : 40,
  "timed_out" : false,
  "_shards" : {
    "total" : 8,
    "successful" : 8,
    "failed" : 0
  },
  "hits" : {
    "total" : 0,
    "max_score" : null,
    "hits" : [ ]
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
4小结
验证发现： 
（1）go-mysql-elasticsearch插件可以实现同步insert、update、delete操作。 
（2）可视化做的不好，没有打印日志。 
（3）go-mysql-elasticsearch尚不大稳定，出现过无法同步成功的情况，但没有报错。不便于排查。

1.如何实现mysql与elasticsearch的数据同步？
逐条转换为json显然不合适，需要借助第三方工具或者自己实现。核心功能点：同步增、删、改、查同步。
2、mysql与elasticsearch同步的方法有哪些？优缺点对比？
目前该领域比较牛的插件有：
1）、elasticsearch-jdbc，严格意义上它已经不是第三方插件。已经成为独立的第三方工具。https://github.com/jprante/elasticsearch-jdbc 
2）、elasticsearch-river-mysql插件 https://github.com/scharron/elasticsearch-river-mysql 
3）、go-mysql-elasticsearch（国内作者siddontang） https://github.com/siddontang/go-mysql-elasticsearch
1-3同步工具/插件对比：
go-mysql-elasticsearch仍处理开发不稳定阶段。 
为什么选择elasticsearch-jdbc而不是elasticsearch-river-mysql插件的原因？（参考：http://stackoverflow.com/questions/23658534/using-elasticsearch-river-mysql-to-stream-data-from-mysql-database-to-elasticsea） 
1）通用性角度：elasticsearch-jdbc更通用， 
2）版本更新角度：elasticsearch-jdbc GitHub活跃度很高，最新的版本2.3.3.02016年5月28日兼容Elasticsearch2.3.3版本。 
而elasticsearch-river-mysql 2012年12月13日后便不再更新。 
综上，选择elasticsearch-jdbc作为mysql同步Elasticsearch的工具理所当然。
elasticsearch-jdbc的缺点与不足（他山之石）：
1）、go-mysql-elasticsearch作者siddontang在博客提到的： 
elasticsearch-river-jdbc的功能是很强大，但并没有很好的支持增量数据更新的问题，它需要对应的表只增不减，而这个几乎在项目中是不可能办到的。 
http://www.jianshu.com/p/05cff717563c 
2）、 
博主leotse90在博文中提到elasticsearch-jdbc的缺点：那就是删除操作不能同步（物理删除）！ 
http://leotse90.com/2015/11/11/ElasticSearch与MySQL数据同步以及修改表结构/
我截止2016年6月16日没有测试到，不妄加评论。

3、elasticsearch-jdbc如何使用？要不要安装？
3.1 和早期版本不同点
elasticsearch-jdbcV2.3.2.0版本不需要安装。以下笔者使用的elasticsearch也是2.3.2测试。 
操作系统：CentOS release 6.6 (Final) 
看到这里，你可能会问早期的版本有什么不同呢？很大不同。从我搜集资料来看，不同点如下： 
1）早期1.x版本，作为插件，需要安装。 
2）配置也会有不同。
3.2 elasticsearch-jdbc使用(同步方法一）
前提： 
1）elasticsearch 2.3.2 安装成功，测试ok。 
2）mysql安装成功，能实现增、删、改、查。 
可供测试的数据库为test，表为cc，具体信息如下：
mysql> select * from cc;
+----+------------+
| id | name |
+----+------------+
| 1 | laoyang |
| 2 | dluzhang |
| 3 | dlulaoyang |
+----+------------+
3 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
第一步：下载工具。 
址：http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.2.0/elasticsearch-jdbc-2.3.2.0-dist.zip 
第二步：导入Centos。路径自己定，笔者放到根目录下，解压。unzip elasticsearch-jdbc-2.3.2.0-dist.zip 
第三步：设置环境变量。
[root@5b9dbaaa148a /]# vi /etc/profile 
export JDBC_IMPORTER_HOME=/elasticsearch-jdbc-2.3.2.0
使环境变量生效： 
[root@5b9dbaaa148a /]# source /etc/profile 
第四步：配置使用。详细参考：https://github.com/jprante/elasticsearch-jdbc 
1）、根目录下新建文件夹odbc_es 如下： 

[root@5b9dbaaa148a /]# ll /odbc_es/ 
drwxr-xr-x 2 root root 4096 Jun 16 03:11 logs 
-rwxrwxrwx 1 root root 542 Jun 16 04:03 mysql_import_es.sh 

2）、新建脚本mysql_import_es.sh，内容如下；
[root@5b9dbaaa148a odbc_es]# cat mysql_import_es.sh
’#!/bin/sh
bin=$JDBC_IMPORTER_HOME/bin
lib=$JDBC_IMPORTER_HOME/lib
echo '{
"type" : "jdbc",
"jdbc": {
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"my-application", #簇名，详见：/usr/local/elasticsearch/config/elasticsearch.yml
"url":"jdbc:mysql://10.8.5.101:3306/test", #mysql数据库地址
"user":"root", #mysql用户名
"password":"123456", #mysql密码
"sql":"select * from cc",
"elasticsearch" : {
  "host" : "10.8.5.101",
  "port" : 9300
},
"index" : "myindex", #新的index
"type" : "mytype" #新的type
}
}'| java \
  -cp "${lib}/*" \
  -Dlog4j.configurationFile=${bin}/log4j2.xml \
  org.xbib.tools.Runner \
  org.xbib.tools.JDBCImporter


3）、为 mysql_import_es.sh 添加可执行权限。 
[root@5b9dbaaa148a odbc_es]# chmod a+x mysql_import_es.sh 
4）执行脚本mysql_import_es.sh 
[root@5b9dbaaa148a odbc_es]# ./mysql_import_es.sh
第五步：测试数据同步是否成功。 
使用elasticsearch检索查询：
[root@5b9dbaaa148a odbc_es]# curl -XGET 'http://10.8.5.101:9200/myindex/mytype/_search?pretty'
{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
  "total" : 8,
  "successful" : 8,
  "failed" : 0
  },
  "hits" : {
  "total" : 3,
  "max_score" : 1.0,
  "hits" : [ {
  "_index" : "myindex",
  "_type" : "mytype",
  "_id" : "AVVXKgeEun6ksbtikOWH",
  "_score" : 1.0,
  "_source" : {
  "id" : 1,
  "name" : "laoyang"
  }
  }, {
  "_index" : "myindex",
  "_type" : "mytype",
  "_id" : "AVVXKgeEun6ksbtikOWI",
  "_score" : 1.0,
  "_source" : {
  "id" : 2,
  "name" : "dluzhang"
  }
  }, {
  "_index" : "myindex",
  "_type" : "mytype",
  "_id" : "AVVXKgeEun6ksbtikOWJ",
  "_score" : 1.0,
  "_source" : {
  "id" : 3,
  "name" : "dlulaoyang"
  }
  } ]
  }
}
出现以上包含mysql数据字段的信息则为同步成功。
4、 elasticsearch-jdbc 同步方法二
[root@5b9dbaaa148a odbc_es]# cat mysql_import_es_simple.sh
#!/bin/sh
bin=$JDBC_IMPORTER_HOME/bin
lib=$JDBC_IMPORTER_HOME/lib
  java \
  -cp "${lib}/*" \
  -Dlog4j.configurationFile=${bin}/log4j2.xml \
  org.xbib.tools.Runner \
  org.xbib.tools.JDBCImporter statefile.json

[root@5b9dbaaa148a odbc_es]# cat statefile.json
{
"type" : "jdbc",
"jdbc": {
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"my-application",
"url":"jdbc:mysql://10.8.5.101:3306/test",
"user":"root",
"password":"123456",
"sql":"select * from cc",
"elasticsearch" : {
  "host" : "10.8.5.101",
  "port" : 9300
},
"index" : "myindex_2",
"type" : "mytype_2"
}
}
脚本和json文件分开，脚本执行前先加载json文件。 
执行方式：直接运行脚本 ./mysql_import_es_simple.sh 即可。
5、Mysql与elasticsearch等价查询
目标：实现从表cc中查询id=3的name信息。 
1）MySQL中sql语句查询：
mysql> select * from cc where id=3;
+----+------------+
| id | name |
+----+------------+
| 3 | dlulaoyang |
+----+------------+
1 row in set (0.00 sec)
2）elasticsearch检索：
[root@5b9dbaaa148a odbc_es]# curl http://10.8.5.101:9200/myindex/mytype/_search?pretty -d '
{
"filter" : { "term" : { "id" : "3" } }
}'
{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
  "total" : 8,
  "successful" : 8,
  "failed" : 0
  },
  "hits" : {
  "total" : 1,
  "max_score" : 1.0,
  "hits" : [ {
  "_index" : "myindex",
  "_type" : "mytype",
  "_id" : "AVVXKgeEun6ksbtikOWJ",
  "_score" : 1.0,
  "_source" : {
  "id" : 3,
  "name" : "dlulaoyang"
  }
  } ]
  }
}
常见错误：
错误日志位置：/odbc_es/logs 
日志内容： 
[root@5b9dbaaa148a logs]# tail -f jdbc.log 
[04:03:39,570][INFO ][org.xbib.elasticsearch.helper.client.BaseTransportClient][pool-3-thread-1] after auto-discovery connected to [{5b9dbaaa148a}{aksn2ErNRlWjUECnp_8JmA}{10.8.5.101}{10.8.5.101:9300}{master=true}]
Bug1、[02:46:23,894][ERROR][importer.jdbc ][pool-3-thread-1] error while processing request: cluster state is RED and not YELLOW, from here on, everything will fail! 
原因： 
you created an index with replicas but you had only one node in the cluster. One way to solve this problem is by allocating them on a second node. Another way is by turning replicas off. 
你创建了带副本 replicas 的索引，但是在你的簇中只有一个节点。
解决方案： 
方案一：允许分配‘它们’到第二个节点。 
方案二：关闭副本replicas（非常可行）。如下：
curl -XPUT 'localhost:9200/_settings' -d '
{
  "index" : {
  "number_of_replicas" : 0
  }
}
Bug2、[13:00:37,137][ERROR][importer.jdbc ][pool-3-thread-1] error while processing request: no cluster nodes available, check settings {autodiscover=false, client.transport.ignore_cluster_name=false, client.transport.nodes_sampler_interval=5s, client.transport.ping_timeout=5s, cluster.name=elasticsearch, 
org.elasticsearch.client.transport.NoNodeAvailableException: no cluster nodes available, check 
解决方案： 
见上脚本中新增： 
“elasticsearch.cluster”:”my-application”, #簇名，和/usr/local/elasticsearch/config/elasticsearch.yml 簇名保持一致。
参考： 
http://stackoverflow.com/questions/11944915/getting-an-elasticsearch-cluster-to-green-cluster-setup-on-os-x

 同步逻辑：整个设计中只有一个全局时钟成为同步逻辑。只有时钟脉冲同时到达各记忆元件的时钟端，才能发生预期改变。 
 
同步逻辑是时钟之间有固定的因果关系。
 
异步逻辑：多时钟系统逻辑设计成为异步逻辑。电路状态改变由输入信号引起。异步逻辑是各时钟之间没有固定的因果关系。
 
     同步时序逻辑电路的特点：各触发器的时钟端全部连接在一起，并接在系统时钟端，只有当时钟脉冲到来时，电路的状态才能改变。改变后的状态将一直保持到下一个时钟脉冲的到来，此时无论外部输入 x 有无变化，状态表中的每个状态都是稳定的。
 
     异步时序逻辑电路的特点：电路中除可以使用带时钟的触发器外，还可以使用不带时钟的触发器和延迟元件作为存储元件，电路中没有统一的时钟，电路状态的改变由外部输入的变化直接引起。
 
同步逻辑电路：