Mysql 同步数据到 Eleasticsearch

阿里云mysql同步数据到elasticsearch，废话就不多说了，后面多说点，实在搞不清楚我想干啥，就从后面先看吧！

1.   登录阿里云账号A（该账号为数据源mysql的账号），进入访问控制页面：https://ram.console.aliyun.com/，
创建一个角色，并绑定elasticsearch对应的阿里云账号B





2. 对角色进行授权，免得麻烦我选择“全部授权”（有洁癖小伙伴随意）！
坑点：授权完成之后，仍然要点击“管理”，按照下面第三张图按照固定格式添加“Service”：B账号@dts.aliyuncs.com。





3. 登录B账号，购买“数据传输服务” https://dts.console.aliyun.com/。
因为我只想迁移一次数据，所以选择按量付费，迁移后，马上“释放传输”，费用就会比较少！





这里重点强调下，账号ID填写 A账号，角色为：A账号下刚才创建的角色，点击下箭头，会自动搜索A账号下的mysql实例，搜索到后，会要求填写用户名、密码等。目标实例就是当前（B账号）下的es资源，然后就一直下一步直到完成就可以进行数据传输了！

4. 验证结果：根据mysql数据表名在kibana下查询对应索引，得到对应结果即成功！


故事背景

有一段时间么有用ES了，想练习一下，无奈数据在mysql中，于是考虑了一下三种方案：

1 通过es 的 API 将数据从mysql迁移到es（慢，自我感觉）

2 通过logstash传输（服务器是腾讯云的，es在阿里云B下，mysql在阿里云A下，折腾起来有点麻烦）

3 利用阿里云的数据传输服务（最菜的菜鸟才用的方法）

总结：原理其实就是A账号下创建一个角色并绑定B账号，让B账号以A账号（管理员or子用户）的身份在数据源取数据，然后存储在目标实例中。                                      	        日常工作很忙，偶尔想做些事情（实验or练习），时间非常宝贵，为了主要目标，适当花点小钱节约时间还是挺不错的，除非是要专门学习elk全部内容。
创建了一个技术闲聊群：有兴趣可加我微信，拉你一起讨论杂七杂八的技术，虽然大家都不怎么活跃！

加好友备注：你的博客名 && 随便给我的任意文章点个赞或留言

如何连接阿里云服务器上的MySQL服务器,1130错误

本人的阿里云服务器为Win2012,安装了MySQL5.7。在笔记本上连接时出现1130错误。只需要在阿里云服务器的MySQL中新增用户即可。 

需要以下步骤。

笔记本所在IP（可以直接百度搜”IP”即可查看），如图所示的123.123.123.123
阿里云MySQL服务器新增用户
主机信息为:笔记本所在IP-123.123.123.123
用户名与密码：在笔记本上连接登录时的账户  test-test
然后在笔记本的MySQL中连接中进行连接

最近通过学生认证在阿里云上9.9/月鼓捣了一台服务器，不曾想到安装好MySQL后远程连接就折腾了半天，所以记录一下，也给遇到同样问题的朋友提供一种途径。
1、修改MySQL监听IP
默认情况下MySQL监听的是127.0.0.1，也就是本机，所以只有本机能够连接上，因此需要将MySQL改成监听远程主机IP或者所有IP。

以Ubuntu为例，打开修改以下文件：
vim /etc/mysql/mysql.conf.d/mysqld.cnf

找到bind-address，如果监听固定远程IP，则改成远程主机IP，若监听所有IP，则改成0.0.0.0或者注释bind-address。修改完成后重启MySQL
service mysql restart

再次查看MySQL监听地址
netstat -ano | grep 3306



这时MySQL正在监听所有地址。
2、赋予账号远程登录权限
MySQL默认情况下只允许用户本地登录，所有需要赋予用户远程登录的权限。进去MySQL，
mysql> grant all privileges on *.* to '用户'@'ip' identified by '密码' with grant option;
mysql> flush privileges;

第一句语句语句中，*.*代表所有库表，若想给予所有IP权限，"ip"写成“%”,所以第一句sql的意思是给予来自所有IP地址的通过“用户”，“密码”登录的用户对所有库表的所有操作权限。

第二句sql，刷新权限。

然后同样重启MySQL生效。
3、检查防火墙
服务器是否开启了防火墙，防火墙是否允许3306端口连接。可以通过telnet测试
telnet ip port

测试失败，说明防火墙不允许连接3306端口。根据不同操作系统，不同防火墙，配置防火墙允许3306连接。

一般情况下经过以上步骤，就能确保连接成功，但本人不幸千万次尝试都不能成功[抓狂]。想到阿里云是不是有更严格的安全策略，登录云服务器控制台->安全组->配置规则。默认情况下，入方向阿里云只允许访问3389，22，-1端口，所以添加3306，果然成功。

原因

购买了腾讯云的mysql数据库服务器，本地远程连接MySQL

方法步骤：

一、MySQL开启远程登陆功能

1、开启外网地址





 

 

 

开通后效果如下：



 

将外网地址和外网端口复制下来，navicat使用

2、安全组一定要放开3306端口，否则navicat连接不成功



 

没有这条的进去安全组进行设置添加





 

 

 

添加完成后就会有3306端口

二、 navicat本地启动连接

1、打开navicat新建mysql连接，腾讯云MySQL或者正常MySQL连接都可以



 

2、将外网地址和外网端口输入到主机和端口，使用自己的远程登陆账号进行登陆







 

 

 

 

剩下的就是打造自己的数据库内容。