-
阿里云mysql同步elastic
2019-05-08 01:01:42阿里云mysql同步数据到elasticsearch,废话就不多说了,后面多说点,实在搞不清楚我想干啥,就从后面先看吧! 1. 登录阿里云账号A(该账号为数据源mysql的账号),进入访问控制页面:...Mysql 同步数据到 Eleasticsearch
阿里云mysql同步数据到elasticsearch,废话就不多说了,后面多说点,实在搞不清楚我想干啥,就从后面先看吧!
1. 登录阿里云账号A(该账号为数据源mysql的账号),进入访问控制页面:https://ram.console.aliyun.com/,
创建一个角色,并绑定elasticsearch对应的阿里云账号B
2. 对角色进行授权,免得麻烦我选择“全部授权”(有洁癖小伙伴随意)!
坑点:授权完成之后,仍然要点击“管理”,按照下面第三张图按照固定格式添加“Service”:B账号@dts.aliyuncs.com。
3. 登录B账号,购买“数据传输服务” https://dts.console.aliyun.com/。
因为我只想迁移一次数据,所以选择按量付费,迁移后,马上“释放传输”,费用就会比较少!
这里重点强调下,账号ID填写 A账号,角色为:A账号下刚才创建的角色,点击下箭头,会自动搜索A账号下的mysql实例,搜索到后,会要求填写用户名、密码等。目标实例就是当前(B账号)下的es资源,然后就一直下一步直到完成就可以进行数据传输了!
4. 验证结果:根据mysql数据表名在kibana下查询对应索引,得到对应结果即成功!
故事背景
有一段时间么有用ES了,想练习一下,无奈数据在mysql中,于是考虑了一下三种方案:
1 通过es 的 API 将数据从mysql迁移到es(慢,自我感觉)
2 通过logstash传输(服务器是腾讯云的,es在阿里云B下,mysql在阿里云A下,折腾起来有点麻烦)
3 利用阿里云的数据传输服务(最菜的菜鸟才用的方法)总结:原理其实就是A账号下创建一个角色并绑定B账号,让B账号以A账号(管理员or子用户)的身份在数据源取数据,然后存储在目标实例中。 日常工作很忙,偶尔想做些事情(实验or练习),时间非常宝贵,为了主要目标,适当花点小钱节约时间还是挺不错的,除非是要专门学习elk全部内容。
创建了一个技术闲聊群:有兴趣可加我微信,拉你一起讨论杂七杂八的技术,虽然大家都不怎么活跃!
加好友备注:你的博客名 && 随便给我的任意文章点个赞或留言
-
连接阿里云Mysql
2017-07-05 21:14:32如何连接阿里云服务器上的MySQL服务器,1130错误本人的阿里云服务器为Win2012,安装了MySQL5.7。在笔记本上连接时出现1130错误。...阿里云MySQL服务器新增用户 主机信息为:笔记本所在IP-123.123.123.123 用如何连接阿里云服务器上的MySQL服务器,1130错误
本人的阿里云服务器为Win2012,安装了MySQL5.7。在笔记本上连接时出现1130错误。只需要在阿里云服务器的MySQL中新增用户即可。
需要以下步骤。- 笔记本所在IP(可以直接百度搜”IP”即可查看),如图所示的123.123.123.123
- 阿里云MySQL服务器新增用户
- 主机信息为:笔记本所在IP-123.123.123.123
- 用户名与密码:在笔记本上连接登录时的账户 test-test
- 然后在笔记本的MySQL中连接中进行连接
-
ogg是否支持目标端数据库是在阿里云的RDS云MYSQL
2019-08-12 18:39:13源端是Oracle数据库,目标端是阿里云的RDS云MYSQL。这样是否适合做数据同步 -
远程连接阿里云MySQL失败解决办法
2017-10-27 23:09:10远程连接阿里云MySQL失败解决办法最近通过学生认证在阿里云上9.9/月鼓捣了一台服务器,不曾想到安装好MySQL后远程连接就折腾了半天,所以记录一下,也给遇到同样问题的朋友提供一种途径。1、修改MySQL监听IP默认情况...最近通过学生认证在阿里云上9.9/月鼓捣了一台服务器,不曾想到安装好MySQL后远程连接就折腾了半天,所以记录一下,也给遇到同样问题的朋友提供一种途径。
1、修改MySQL监听IP
默认情况下MySQL监听的是127.0.0.1,也就是本机,所以只有本机能够连接上,因此需要将MySQL改成监听远程主机IP或者所有IP。
以Ubuntu为例,打开修改以下文件:vim /etc/mysql/mysql.conf.d/mysqld.cnf
找到bind-address,如果监听固定远程IP,则改成远程主机IP,若监听所有IP,则改成0.0.0.0或者注释bind-address。修改完成后重启MySQL
service mysql restart
再次查看MySQL监听地址
netstat -ano | grep 3306
这时MySQL正在监听所有地址。2、赋予账号远程登录权限
MySQL默认情况下只允许用户本地登录,所有需要赋予用户远程登录的权限。进去MySQL,
mysql> grant all privileges on *.* to '用户'@'ip' identified by '密码' with grant option; mysql> flush privileges;
第一句语句语句中,*.*代表所有库表,若想给予所有IP权限,"ip"写成“%”,所以第一句sql的意思是给予来自所有IP地址的通过“用户”,“密码”登录的用户对所有库表的所有操作权限。
第二句sql,刷新权限。
然后同样重启MySQL生效。3、检查防火墙
服务器是否开启了防火墙,防火墙是否允许3306端口连接。可以通过telnet测试
telnet ip port
测试失败,说明防火墙不允许连接3306端口。根据不同操作系统,不同防火墙,配置防火墙允许3306连接。
一般情况下经过以上步骤,就能确保连接成功,但本人不幸千万次尝试都不能成功[抓狂]。想到阿里云是不是有更严格的安全策略,登录云服务器控制台->安全组->配置规则。默认情况下,入方向阿里云只允许访问3389,22,-1端口,所以添加3306,果然成功。 -
Navicat远程连接腾讯云MySQL数据库
2020-11-21 08:34:42原因 购买了腾讯云的mysql数据库服务器,本地远程连接MySQL 方法步骤: 一、MySQL开启远程登陆功能 1、开启外网地址 开通后效果如下: ...1、打开navicat新建mysql连接,腾讯云MySQL...原因
购买了腾讯云的mysql数据库服务器,本地远程连接MySQL
方法步骤:
一、MySQL开启远程登陆功能
1、开启外网地址
开通后效果如下:
将外网地址和外网端口复制下来,navicat使用
2、安全组一定要放开3306端口,否则navicat连接不成功
没有这条的进去安全组进行设置添加
添加完成后就会有3306端口
二、 navicat本地启动连接
1、打开navicat新建mysql连接,腾讯云MySQL或者正常MySQL连接都可以
2、将外网地址和外网端口输入到主机和端口,使用自己的远程登陆账号进行登陆
剩下的就是打造自己的数据库内容。
-
腾讯云mysql数据库canal数据更新
2020-04-27 10:58:45腾讯云mysql数据库canal数据更新问题 腾讯云mysql,canal更新到es问题。 腾讯云默认开启了一下配置,如果没有请设置。 log-bin=mysql-b![在这里插入图片描述]... -
android studio连接腾讯云mysql数据库
2020-03-07 23:32:501.首先需要免费领取或购买一个腾讯云mysql数据库或cvm服务器; **先介绍连接mysql云数据库。 在购买mysql云数据库后,登陆。点击实例名; 进入到实例管理,开启外网地址,这时会显示出外网地址和外网端口 插入... -
远程连接腾讯云MySQL数据库
2016-08-13 08:54:31远程连接腾讯云MySQL数据库 默认情况下,Centos系统的Mysql数据库是不允许被远程访问的 所以我们需要开启 输入mysql -uroot -p,使用Mysql 使用mysql数据库,Mysql数据库是Mysql系统... -
android studio连接云mysql数据库并插入数据
2020-03-21 18:30:53首先需要购买一个云mysql数据库,我这里使用的是腾讯云服务器,进行相应设置 首先点击管理 之后打开外网地址,则会显示外网地址和外网端口 记住外网地址和外网端口,下面会用到 之后登录数据库,新建相应的数据库... -
如何选购及管理腾讯云 MySQL 数据库
2019-10-06 13:13:00如何选购及管理腾讯云 MySQL 数据库?有了腾讯云计算作为基础,我们可以把这些复杂的底层操作交给云计算去完成,而我们只要集中精力去实现业务就可以了。 购买前需要实名认证,完成腾讯云个人账号实名认证 新手必看... -
阿里云mysql中文乱码md
2018-11-16 22:01:40阿里云mysql存储中文乱码: 修改my.cnf文件 vim /etc/my.cnf 在[mysqld]下面添加上 default-storage-engine=INNODB character-set-server=utf8 collation-server=utf8_general_ci 在[client]下面添加上(如果没有,... -
允许外网连接腾讯云MySQL数据库
2018-10-08 15:06:31允许外网连接腾讯云MySQL数据库 博主是个数据库小白,如有失败或遗漏的步骤欢迎讨论 1.登陆腾讯云,进入控制台-关系型数据库,登陆实例,新建数据库pulsedata,新建表manage 2.返回到实例列表,点击实例进入... -
腾讯云mysql物理冷备数据恢复
2018-09-27 16:00:15腾讯云mysql物理冷备数据恢复。 https://cloud.tencent.com/document/product/236/7944 备份数据所在文件夹需要执行 chown -R mysql:mysql /root 执行赋权的文件的根目录 mysqld_safe 启动时才拥有权限 启动后,... -
使用Navicat Premium 12远程连接阿里云MySQL8.0
2020-01-01 11:21:21使用Navicat Premium 12远程连接阿里云MySQL8.0 1.先登陆mysql: mysql -u root -p 2.再输入: grant all privileges on *.* to 'root'@'%' identified by 'yourPassword';#填密码 3.然后就报了这个错: ERROR ... -
Navicat连接阿里云mysql
2020-05-28 09:24:26本文将详细介绍用navicat成功连接到云服务器mysql的过程。 首先云服务器需要安装mysql 以ubantu为例 sudo apt-get install mysql-server-5.7 安装的过程中,需要你输入mysql root用户登录密码,需要牢记这个密码。 ... -
阿里云MySQL远程连接不上问题
2018-08-28 21:54:58解决阿里云MySQL远程连接不上的问题: step1: 1、修改user表:MySQL>update user set host = '%' where user = 'root'; 2、授权主机访问:MySQL>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' ... -
阿里云mysql windows server 2012 r2 安装MySQL数据库丢失msvcr100.dll文件解决方案记录
2018-09-20 10:52:27阿里云mysql windows server 2012 r2 安装MySQL数据库丢失msvcr100.dll文件解决方案记录 (2018.9.20) 今天在阿里云windows服务器上安装MySQL数据库时,在dos命令mysqld -install下,报这个 msvcr100.dll ... -
阿里云和腾讯云 mysql之间实现主从复制
2020-01-27 18:01:57腾讯云为主服务器 mysql5.7版本 阿里云为从服务器 mysql5.7版本 1.开放服务器3306端口 腾讯云 添加规则: 阿里云:服务器防火墙–>添加规则 2.如果主服务器开启了firewalld防火墙,还需要将主服务器... -
阿里云MySQL远程连接失败
2018-08-31 23:44:33在阿里云服务器上自己装了一个MySQL,但是刚刚开始并不能正常连接,其实无非就两种情况 a.服务器端口拦截 b.MySQL服务拒绝了请求 解决办法: 针对服务器,将端口开放链接,针对MySQL,取消MySQL的连接限制即可 ... -
阿里云 mysql数据库truncate所有表后 恢复过程
2018-04-04 11:28:07记录一次阿里云mysql数据库的所有表被truncate后数据库恢复的过程。谁遇到这种事情都会情不自禁的喊几声国骂。还好阿里云做了备份设置。每周二、周四、周六的全量备份。还有每6个小时的日志备份。步骤1:先下载一个... -
pycharm连接阿里云MySQL
2020-04-21 17:52:11如何使用pycharm连接阿里云服务器里的MySQL 点击右边边上的database,再点击+,选MySQL。 general填的是mysql上面设置的密码,端口不用改了,都是3306,host也不用改,user写默认的,如果test connection是灰色的... -
如何初始化腾讯云 MySQL 数据库
2019-11-17 09:28:43老魏分享初始化云数据库 MySQL 的图文教程,助你轻松启用云数据库 MySQL。 前面的准备工作,包括注册腾讯云账号,完成实名认证,选择云数据库 MySQL都不提了,不懂怎么做可以到本文末尾看看。 初始化云数据库 MySQL ... -
安卓连接云mysql时报错:java.lang.NoClassDefFoundError: Failed resolution of: Ljava/sql/SQLType
2020-09-16 22:22:01安卓连接云数据库mysql报错: Failed resolution of: Ljava/sql/SQLType,其实是因为jar文件版本过高,调低版本就行,高版本怎么解决暂时没有想到。 -
阿里云mysql远程连接
2018-03-24 23:47:47阿里云服务器首先确保 阿里云 ECS防火墙设置开放mysql端口 输入 root@DB-02 ~]# mysql -u root -p 回车提示-bash: mysql: command not found首先,查看$PATH中是否包含了这些命令。[root@localhost /]# echo $PATH... -
Navicat连接阿里云Mysql
2018-04-25 12:05:311. 不能用Navicat自带的连接阿里云云数据库Mysql版连接数据库,用普通的Mysql连接即可; 2. 主机和端口选择数据库外网地址和外网端口,用户名和密码填写数据库的用户名和密码; 3. SSL和其它保持默认不需要填写; ... -
阿里云mysql的部署
2018-07-21 12:38:021、首先设置好阿里云的服务器端口开启。 进入自己的服务器管理控制台,找到防火墙,然后添加规则。mysql默认端口为3306。 开始服务器并没有安装mysql。 2、安装 mysql-client-core-5.7 sudo apt-get install ... -
阿里云MySQL远程访问设置
2019-01-05 15:56:30环境:阿里云服务器 ubuntu 16.04, mysql5.7 安装mysql 1. 更新系统 apt-get update 【注意:要在root用户下】 2. 安装mysql-server apt-get install mysql-server apt-get install mysql-client apt-ge... -
mysql基础教程(三)连接腾讯云 mysql服务器
2019-06-07 18:51:59上章已经见过如何安装 mysql,之后在腾讯云服务器上,如何安装,不再追叙,现讲解,如何连接腾讯云服务器下自己安装的mysql数据库。 注意:服务器密码需要 数字、大写字母、字母、特殊字符的组合。 前期准备工作:... -
新浪云中mysql怎么连接
2015-10-10 12:19:22申请了一个新浪云,开通了mysql服务,创建了一个数据库,试了几次连接失败了, 也不知道正确的连接方法,希望各位帮忙解决,方便的话可以给一个例子