精华内容
下载资源
问答
  •  在阿里官方文档中已经提出从RDS MySQL迁移数据至本地数据库的解决办法。  迁移RDS for MySQL数据到本地MySQL  其中涉及到下载数据备份,文档中提到数据备份限制,MySQL 5.7 SSD云盘(含基础版和高可用版),不...

    1. RDS MySQL数据备份

     在阿里云官方文档中已经提出从RDS MySQL迁移数据至本地数据库的解决办法。

    迁移RDS for MySQL数据到本地MySQL

     其中涉及到下载数据备份,文档中提到数据备份限制,MySQL 5.7 SSD云盘(含基础版和高可用版),不支持下载备份,仅可通过恢复功能将数据恢复到新建实例上。

     恰巧,我使用的阿里云MySQL存储类型是SSD云盘属于无法备份数据的类型,在实例信息->备份数据标签->数据备份标签下的查询结构中不提供“下载”按钮,仅提供“恢复”按钮。所以,我从另外一条道路迁移数据:登录数据库管理服务DMS,导出数据库/导出SQL结果集。不同MySQL系列免费导出数据有行数限制。

    2. 导入本地数据库

     我曾经用Navicat for MySQL远程登录ECS UbantuOS-service mysql,所以考虑过使用工具导入sql文件。

    Navicat for MySQL version = 10.1.7
    Local MySQL DB version = 5.7.25

     因为Navicat for MySQL工具有限制,无法insert含有回车、#、//的字符串,每次提示有语法错误,只能放弃这条道路。然后直接在UbantuOS的mysql shell下操作导入sql文件,可以成功建表和插入数据。导入方法:

    方法一:
    Shell>mysql -u root -p dbname</usr/~/fileName.sql
    dbName:需要导入数据的数据库名称
    /usr/~/:sql文件所在文件夹的全路径
    回车会提示输入mysql的root账户的密码
    
    
    方法二:
    Shell>mysql -u root -p
    mysql> use dbName;  // dbName: 数据库名称
    ...
    DATABASE CHANGED
    mysql> source /usr/~/fileName.sql // /usr/~/:sql文件所在全路径
    

     在建表时,曾经发生过异常:

    [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ‘information_schema.PROFILING.SEQ’ which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

     建表语句如下

    CREATE TABLE `data` (
      `id` varchar(30) NOT NULL,
      `create_date` datetime DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    

     这个错误的原因是高版本mysql(mysql version = 5.7.25)默认的sql_mode包含ONLY_FULL_GROUP_BY,这个属性保证了select到的列都在group by中出现。修改sql_mode属性后,建表时不再报错。查看sql_mode:

    mysql>select @@GLOBAL.sql_mode;
    
    result:ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
    

     修改命令:

    1. 暂时命令,重启service mysql后失效
    set @@GLOBAL.sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
    
    1. 永久命令,在mysql.cnf配置文件中添加一行,sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION,并保存退出配置文件,重启service mysql后生效

    Shell>sudo vim /etc/mysql/mysql.conf.d/mysql.cnf

    [mysqld]
    pid-file        = /var/run/mysqld/mysqld.pid
    socket          = /var/run/mysqld/mysqld.sock
    datadir         = /var/lib/mysql
    log-error       = /var/log/mysql/error.log
    character_set_server=utf8
    # By default we only accept connections from localhost
    # bind-address    = 127.0.0.1
    # Disabling symbolic-links is recommended to prevent assorted security risks
    symbolic-links=0
    sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
    
    展开全文
  • #数据库目录,修改此目录到数据盘,就ok /usr/share/mysql #配置文件目录 /usr/bin #相关命令目录 /etc/init.d/mysql #启动脚本 查看服务器,磁盘占用情况: [root@VMcentos mysql]#

    rpm安装的MySQL,安装的路径默认是

    /var/lib/mysql/   #数据库目录,修改此目录到数据盘,就ok
    /usr/share/mysql   #配置文件目录

    /usr/bin          #相关命令目录

    /etc/init.d/mysql #启动脚本


    查看云服务器,磁盘占用情况:

    [root@VMcentos mysql]# df -l
    Filesystem     1K-blocks    Used Available Use% Mounted on
    /dev/vda1       20641404 1828532  17764356  10% /      
    系统盘
    /dev/vdb1      206424432  381936 195556756   1% /mydata
    数据盘


    更改MySQL数据存放目录

    1.停掉mysql服务器:
    /etc/init.d/mysql stop

    2.下面新目录以 /mydata/mysql/  为例,然后复制旧目录的数据库到新目录:
    cp -R  /var/lib/mysql/*  /mydata/mysql/

    3.将新目录赋权为mysql用户组:
    chown mysql:mysql -R /mydata/mysql/

    4.再修改配置文件:
    vi /etc/my.cnf

    查找mysql数据原有目录  /var/lib/mysql  修改为:
    datadir = /mydata/mysql
    innodb_data_home_dir = /mydata/mysql
    innodb_log_group_home_dir = /mydata/mysql

    5.启动mysql:
    /etc/init.d/mysql start
    展开全文
  • 全国快递物流查询 阿里 物流公司 mysql数据 与 json数据
  • 在过去一年时间里,我们(阿里集团核心系统数据库团队)在MySQL托管平台方向做了大量工作,设计和实现了一套UMP(UnifiedMySQLPlatform)系统,提供低成本和高性能的MySQL云数据服务。开发者从平台上申请MySQL实例资源...
  • 查询语句:select * FROM 表名 1.本地MySQL 成绩:0.371s 200162条数据 ...2.阿里ecsMySQL 成绩:9.096s 47830条数据 3.阿里RDSMySQL 成绩: 4.腾讯RDSMySQL 成绩:1.817s 199999条数据 ...

    查询语句:select * FROM 表名

    1.本地MySQL 成绩:0.371s 200162条数据

    2.阿里云ecs MySQL 成绩:9.096s 47830条数据

    3.阿里云RDS MySQL 成绩:

    4.腾讯云RDS MySQL 成绩:1.817s 199999条数据

    展开全文
  • 前言 之前物联网硬件采集数据一直都是通过阿里实现数据的可视化,没有将硬件采集到的数据存入数据库,没有进一步利用数据进行操作。...4.利用MQTT将硬件采集到的数据送入服务器MySQL存储 5.效果展示

    前言
    之前物联网硬件采集数据一直都是通过阿里云实现数据的可视化,没有将硬件采集到的数据存入云数据库,没有进一步利用数据进行操作。
    本文一共有五个步骤:
    1.esp32通过arduino平台和硬件DHT11温湿度模块采集数据
    2.创建EMQ X Cloud MQTT云服务器或者本地部署EMQ X企业版MQTT服务器(这里展示云与服务器)
    3.云服务器通过宝塔创建MySQL数据库或本地虚拟机内宝塔MySQL数据库(这里展示云MySQ)
    4.利用MQTT将硬件采集到的数据送入云服务器MySQL存储
    5.效果展示

    在这里插入图片描述

    1.esp32通过arduino平台和硬件DHT11温湿度模块采集数据

    1.1硬件设备在这里插入图片描述

    乐鑫esp32
    在这里插入图片描述

    DHT11温湿度模块
    在这里插入图片描述
    1.2、软件准备
    1.2.1、Arduino IDE
    a)官方下载地址: http://arduino.cc/en/Main/Software
    b)Arduino IDE老版本下载链接:https://www.arduino.cc/en/Main/OldSoftwareReleases#previous
    在这里插入图片描述
    1.2.2、库文件*esp32开发板下载
    打开arduino udo-文件-首选项-附加开发板管理器网址,添加https://dl.espressif.com/dl/package_esp32_index.json
    再点工具-开发版-开发版管理器,搜索esp32并下载。
    1.2.3、库文件
    链接:http://note.youdao.com/noteshare?id=28fa267e0187a5e7502079098b27a9fe&sub=21E9C4DB0C0846018189EA1E27F9D72D

    1.2.4、硬件连线

    ESP32   --------------------- DHT11
    P15  --------------------- DATA
    3.5V    --------------------- VCC
    GND     --------------------- GND
    

    注:搭建好mqtt服务器在运行代码
    1.2.5、示例代码

    
    ```c
    #include <WiFi.h>
    #include <PubSubClient.h>
    #include <DFRobot_DHT11.h>
    #include <ArduinoJson.h>
    DFRobot_DHT11 DHT;
    #define DHT11_PIN 15
    #include <string.h>
    const char* ssid = ""; //wifi账号
    const char* password =  ";  //wifi密码
    const char* mqttServer = "";  //mqtt服务器
    const int mqttPort = ;//端口
    const char* mqttUser = ""; //mqtt账号
    const char* mqttPassword = ""; //mqtt密码
     String Temp="temp";
     String Hum="hum";
       char str[60];
         char str1[20];
           char str2[20];
    WiFiClient espClient;
    PubSubClient client(espClient);
     
    void setup() {
     
      Serial.begin(115200);
      WiFi.begin(ssid, password);
     
      while (WiFi.status() != WL_CONNECTED) {
        delay(500);
        Serial.println("Connecting to WiFi..");
      }
     
      Serial.println("Connected to the WiFi network");
     
      client.setServer(mqttServer, mqttPort);
     
      while (!client.connected()) {
        Serial.println("Connecting to MQTT...");
     
        if (client.connect(topic, mqttUser, mqttPassword )) {
     
          Serial.println("connected");
     
        } else {
     
          Serial.print("failed with state ");
          Serial.print(client.state());
          delay(2000);
     
        }
      }
     
      
      client.publish(topic, "Hello from ESP32"); //填写主题
     
    }
     
    void loop() {
      DHT.read(DHT11_PIN);
      String temp= String(DHT.temperature);
     String humidity1 = String(DHT.humidity);
     
      sprintf(str,"{\"temp\":%s,\"hum\":%s}",temp,humidity1);
       
    
      
      Serial.println(str);
     client.publish(topic,str); //填写主题
    
    
      delay(10000);
      client.loop();
    }
    

    1.3串口打印信息
    在这里插入图片描述

    2.创建EMQX Cloud MQTT服务器

    方案一

    2.1、在云服务上安装EMQX Cloud(开始180天试用云服务器板)
    在这里插入图片描述

    进行注册后
    在这里插入图片描述
    2.2、下载MQTTX软件测试EMQ X Cloud MQTT服务器的搭建情况
    测试软件在这里下载https://mqttx.app/cn/

    在这里插入图片描述
    新建一个连接
    名称随便
    服务器地址和端口填写 EMQ X Cloud概览里面的连接地址和连接端口(端口选择mqtt的端口)
    在这里插入图片描述
    用户名和密码在 EMQ X Cloud 认证鉴权-认证里面添加
    在这里插入图片描述

    连接上之后可以向指定的Topic发送消息,也可以订阅Topic,同时在控制台也可以看到连接上了的客户端
    在这里插入图片描述

    EMQ X Cloud 监控里面已经有显示已连接
    在这里插入图片描述

    3.云服务器通过宝塔创建MySQL数据库并连接到本地

    这部分需要在我们的云服务器上安装一个数据库,我在这里选择的是MySQL,还需要安装PHP、Nginx。大家可以自行在服务器上安装,这里展示华为云安装宝塔后的情况

    在这里插入图片描述
    1.第一次打开面板会自动提示安装LNMP套件,选择一键安装即可,安装完成之后点击数据库,在安全开放3306端口,选择新建数据库,要记住用户名和密码,等下我们本地连接数据库的时候要用到,访问权限建议选择所有IP。
    2.在MySQL服务器创建温湿度标,在宝塔面板数据库内点击管理,
    在这里插入图片描述
    3.复制代码

    CREATE TABLE `temp_hum` (
      `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
      `up_timestamp` timestamp NULL DEFAULT NULL,
      `client_id` varchar(32) DEFAULT NULL,
      `temp` float unsigned DEFAULT NULL,
      `hum` float unsigned DEFAULT NULL,
      PRIMARY KEY (`id`),
      KEY `up_timestamp_client_id` (`up_timestamp`,`client_id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=26 DEFAULT CHARSET=utf8mb4;
    

    到这里,点击执行,一个温湿度表即创建成功。
    在这里插入图片描述

    在这里插入图片描述
    数据库建立好后可以在本地用Navicat 15 for MySQL连接数据库,方便数据后续操作。这里不展开,只是展示下连接步骤
    1.连接名随便
    2.主机填写MySQL所在云服务器的地址
    3.用户名和密码填写MySQL的用户名和密码
    4.测试连接,连接成功即可
    5.开启连接后可以看到在云服务器宝塔里面的数据库同步过来
    在这里插入图片描述

    4.利用MQTT将硬件采集到的数据送入云服务器MySQL存储

    在这里我们需要将服务器收到的JSON格式数据根据字段分割开来,并且将相应的字段存进数据库,实现数据的永久化,这一步可以使用MQTT服务器的规则引擎模块。
    在这里插入图片描述

    在EMQ X规则引擎-规则 新建规则内输入下面代码,新建规则,这里的规则就是用来根据字段切割消息。

    SELECT 
    timestamp as up_timestamp, 
    clientid as client_id,
    payload.temp as temp,
    payload.hum as hum  
    FROM  
    
    "temp_hum/emqx"  
    

    在这里插入图片描述
    填写规则后,我们可以使用SQL测试,看看规则能否使用,确保数据能够上传。

    在这里插入图片描述

    测试完成后添加响应动作
    在这里插入图片描述
    在这里插入图片描述
    数据选保存到MySQL
    使用资源选择新建
    在这里插入图片描述
    MySQL填写云服务器宝塔里面的IP地址:3306
    MySQL数据库名和用户名、密码填写云服务器宝塔里面的MySQL。

    SQL模块填写

    insert into 
    temp_hum(up_timestamp, client_id, temp, hum) values 
    (FROM_UNIXTIME(${up_timestamp}/1000), ${client_id}, ${temp}, ${hum}) 
    

    在这里插入图片描述
    确认后创建即可。这样到现在我们就实现了 硬件-EMQ XMQTT服务器 -云服务器MySQL数据库 -本地Navicat 15 for MySQL。

    5.效果展示

    开机连接wifi和mqtt,过段时间打印温湿度数据
    在这里插入图片描述

    MQTT服务器收到消息后,会检测是否符合规则,如果消息命中规则,则将数据根据字段切割,并且存进数据库。
    云服务器数据情况
    在这里插入图片描述
    本地数据库情况
    在这里插入图片描述

    注:这里只是展示云服务器部署,其实本地部署和云服务器部署差别不大

    展开全文
  • 阿里数据库MySQL中Excel数据导入

    千次阅读 2018-05-10 11:22:14
    1、Excel格式如下(对应数据库字段)2、将Excel另存为.csv格式文档(如下)3、导入数据库mysql至此就OjbK!了
  • 用C#语言,连接新浪mysql数据库,请问要怎么连接,求方法。。。
  • 如何选配腾讯数据库 MySQL

    千次阅读 2019-09-08 16:13:14
    腾讯数据库MySQL是腾讯基于开源数据库 MySQL 专业打造的高性能分布式数据存储服务,让用户能够在云中更轻松地设置、操作和扩展关系数据库。本文老魏介绍如何购买腾讯数据库 MySQL。 一、数据库 MySQL页面 ...
  • 四步搞定阿里云RDS云数据库恢复到本地mysql数据库 第1步:下载提取工具和阿里云rds数据库备份文件 1.先去阿里云数据rds后台–>备份...第2步:找一台linux虚拟机(centos/ubuntu),你去观察你的rds云数据mysql版本
  • 情况1: 如果阿里RDS备份时间在你删除数据之后,那么根据日志备份里的binlog文件里来查找记录,那个是全的. 1.1 下载日志文件中的bin文件 1.2 在linux下 用下面的代码解码出来 xxxx 是日志的数字,不要在windows下!!...
  • 阿里 Centos6.5 mysql5.6 数据文件迁移

    千次阅读 2015-07-24 20:09:57
    目录目录 1迁移工作 1停掉mysql服务器 ...注:rpm安装mysql,默认的mysql的主目录是【/var/lib/mysql/】,也就是mysql主要的数据文件的存放目录 现在需要把这些文件放到数据盘。本地的数据盘挂载到了/d
  • 腾讯云mysql物理冷备数据恢复。 https://cloud.tencent.com/document/product/236/7944 备份数据所在文件夹需要执行 chown -R mysql:mysql /root 执行赋权的文件的根目录 mysqld_safe 启动时才拥有权限 启动后,...
  • 阿里RDS数据恢复到本地MySQL数据库

    千次阅读 2017-06-14 13:20:19
    参考自阿里 恢复数据库MySQL的备份文件到自建数据库, 本文补全了工具下载及安装过程,以及踩过的一些坑 1.工具下载 RDS MySQL 使用开源软件 percona-Xtrabackup 对MySQL 数据库进行备份。需要下载该软件,然后...
  • Android Studio通过jdbc访问云端MySQL数据库,我这里以腾讯数据库为例子 1.数据库设置 首先需要购买一个云mysql数据库,我这里使用的是腾讯服务器,进行相应设置 首先点击管理 之后打开外网地址,则会显示外...
  • Tableau连接阿里数据库MySQL(亲测有效)Tableau连接阿里RDS MySQL 8.0配置MySQL ODBC阿里RDSTableau DesktopTHE END Tableau连接阿里RDS MySQL 8.0 配置 Tableau Desktop MySQL ODBC驱动 阿里 RDS ...
  • 版权声明:本文为博主原创文章,未经博主...2.用Python将数据写入到阿里的RDS-MySQL数据库内? 3.如何将爬取的数据写入到数据库? 4.如何将爬起的代理IP写入到阿里RDS或者本地Mysql数据库内? 实际上这几个...
  • 服务器:阿里 Windows Server 2012 R2 数据中心版 64位中文版 (非阿里服务器仅供参考) 数据库:mysql-8.0.18-winx64 端口:3306 DataV数据源配置:RDS for MySQL,使用 内网 VPC 2、操作流程: 开放阿里...
  • 小程序开发的功能是越来越强大了,现在小程序开发可以直接借助函数来链接mysql数据,操作mysql数据库了,今天就来给大家讲一讲如何使用小程序开发的函数来操作mysql数据库。 首先要明确一点,就是小程序...
  • mysql阿里云数据连接池配置

    千次阅读 2017-04-21 09:59:29
    <property name="driverClassName" value="com.mysql.jdbc.Driver" /> <!--本机数据库 --> value="" /> <property name="password" value="root" /> ,...
  • ADB基础版:原生MySQL敏捷数仓ADB for MySQL 基础版技术解密基于ADB for MySQL基础版构建实时数据仓库实践 日前,阿里正式发布原生数据仓库AnalyticDB基础版 ,极大降低了用户构建数据仓库的门槛,每月可低至...
  • 通过android studio 连接服务器上的mysql数据库 来对mysql数据库进行操作,实现登录注册功能
  • MySQL数据库是目前开源应用最大的关系型数据库,有海量的应用将数据存储在MySQL数据库中。存储数据的安全性和可靠性是生产数据库的关注重点。本文分析了目前采用较多的保障MySQL可用性方案。MySQLReplication是MySQL...
  • AnalyticDB基础版云原生MySQL敏捷数仓 悦畅 阿里云分析型数据库AnalyticDB产品经理 2020.4 AnalyticDB for MySQL 云原生...作为新一代云原生数据仓库AnalyticDB for MySQL 融合了传统数据仓库和云数据仓库优势旨在 帮
  • DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
  • 捣鼓了一天,尼玛的,一步就出来了…………不想说话,只想静静 控制台修改字符集参数(character_set_server)...重启数据实例,OK,完美解决……………… 赶紧查看全局参数是否已经是utf8mb4了(兴奋中) show glob...
  • 百宝MySQL数据库的操作终于对外开放了,期待已久的童鞋们可以去使用这个强大的数据库了。吼~吼~吼~,吼三声,以表激动之情! 那么问题来了,如果作为使用者的你,都不知道MySQL数据库是干什么的,以及不知道...
  • 第一:使用MySql_Front应用程序1、创建连接2、在服务器mysql新建一个数据库bank13、在bank1数据库下,执行导入操作4、...2、在sftp面板下可以,上传/下载文件3、上传本地脚本至对应的文件夹,然后在MySQL中执行以...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 105,447
精华内容 42,178
关键字:

云数据mysql

mysql 订阅