精华内容
下载资源
问答
  • 本篇教程探讨了大数据技术 InfluxDB的基本操作,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。<InfluxDB提供类SQL语法,如果熟悉SQL的话会非常容易上手。本文就为大家介绍一下...

    本篇教程探讨了大数据技术 InfluxDB的基本操作,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

    <

    InfluxDB提供类SQL语法,如果熟悉SQL的话会非常容易上手。本文就为大家介绍一下InfluxDB的基本操作。

    InfluxDB提供类SQL语法,如果熟悉SQL的话会非常容易上手。

    一、InfluxDB操作方式

    InfluxDB提供三种操作方式:

    1)客户端命令行方式

    2)HTTP API接口

    3)各语言API库

    今天主要以命令行为例,为大家介绍下InfluxDB的基本操作,HTTP API接口和各种语言API库会在以后的文章中为大家详细介绍。

    二、InfluxDB数据库操作

    如同MYSQL一样,InfluxDB提供多数据库支持,对数据库的操作也与MYSQL相同。

    1)显示数据库:

    > show databases

    name: databases

    ---------------

    name

    telegraf

    _internal

    lir

    testDB

    testMyDb

    2)新建数据库:

    > create database test

    > show databases

    name: databases

    ---------------

    name

    telegraf

    _internal

    lir

    testDB

    testMyDb

    xk_name

    test

    3)删除数据库

    > drop database test

    > show databases

    name: databases

    ---------------

    name

    telegraf

    _internal

    lir

    testDB

    testMyDb

    xk_name

    4)使用某个数据库

    > use xk_name

    Using database xk_name

    三、InfluxDB数据表操作

    在InfluxDB当中,并没有表(table)这个概念,取而代之的是MEASUREMENTS,MEASUREMENTS的功能与传统数据库中的表一致,因此我们也可以将MEASUREMENTS称为InfluxDB中的表。

    1)显示所有表

    > SHOW MEASUREMENTS

    name: measurements

    ------------------

    name

    weather

    2)新建表

    InfluxDB中没有显式的新建表的语句,只能通过insert数据的方式来建立新表。如下所示:

    insert disk_free,hostname=server01 value=442221834240i 1435362189575692182

    其中 disk_free 就是表名,hostname是索引,value=xx是记录值,记录值可以有多个,最后是指定的时间

    执行后结果如下

    > select * from disk_free

    name: disk_free

    ---------------

    time            hostname    value

    1435362189575692182    server01    442221834240

    3)删除表

    > drop measurement disk_free

    > show measurements

    name: measurements

    ------------------

    name

    weather

    四、数据操作

    1)增加数据

    增加数据采用insert的方式,要注意的是 InfluxDB的insert中,表名与数据之间用逗号(,)分隔,tag和field之间用 空格分隔,多个tag或者多个field之间用逗号(,)分隔。

    > insert disk_free,hostname=server01 value=442221834240i 1435362189575692182

    > select * from disk_free

    name: disk_free

    ---------------

    time            hostname    value

    1435362189575692182    server01    442221834240

    在这条语句中,disk_free是表名,hostname=server01是tag,属于索引,value=xx是field,这个可以随意写,随意定义。

    2)查询数据

    查询语句与SQL一样,在此不再赘述。

    3)修改和删除数据

    InfluxDB属于时序数据库,没有提供修改和删除数据的方法。

    但是删除可以通过InfluxDB的数据保存策略(Retention Policies)来实现,这个会在以后的文章中讲到。

    五、series操作

    series表示这个表里面的数据,可以在图表上画成几条线,series主要通过tags排列组合算出来。

    我们可以查询表的series,如下所示:

    > show series from mem

    key

    mem,host=ResourcePool-0246-billing07

    mem,host=billing07

    本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

    展开全文
  • 本篇教程探讨了大数据技术 InfluxDB安装后web页面无法访问的解决方案,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。<一、问题原因InfluxDB在0.13版本以后,就默认关闭了web管理页面...

    本篇教程探讨了大数据技术 InfluxDB安装后web页面无法访问的解决方案,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

    <

    一、问题原因

    InfluxDB在0.13版本以后,就默认关闭了web管理页面,而国内的文档大多都以旧版的InfluxDB为标准写的,所以下载安装好最新版本以后,就会出现8083端口的web管理页面访问不了的问题。

    二、解决方案

    新版的InfluxDB虽然默认关闭了web管理页面,但我们可以通过很简单的方式进行开启。

    打开配置文件,找到如下几行:

    将这几个配置之前的注释号去掉,将enabled改为true即可,[admin]这个的#号也要去掉。

    https酌情开启。

    另外,在配置文件中还写着,这个web管理界面将在1.1以后的版本中删除。

    本人感觉这个web界面还是挺方便的,停用以后无疑会给我们的工作造成很大不便,对他们的这个决定不是很理解。

    本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

    展开全文
  • 大数据修炼之influxdb

    2021-02-05 14:09:37
    influxdb2.0时间序列平台是专门为收集、存储、处理和可视化度量和事件而构建的。它由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。 TICK技术栈 ...


    官网
    下载

    概述

    influxdb2.0时间序列平台是专门为收集、存储、处理和可视化度量和事件而构建的。它由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。
    在这里插入图片描述
    在这里插入图片描述

    概念

    Point

    由时间戳(time)、数据(field)、标签(tags)组成。
    Point相当于传统数据库里的一行数据

    Series

    相当于是 InfluxDB 中一些数据的集合,在同一个 database 中,retention policy、measurement、tag sets 完全相同的数据同属于一个 series,同一个 series 的数据在物理上会按照时间顺序排列存储在一起。

    Shard

    Shard 在 InfluxDB 中是一个比较重要的概念,它和 retention policy 相关联。每一个存储策略下会存在许多 shard,每一个 shard 存储一个指定时间段内的数据,并且不重复,例如 7点-8点 的数据落入 shard0 中,8点-9点的数据则落入 shard1 中。每一个 shard 都对应一个底层的 tsm 存储引擎,有独立的 cache、wal、tsm file。

    TICK技术栈
    包括Telegraf, InfluxDB, Chronograf, Kapacitor
    在这里插入图片描述
    在这里插入图片描述

    安装

    docker-compose 安装

    version: '3'
    services:
      emqx:
        image: emqx/emqx
        container_name: emqx
        ports:
          - "1883:1883"
          - "8083:8083"
          - "8883:8883"
          - "8084:8084"
          - "18083:18083"
    
      influxdb:
        image: influxdb
        container_name: influxdb
        ports:
          - "8083:8083"
          - "8086:8086"
        restart: always
    
      chronograf:
        image: chronograf
        container_name: chronograf
        ports:
          - "8888:8888"
        restart: always
    
    

    操作

    创建库
    
    > create database mmm
    > use mmm;
    Using database mmm
    显示表
    > show measurements;
    创建表
    > insert disk_free,hostname=server01 value=442221834240i
    > drop measurement disk_free
    > show retention policies on "db_name"
     
    支持的类sql语句:
    DELETE*
    DROP MEASUREMENT*
    EXPLAIN ANALYZE
    SELECT (read-only)
    SHOW DATABASES
    SHOW MEASUREMENTS
    SHOW TAG KEYS
    SHOW TAG VALUES
    SHOW FIELD KEYS
    
    > insert disk_free,hostname=server01 value=442221834240i
    >
    > ;
    > show measurements
    name: measurements
    name
    ----
    disk_free
    > select * from disk_free
    name: disk_free
    time                hostname value
    ----                -------- -----
    1613728512535811588 server01 442221834240
    > show users;
    user admin
    ---- -----
    > create user 'dmp' with password '123456'
    ERR: error parsing query: found dmp, expected identifier at line 1, char 12
    > create user "dmp" with password "123456"
    ERR: error parsing query: found 123456, expected string at line 1, char 33
    > create user "dmp" with password '123456'
    > ;
    > show users;
    user admin
    ---- -----
    dmp  false
    > create user "dmp1" with password '123456' with all privileges;
    > show users;
    user admin
    ---- -----
    dmp  false
    dmp1 true
    
    

    模式设计:

    • 写数据的位置: tags是有索引的,fields没有。
      经常查询的元数据存储在tags
      如果每个点含有不同的值,存储在fields
      数字类型存在fields
    • 避免太多的series
    • 使用推荐的命名方法
      避免关键字作为tag或field的名字
      避免一个tag或者field有相同的名字
      避免测量名是编码数据
      避免tag中含有多于一个的piece(原子)

    disk_free 就是表名,hostname是索引(tag),value=xx是记录值(field),记录值可以有多个,系统自带追加时间戳

    insert disk_free,hostname=server01 value=442221834240i 1435362189575692182

    写数据

    非代码:

    • telegraf(agent) Telegraf是Xdata的数据收集代理,用于收集和报告度量。它庞大的输入插件库和“即插即用”架构让您可以快速方便地从许多不同的来源收集度量。
    • Scrape data
      开发工具:
    influx write \
      -b bucketName \
      -o orgName \
      -p s \
      'myMeasurement,host=myHost testField="testData" 1556896326'
    
    
    influx write \
      -b bucketName \
      -o orgName \
      -p s \
      --format=lp
      -f /path/to/line-protocol.txt
    
    influx write \
      -b bucketName \
      -o orgName \
      -p s \
      --format=csv
      -f /path/to/data.csv
    

    查询

    删除

    retention policy:数据存储策略(默认策略为autogen)
    InfluxDB没有删除数据操作,规定数据的保留时间达到清除数据的目的;

    处理

    在influxdb2.0中Task取代了1.x中的continuous queries。大部分的操作都是使用flux脚本语法

    • 定义Task
      定义数据源
      处理或转换数据
      定义目的地
    // Task options
    option task = {
        name: "cqinterval15m",
        every: 1h,
        offset: 0m,
        concurrency: 1,
    }
    
    // Data source
    data = from(bucket: "example-bucket")
      |> range(start: -task.every)
      |> filter(fn: (r) =>
        r._measurement == "mem" and
        r.host == "myHost"
      )
    
    data
      // Data transformation
      |> aggregateWindow(
        every: 5m,
        fn: mean
      )
      // Data destination
      |> to(bucket: "example-downsampled")
    

    可视化

    已安装chronograf,添加连接
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    点击explore
    在这里插入图片描述
    导入数据:
    在这里插入图片描述

    监控与高考

    备份与恢复

    优化写入的方式:

    • 批量写入 :最合理5000行
    • 按key对tags排序
    • 是由粗粒度的时间精度: influxdb默认写入按照纳秒的精度
    • 使用gzip压缩
    • NTP同步主机
    • 一个请求写多个数据点:每一行使用\n 分隔;
    展开全文
  • influxdb 备份与恢复参考:influxdb backup and restore环境:influxdb v1.6.0使用influx自动的控制台进行I. 备份备份命令1. 实例...

    influxdb 备份与恢复

    参考: influxdb backup and restore

    环境:

    • influxdb v1.6.0

    • 使用influx自动的控制台进行

    I. 备份

    备份命令

    1. 实例演示

    首先创建一个数据库 yhhblog, 里面包含两个measurement,对应的数据如下

    a. 备份所有的数据库

    将influxdb中的所有的数据库都备份下来,不加任何的参数

    b. 备份指定数据库

    如果只想要备份上面的yhhblog数据库, 添加 -database 参数指定即可

    c. 备份数据库中指定时间段的数据

    对上面的数据,只备份部分时间满足要求的数据,可以添加start/end参数

    现在备份ok了,问题就是如何确认备份的问题有没有问题呢,备份后的数据如何恢复呢?

    II. 恢复

    命令如下

    首先拿简单的方式来演示恢复策略,并查看下上面的备份数据是否有问题

    1. 恢复到不存在的database

    下面演示下将前面的导出的备份,恢复到一个新的数据库 yhhblog_bk上,执行命令如下

    顺带验证下上面备份的数据是否有问题,注意到我们恢复的是时间片段的数据备份,因此恢复的数据,应该会排除掉不再上面日期内的数据

    注意看前面serviceLoad里面只有一条数据, 即表明我们按照时间进行备份没啥问题

    2. 恢复到存在的DB

    看官网恢复的文档中,如果想将备份恢复到一个已经存在的database中时,并不是上面那么简单的就可以了,这里采用的一个策略是西安备份到一个临时的db中;然后将临时DB中的数据写入已存在的db中

    具体的演示步骤如下 (注意本小结的执行可以直接依赖前面恢复的备份数据库中)

    将备份恢复到已经存在的数据库 yhhblogNew 中

    进入 influx 控制台,执行拷贝和删除临时数据库

    3. 保留策略已存在时,恢复

    进入influx控制台,执行拷贝

    4. 其他

    官方还写了其他两种恢复方式,一个被废弃,一个离线的会导致数据丢失,也不推荐使用,而现在大部分的博文中备份和恢复都是这种过时的方案,不太友好,这里不详细叙述

    III. 其他

    1. 一灰灰Blog: https://liuyueyi.github.io/hexblog

    一灰灰的个人博客,记录所有学习和工作中的博文,欢迎大家前去逛逛

    2. 声明

    尽信书则不如,已上内容,纯属一家之言,因个人能力有限,难免有疏漏和错误之处,如发现bug或者有更好的建议,欢迎批评指正,不吝感激

    • 微博地址: 小灰灰Blog

    • QQ: 一灰灰/3302797840

    3. 扫描关注

    一灰灰blog

    知识星球

    展开全文
  • InfluxDB基本概念小结InfluxDB作为时序数据库,与传统的关系型数据库相比而言,还是有一些区别的,下面尽量以简单明了的方式介绍下相关的术语概念I. 基本概念1. databas...
  • InfluxDB安装和简单使用小结InfluxDB是一个时序性数据库,因为工作需求,安装后使用测试下是否支持大数据下的业务场景说明:安装最新版本 v1.6.0集群版本要收费,单机版本免费...
  • 导读:本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。作者:韩健来源:华章科技00 为什么QQ要选择InfluxDB?从2016年起,笔者在腾讯公司负责QQ后台的海量服务分布式组件的架构设计和研发工作,如...
  • 这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现,我们在获取、存储、传输、理解、分析、应用、维护大数据时,无疑需要一种便捷的信息交流通道,以便快速、有效、准确地理解和驾驭这个过程。本文将通过...
  • 这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现,我们在获取、存储、传输、理解、分析、应用、维护大数据时,无疑需要一种便捷的信息交流通道,以便快速、有效、准确地理解和驾驭这个过程。本文将通过...
  • 机器节点信息及 InfluxDB、Grafana 版本选择: 节点 Linux版本 部署服务 10.223.1.198 Centos 6.8 InfluxDB 1.7.7 10.223.1.199 Centos 6.8 Grafana 5.4.4 1.1 InfluxDB 环境部署 1....
  • 参考博客:https://www.cnblogs.com/davidwang456/p/7795263.html 转载于:https://www.cnblogs.com/xiaonq/p/10585071.html
  • 一、Grafana 配置 InfluxDB 数据源 1.1 登录 Granfana 界面选择 InfluxDB 数据源 在前面我们已经部署好相应监控环境,登录Grafana:http://10.223.1.199:3000/,登录密码默认是 admin / admin,初次登录时会要求...
  • 双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手。经过对InfluxDB/Redis和TDengine大数据...
  • 导读:本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。00 为什么QQ要选择InfluxDB?从2016年起,笔者在腾讯公司负责QQ后台的海量服务分布式组件的架构设计和研发工作,如微服务开发框架、名字路由、...
  • 双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手。经过对InfluxDB/Redis和TDengine大数据...
  • InfluxDB介绍

    千次阅读 2018-12-05 17:03:12
    这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现,我们在获取、存储、传输、理解、分析、应用、维护大数据时,无疑需要一种便捷的信息交流通道,以便快速、有效、准确地理解和驾驭这个过程。本文将通过...
  • InfluxData是一家从事物联网设备数据捕捉、分析的大数据公司。InfluxDB是InfluxData的核心产品。InfluxDB是一个开源分布式时序、时间和指标数据库,使用Go语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩...
  • 前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDBInfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库,能够非常好地...
  • 前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDBInfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库,能够非常好地...
  • HAProxy配置:针对Hadoop,大数据,NoSQL,Docker,Elasticsearch,SolrCloud,HBase,MySQL,PostgreSQL,Apache Drill,Hive,Presto,Impala,Hue,ZooKeeper,SSH,RabbitMQ,Redis,Riak,Cloudera的80多个...
  • 双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手。经过对InfluxDB/Redis和TDengine大数据...
  • 受益于大数据和物联网技术的蓬勃发展,如今的智能设备越来越多。随之而来的还有海量的数据,而对于这些随时间变化容易产生大量数据的机器,类似influxDB这种时序数据库,非常适合管理。基础设施环境的需求每年都在...
  • influxdb-1.8.0.x86_64.rpm

    2020-07-06 18:55:22
    基于InfluxDB+Grafana打造大数据监控利器 Grafana ships with a feature-rich data source plugin for InfluxDB. The plugin includes a custom query editor and supports annotations and query templates
  • 作者:韩健来源:大数据DT(ID:hzdashuju)00为什么QQ要选择InfluxDB?从2016年起,笔者在腾讯公司负责QQ后台的海量服务分布式组件的架构设计和研发工作,如微服务开发框架、名字路由、名字服务、配置中心等,做了...
  • 固定加载大数据集 编辑数据源时,将重新加载固定的现有设置 固定处理具有相同标签/字段名称的测量(使用自定义sql) 修复了自定义SQL解析 更新了依赖性 更新了控制台调试语句 2.0.3 修复了无法选择HTTPS的问题。 ...
  • InfluxData是一家从事物联网设备数据捕捉、分析的大数据公司。InfluxDB是InfluxData的核心产品。InfluxDB是一个开源分布式时序、时间和指标数据库,使用Go语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩...
  • 大数据监控平台实践之路

    千次阅读 2019-11-08 20:19:42
    大数据监控平台实践之路一、监控体系业务层:应用层:系统层:二、架构设计Telegraf:input:output:调度频率:服务启动:InfluxDB:服务启动:常用命令:Grafana:Grafana主要特性:简单使用介绍: 原文地址: ...

空空如也

空空如也

1 2 3 4
收藏数 66
精华内容 26
关键字:

大数据influxdb