精华内容
下载资源
问答
  • 当我下载docker时,出现下面错误 Downloading packages: No Presto metadata available for base No Presto metada 解决: yum clean all 然后再执行下载命令。

    当我下载docker时,出现下面错误
    Downloading packages: No Presto metadata available for base No Presto metada
    解决:
    yum clean all
    然后再执行下载命令。

    展开全文
  • 安装服务时报错停止,报错信息如下 Install 12 Packages (+45 Dependent packages) Upgrade 1 Package (+13 ...No Presto metadata available for os No Presto metadata available for updates Stderr: http://mirror

    安装服务时报错停止,报错信息如下

    Install  12 Packages (+45 Dependent packages)
    Upgrade   1 Package  (+13 Dependent packages)
    
    Total download size: 50 M
    Downloading packages:
    No Presto metadata available for os
    No Presto metadata available for updates
    Stderr: http://mirrors.cloud.tencent.com/centos/7/updates/x86_64/Packages/libuuid-2.23.2-65.el7_9.1.x86_64.rpm: [Errno 14] curl#6 - "Could not resolve host: mirrors.cloud.tencent.com; Unknown error"
    Trying other mirror.
    
    
    Error downloading packages:
      libuuid-2.23.2-65.el7_9.1.x86_64: [Errno 256] No more mirrors to try.
    
    

    翻译得知:没有可用于操作系统的Presto元数据,没有可用于更新的Presto元数据

    解决办法:

    [root@bkce6_131 install]# yum clean all
    Loaded plugins: fastestmirror
    Repository cr is listed more than once in the configuration
    Repository fasttrack is listed more than once in the configuration
    Cleaning repos: bk-custom epel extras os updates
    Cleaning up everything
    Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos
    Cleaning up list of fastest mirrors
    [root@bkce6_131 install]# yum makecache
    Loaded plugins: fastestmirror
    Repository cr is listed more than once in the configuration
    Repository fasttrack is listed more than once in the configuration
    bk-custom                                                                                                                                                            | 2.9 kB  00:00:00     
    epel                                                                                                                                                                 | 4.7 kB  00:00:00     
    extras                                                                                                                                                               | 2.9 kB  00:00:00     
    os                                                                                                                                                                   | 3.6 kB  00:00:00     
    updates                                                                                                                                                              | 2.9 kB  00:00:00     
    
    

    之后重新安装,未报错

    展开全文
  • MongoDB是非结构化数据presto其实已经做了很多工作帮助我们通过SQL的方式去查询它,并且返回的结果也尽量往传统结构化数据库的形式上靠拢,比如在presto sql中使用UNNEST方法,可以将array或map格式的字段平铺开,...

    最近在使用prestosql做跨库查询,在查询mongodb的时候遇到了问题。

    MongoDB是非结构化数据,presto其实已经做了很多工作帮助我们通过SQL的方式去查询它,并且返回的结果也尽量往传统结构化数据库的形式上靠拢,比如在presto sql中使用UNNEST方法,可以将array或map格式的字段平铺开,借用Cross join语法可以实现级联查询。

    上面提到的UNNEST操作,通过查看prestosql(338版本)只支持array和map格式的列,否则会报错。

     

    在实际使用presto的过程中,发现presto会自行维护一套schema数据(表结构),但是由于mongodb的无结构性,在presto自己生成的这一套schema中会发现有很多列缺失与错误的情况。

     

    基于上面的原因,会导致有的列无法UNNEST,原因可能是这一列本身就不是匹配的数据类型,也有可能是这一列的数据类型被presto识别错了。

     

    通过继续查看presto的源码,发现其识别schema的原理是查找当前表中第一条数据,然后判断其所有列的数据类型,进而当做整个表的schema定义了。

    所以如果在有需要的情况下,可以先手动插入一条标杆数据,用于标注正确的mongodb表结构,让presto能正确识别,然后再插入剩余的业务数据,这样就能保证presto的功能正确运行。

    在已经生成了错误schema的情况,并且不想清空mongodb数据,可以尝试手动删除对应库中_schema表(presto默认存储表结构的地方)中的记录,然后修改目标表中第一行数据 或者 在最开头插入标杆数据,然后执行一次表数据查询,又会重新出发一次schema的扫描和生成。

    展开全文
  • Presto优化之数据存储

    2021-01-17 19:00:31
    与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 2. 使用列式存储 Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式...

    Presto优化之数据存储

    1. 合理设置分区

    与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。

    2. 使用列式存储

    Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。

    3. 使用压缩

    数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。

    展开全文
  • Presto

    2020-07-25 16:29:49
    Presto是分布式SQL查询引擎,用来进行高速、实时的数据分析 Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS数据结果的问题 Presto是一个计算引擎,它不存储数据,通过丰富的Connextor...
  • 文章目录1.异常信息2.原因3.解决方案 1.异常信息 查询使用presto查询hive表,显示partition location dose not exist: hdfs:\xxxx 2.原因 ...手动删除hive的元数据中的分区信息,如下所示: alt...
  • 数据分析引擎Presto

    2020-10-06 20:49:54
    因此我们通常用presto与hive做一个集成,presto是完全内存计算,presto集成hive就是去hive中元数据,当presto拿到hive的所有元数据后,就是拿到所有的表在hdfs的存储位置,进而基于内存运算的数据源就是在hdfs上。...
  • PRESTO

    2018-03-06 14:48:33
    Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节,为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 可以做什么? Presto支持在线数据查询,包括...
  • presto读取kafka数据

    千次阅读 2017-10-22 10:35:00
    1- 1-1 配置方法 1-1-1 catalog配置 1-1-2 schema配置 ...1-3-3 数据读取1-今天分析一下presto的kafka connector的主要原理和源码 1-1 配置方法1-1-1 catalog配置connector.name=kafka kafka.nodes=localhost
  • presto

    2020-09-06 00:11:26
    介绍 1.近实时计算 prosto,开源分布式SQL查询引擎,为了解决facebook交互式分析分析和处理速度问题.可以作为即席查询引擎. 2. hive 运行比较慢,基于mr计算,...低延时、基于内存的计算、本地化计算、GC控制,数据量支持G
  • 基于Presto和superset搭建数据分析平台。 Presto可以作为数据仓库,能够连接多种数据库和NoSql,同时查询性能很高;...存储元数据,模型信息,存储数据(建索引、缓存、分区、pre-aggregation)等。 ...
  • Presto优化

    2021-01-04 19:57:05
    与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 使用列式存储 Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相...
  • [Presto]部署运行Presto

    千次阅读 2016-09-30 16:16:11
    1. 安装Presto 下载Presto server tarball,presto-server-0....Presto需要一个用于存储日志、本地元数据等的数据目录。 建议在安装目录的外面创建一个数据目录。这样方便Presto进行升级。 下载地址:https://repo1.m
  • [Presto]什么是Presto

    千次阅读 2016-09-30 11:29:06
    1. Presto不是什么 虽然Presto一直被一些个人或者团体称为 数据库 ,但是Presto并不是数据库。 千万不要以为Presto可以解析SQL,那么Presto就是一个标准的数据库...其实很多其他的数据库产品也是被用来设计为数据
  • 分布式数据处理引擎 Presto

    千次阅读 2017-03-15 13:02:50
    第一:Presto基本介绍 Facebook开源的 完全基于内存的分布式SQL查询引擎 不支持存储,只包含计算引擎 支持任意数据源 MPP架构 多线程处理优 优化的ORC和Parquet Reader … 第二:Presto基本架构 数据处理流程 ...
  • Presto安装

    2021-08-13 18:07:15
    文章目录Presto安装1 环境及安装包准备2 安装2.1 安装2.2 配置2.2.1 Presto属性配置2.2.2 Connector配置3 Presto客户端命令行使用3.1 启动3.2 客户端连接 1 环境及安装包准备 1). 安装presto前准备java环境最低JDK...
  • Presto的优化

    千次阅读 2020-09-27 23:46:12
    与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 -- 使用列式存储 Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储...
  • Presto随笔

    千次阅读 2016-05-26 23:46:08
    解决了什么问题快读的交互式查询presto 和hive到底什么关系...但是presto可以借助hive的信息找到hdfs上的节点。 presto现在已经可以连接 MySQL postgre hive等了presto为什么那么快http://tech.meituan.com/pre
  • presto入门

    2020-05-01 17:37:47
    参考网址: https://prestosql.io/docs/current/ 获取安装包: server cli 概述: 把cli-executable的jar包放入serverde的bin文件下,改名为presto 启动命令:./presto --server ...hive元数据启动:hive --servi...
  • 而实际在T_626目录下还不是文件,还是目录(忽略红框这条,这条是后来从子目录拷贝出来的),如此在presto查询时,使用count查出来数据为0,而hive查询可以查出数据presto查询略过,数据为0 hive查询结果 ...
  • Presto实战

    2019-01-21 23:11:21
    Presto实战 一、Presto简介 1、PRESTO是什么? Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB...Presto支持在线数据查询,包括Hive, Cassandra, 关系数据库以及专有数据存储。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,926
精华内容 1,570
关键字:

presto元数据