精华内容
下载资源
问答
  • ODPS SQL

    2021-10-12 08:53:55
    Aliyun ODPS Command Line Tool Version 0.29.6 @Copyright 2017 Alibaba Cloud Computing Co., Ltd. All rights reserved. odps@ u_ee02volv_1633959038>tunnel upload -fd "\t" -dfp yyyy-MM-dd D:\data\ods_...
    Aliyun ODPS Command Line Tool
    Version 0.29.6
    @Copyright 2017 Alibaba Cloud Computing Co., Ltd. All rights reserved.
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  -dfp  yyyy-MM-dd D:\data\ods_user_app_detail_dt_201612 ods_user_app_detail_dt_201612;
    Upload session: 202110112149119db4ca0b1d7e8135
    Start upload:D:\data\ods_user_app_detail_dt_201612
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:34393452     Split input to 1 blocks
    2021-10-11 21:49:11     scan block: '1'
    2021-10-11 21:49:12     scan block complete, blockid=1
    2021-10-11 21:49:12     upload block: '1'
    2021-10-11 21:49:17     1:0:34393452:D:\data\ods_user_app_detail_dt_201612      55%     18.1 MB 3.6 MB/s
    2021-10-11 21:49:21     1:0:34393452:D:\data\ods_user_app_detail_dt_201612      100%    32.8 MB 3.6 MB/s
    2021-10-11 21:49:21     upload block complete, blockid=1
    upload complete, average speed is 3 MB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  -dfp  yyyy-MM-dd D:\data\ods_user_call_detail_dt_201612 ods_user_call_detail_dt_201612;
    Upload session: 20211011215027d2c5ca0b1d7f410d
    Start upload:D:\data\ods_user_call_detail_dt_201612
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:41498184     Split input to 1 blocks
    2021-10-11 21:50:27     scan block: '1'
    2021-10-11 21:50:28     scan block complete, blockid=1
    2021-10-11 21:50:28     upload block: '1'
    2021-10-11 21:50:33     1:0:41498184:D:\data\ods_user_call_detail_dt_201612     47%     18.7 MB 3.7 MB/s
    2021-10-11 21:50:38     1:0:41498184:D:\data\ods_user_call_detail_dt_201612     100%    39.6 MB 4 MB/s
    2021-10-11 21:50:38     upload block complete, blockid=1
    upload complete, average speed is 3.3 MB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  -dfp  yyyy-MM-dd D:\data\ods_user_sms_detail_dt_201612 ods_user_sms_detail_dt_201612;
    Upload session: 2021101121520890b6ca0b1d7f2bed
    Start upload:D:\data\ods_user_sms_detail_dt_201612
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:25275251     Split input to 1 blocks
    2021-10-11 21:52:07     scan block: '1'
    2021-10-11 21:52:08     scan block complete, blockid=1
    2021-10-11 21:52:08     upload block: '1'
    2021-10-11 21:52:13     1:0:25275251:D:\data\ods_user_sms_detail_dt_201612      96%     23.3 MB 4.7 MB/s
    2021-10-11 21:52:14     1:0:25275251:D:\data\ods_user_sms_detail_dt_201612      100%    24.1 MB 4.8 MB/s
    2021-10-11 21:52:14     upload block complete, blockid=1
    upload complete, average speed is 3.4 MB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dim_app_flag  dim_app_flag;
    Upload session: 202110112153541ebdca0b1d7f6852
    Start upload:D:\data\dim_app_flag
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:4614         Split input to 1 blocks
    2021-10-11 21:53:54     scan block: '1'
    2021-10-11 21:53:54     scan block complete, blockid=1
    2021-10-11 21:53:54     upload block: '1'
    2021-10-11 21:53:54     upload block complete, blockid=1
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dim_sms_flag  dim_sms_flag;
    Upload session: 2021101121552111bdca0b1d7eada9
    Start upload:D:\data\dim_sms_flag
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:8161         Split input to 1 blocks
    2021-10-11 21:55:21     scan block: '1'
    2021-10-11 21:55:21     scan block complete, blockid=1
    2021-10-11 21:55:21     upload block: '1'
    2021-10-11 21:55:21     upload block complete, blockid=1
    upload complete, average speed is 8 KB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dim_call_flag  dim_call_flag;
    Upload session: 20211011215535d0b6ca0b1d7f6394
    Start upload:D:\data\dim_call_flag
    Using \n to split records
    Upload in strict schema mode: true
    Total bytes:7505         Split input to 1 blocks
    2021-10-11 21:55:35     scan block: '1'
    2021-10-11 21:55:35     scan block complete, blockid=1
    2021-10-11 21:55:35     upload block: '1'
    2021-10-11 21:55:35     upload block complete, blockid=1
    upload complete, average speed is 7.3 KB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dw_user_brand_sex  dw_user_brand_sex;
    Upload session: 20211011215640d2c5ca0b1d7fa709
    Start upload:D:\data\dw_user_brand_sex
    Using \r\n to split records
    Upload in strict schema mode: true
    Total bytes:881416       Split input to 1 blocks
    2021-10-11 21:56:40     scan block: '1'
    2021-10-11 21:56:40     scan block complete, blockid=1
    2021-10-11 21:56:40     upload block: '1'
    2021-10-11 21:56:40     upload block complete, blockid=1
    upload complete, average speed is 860.8 KB/s
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dim_user_brand  dim_user_brand;
    Upload session: 20211011215651a7a9ca0b1d7f6169
    Start upload:D:\data\dim_user_brand
    Using \r\n to split records
    Upload in strict schema mode: true
    Total bytes:40   Split input to 1 blocks
    2021-10-11 21:56:51     scan block: '1'
    2021-10-11 21:56:51     scan block complete, blockid=1
    2021-10-11 21:56:51     upload block: '1'
    2021-10-11 21:56:51     upload block complete, blockid=1
    OK
    odps@ u_ee02volv_1633959038>tunnel upload -fd "\t"  D:\data\dim_user_gender  dim_user_gender;
    Upload session: 2021101121572292b6ca0b1d80334b
    Start upload:D:\data\dim_user_gender
    Using \r\n to split records
    Upload in strict schema mode: true
    Total bytes:12   Split input to 1 blocks
    2021-10-11 21:57:22     scan block: '1'
    2021-10-11 21:57:22     scan block complete, blockid=1
    2021-10-11 21:57:22     upload block: '1'
    2021-10-11 21:57:23     upload block complete, blockid=1
    upload complete, average speed is 12 bytes/s
    OK
    odps@ u_ee02volv_1633959038>

    展开全文
  • 阿里云odps SQL

    2021-07-13 11:21:31
    odps官方网站 使用示例: #使用TO_DATE select * from xx_bi.dwd_bi_wide_order_pay_record_detail_di where ds='20210711' and payment_time between TO_DATE('2021-07-09 00:00:00','yyyy-mm-dd hh:mi:ss') and TO...

    odps官方网站

    使用示例:

    #使用TO_DATE
    select *
    from xx_bi.dwd_bi_wide_order_pay_record_detail_di where ds='20210711'
    and payment_time  between TO_DATE('2021-07-09 00:00:00','yyyy-mm-dd hh:mi:ss') and TO_DATE('2021-07-09 23:59:59','yyyy-mm-dd hh:mi:ss')
    
    #使用to_char
    select *
    from xx_bi.dwd_bi_wide_order_pay_record_detail_di where ds='20210711'
    and to_char(payment_time,'yyyy-mm-dd hh:mi:ss') between '2021-07-09 00:00:00' and '2021-07-09 23:59:59'
    

    交集、并集、补集

    --取交集不去重。
    <select_statement1> intersect all <select_statement2>;
    --取交集并去重。intersect效果等同于intersect distinct。
    <select_statement1> intersect [distinct] <select_statement2>;
    
    --取并集不去重。
    <select_statement1> union all <select_statement2>;
    --取并集并去重。
    <select_statement1> union [distinct] <select_statement2>;
    
    --取补集不去重。
    <select_statement1> except all <select_statement2>;
    <select_statement1> minus all <select_statement2>;
    --取补集并去重。
    <select_statement1> except [distinct] <select_statement2>;
    <select_statement1> minus [distinct] <select_statement2>;
    
    展开全文
  • ODPS SQL 拆解json字段

    2021-01-07 10:39:30
    1.切分包含数组和json字符串 #1.原始info字段的数据: [ {"num":1,"name":"Lisa","score":90}, {"num":2,"name":"Melody","score":80} ] #2.... GET_JSON_OBJECT(b.info,'$.id') as id, GET_JSON_OBJECT(b.info,'$....

    1.切分包含数组和json字符串

    #1.原始info字段的数据:
    [
    {"num":1,"name":"Lisa","score":90},
    {"num":2,"name":"Melody","score":80}
    ]
    
    #2.解析代码:
    select distinct 
      b.id,
      b.info,
      GET_JSON_OBJECT(b.info,'$.id') as id,
      GET_JSON_OBJECT(b.info,'$.name') as name,
      GET_JSON_OBJECT(b.info,'$.score') as score
    from(
      select 
        TRANS_ARRAY(1,'|',a.id,a.info) as (id,info)
      from(
        select distinct
            id, 
            regexp_replace(regexp_replace(regexp_replace(info,'^\\[',''),'\\]$',''),'},\\{','}|{') as info
        from tmp
      ) a
    ) b
    ;
    
    #3.详细描述:
    #I:先把以[开头和以]结尾的符号替换为空,再把多个json字符串中间的逗号},{替换成竖杠}|{,方便后面切分;
    #II:再用TRANS_ARRAY把一行数据根据切分符号,切成多行;
    #III:最后用GET_JSON_OBJECT获取json内容;

    未完待续……

    展开全文
  • Maxcompute ODPS SQL 日期函数

    千次阅读 2021-01-08 11:24:24
    Maxcompute ODPS SQL 日期函数 日期函数 1.DATEADD --按照指定的单位修改date的值 --加1天 dateadd(datetime, 1, 'dd') --减1天 dateadd(datetime, -1, 'dd') --加20个月 --月份溢出,年份增加 dateadd...

    Maxcompute ODPS SQL 日期函数

    日期函数

    1.DATEADD
    --按照指定的单位修改date的值
            --加1天
     dateadd(datetime, 1, 'dd') 
            --减1天
     dateadd(datetime, -1, 'dd') 
            --加20个月
    --月份溢出,年份增加
     dateadd(datetime, 20, 'mm') 
            --2005年2月没有29日
    --日期截取当月最后一天
     dateadd(datetime, 1, 'mm')
        
    2.DATE_ADD
    --按照幅度增减天数
            --加1天
                date_add( datetime, 1)
            --减1天
                date_add( datetime, -1)
            --加20天
                date_add( datetime, 20)
     
    3.DATEDIFF
    --计算两个容日期的差值,并将差值以指定单位展示
    datediff(end, start, 'yyyy')
    datediff(end, start, 'dd') 
    datediff(end, start, 'mm')
    datediff(end, start, 'hh')
    datediff(end, start, 'mi') 
    datediff(end, start, 'ss') 
     
    4.DATEPART
    --提取日期中指定单位的值
    datepart(datetime, 'yyyy')
    datepart(datetime, 'mm') 
        
    5.DATETRUNC
    --返回日期指定单位的后的日期
    datetrunc('2020-08-07 16:28:46', 'yyyy') = 2020-01-01 00:00:00
    datetrunc('2020-08-07 16:28:46', 'month') = 2020-08-01 00:00:00
    datetrunc('2020-08-07 16:28:46', 'DD') = 2020-08-07 00:00:00
     
    6.GETDATE
    --获取当前系统时间(东八区)
     select getdate();
     
    7.ISDATE
    --判断一个日期能否按照指定的格式转换为一个日期值;
    --转换成功为true,转换失败为false;
     isdate('2020-08-25 10:27:30','yyyy-mm-dd hh:mi:ss')
        
    8.LASTDAY
    --截取所在月的最后一天
            lastday('2020-08-25 10:27:30')=2020-08-31 00:00:00
        
    9.TO_DATE
    --将字符串转成日期
    to_date('Lisa2020-08*03', 'Lisayyyy-mm*dd') = 2020-08-03 00:00:00
    to_date('20200818', 'yyyymmdd') = 2020-08-18 00:00:00
    to_date('202008182030','yyyymmddhhmi') = 2020-08-18 20:30:00
    to_date('2020818', 'yyyymmdd') = null --格式不符合,引发异常。
    to_date('丽萨2020-08*3', '丽萨yyyy-mm*dd') = null --格式不符合,引发异常。
    to_date('2020-08-01', 'yyyy') = null --格式不符合,引发异常。
    to_date('20200830 15-13-12.345','yyyymmdd hh-mi-ss.ff3')=2018-10-30 15:13:12
        
    10.UNIX_TIMESTAMP
    --将日期转成unix格式
            unix_timestamp(2020-08-25 10:41:30) = 1598323290 
        
    11.FROM_UNIXTIME
    --将unix格式转成日期值
            from_unixtime(1598323290) = 2020-08-25 10:41:30
        
    12.WEEKOFYEAR
    --返回日期位于那一年的第几周
            WEEKOFYEAR('2020-08-25 10:41:30')=35
        
    13.QUARTER
    --返回一个日期的季度
        
    14.EXTRACT
    --提取日期中指定的一部分
     SET odps.sql.type.system.odps2=true;
    SELECT  extract(YEAR FROM '=2020-08-01 11:35:00') year
             ,extract(MONTH FROM '2020-08-01 11:35:00') month
             ,extract(DAY FROM '2020-08-01 11:35:00') day
             ,extract(HOUR FROM '2020-08-01 11:35:00') hour
             ,extract(MINUTE FROM '2020-08-01 11:35:00') minute;
        
    15.MONTHS_BETWEEN
    --返回两个日期之间的月份数
    SELECT months_between('2020-02-28 10:30:00', '2019-08-30'); = 5.949596774193548
    SELECT months_between('2019-08-30','2020-02-28 10:30:00' ); = -5.949596774193548
        
    16.ADD_MONTHS
    --返回增加月份后的日期
            add_months('2020-02-14',6)
        
    17.NEXT_DAY
    --返回大于指定日期的下周几
     SELECT next_day('2020-08-25','TU');='2020-09-01'
        
    18.LAST_DAY
    --返回所在月份的最后一天日期
     SELECT last_day('2020-08-25'); = '2020-08-25'
        
    19.FROM_UTC_TIMESTAMP
    --将一个UTC时间的时间戳转换成一个指定时区的时间戳
            from_utc_timestamp(1598325107000, 'PST')
            from_utc_timestamp('2020-08-25 04:11:47','PST')
            from_utc_timestamp('2020-08-25','PST')
     
    20.CURRENT_TIMESTAMP
    --返回当前时间的时间戳
        
    21.DAYOFMONTH
    --获取日期的天
        
    22.SECOND
    --返回秒
        
    23.MINUTE
    --返回日期的分钟
        
    24.HOUR
    --返回日期的小时
     
    25.DAY
    --返回天
     
    26.MONTH
    --返回月份
     
    27.YEAR
    --返回年份

     

    展开全文
  • DThink ODPS SQL编程手册.pdf 个人收集电子书,仅用学习使用,不可用于商业用途,如有版权问题,请联系删除!
  • ODPS SQL 大全

    万次阅读 2019-02-22 13:56:16
    例如:有两个实验分组,group_a和group_b,每个实验分组的数值value都是几千个,现在要从a组和b组中随机抽样10%,用sql语句如何实现? select group_id, value from( select group_id, value, cluster_...
  • ODPS SQL 窗口函数 1. count():用于计数 -- 准备表 create table if not exists tmp_data3( id bigint, num double ) ; -- 插入数据 insert into table tmp_data3 (id,num) VALUES (1,1), (1,1), (1,1), (2...
  • odps SQL记录

    2020-06-29 11:32:00
    1.增加分区 alter table tableName add if not exists partition(ds='20200623')  
  • odps sql 窗口函数基础

    千次阅读 2020-04-05 22:33:56
    窗口函数是一个查询利器,平时遇到棘手的问题,90%能够用窗口函数解决。 本篇内容主要介绍比较常用的窗口函数,看完这篇文章,基本能够解决大部分查询问题 本篇主要内容如下 本篇采用的数据集是 titanic的train.csv...
  • 筛选空值 where column.name is null 筛选非空值 where column.name is not null 筛选空字符串 where LENGTH(trim(column.name)) = 0 筛选非空字符串 where LENGTH(trim(column.name)) >......
  • 一些 odps sql技巧

    千次阅读 2018-05-24 17:00:12
    有张表为pv_daily_table, 在不同partitionds 中记录每篇内容每日的pv, 那么想汇总每篇内容近3日, 近7日的pv, 就可以用下面的sql. SELECT content_id , SUM(IF(ds = '${ds}', pv, 0)) AS today_pv -- 当日pv , ...
  • 准备数据 create table if not exists tmp_table_friends ( name string comment '名字', appearance double comment '外貌', character double comment '性格', ability double comment '能力', ...
  • odps sql 字符处理函数

    千次阅读 2020-04-06 18:06:39
    截取某段特定的数字 安卓9.0 安卓8.1 安卓7.1.1 安卓6.0 安卓5.1 安卓5.0 安卓4.4w 安卓4.0.3 安卓4.0 安卓3.0 安卓3.0以下 取出里面的数字 SELECT CAST(notes AS BIGINT ) FROM tb_android_api_version ......
  • odps sql 日期函数处理

    万次阅读 2020-04-06 20:58:36
    select to_char(‘2019-12-21 07:05:26’,‘yyyymmdd hhmm’) select to_char(‘2019-12-21 07:05:26’,...odps 删除某列 用新的表付覆盖 CREATE TABLE temp_DEVICE_STATUS_FRONT_APP_1_delete_column AS SELECT did...
  • odps@ sdrtest>select count(*),id from t_people group by id having count(*) > 0; ID = 20190414051444876gfk3c692 Job Queueing. --------------------------------------------------------------------------...
  • 记录我的一次基于dataworks大数据平台的关于多栏位SUM求和的ODPS SQL优化 背景 在我所需要做的需求中,有这样一个场景,简化描述即是,基于阿里云dataworks平台用ODPS SQL脚本统计出商品订单表(order_info)的每种...
  • ODPS SQL 中使用调度参数 DataWorks的调度参数分为两种,一种是系统调度参数,另一种是自定义点都参数。 系统调度参数只有两个:bizdate:获取到业务日期,展示格式为:yyyymmdd;cyctime:获取到任务实例的定时...
  • odps sql 常用正则表达式

    千次阅读 2020-04-18 18:59:29
    select regexp_substr(‘12.12元/小时’, ‘\d*(\d*.\d*)?’) from dual; select regexp_substr(‘mint choc中文11国1’,’\d+’); select regexp_substr(‘CYJ8-ABC’,’[0-9]+’) from dual; ...
  • odps sql 删除、更新、插入数据

    千次阅读 2020-04-06 22:14:23
    ODPS不支持直接通过delete语句删除数据。 对于非分区表 通过“TRUNCATE TABLE table_name;”语句清空表数据,也可以用覆盖写的功能实现类似的功能。 如要删除TableA表里的Col=1的数据,使用如下命令即可 INSERT ...
  • t1.`(dt|cz)?+.+` select t1.`(dt|cz)?+.+` from test001 t1 where dt='20190911' and cz='u';即查询表中出dt和cz外其他字段
  • MaxCompute ODPS SQL费用估算与控制 作者:顾飞 一 需求背景 费用挑战 ODPS老用户应该都了解过其计费方式,如果不清楚计费方式,可以参考阿里云文章:...
  • odps@ sdrtest>create table t_people_p (id bigint,name string) partitioned by (gender string); //创建分区表 odps@ sdrtest>desc t_people_p; //查看表结构 +----------------------------------------------...
  • odps sql使用相关

    2020-09-10 11:24:31
    ODPS不支持直接通过delete语句删除数据。 对于非分区表 通过“TRUNCATE TABLE table_name;”语句清空表数据,也可以用覆盖写的功能实现类似的功能。 如要删除TableA表里的Col=1的数据,使用如下命令即可 INSERT ...
  • ODPS SQL 聚合函数 ODPS SQL 聚合函数 1.COUNT:用于计算记录数。 SELECT COUNT(*) FROM table_name; --********************************************************************-- 2.AVG:用于计算平均值。 ...
  • 如果是 sql task 则交给 scheduler,scheduler根据 各个executor机器的资源情况,将sql task分配出去 被分配的executor的去真正的parse 该sql task form hiveserver to get 物理执行计pot,再将pot提交给了fuxi去...
  • 使用split_size优化的ODPS SQL的场景

    千次阅读 2019-03-20 11:07:13
    使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下: 说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的控制。设置语句:set ...
  • odps_sql 行转列&列转行

    2021-01-12 09:58:58
    注意: odps_sql语法目前不支持在case和when的2个词中间加变量; 类似于max()、sum()这一类的函数都可以实现,窗口函数也可以。 3.横表变纵表 select 商家,'波霸奶茶' as 奶茶,波霸奶茶 as 价格 from Table_B where...
  • MaxCompute insert语句使用 本文介绍使用INSERT OVERWRITE和INSERT INTO两种命令更新表数据,主要内容包括: insert into table … values …语句 insert into/overwrite … select …语句 Insert多路输出(MULTI ...
  • 数据库之ODPSsql语句指南

    千次阅读 2019-08-06 20:08:00
    此篇博文为本人在实际工作中应用总结,转载请注明出处。 持续更新中 ...ALTER TABLE table_name DROP [IF EXISTS] partition_spec;...ALTER TABLE stg_tc_hkj_fb_hsy_material DROP IF EXISTS partition(...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,500
精华内容 1,800
关键字:

odpssql