精华内容
下载资源
问答
  • NGSIM_US-101_DataSet

    2020-11-10 11:50:04
    该数据未NGSIM us101数据,全量的txt原始数据未更改,用于自动驾驶轨迹预测等,文档里有详细的介绍
  • ORACLE 字符集修改,ZHS16GBK转US7ASCII

    千次阅读 2019-07-31 16:05:39
    字符集最好不要轻易修改,因为这会对数据库的数据有直接的影响,如果是生产环境的话,可能会造成不可估计得损失。 1.首先以sysdba的身份登录上去 conn /as sysdba 2.关闭数据库 shutdown immediate; ...

    数据库服务端字符集是ZHS16GBK,把它改成US7ASCII

    注意:

    • 新字符集必须为旧字符集的超集,即US7ASCIIZHS16GBK的超集
    • 字符集最好不要轻易修改,因为这会对数据库的数据有直接的影响,如果是生产环境的话,可能会造成不可估计得损失。

    1.首先以sysdba的身份登录上去

    conn /as sysdba

    2.关闭数据库

    shutdown immediate;

    3.以mount打开数据库

    startup mount

    4.设置session 

     SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;
    SQL> ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
    SQL> ALTER SYSTEM SET AQ_TM_PROCESSES=0;

    5.启动数据库

    alter database open;

    6.修改字符集

    ALTER DATABASE CHARACTER SET US7ASCII;

    这会可能会报错,提示我们的字符集:新字符集必须为旧字符集的超集,这时我们可以跳过超集的检查做更改:

     ALTER DATABASE character set INTERNAL_USE US7ASCII;

    这条语句就可以了,TERNAL_USE提供的帮助就会使oracle绕过了子集与超集的验证,这条语句和上面的语句内部操作时完全相同的。

    7.关闭,重新启动

    SQL>shutdown immediate;
    SQL> startup


     

    展开全文
  • 在Unblock-Us DNS服务中自动更新您的IP地址。 Unblock-Us服务非常适合解锁对区域阻止的流服务的访问。但是,有时会出现以下错误:“”“您的互联网地址似乎已更改。请单击此处以激活您的新互联网地址。”“”之所以...
  • i7tm34us.exe

    2019-09-03 18:01:26
    修改BIOS 工具 可以轻松将主板BIOS信息修改修改BIOS 工具 可以轻松将主板BIOS信息修改修改BIOS 工具 可以轻松将主板BIOS信息修改修改BIOS 工具 可以轻松将主板BIOS信息修改
  • 搜寻USNews College排名数据,Python 利用Python Requests和BeautifulSoup软件包来解析USNews大学排名数据。 将排名保存到CSV文件。 由于USNews大学排名数据是部分公开的,并且无法下载为csv文件进行进一步的探索...
  • 当您尝试从Ubuntu映像更改语言环境时,您会在日志中看到此错误: Step 3 : RUN locale-gen en_US.UTF-8 && echo 'LANG="en_US.UTF-8"' > /etc/default/locale ---> Running in b24799cb6c0a Generating ...
  • 修改数据库字符集为'us7ascii'

    千次阅读 2016-04-04 15:25:58
    查看数据库当前数据集有两种方式:  a).select name,value$ from props$ where name like '%NLS_CHARACTERSET%', ...常规方案修改数据库字符集  1).sys登陆数据库:conn / as sysdb
        查看数据库当前数据集有两种方式:
    
          a).select name,value$ from props$ where name like '%NLS_CHARACTERSET%',
          b).select userenv('language') from dual;
        1.常规方案修改数据库字符集
          1).sys登陆数据库:conn  /  as sysdba;
          2).关闭数据库:shutdown immediate;
          3).以mount方式开启数据库:startup mount;
          4).限制其它用户连接数据库使用资源: alter system enable restricted session;
          5).查看系统当前的进程(最大连接数):show parameter processes;记住job_queue_processes参数的当前值,后面需要修改回来。
          6).杀掉CJQ0及相应job进程: alter system set job_queue_processes=0;
          7).修改队列监视进程参数alter system set aq_tm_processes=0;
          8).更改数据库为open方式:alter database open;
          9).更改字符集:alter database character set us7ascii;
          a).如果当前数据库的字符集是系统字符集us7asci的超集,更改不会出问题;如果不是,将会提示:
         ORA-12712: 新字符集必须为旧字符集的超集
         b).如果数据库数据有CLOB类型,系统将会提示:
         ORA-12716: Cannot ALTER DATABASE CHARACTER SET when CLOB data exists
        2.  针对以上的错误a)的解决方案:使用INTERNAL_USE跳过超集检测
     ALTER DATABASE character set INTERNAL_USE us7ascii;
        3. 针对以上的错误b)的解决方案:使用internal_convert转换含有CLOB字段的表
      1).截断表truncate table Metastylesheet;
      2).alter database character set internal_convert zhs16gbk;-- ORACLE会自动转换含有CLOB
      3).因为前面清空了SYS.METASTYLESHEET表,需要重新创建
           9.2通过运行catmet.sql脚本来重建;@?/rdbms/admin/catmet.sql
                10g后通过运行catmeta.sql脚本来重建:@?/rdbms/admin/catmeta.sql
                (注意这个地方有待商榷,不确定,最好不要使用这种方法修改)
        4.完成方案a)和b)后再做如下步骤:
      1).查看当前字符集,确认是否正确修改select userenv('language') from dual;
      2).解除限制: 
               alter system disable restricted session; 
               alter system set job_queue_processes=10;--修改回开始记录的原始值
      3).关闭数据库再打开;
        4).简单测试下insert int t values('测试乱码');看还有乱码否
    展开全文
  • Among us 不能自由聊天的解决方法 对于年龄数据被上传到服务器的账号,可能不适用 1.进入 “C:\Users\”你的账户名”\AppData\LocalLow\InnerSloth\Among Us\playerPrefs”. 如果看不到AppData之类的文件夹,需要...
    Among us 不能自由聊天的解决方法
    对于年龄数据被上传到服务器的账号,可能不适用
    1.进入 “C:\Users\”你的账户名”\AppData\LocalLow\InnerSloth\Among Us\playerPrefs”.

    如果看不到AppData之类的文件夹,需要开启隐藏文件夹显示,在资源管理器的“查看”栏

    2.右键 playerPrefs 文件,用记事本打开
    3.可以在文件内看到一个年份日期,一般是2020或2021,改为1999保存即可
    4.然后进入游戏,点那个设置,然后再Data选项栏里更改Type

    如果不行,也可以删除LocalRow中的InnerSloth文件夹试试


    如果您觉得文章对您有帮助,欢迎转发打赏
    在这里插入图片描述

    展开全文
  • 当您的 IP 地址更改时使用 node.js 更新 unblock-us。 如何...? 注册帐户后,您将拥有用户名(电子邮件地址)和密码。 当您运行此工具时,系统会提示您进行此操作。 样本输出 Your-Machine:UpdateUnblockUs ducas...
  • 警长 Sheriff Mod是Windows的“我们当中的一个”修改,在游戏中添加了一个新的Crewmate类。 治安官是做什么的?...打开修改后的文件夹,然后通过其中Us.exe打开游戏 验证安装成功 通过其中Us.exe启动游戏
  • STM32F0延时函数,用于ms及us延时
  • USDP 配置 MySQL 数据库 上面初始化工作完成之后,我们需要配置以下 USDP 服务节点的 MySQL 信息,只需要打开 /opt/usdp-srv/usdp/config/application-server.yml 文件,找到 datasource 配置片段,修改为如下...

    在过去几年,Cloudera 和 Hortonworks 两家大数据先驱公司分别为我们提供了 CDP(Cloudera Data Platform)和 HDP(Hortonworks Data Platform)两款企业级 Hadoop 解决方案,其都提供了部署、管理、监控以及运维大数据服务组件和节点的能力,大大提升了大数据运维工程师的效率。但是随着 Cloudera 和 Hortonworks 两家公司的合并,以及一些战略上的变化。Cloudera 从早些时候的 CDH 6.3.3 以后再无免费社区版本,到2021年1月31日开始,所有 Cloudera 软件都需要有效的订阅进行访问!这无疑给我们大数据工程师带来一些影响。

    在此背景下,UCloud 基于多年大数据平台开发经验,在不久前正式发布了针对私有化部署场景下的一站式智能大数据平台 USDP 免费版《继CDH收费之后,这家公司率先推出了免费版大数据套件服务!》。USDP 系列版本支持 HDFS、Kudu、ES 全生态,且后续会持续扩充其他服务、组件的支持,助力企业提升大数据开发、运维效率,快速构建大数据业务的分析处理能力。

    本文将给大家介绍一下 USDP 免费版的安装部署过程,希望能够给大家一些帮助。

    环境准备

    我们从 USDP 提供的资料可以看出,USDP 平台包括 Manager Node 和 Worker Node。Manager Node 中比较重要的服务是 Manager Server,其为 USDP 管理端服务,需配备一个 MySQL 实例存储集群相关的元数据信息。Worker Node 中比较重要的组件是 Agent,其为 USDP 从节点控制端服务,用于管理、操作所在节点以及所在节点上的大数据服务。其中 BigData Service 为各类大数据服务(例如:HDFS、YARN等)。一般生产环境的部署架构如下所示:

    从上图可以看出,USDP 平台需要我们提供最少三个节点的集群。而且系统必须为 CentOS,需要是 7.2 到 7.6 之间的版本 ,因为 USDP 需要从操作系统中获取一些信息来正常运行 USDP 平台。这里我用了三台节点,每台节点都是8c32g,500G数据盘,各个节点部署的服务如下:

    下载和设置 USDP

    确定了集群的规模之后,我们就可以下载 USDP 免费版的安装包了。可以通过下面的链接进行下载: https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz 这个文件比较大,大约有43G左右,所以下载大概需要数小时不等。

    下载完之后,我们将其解压,解压后的文件如下:

    [root@node1 usdp-1.0.0]# ll
    总用量 44686388
    -rw-r--r-- 1 root root 20491532904 2月   1 18:57 epel.tgz
    -rw-r--r-- 1 root root     3077630 2月   1 18:56 httpd-rpms.tar.gz
    -rw-r--r-- 1 root root 16897158731 2月   1 18:56 mirror.tgz
    -rw-r--r-- 1 root root  8367086414 5月  15 13:19 usdp-01-master-privatization-free-1.0.0.0.tar.gz
    

    usdp-01-master-privatization-free-1.0.0.0.tar.gz:是 USDP 主程序与大数据服务资源包•httpd-rpms.tar.gz 、mirror.tgz:是 USDP 离线 yum 基础源资源包•epel.tgz:是 USDP 离线 yum 扩展源资源包

    为了后面部署的方便,我们分别创建 /opt/usdp-srv/ 和 /data 文件夹,将 epel.tgz、httpd-rpms.tar.gz 以及 mirror.tgz 移到 /data 文件夹,usdp-01-master-privatization-free-1.0.0.0.tar.gz 移到 /opt/usdp-srv/ 文件夹。并且把 usdp-01-master-privatization-free-1.0.0.0.tar.gz 文件分发到所有 USDP 节点上。

    我们到 /opt/usdp-srv/ 目录,解压 usdp-01-master-privatization-free-1.0.0.0.tar.gz 文件(其他节点也都去解压),可以得到如下的目录结构:

    [root@node1 usdp-srv]# tar -zxf usdp-01-master-privatization-free-1.0.0.0.tar.gz
    [root@node1 usdp-srv]# cd usdp/
    [root@node1 usdp]# ls -l
    总用量 4
    drwxr-xr-x 2 root root   33 5月  14 12:06 agent
    drwxr-xr-x 2 root root  136 5月  14 12:07 bin
    drwxr-xr-x 2 root root   65 5月  14 12:06 config
    drwxr-xr-x 2 root root  137 12月 16 2020 jmx_exporter
    drwxr-xr-x 2 root root   35 5月  14 12:06 recommend
    drwxr-xr-x 6 root root   59 5月  14 12:06 repair
    drwxr-xr-x 3 root root   21 4月  20 16:21 repository
    drwxr-xr-x 2 root root 4096 12月 16 2020 scripts
    drwxr-xr-x 2 root root   34 5月  14 12:07 server
    drwxr-xr-x 2 root root   29 5月  14 15:03 sql
    drwxr-xr-x 3 root root   21 5月  14 12:06 templated
    drwxr-xr-x 2 root root    6 12月 16 2020 verify
    drwxr-xr-x 2 root root   29 5月  14 12:06 versions
    

    上面的各个目录解释如下:

    agent:USDP 分布式客户端程序•bin:USDP 程序启停脚本•config:USDP 程序配置文件•jmx_exporter:进程监控指标采集程序•recommend:大数据服务部署预置模板•repair:部署前环境初始化脚本与资源包•repository:大数据服务资源包•scripts:USDP 相关程序脚本•server:USDP 分布式管理端程序•sql:USDP 元数据信息初始化 SQL•templated:大数据服务配置模板•verify:证书存放路径•versions:USDP 大数据资源包版本信息

    USDP 平台部署

    USDP 免费版准备好之后,我们就可以部署了。这里以首次全量部署为例进行说明。

    首次全量部署需要用到 /opt/usdp-srv/usdp/repair 模块,其目录结构如下所示:

    [root@node1 usdp]# cd repair/
    [root@node1 repair]# ll
    总用量 8
    drwxr-x--- 2 root root 4096 5月  14 12:06 bin
    drwxr-x--- 2 root root  105 5月  14 12:06 config
    drwxr-x--- 4 root root 4096 4月  20 16:38 packages
    drwxr-x--- 2 root root   23 5月  14 12:06 sbin
    

    上面目录的作用如下:

    bin:单个修复模块脚本所在目录,无需手动管理;•config:一键修复脚本所需配置文件目录,需要用户手动修改;•packages:修复过程中安装 USDP 所需依赖压缩包存放目录;•sbin:一键修复主脚本所在目录,无需手动管理;

    在 config 目录下面有三个配置文件:

    repair.properties:主要配置私有化 yum 源安装节点信息、namp 安装节点信息、mysql 数据库安装节点信息、修复机器总数,以及修复模块日志存放位置。用户根据需要自行修改相关配置项;•repair-host-info.properties:节点全量修复,需要配置此文件,具体配置所有节点内网 Ip、密码、端口号以及主机名;•repair-host-info-add.properties:集群新增节点时,需要配置此文件,具体配置新增节点内网 Ip、密码、端口号以及主机名;

    由于我们是全量修复,所以需要用到 repair.properties 和 repair-host-info.properties 两个配置文件。根据我们上面节点的信息,修改如下:

    repair.properties

    # Set the YUM source host IP
    yum.repo.host.ip=10.23.110.136
    #The Host information for installing the NMAP service
    namp.server.ip=10.23.110.136
    namp.server.port=22
    
    
    namp.server.password=abcd123456
    # The Host information for installing the NTP service(Master)
    ntp.master.ip=10.23.110.136
    # Install MySQL machine node information
    mysql.ip=10.23.110.136
    mysql.host.ssh.port=22
    mysql.host.ssh.password=abcd123456
    # Set the MYSQL database login password
    mysql.password=abc123456
    # The total number of machines needed to be repaired.
    repair.host.num=3
    # The total number of added machines needed to be repaired.
    repair.add.host.num=0
    # Common Settings.
    repair.log.dir=./logs
    

    上面各个参数的详细含义如下:

    repair-host-info.properties

    # 1.Please provide the information of hosts needed to be repaired in the format specified below
    # 2.usdp.ip.i(eg:i=1,2,3.....):
    # 3.usdp.password.i:
    # 4.usdp.ssh.port.i:
    # 5.usdp.ssh.port.hostname.i:
    usdp.ip.1=10.23.110.136
    usdp.password.1=abcd123456
    usdp.ssh.port.1=22
    
    
    
    
    usdp.ssh.port.hostname.1=node1
    
    
    
    
    
    
    
    
    
    usdp.ip.2=10.23.30.148
    usd
    
    
    
    
    p.pa
    
    
    ssword.2=abcd123456
    usdp.ssh.port.2=22
    usdp.ssh.port.hostname.2=node2
    usdp.ip.3=10.23.148.109
    usdp.password.3=abcd123456
    usdp.ssh.port.3=22
    usdp.ssh.port.hostname.3=node3
    

    上面各个参数的详细含义如下:

    注意:

    •为了方便,我们三台节点的登录密码都设置为 abcd123456,也就是 ssh 的登录密码。另外,这个登录密码最好不要有特殊字符,要不然安装的过程会出现问题。•repair-host-info.properties 文件里面我们配置了三台 usdp 节点,如果我们有超过三个节点,需要在里面添加对应的信息,有几个节点添加几个。

    执行初始化脚本

    完成上述步骤后,执行如下命令即可开始一键初始化任务。

    cd /opt/usdp-srv/usdp/repair/sbin
    bash repair.sh initAll
    source /etc/profile
    

    当执行完 bash repair.sh initAll 之后,看到有下面的输出结果说明整个 usdp 平台的部署完成。

    [root@node1 sbin]# bash repair.sh initAll
    Bash Path: /opt/usdp-srv/usdp/repair/sbin
    REPAIR_PATH: /opt/usdp-srv/usdp/repair/sbin
    UDP_PATH: /opt/usdp-srv/usdp
    REPAIR_BIN_PATH: /opt/usdp-srv/usdp/repair/bin
    REPAIR_BIN_PATH: /opt/usdp-srv/usdp/repair/bin
    REPAIR_SBIN_PATH: /opt/usdp-srv/usdp/repair/sbin
    PACKAGES_PATH: /opt/usdp-srv/usdp/repair/packages
    REPAIR_PATH: /opt/usdp-srv/usdp/repair
    UDP_PATH: /opt/usdp-srv/usdp
    REPAIR_BIN_PATH: /opt/usdp-srv/usdp/repair/bin
    REPAIR_SBIN_PATH: /opt/usdp-srv/usdp/repair/sbin
    PACKAGES_PATH: /opt/usdp-srv/usdp/repair/packages
    .........
    这里省了很多输出
    .........
    SUCCESS: All encryption-free login links have been repaired successfully
    SUCCESS: All closing firewall links have been repaired successfully
    SUCCESS: All closing swap links have been repaired successfully
    SUCCESS: set hostname links have been repaired successfully
    SUCCESS: Set  ntp  have been repaired successfully
    SUCCESS: Set  libxslt devel  have been repaired successfully
    SUCCESS: Set  psmisc  have been repaired successfully
    SUCCESS: Set mysql-client links have been repaired successfully
    SUCCESS: Set  mysql-python  have been repaired successfully
    SUCCESS: All transparent_hugepage links have been repaired successfully
    SUCCESS: Set JDK links have been repaired successfully
    SUCCESS: Set xdg-utils links have been repaired successfully
    SUCCESS: Set redhat-lsb links have been repaired successfully
    SUCCESS: Set python-devel links have been repaired successfully
    SUCCESS: Set cyrus-sasl links have been repaired successfully
    SUCCESS: Set python36-devel links have been repaired successfully
    SUCCESS: Set gcc-c++ links have been repaired successfully
    SUCCESS: Set  Cython links have been repaired successfully
    SUCCESS: Set  Six links have been repaired successfully
    SUCCESS: Set  websocket-client links have been repaired successfully
    SUCCESS: Set  ecdsa links have been repaired successfully
    SUCCESS: Set  pytest-runner links have been repaired successfully
    SUCCESS: Set krb5-devel links have been repaired successfully
    The USDP deployment environment of all nodes has been repaired successfully . Please proceed to the next step
    

    说明:

    •我们只需要在执行 repair 的节点上下载 usdp-free-1.0.0.tar.gz,然后把解压后的 usdp-01-master-privatization-free-1.0.0.0.tar.gz 文件分发到所有节点,并解压到 /opt/usdp-srv/ 目录即可。不需要配置。•上面的配置只需要在执行 repair 的节点上设置即可,别的节点不需要额外的设置;因为执行 bash repair.sh initAll 的时候会把上面修改的两个配置文件分发到所有 node 上。•usdp 需要依赖 JDK、Python 以及 MySQL 等,这些都会在执行 bash repair.sh initAll 的时候自动安装好,而且所有的节点都会自动安装,我们不需要额外处理。

    为 USDP 配置 MySQL 数据库

    上面初始化工作完成之后,我们需要配置以下 USDP 服务节点的 MySQL 信息,只需要打开 /opt/usdp-srv/usdp/config/application-server.yml 文件,找到 datasource 配置片段,修改为如下内容即可:

      datasource:
        type: com.zaxxer.hikari.HikariDataSource
        #    driver-class-name: org.gjt.mm.mysql.Driver
        driver-class-name: com.p6spy.engine.spy.P6SpyDriver
        url: jdbc:p6spy:mysql://node1:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false
        username: root
        password: abc123456
    

    注意:这个 mysql 服务节点的地址和密码需要根据实际情况填写。因为我在 repair.properties 文件里面把 MySQL 安装在 10.23.110.136(也就是 node1) 节点,登录密码设置为 abc123456。

    启动 USDP 服务端程序

    节点修复完成后,进入 USDP 管理端所在节点后,并进入 USDP 安装根目录,通过 root 用户执行如下命令,以启动 USDP 管理端服务:

    [root@node1 sbin]# cd /opt/usdp-srv/usdp/
    [root@node1 usdp]# bin/start-udp-server.sh
    BASE_PATH: /opt/usdp-srv/usdp/bin
    JMX_PATH: /opt/usdp-srv/usdp/jmx_exporter
    ln -s /opt/usdp-srv /data/usdp-srv
    ln -s /opt/usdp-srv/srv/udp /srv/
    ln -s /data/var/log/udp /var/log/
    REPAIR_PATH: /opt/usdp-srv/usdp/repair
    UDP_PATH: /opt/usdp-srv/usdp
    REPAIR_BIN_PATH: /opt/usdp-srv/usdp/repair/bin
    REPAIR_SBIN_PATH: /opt/usdp-srv/usdp/repair/sbin
    PACKAGES_PATH: /opt/usdp-srv/usdp/repair/packages
    nmap-6.40-19.el7.x86_64
    nmap exists
    UDP Server is running with: 10691
    Done.
    [root@node1 usdp]#
    

    看到 UDP Server is running with: 10691 之后说明 USDP 管理节点启动成功了。

    USDP 集群配置

    USDP 管理节点启动成功之后,需要等待一会。接着我们可以通过浏览器访问如下地址即可打开 USDP Web 页面:http://10.23.110.136,如下:

    第一次访问 USDP Web 页面需要设置管理员密码,设置完毕后,即可进行下一步操作。也就是需要激活 USDP:

    我们点击上面的 导入许可证 按钮,然后会弹出以下的页面:

    我们复制下来上面的硬件识别码(D2060300FFFB8B07),然后到 http://117.50.84.208:8002/licenseManagement/generate 页面生成一个免费版证书:

    点击上面的 下载 按钮,无需解压,直接在 USDP 页面中上传证书即可。这时候就可以看到 新建集群 的页面:

    我们点击 新建集群向导 就可以进入集群配置的流程。

    从包含服务组件可以看出,免费版的 USDP 支持计算、存储、监控、可视化、调度以及安全等六种组件。USDP 涵盖了 HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,目前,UCloud 一站式智能大数据平台 USDP 所支持的服务如表格所示,同时还在持续拓展更多开源生态组件服务。

    我们点击下一步按钮,到指定集群节点页面。由于我们在 repair-host-info.properties 文件里面配置了各个节点的 hostname(比如 usdp.ssh.port.hostname.1=node1),所以在执行 repair 的时候系统已经在 /etc/hosts 里面为我们设置好了相关配置。所以这个页面我们只需要要如下配置就可以:

    点击

    点击 下一步,USDP 系统自动给我们识别好了各个节点的情况。由于 USDP 需要最少三节点的部署,所以我们选中上面三个节点,然后进入下一步。这个环节 USDP 会为我们检查节点的环境:

    如果感兴趣的话,可以点击上面的 检查中 查看检查了什么东西:

    如果是用 USDP 的 repair 脚本修复的话,上面的检查环境一般都会顺利通过,如下:

    点击下一步,就可以进入到选择服务页面,如下:

    USDP 为我们提供了三个推荐方案,我们可以根据自己的需要选择不同的组件部署。当然,如果 USDP 给我们推荐的方案都不满足我们的需求,那么我们是可以选择自定义来选择不同的服务组合。这里由于是测试,我们选择 推荐方案 B,然后点击下一步。

    这时候进入了在各个节点安装组件的选项,这里我选择了智能推荐,也就是进入了上述的页面,然后点击下一步。

    这块需要配置 HDFS 和 HIVE 的配置选项,主要是 HDFS DataNode 数据目录和 Hive MetaStore 的配置,我这块用的是默认配置,然后点击下一步。

    这一步是我们前面选择各个组件的部署信息预览,如果没问题的话可以点击 开始部署 ,这时候会进入下面页面:

    这个页面等进度到 100% 的时候,部署就完成了。

    点击 集群详情 就可以看到集群的部署情况了。

    到这里就 USDP 集群就安装完成了。另外,我们可以看到 USDP 给我们提供了丰富的监控指标和报警告警设置。

    在监控指标收集方面,主要包括以下三个当面:

    •JMX全量指标采集•Http常用指标采集•自定义指标采集

    以上三部分监控数据最终将汇总于 USDP 的 Promethues 中,并在每个服务的概览页面中,展示最常用的监控指标。同时,在 Grafana 中,通过 USDP 官方预置的监控模板(Dashboard),用户可以查看最详细监控指标。如果 USDP 预置的监控图标无法满足业务需求,用户也可以自定义添加所需的监控图表。

    在告警方面,USDP 提供丰富的预置告警模板,用户只需要引导进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群指标告警的需求。与监控指标的设计相似,如果用户认为预置的告警模板无法满足业务需求,也可以自定义对告警模板进行修改,或添加新的告警规则。

    USDP 集群使用

    安装好了 USDP 集群之后,我们来试用一下这个集群好不好用。这里以使用 Hive 来简单查询数据为例进行说明。

    在 USDP 任一安装过 hive 客户端的节点,进入 hadoop 用户,然后使用下面命令就可以进入 Hive 命令行模式了:

    [root@node1 templated]# su hadoop
    [hadoop@node1 templated]$ /srv/udp/1.0.0.0/hive/bin/hive
    hive (default)> 
    

    我们按照下面步骤创建一张名为 iteblog_test_usdp_hive 的 Hive 表:

    hive (default)> create table iteblog_test_usdp_hive (id int, name string, age int);
    OK
    Time taken: 3.014 seconds
    hive (default)> show create table iteblog_test_usdp_hive;
    OK
    CREATE TABLE `iteblog_test_usdp_hive`(
      `id` int,
      `name` string,
      `age` int)
    ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
    STORED AS INPUTFORMAT
      'org.apache.hadoop.mapred.TextInputFormat'
    OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION
      'hdfs://iteblog/user/hive/warehouse/iteblog_test_usdp_hive'
    TBLPROPERTIES (
      'transient_lastDdlTime'='1625383436')
    Time taken: 0.185 seconds, Fetched: 14 row(s)
    hive (default)>
    

    然后我们插入一条数据,并查询:

    hive (default)> insert into iteblog_test_usdp_hive values (1, 'iteblog', 100);
    OK
    _col0    _col1    _col2
    Time taken: 10.321 seconds
    hive (default)> select * from iteblog_test_usdp_hive;
    OK
    iteblog_test_usdp_hive.id    iteblog_test_usdp_hive.name    iteblog_test_usdp_hive.age
    1    iteblog    100
    Time taken: 0.186 seconds, Fetched: 1 row(s)
    hive (default)>
    

    在 USDP 中,Hive 默认的执行引擎为 Tez,可以到 UDSP 平台直接修改 hive.execution.engine 参数切换到其他执行引擎。通过 USDP 平台我们可以进入很方面的进入到 Tez 的显示页面,具体如下:

    总结

    搞过大数据平台的运维部署的同学们应该很清楚,部署一个大数据集群是一个很费时费力的体力活,稍不留神很容易出错。CDH 的出现大大减少我们部署运维大数据集群的工作,提升了运维效率;但是随着 CDH 的全面收费,相信给大家组成了一定的困扰。这次 UCloud 大数据团队给我们提供的免费版 USDP 在一定程度上可以完全替掉 CDH 平台,在安装体验过程还是比较顺的,安装部署过程基本都是全自动,减少人工的工作量,减少出错,非常值得给大家推荐。

    扫码获取详细USDP 安装手册 加入UCloud大数据技术交流群

    展开全文
  • centos7修改系统编码为"en_US.UTF-8

    万次阅读 2017-10-27 16:04:23
    执行该命令添加编码库 yum groupinstall chinese-support 修改系统编码 编辑 /etc/locale.conf LANG="en_US.UTF-8"
  • 我们之间的生日变化 这个小批量文件可更改您在我们中间的生日。 然后,您将于2003年1月4日出生。 == ZH ==要在“我们之中”中更改您的生日,请解压缩文件并...蝙蝠在Ordner的“ Among Us Birthday”中扮演着重要角色。
  • 比如默认不允许256位密钥的AES加解密,解决方法就是修改策略文件, 从官方网站下载JCE无限制权限策略文件,注意自己JDK的版本别下错了。将local_policy.jar和US_export_policy.jar这两个文件替换%JRE_HOME%\lib\...
  • 将目录更改为govwiki.us/ cd govwiki.us 安装依赖 npm install 发展 运行开发环境 npm run dev 打开浏览器 您应该看到该网站的首页。 在页面上边框的中央,应该有一个小小的红色单词“ live”。 这意味着实时...
  • 只需登录即可下载修改后的应用程序,然后使用随附的菜单打开修改后的游戏应用程序。 这是我们的hack apk的更新版本,包括以下内容:对您的设备完全安全,并不断更新。 单击上方,即表示您同意安装此扩展程序,并同意...
  • 尝试过在节点env注入LANG环境变量,直接登录节点修改/etc/profile和~/.bash_profile,这三种方式均以失败告终,即便是locale命令执行结果显示的是UTF-8编码. 最后还是尝试在~/.bashrc加上export LANG=en_US.UTF-8这一行...
  • 因为某些国家的进口管制限制,Java发布的运行环境包中的加解密有一定的限制。比如默认不允许256位密钥的AES加解密,解决方法就是修改策略文件。这里是替换的文件
  • 2020.djangocon.us网站 2020 DjangoCon.us网站是由编译的静态网站。 前端严重依赖于框架。 前端依赖项已通过安装和更新。 行为守则 作为贡献者,您可以帮助我们保持Django社区开放和包容。 请阅读并遵守我们。 入门...
  • 2021.djangocon.us 网站 2021 DjangoCon.us 网站是一个用编译的静态网站。 前端在很大程度上依赖于框架。 使用安装和更新前端依赖项。 行为守则 作为贡献者,您可以帮助我们保持 Django 社区的开放性和包容性。 请...
  • [Thread:214] get region from system, region = US rk3399主板: [Thread:214] get region from system, region = CN 以此我咨询了小米客服,他们这样回复: 果不其然 那么小米获取system region...
  • US-025A超声波测距模块ALTIUM设计硬件原理图+PCB工程文件+CS100A-CS102等相关器件技术资料 ,包括完整的原理图和PCB文件,硬件可用Altium Designer(AD)软件打开或修改,可作为你产品设计的参考。
  • 51单片机C语言us级延时函数

    千次阅读 2020-05-30 10:53:53
    Shawsun2014-04-26 23:34:21 C程序中可使用不同类型的变量来进行延时设计。经实验测试,使用unsigned ... 以某晶振为12MHz的单片机为例,晶振为12MHz即一个机器周期为1us。 一. 500ms延时子程序 程序: void de...
  • 这是2015年项目的所在地,该项目旨在为创建State Voter Information API。 ... 入门: bundle install ...进行更改,提交,然后推送您的更改。 rake db:migrate git push origin 将PR提交给主控。
  • KURL.US 一个支持域名网址缩短的服务,这里是它的源代码。 概述 是一个网址缩短服务的网站,这是它的源代码。 修改 在原来的基础上增加自适应移动端,随机ACG背景 安装 基于 PHP、SQLite 进行开发,您只需要修改 ...
  • 该存储库包含已修改的美国英语版本,以支持某些附加功能(有关修改列表,请参见下文)。 HTS演示旨在演示用于统计参数语音合成的功能。 概述 该软件从来自人类说话者的文本数据和语音音频数据的语料库开始,训练了...
  • tekturk-us v0.10.0 tekturk旨在成为帮助亚马逊Mechanical Turk系统上的工人的框架。 tekturk-us是Greasemonkey / Tapermonkey用户脚本,用于改善Amazons的站点。 目录 地位 目前处于开发状态 当前功能 实时请求...
  • STM32 us精确延时方式

    千次阅读 2020-10-26 13:50:23
    向上计数模式,预分频系数为168-1,也就是167(这里我用的是F407的板子做的示例,F407芯片主频为168Mhz,设置这个分频系数,TIM1 的时钟频率为1Mhz,也就是说每1s计数1000000次,换算过来也就是说,1us计数一次),...
  • 易我数据恢复软件 此版特点 此便携版启动器可以启动后直接为已...强制修改便携启动器每次启动后软件都是简体中文; 去除后续启动检测更新提示,根源上切断检测更新; 注:关于绿色便携版关闭后,退出后台进程有些延迟

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 231,935
精华内容 92,774
关键字:

us怎么更改