精华内容
下载资源
问答
  • linkis安装环境搭建

    2020-05-26 14:07:09
    给用户添加sud权限 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的 https://www.cnblogs.com/jacob-tian/p/6477638.html:

    服务器环境:

    服务器:centos7 
    搭建步骤:略
    

    SSH免密登陆

    1. 新建用户和用户组(hadoop): https://blog.csdn.net/zhbzhbzhbbaby/article/details/80824428
    2. 给用户添加sud权限 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的 https://www.cnblogs.com/jacob-tian/p/6477638.html:
     vi /etc/sudoers
    
     hadoop  ALL=(ALL)     NOPASSWD: NOPASSWD: ALL
    

    重启:

    source /etc/sudoer
    

    3.切换到相应的用户目录下:

    su hadoop
    
    1. 设置免密
    
    sudo service sshd status ## 查看ssh服务状态
    sudo service sshd restart ##重启ssh服务
    
    第0步:cd .ssh/
    第一步:ssh-keygen -t rsa //然后提示输入直接按回车就好
    第二步:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    第三步:chmod og-wx ~/.ssh/authorized_keys
    第四步:chmod 750 $HOME
    第五步:ssh localhost #在使用ssh登陆;如果直接登陆进来了就证明成功了;
    搞定!
    
    1. 安装hadoop:https://blog.csdn.net/cafebar123/article/details/73500014
    2. 安装spark:https://blog.csdn.net/penyok/article/details/81483527 (spark安装scala:https://www.cnblogs.com/shaosks/p/9242181.html)
    3. 安装hive:https://www.cnblogs.com/thisyan/p/9609497.html
    4. 安装nginx:https://www.tecmint.com/install-nginx-on-centos-7/

    linkis 安装指南

    1. MySQL (5.5+),如何安装MySQL(https://www.runoob.com/mysql/mysql-install.html)
    2. JDK (1.8.0_141以上),如何安装JDK(https://blog.csdn.net/u010590120/article/details/94736800)
    3. Python(2.x和3.x都支持),如何安装Python(https://www.cnblogs.com/xiujin/p/11477419.html)

    部署指南

    根据上述的操作、所有的环境都可以搭建完成;后续根据linkis提供的文档一键安装即可;

    展开全文
  • Linkis简单版安装教程

    千次阅读 2019-10-16 14:03:00
    Linkis安装教程: 软件准备: ① wedatasphere-linkis-0.9.0-dist-spark2.1.tar.gz https://pan.baidu.com/s/1fJEMJ46YKKRokm-dLyc4rQ ② jdk-8u201-linux-x64.tar.gz ...③ Python...

    遇到问题,可参看我的另一篇博客“linkis和scripts使用中遇到问题解决办法

    Linkis安装教程:

    软件准备:

    ① wedatasphere-linkis-0.9.0-dist-spark2.1.tar.gz
    https://pan.baidu.com/s/1fJEMJ46YKKRokm-dLyc4rQ
    ② jdk-8u201-linux-x64.tar.gz
    https://pan.baidu.com/s/11jfGiqcdzw9r5BtbRa5ejw
    ③ Python-3.7.0.tar.xz
    https://pan.baidu.com/s/1eTtE_bFDNyVmTENUMCMYDg
    ④ mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar(可以不要)
    https://pan.baidu.com/s/1CPovPt0Mkwl6PCDTORyL3A

    1. 准备一个centos7,设置好root密码并牢记

    2. 查看IP方便使用xshell链接:

    a) vi /etc/sysconfig/network-scripts/ifcfg-ens33
    改最后ONBOOT=yes
    b) service network restart
    c) ip addr
    d) 使用xshell连接

    3. 配置JDK,上传jdk-8u201-linux-x64.tar.gz

    解压并配置环境变量:在vi .bashrc添加:
    #java environment
    export JAVA_HOME=/usr/java/jdk1.8.0_144
    export CLASSPATH=.:JAVAHOME/jre/lib/rt.jar:{JAVA_HOME}/jre/lib/rt.jar:{JAVA_HOME}/lib/dt.jar:JAVAHOME/lib/tools.jarexportPATH={JAVA_HOME}/lib/tools.jar export PATH=PATH:${JAVA_HOME}/bin
    完成后:
    source .bashrc
    java –version检查安装效果

    4. 安装python,上传Python-3.7.0.tar.xz

    a).安装编译相关工具
    yum -y groupinstall “Development tools”
    yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
    yum install libffi-devel -y
    b).安装包解压
    cd #回到用户上传目录
    tar -xvf Python-3.7.0.tar.xz
    c).编译安装
    mkdir /usr/local/python3 #创建编译安装目录
    cd Python-3.7.0
    ./configure --prefix=/usr/local/python3
    make && make install
    d).创建软连接
    ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
    ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
    e).验证是否成功
    python3 -V
    pip3 –V
    参见:https://www.cnblogs.com/anxminise/p/9650206.html

    5. 安装MySQL:在这里我们使用docker中的MySQL免于复杂的安装和配置,也可下载上文工具中的MySQL在本地安装。

    a) 安装docker:
    sudo yum install -y yum-utils device-mapper-persistent-data lvm2
    sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    sudo yum makecache fast
    sudo yum -y install docker-ce
    sudo systemctl start docker
    b) 安装MySQL:docker
    docker pull mysql:5.6
    c) 运行docker
    docker run -p 3306:3306 --name mymysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6

    6. 上传解压wedatasphere-linkis-0.9.0-dist-spark2.1.tar.gz

    (1)修改基础配置
    vim conf/config.sh
    deployUser=root #指定部署用户
    LINKIS_INSTALL_HOME=/root/Linkis # 指定安装目录
    WORKSPACE_USER_ROOT_PATH=file:///tmp/root # 指定用户根目录,一般用于存储用户的脚本文件和日志文件等,是用户的工作空间。
    RESULT_SET_ROOT_PATH=file:///tmp/linkis # 结果集文件路径,用于存储Job的结果集文件
    (2)修改数据库配置
    vim conf/db.sh
    # 设置数据库的连接信息
    # 包括IP地址、数据库名称、用户名、端口
    # 主要用于存储用户的自定义变量、配置参数、UDF和小函数,以及提供JobHistory的底层存储
    MYSQL_HOST=your_ip
    MYSQL_PORT=3306
    MYSQL_DB=linkis
    MYSQL_USER=root
    MYSQL_PASSWORD=123456

    7. MySQL操作:

    连接进入MySQL,新建一个数据库:create database linkis;
    将刚刚解压目录下的:db/linkis_ddl.sql和db/linkis_dml.sql拿出来use linkis后先执行linkis_ddl.sql再执行linkis_dml.sql。

    8. 现在可以开始安装

    执行sh bin/install.sh
    选择1 (简单模式)
    再选择1(跳过执行MySQL输入数据的步骤,因为我们第7步已经将数据输入)
    如果提示你需要一直输入ssh@localhost的密码,那么你应当推出安装,执行以下操作:
    a) cd 回根目录下
    b) ssh-keygen -t rsa一直enter键
    c) ssh-copy-id localhost根据提示输入密码
    执行完以上三步后重新安装sh bin/install.sh
    如果还是一直提示你输入ssh@localhost的密码,那么你需要注意.ssh的子目录和.ssh的父目录的权限问题:首选.ssh目录权限是700, 两个dsa 和 rsa的 私钥权限是600,其余文件权限是644。.ssh文件夹绝对路径是/root/.ssh,所以/root目录的权限应该是755。

    9. 开启防火墙端口:

    firewall-cmd --permanent --add-port=20303/tcp
    firewall-cmd –reload

    10. 启动服务sh bin/start-all.sh

    http://your_ip:20303即可访问服务

    备注:MySQL那写那些操作(5步和7步)可以有另一种操作方式,不使用docker就直接在本机上搭建MySQL数据库,那样的话第5步和第7步就可以不用,改为在本地搭建数据库,而且也不用在数据库中单独执行linkis_ddl.sql和linkis_dml.sql,而是在安装的时候第二个选择时选择2,即可导入数据。这是因为如果MySQL数据库不在本机在执行安装过程的时候会报错,总之综合利用网路资源即可解决很多问题。

    展开全文
  • Linkis和DSS本地和远程调试文档

    千次阅读 2020-03-02 14:51:52
    Linkis和DSS的每个微服务都支持调试的,大部分服务都支持本地调试,部分服务只支持远程调试。 支持本地调试的服务 Eureka:设置的调试Main class是...

    一、前言

        Linkis和DSS的每个微服务都支持调试的,大部分服务都支持本地调试,部分服务只支持远程调试。

    1. 支持本地调试的服务
    • Eureka:设置的调试Main class是com.webank.wedatasphere.linkis.eureka.SpringCloudEurekaApplication
    • DSS-Server的主类为:com.webank.wedatasphere.dss.DSSSpringApplication
    • GateWay/publicservice/metadata/entrance/resourcemanager的Main class都是:com.webank.wedatasphere.linkis.DataWorkCloudApplication

    2.只支持调试的服务: EngineManager服务以及由EM启动的Engine服务都支持远程调试。

    二、本地调试服务步骤

        Linkis和DSS的服务都依赖Eureka,所以需要首先启动Eureka服务,Eureka服务也可以用您已经启动的Eureka。Eureka启动后就可以启动其他服务了,启动顺序建议是:GateWay/dss-server/publicservice/metadata/entrance/resourcemanager。

    2.1 Eureka服务启动

    1. 如果不想默认的20303端口可以修改端口配置:
    文件路径:Linkis\eurekaServer\src\main\resources\application-eureka.yml
    修改端口:
    server:
      port: 8080 ##启动的端口
    1. 接着在Idea中新增调试配置 可以通过点击Run或者点击下图的Add Configuration 01
    2. 然后点击新增Application并修改信息 首先设置调试的名字:比如Eureka 接着设置Main class: com.webank.wedatasphere.linkis.eureka.SpringCloudEurekaApplication 最后设置该服务的Class Path,对于Eureka的classPath模块是linkis-eureka-server 
    3. 接着可以点击Debug按钮启动Eureka服务了,并可以通过:http://localhost:8080/访问Eureka页面 2.2 其他服务
    1. 需要修改对应服务的Eureka配置,需要修改application.yml文件
    GateWay:Linkis\gateway\gateway-ujes-support\src\main\resources\application.yml
    publicservice:Linkis\publicService\conf\application.yml
    metadata:Linkis\metadata\conf\application.yml
    entrance:Linkis\ujes\definedEngines\spark\entrance\src\main\resources\application.yml 
    Entrance服务有多个需要修改对应目录下面的配置比如spark/hive/python/jdbc等
    resourcemanager:Linkis\resourceManager\resourcemanagerserver\src\main\resources\application.yml
    DSS-Server:dss-server\src\main\resources\application.yml
    

    修改对应的Eureka地址为已经启动的Eureka服务:

    
    eureka:
      client:
        serviceUrl:
          defaultZone: http://localhost:8080/eureka/
    
    1. 修改linkis和DSS相关的配置,配置文件在linkis.properties,修改对应的配置。

    2. 接着新增调试服务 Main Class都统一设置为:com.webank.wedatasphere.linkis.DataWorkCloudApplication DSS-Server的为:com.webank.wedatasphere.dss.DSSSpringApplication 服务的Class Path为对应的模块:

    GateWay:linkis-gateway-ujes-support
    publicservice:publicservice
    metadata:linkis-metadata
    entrance:linkis-对应服务名-entrance比如linkis-spark-entrance
    resourceManager:linkis-resourcemanager-server
    dss-server:dss-server
    

    并勾选provide:

    06

    1. 接着启动服务,可以看到服务在Eureka页面进行注册:

    05

    5.需要注意的两个服务:PublicService和MetaData 因为这两个服务的配置文件在conf目录,需要设置conf目录为resource,如下图 04.png 令外PublicService需要在pom里面加入public-Module模块。

    <dependency>
     <groupId>com.webank.wedatasphere.linkis</groupId>
     <artifactId>public-module</artifactId>
     <version>${linkis.version}</version>
    </dependency>
    

    三、远程调试服务步骤

        每个服务都支持远程调试,但是需要提前打开远程调试。下面用SparkEngineManager作为调试介绍:

    1. 首先修改对应服务bin目录下的start文件添加调试端口:
    java $SERVER_JAVA_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=10092 -cp
    

    添加的内容为: -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=10092 其中端口可能冲突,可以修改为可用的端口。

    1. 着在idea里面新建一个远程调试,首先选择remote,然后增加服务的host和端口,接着选择调试的模块 接着点击debug虫就可以完成远程调试了 08

     

     

    展开全文
  • 未安装用户可参照以下链接安装: 简单版:https://blog.csdn.net/weixin_43865870/article/details/102584364 ...问题1:安装linkis时,提示你需要一直输入ssh@localhost的密码 如果提示你需要一...

    未安装用户可参照以下链接安装:
    简单版:https://blog.csdn.net/weixin_43865870/article/details/102584364
    标准版:https://blog.csdn.net/weixin_43865870/article/details/103276761

    问题1:安装linkis时,提示你需要一直输入ssh@localhost的密码

    如果提示你需要一直输入ssh@localhost的密码,那么你应当推出安装,执行以下操作:
    a) cd 回根目录下
    b) ssh-keygen -t rsa一直enter键
    c) ssh-copy-id localhost根据提示输入密码
    执行完以上三步后重新安装sh bin/install.sh
    如果还是一直提示你输入ssh@localhost的密码,那么你需要注意.shh的子目录和.ssh的父目录的权限问题:首选.ssh目录权限是700, 两个dsa 和 rsa的 私钥权限是600,其余文件权限是644。.ssh文件夹绝对路径是/root/.ssh,所以/root目录的权限应该是755。

    问题2 :linkis安装时,初始化数据库数据报错(执行sql错误)

    解决办法1(推荐):将安装目录db下的sql文件单独拿出来,放在sql的安装环境下执行,执行完成之后在安装步骤中选择不覆盖元数据安装,即第二个数字选择时,选择1,即可

    问题3:启动linkis时,执行start脚本卡住,不动

    一直按回车键即可(版本缺陷,即将修复)

    问题4:如果linkis安装完成,但是打不开20303端口的网页

    关闭防火墙:
    systemctl stop firewalld
    systemctl disable firewalld
    关闭防火墙还不行的话那么请看看如何关闭seLinux
    如果还有问题通过jps查看服务是否开启
    通过netstat -lnpt 查看端口是否正常

    问题5:在使用scripts时,发现hdfs异常,无法使用

    请确保hdfs下有在linkis目录下conf/config.sh的配置文件夹,并确保当前用户有对于文件夹的权限,嫌麻烦的同学可以直接将所有目录设置为自己的用户组,将权限设置为777.但是不推荐这样

    问题6:配置好scripts后却无法访问指定端口,无法使用scripts

    查看防火墙是否关闭,对应的Nginx端口是否打开。
    同时提醒,截止写这篇博客目前为止,在scripts的GitHub安装教程中,无论是自动部署还是手动部署都存在一定问题。所以请参照我的另一篇博客“linkis标准版安装”中的scripts安装部分,并按照对应的配置文件设置,弄错一小步,全盘皆输

    问题7:ERROR Request engine failed, possibly due to insufficient resources or background process error(请求引擎失败,可能是由于资源不足或后台进程错误)!

    2019-11-01 13:58:58.058 ERROR DWCException{errCode=20010, desc=‘NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;’, ip=‘localhost’, port=10002, serviceKind=‘sparkEntrance’}

    问题描述:可以执行hive和spark,但是不能执行sql和pyspark

    解决办法:是linkis-ujes-spark-sparkentrance和 linkis-ujes-spark-enginemanager的lib中得hadoop-common-2.7.2.jar有问题,替换为hadoop-common-2.7.7.jar(在Hadoop_home/share/Hadoop/common中)就行了

    问题8:请求引擎失败

    在这里插入图片描述
    因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的。
    vi /etc/sudoers
    root ALL=(ALL) NOPASSWD: NOPASSWD: ALL

    展开全文
  • j-link ob 提示 “the connected j-link is defective” 警告,每次下载都需要点击确定关闭,另外单步调试经常死机。 二、解决方法 参考这篇帖子。 具体就是修改 IAR 安装路径下的 JLinkARM.dll 文件。路径为:D:\...
  • DataSphere Studio(DSS)是微众银行开源的...Linkis 0.9.3 1.spark任务请求资源报错,版本不兼容 微众使用的hadoop版本是2.7.2,spark使用的是2.4.3,spark内hadoop的相关的包是2.7.3版本,在安装成功后请求spar...
  • 网上买了符合国情版本的J-Link -OB以后,由于J-Link驱动软件更新以后导致下载或仿真程序是报错:The connected J-Link is defective... 最简单的解决方法是直接卸载当前J-link驱动,安装旧版本的J-Link驱动。 但是...
  • ORA-02080:database link is in use

    千次阅读 2016-01-18 16:01:59
    ORA-02080: database link is in use ...Cause: a transaction is active or a cursor is open on the database link given in the alter session close database link command. Action: commit or rollback, and c
  • iar 仿真出现警告 the connected j-link is defective ,仿真失败。 我的电脑装了两个版本的jlink驱动。 需要把其中一个版本的安装目录下的JLinkARM.dll 覆盖iar 安装目录的 JLinkARM.dll。 我的jlink目录 C:\...
  • 三方应用通过HTTP接入Linkis

    万次阅读 2020-09-17 13:48:55
    目录 一,环境说明 二、登录 login 三、执行任务 execute 四、查看任务状态 status 五、获取执行结果文件 get 六、打开结果文件 openFile 一,环境说明 环境说明:dss-0.7.0,linkis-0.9.3 二、登录 login 发送请求...
  • 最近手抖升级了IAR的朋友,在debug并下载程序时候都遇到了J-Link弹出The connected J-Link is defective这个令人头疼的问题了吧。 这个问题是由于新版的IAR识别出用户的JLink版本过低导致的,解决方法很简单,替换...
  • IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready 我发现一个原因是在配置ip时,可能配置的ip地址被占用了,换个ip地址就成功了。 ifconfig eth0 xx.xx.xx.aaa netmask 255.255.255.0;route add default gw xx....
  • IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready libphy: hisi_gemac_mii_bus: probed libphy: Fixed MDIO Bus: probed hi_gmac_v200 40e0000.ethernet: invalid resource hi_gmac_v200 40e0000.ethernet ....
  • 安装j-link较新版本(JLink_Windows_V632b.exe)的驱动,每烧录一次程序报一次警告,警告如下:“The connected J-Link is defective, Proper operation cannot be guaranteed.”参考网友的博客和使用方法,卸载新...
  • 1、防火墙的设置:网上搜索之后大多数解决方案是重新配置防火墙,但是本人防火墙打开之后列表里并无与安装unity有关选项,且手动添加后也仍提示 “Sorry, this link is no longer valid” 。 2、墙的问题:科学之后...
  • 最近在调试lan8720+imx6ull双网卡,...fec 2188000.ethernet eth1: Link is Up - 100Mbps/Full - flow control rx/tx fec 2188000.ethernet eth1:Link is down fec 2188000.ethernet eth1: Link is Up - 100Mbps/Full -
  • linux下有线网卡出现ADDRCONF(NETDEV_UP): eth0: link is not ready的解决方法
  • 在ST-LINK utility中连接芯片,提示仿真器版本过低,点击更新,报错提示:“ST LINK is not in the DFU mode plesse restart it” 操作步骤 1、拔掉stlink 2、插上stlink(需要确保stlink没有连上MCU) 3、不要搞别...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 550,597
精华内容 220,238
关键字:

linkis