精华内容
下载资源
问答
  • ip:4040无法访问时spark history server未启动或者暂时无...注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的 ip:18080无法访问时spark history server未...

     

    ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

    启动命令:

    在主节点spark_home/sbin

    ./start-history-server.sh

    注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的

    ip:18080无法访问时spark history server未启动

    spark history server可以查看所有的运行完成的spark任务的详情

    Spark History Server配置

    修改spark-env.sh

     

    spark.eventLog.enabled true

    spark.eventLog.dir hdfs://master:9000/spark-logs

    spark.eventLog.compress true

     

    2、在HDFS中建立存放目录。

    hdfs dfs -mkdir /spark-logs

    之后的历史记录都会被存放到这里。

    3、配置spark-env.sh文件。

    在之前的配置项后面

    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

    属性说明

    (1) spark.history.ui.port

    WebUI的端口号。默认为18080,也可以自行设置。

    (2) spark.history.retainedApplications

    设置缓存Cache中保存的应用程序历史记录的个数,默认50,如果超过这个值,旧的将被删除。

    注:缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取,速度稍有差别。

    (3) spark.history.fs.logDirectory

    存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

    启动

     

    [root@master sbin]# ./start-history-server.sh 

    如果提示文件目录无效,可以直接使用下面的命令指定目录:

    [root@master sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

    启动后的效果如下(此时尚未运行程序,没有记录显示出来):

    master:可以改为对应的机器ip

    显示效果

    如果无任务运行4040端口无法访问。

    展开全文
  • 我要使用4040端口,但是被其他的程序占用了 1. 查找占用的程序 netstat -apn | grep 4040 最后一项显示的是pid和对应的名称 2. 杀掉对应的进程,彻底杀死进程 kill -9 26105 以上这篇Linux查找占用的端口,并杀死...
  • 我要使用4040端口,但是被其他的程序占用了1. 查找占用的程序[html] view plain copynetstat -apn | grep 4040 最后一项显示的是pid和对应的名称2. 杀掉对应的进程,彻底杀死进程[html] view plain copykill...

    我要使用4040端口,但是被其他的程序占用了

    1. 查找占用的程序

    [html]  view plain  copy
    1. netstat -apn | grep 4040  



    最后一项显示的是pid和对应的名称

    2. 杀掉对应的进程,彻底杀死进程

    [html]  view plain  copy
    1. kill -9 26105  

    展开全文
  • 例如:查看占用4040端口的进程 ss -lptn 'sport = :4040' 转载于:https://www.cnblogs.com/gunduzi/p/10761488.html

    例如:查看占用4040端口的进程

    ss -lptn 'sport = :4040'

    转载于:https://www.cnblogs.com/gunduzi/p/10761488.html

    展开全文
  • 我要使用4040端口,但是被其他的程序占用了1. 查找占用的程序[html] view plain copy netstat -apn | grep 4040 最后一项显示的是pid和对应的名称2. 杀掉对应的进程,彻底杀死进程[html] view plain copy...
    我要使用4040端口,但是被其他的程序占用了

    1. 查找占用的程序

    [html]  view plain  copy
      在CODE上查看代码片 派生到我的代码片
    1. netstat -apn | grep 4040  



    最后一项显示的是pid和对应的名称

    2. 杀掉对应的进程,彻底杀死进程

    [html]  view plain  copy
      在CODE上查看代码片 派生到我的代码片
    1. kill -9 26105  




    netstat -tunlp 会显示所有端口和所有对应的程序,用grep管道可以过滤出想要的关键字段.
    列一下22端口占用的程序
    
    [root@leiwan tmp]# netstat -tunlp |grep 22
    tcp        0      0 0.0.0.0:42957               0.0.0.0:*                   LISTEN      2230/rpc.statd      
    tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      2443/sshd           
    tcp        0      0 127.0.0.1:631               0.0.0.0:*                   LISTEN      2292/cupsd          
    tcp        0      0 :::22                       :::*                        LISTEN      2443/sshd           
    tcp        0      0 ::1:631                     :::*                        LISTEN      2292/cupsd          
    tcp        0      0 :::57609                    :::*                        LISTEN      2230/rpc.statd      
    udp        0      0 0.0.0.0:5353                0.0.0.0:*                               2211/avahi-daemon   
    udp        0      0 0.0.0.0:631                 0.0.0.0:*                               2292/cupsd          
    udp        0      0 0.0.0.0:37167               0.0.0.0:*                               2230/rpc.statd      
    udp        0      0 0.0.0.0:52291               0.0.0.0:*                               2211/avahi-daemon   
    udp        0      0 0.0.0.0:68                  0.0.0.0:*                               2207/dhclient       
    udp        0      0 0.0.0.0:710                 0.0.0.0:*                               2230/rpc.statd      
    udp        0      0 :::39834                    :::*                                    2230/rpc.statd


    查看某一端口的占用情况: lsof -i:端口号

    1[root@www ~]# lsof -i:21
    3COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
    4pure-ftpd 2651 root 4u IPv4 7047 TCP *:ftp (LISTEN)
    5pure-ftpd 2651 root 5u IPv6 7048 TCP *:ftp (LISTEN)

    这里显示出21号端口正在被pure-ftpd使用,状态是listen。



    netstat -anp 显示系统端口使用情况
    展开全文
  • 一般默认为4040端口 如下代码更改hexo-server运行时的端口号: 可以在站点下的文件_config.yml内加上 server: port: 4040 compress: true header: true 这两个是确认你的github用户名,或者凭借这个更改你的用户名 ...
  • 49:20 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: 地址已在使用java.net.BindException: 地址已在使用很明显是4040端口被占用。输入命令 netsta...
  • Linux查找占用的端口,并杀死进程

    万次阅读 2015-04-26 22:00:54
    我要使用4040端口,但是被其他的程序占用了 1. 查找占用的程序 netstat -apn | grep 4040 最后一项显示的是pid和对应的名称 2. 杀掉对应的进程,彻底杀死进程 kill -9 26105
  • linux如何开放端口和关闭端口

    万次阅读 2018-09-29 10:41:03
    一、查看哪些端口被打开 netstat -anp 二、打开8080端口号:iptables -A INPUT -p tcp --dport 8080-j ACCEPT 三、关闭8080端口号: iptables -A OUTPUT -p tcp --dport 8080-j DROP linux打开端口命令每一个打开...
  • 大数据常用端口

    2019-11-14 09:07:27
    大数据常用端口号 50070:HDFSwebUI的端口号 8088:yarn的webUI的端口号 8080:master的webUI,Tomcat的端口号 7077:spark基于standalone的提交任务的端口号 ...4040:application的webUI的端口号 2181:zookee...
  • 大数据常用端口

    2020-01-14 15:33:16
    常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:...
  • 大数据端口总结

    2019-09-05 01:07:02
    常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 Zookeeper: 2181 : ...
  • 默认端口汇总

    2019-04-24 22:18:08
    50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:jobhistory WEB UI端口 ...
  • spark默认端口

    千次阅读 2019-04-23 16:11:03
    8080:master的webUI,sparkwebUI的端口 7077:提交任务的端口 8081:worker的webUI的端口 18080:historyServer的webUI的端口 4040:application的webUI的端口
  • HTTP常见端口

    千次阅读 2019-08-23 10:09:34
    常见端口地点 HTTP服务器,默认的端口号为80/tcp(木马Executor开放此端口); HTTPS(securely transferring web pages)服务器,默认的端口号为443/tcp 443/udp; Telnet(不安全的文本传送),默认端口号为23/tcp...
  • 8020:前端页面的端口吗? 18080:历史服务器的端口 8088:yarn的端口 8080:spark集群的master...4040:option的端口 6379:redis的端口 8081:spark worker的webui端口 8080:sparkmaster 7077:sparkmas...
  • 大数据平台常用组件端口

    千次阅读 2018-06-17 17:02:05
    常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:job...
  • CDH常用端口汇总

    千次阅读 2020-07-23 15:04:45
    参考文章:CDH常用端口汇总 Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 10020...
  • 大数据端口

    2021-06-14 12:16:52
    hadoop默认端口号 hadoop2.x hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020 访问2NN 50090 9868 1 2 3 4 5 6 7 zookeeper...
  • 常用端口总结

    万次阅读 2017-06-11 21:19:26
    TCP和UDP采用16bit的端口浩来识别应用程序。那么常用的知名端口号有哪些呢?
  • Spark部分端口汇总

    2021-06-07 17:19:00
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc 8088:yarn的webUI的端口号 ...4040:application的webUI的端口号 2181:zookeeper的rpc.
  • Spark常用端口

    2021-03-17 10:21:52
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc 8088:yarn的webUI的端口号 ...4040:application的webUI的端口号 2181:zook

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,772
精华内容 1,508
关键字:

4040端口