精华内容
下载资源
问答
  • ip:4040无法访问时spark history server未启动或者暂时无...注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的 ip:18080无法访问时spark history server未...

     

    ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

    启动命令:

    在主节点spark_home/sbin

    ./start-history-server.sh

    注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的

    ip:18080无法访问时spark history server未启动

    spark history server可以查看所有的运行完成的spark任务的详情

    Spark History Server配置

    修改spark-env.sh

     

    spark.eventLog.enabled true

    spark.eventLog.dir hdfs://master:9000/spark-logs

    spark.eventLog.compress true

     

    2、在HDFS中建立存放目录。

    hdfs dfs -mkdir /spark-logs

    之后的历史记录都会被存放到这里。

    3、配置spark-env.sh文件。

    在之前的配置项后面

    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

    属性说明

    (1) spark.history.ui.port

    WebUI的端口号。默认为18080,也可以自行设置。

    (2) spark.history.retainedApplications

    设置缓存Cache中保存的应用程序历史记录的个数,默认50,如果超过这个值,旧的将被删除。

    注:缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取,速度稍有差别。

    (3) spark.history.fs.logDirectory

    存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

    启动

     

    [root@master sbin]# ./start-history-server.sh 

    如果提示文件目录无效,可以直接使用下面的命令指定目录:

    [root@master sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

    启动后的效果如下(此时尚未运行程序,没有记录显示出来):

    master:可以改为对应的机器ip

    显示效果

    如果无任务运行4040端口无法访问。

    展开全文
  • spark重要端口

    2021-09-13 23:30:15
    对于搞大数据开发的人来说,一些常用的端口号还是必须要记住的,这里列举几个常用的端口号(不限于spark). 50070: HDFS webUI的端口。 18080:spark HistoryServer的webUI的端口。 8080:spark master的webUI...

    对于搞大数据开发的人来说,一些常用的端口号还是必须要记住的,这里列举几个常用的端口号(不限于spark).

    • 50070: HDFS webUI的端口。
    • 18080:spark HistoryServer的webUI的端口。
    • 8080:spark master的webUI端口,同时也是Tomcat的端口。
    • 8081: Flink master的webUI端口,同时也是spark worker的webUI端口。
    • 2181:zookeeper的rpc(Remote Procedure Call)端口。
    • 8088:yarn的webUI的端口。
    • 9092:kafka broker的端口。
    • 9083:Hive metastore的端口。
    • 4040:application的webUI的端口(即Spark查看当前Spark-shell运行任务情况端口)
    展开全文
  • Spark常用端口

    2021-03-17 10:21:52
    50070:HDFSwebUI的端口号 ...7077:spark基于standalone的提交任务的端口号 8081:worker的webUI的端口号 18080:historyServer的webUI的端口4040:application的webUI的端口号 2181:zook

    50070:HDFSwebUI的端口号

    8485:journalnode默认的端口号

    9000:非高可用访问数rpc端口

    8020:高可用访问数据rpc

    8088:yarn的webUI的端口号

    8080:master的webUI,Tomcat的端口号

    7077:spark基于standalone的提交任务的端口号

    8081:worker的webUI的端口号

    18080:historyServer的webUI的端口号

    4040:application的webUI的端口号

    2181:zookeeper的rpc端口号

    9083:hive的metastore的端口号

    60010:Hbase的webUI的端口号

    6379:Redis的端口号

    8080:sparkwebUI的端口号

    9092:kafka broker的端口
     

    展开全文
  • spark常见端口

    千次阅读 2020-09-18 20:14:08
    1)Spark历史服务器端口号:18080 (类比于Hadoop历史服务器端口号:19888) 2)Spark Master Web端口号:...4)Spark查看当前Spark-shell运行任务情况端口号:4040 5)Hadoop YARN任务运行情况查看端口号:8088 ...

    1)Spark历史服务器端口号:18080 (类比于Hadoop历史服务器端口号:19888)

    2)Spark Master Web端口号:8080(类比于Hadoop的NameNode Web端口号:9870(50070))

    3)Spark Master内部通信服务端口号:7077 (类比于Hadoop(高版本)的8020(9000)端口)

    4)Spark查看当前Spark-shell运行任务情况端口号:4040

    5)Hadoop YARN任务运行情况查看端口号:8088

    展开全文
  • spark submit 提交集群任务后,spark Web UI界面不显示SaveInfoMain,但是有4040界面,且查看界面Environment显示local模式。这是为什么啊?这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理...
  • spark默认端口

    千次阅读 2019-04-23 16:11:03
    8080:master的webUI,sparkwebUI的端口 7077:提交任务的端口 8081:worker的webUI的端口 18080:historyServer的webUI的端口 4040:application的webUI的端口
  • spark启动端口

    2021-03-08 19:54:38
    位置:spark的conf目录下sbin的start-master.sh中 vim start-master.sh可编辑 默认: master的端口是 7077 WEBUI的端口是 8080
  • Hadoop和Spark常用端口号  大数据中Hadoop和Spark的重要性不必多言,常用端口号必须得记得死死的。 Hadoop2.x: 访问HDFS端口      50070 访问MR执行情况端口   8088 访问历史服务器     19888 客户端...
  • 在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的端口,因此在集群之间不建议启用防火墙。在前面Fayson介绍了《如何指定Spark2作业中...
  • 1.提前了解 首先确保是不是启动成功,而且防火墙是否关闭,是否ping得通。 2.问题解决思路 spark-ui的默认端口4040。但是有时端口因为被占用,所以不一定是4040,需要启动日志的spark-ui的端口。 ...
  • Spark错误关闭会导致端口占用 第一步查看占用端口 net stat -aon\findstr 4040 第二步找到对应的pid 在最后一列 第三步关闭pid tasklist|findstr pid 注:这里记得替换掉你的pid
  • 修改HBase或者Spark默认的8080端口

    千次阅读 2018-11-21 15:10:45
    因此我们希望可以修改hbase或者spark的默认web ui访问的8080端口。 修改HBase Web UI默认的8080端口 修改HBASE_HOME下的conf目录之下的hbase-site.xml文件 添加hbase.rest.port属性标签,然后重启...
  • spark端口作用配置及修改

    千次阅读 2019-12-18 15:42:24
    spark端口作用配置及修改 Master节点的web端口是8080 仅在 standalone模式使 配置方式在spark-env.sh加一行 export SPARK_MASTER_WEBUI_PORT=8080 work节点的web端口是8081 配置方式在spark-env.sh加一行 export ...
  • sparkmaster端口更改问题

    千次阅读 2017-12-06 09:25:07
    spark master web ui 默认端口为8080,当系统有其它程序也在使用该接口时,启动master时也不会报错,spark自己会改用其它端口,自动端口号加1,但为了可以控制到指定的端口,我们可以自行设置,修改方法: ...
  • Spark部分端口汇总

    2021-06-07 17:19:00
    50070:HDFSwebUI的端口号 ...7077:spark基于standalone的提交任务的端口号 8081:worker的webUI的端口号 18080:historyServer的webUI的端口4040:application的webUI的端口号 2181:zookeeper的rpc.
  • 注意在spark管理界面查看application具体运行情况时,它会默认用master内网ip的4040端口访问,你需要改为master的公网ip加4040进行访问。   4)深渊巨坑 在配置hive-site.xml时,配置jdbc时主机名注意不要...
  • 【error】SparkUI端口被占用

    千次阅读 2019-07-02 14:35:00
    ERROR ui.SparkUI: Failed to bind Spark...java.net.BindException: Address already in use: bind: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropri...
  • Adafruit-BNO055-SparkCore端口 Bda055传感器的Adafruit库的SparkCore端口 确保将引脚正确连接到内核。 IMU的SCL到Core的D1 IMU的SDA到Cores的D0 修修补补! :)
  • Spark常用命令及端口

    2020-10-14 17:32:42
    Spark 启动Spark sbin/start-all.sh 停止Spark sbin/stop-all.sh 单独启动: sbin/start-master.sh sbin/start-slaves.sh 所有slave sbin/start-slave.sh 单台slave 启动spark-shell /opt/module/spark/bin/spark-...
  • spark进程、端口

    2020-08-31 17:22:46
    spark的组件挂掉的影响及解决方案
  • spark端口

    2019-04-17 16:23:00
    为什么80%的码农都做不了架构师?>>> ...8080:spark集群web ui端口4040:sparkjob监控端口,18080:jobhistory端口 转载于:https://my.oschina.net/134596/blog/3038232
  • 报错原因 Spark端口号和其他应用发生冲突 解决方案 vi /export/servers/spark/sbin/start-master.sh 修改端口号 分发集群,重启
  • 7/05/05 15:51:07 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@3c8bdd5b: java.net.BindException: Address already in use java.net.BindException: Address already in use ...
  • Spark 的 Driver 和 Executor 之间通讯端口是随机的,Spark 会随选择 1024~65535(含) 之间的端口,因此在集群节点之间需要关闭防火墙。 1.配置端口范围 spark.driver.port=10000 spark.blockManager.port=20000 ...
  • Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态,启动Web程序就需要监听一个端口,默认为4040,这个好像是端口被占用了,spark就会依次重试16,将端口号依次加1,如果重试16次之后...
  • Spark几个重要的端口汇总

    千次阅读 2019-03-20 21:59:34
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据...7077:spark基于standalone的提交任务的端口号 8081:worker的webUI的端口号 18080:historyServer的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,224
精华内容 8,889
关键字:

spark4040端口