精华内容
下载资源
问答
  • SSH端口转发

    2021-09-26 10:59:21
    现在我在服务器B上开启Spark的HistoryServer进程(端口号为18080),现在需要对18080端口进行转发。 具体的命令如下,在跳板机A上执行如下脚本,来转发18080端口号。 ssh -CfNg -L 收听端口:目标主机:目标端口 ...

    当我们进行大数据开发时候,有些时候需要查看特定端口号对应的UI界面,但往往好多时候,我们的主机是没有办法直接连接上服务器的(往往需要借助一层或者多层跳板机)。

    假设此时有这样的一个场景,我的主机通过跳板机A连接到服务器B上。现在我在服务器B上开启Spark的HistoryServer进程(端口号为18080),现在需要对18080端口进行转发。

    具体的命令如下,在跳板机A上执行如下脚本,来转发18080端口号。

    ssh -CfNg -L 收听端口:目标主机:目标端口 username@hostname
    #具体命令如下所示
    ssh -CfNg -L 18080:B的ip地址:18080 userA@A的ip地址

    此时在服务器B上开启Spark的History Server服务,并在我们的本地机器浏览器内输入

    A的ip:18080

    即可成功访问服务器B上的Spark History Server。

    ——————————————————————————————————————————

    下面解释一下ssh各个参数的原理:

    -C:请求压缩所有数据

    -f:后台执行ssh指令

    -N:不执行远程指令

    -g:允许远程主机连接主机的转发端口

    本地转发

    -L意思本地转发,本地转发(local forwarding)指的是,SSH 服务器作为中介的跳板机,建立本地计算机与特定目标网站之间的加密连接。本地转发是在本地计算机的 SSH 客户端建立的转发规则。

    它会指定一个本地端口(local-port),所有发向那个端口的请求,都会转发到 SSH 跳板机(tunnel-host),然后 SSH 跳板机作为中介,将收到的请求发到目标服务器(target-host)的目标端口(target-port)。

    ssh -L local-port:target-host:target-port tunnel-host

    上面命令中,-L参数表示本地转发,local-port是本地端口,target-host是你想要访问的目标服务器,target-port是目标服务器的端口,tunnel-host是 SSH 跳板机。

    举例来说,现在有一台 SSH 跳板机tunnel-host,我们想要通过这台机器,在本地2121端口与目标网站www.example.com的80端口之间建立 SSH 隧道,就可以写成下面这样。这个命令最好加上-N参数,表示不在 SSH 跳板机执行远程命令,让 SSH 只充当隧道。另外还有一个-f参数表示 SSH 连接在后台运行。

    ssh -L 2121:www.example.com:80 tunnel-host -N

    然后,访问本机的2121端口,就等价于访问www.example.com的80端口。

    curl http://localhost:2121

    注意,本地端口转发采用 HTTP 协议,不用转成 SOCKS5 协议。

    远程转发

    PS:下面介绍一下远程端口转发。

    远程转发指的是在远程 SSH 服务器建立的转发规则。

    它跟本地转发正好反过来。建立本地计算机到远程计算机的 SSH 隧道以后,本地转发是通过本地计算机访问远程计算机,而远程转发则是通过远程计算机访问本地计算机。它的命令格式如下。

    ssh -R remote-port:target-host:target-port -N remotehost

    上面命令中,-R参数表示远程端口转发,remote-port是远程计算机的端口,target-hosttarget-port是目标服务器及其端口,remotehost是远程计算机。

    远程转发主要针对内网的情况。下面举个例子。

    第一个例子是内网某台服务器localhost在 80 端口开了一个服务,可以通过远程转发将这个 80 端口,映射到具有公网 IP 地址的my.public.server服务器的 8080 端口,使得访问my.public.server:8080这个地址,就可以访问到那台内网服务器的 80 端口。

    ssh -R 8080:localhost:80 -N my.public.server

    上面命令是在内网localhost服务器上执行,建立从localhostmy.public.server的 SSH 隧道。运行以后,用户访问my.public.server:8080,就会自动映射到localhost:80

    展开全文
  • 踩坑记之6666端口

    2020-03-15 22:55:47
    测试环境搭建应用,不料踩了6666端口的坑,特此记录一下。...更换18080端口后浏览器可以访问 解疑: 在网上查找关于ERR_UNSAFE_PORT的资料chrome默认非安全端口列表,找到了答案 解决方式: 1.使用其他...

    测试环境搭建应用,不料踩了6666端口的坑,特此记录一下。

    现象:

    1.使用6666端口,程序启动日志正常,通过chrome访问报ERR_UNSAFE_PORT,但是使用httpclient及jmeter等测试可以正常访问

    更换18080端口后浏览器可以访问

    解疑:

    在网上查找关于ERR_UNSAFE_PORT的资料chrome默认非安全端口列表,找到了答案

    解决方式:

    1.使用其他浏览器(已知IE可以访问)

    2.选中Google Chrome 快捷方式,右键属性,在”目标”对应文本框添加(多个使用逗号分割)

    --explicitly-allowed-ports=6666

    提醒大家 端口千千万,使用需谨慎

    附:linux端口分配

     

    展开全文
  • ip:4040无法访问时spark history server未启动或者暂时无...注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的 ip:18080无法访问时spark history server未...

     

    ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

    启动命令:

    在主节点spark_home/sbin

    ./start-history-server.sh

    注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务运行,4040端口是无法访问的

    ip:18080无法访问时spark history server未启动

    spark history server可以查看所有的运行完成的spark任务的详情

    Spark History Server配置

    修改spark-env.sh

     

    spark.eventLog.enabled true

    spark.eventLog.dir hdfs://master:9000/spark-logs

    spark.eventLog.compress true

     

    2、在HDFS中建立存放目录。

    hdfs dfs -mkdir /spark-logs

    之后的历史记录都会被存放到这里。

    3、配置spark-env.sh文件。

    在之前的配置项后面

    export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

    属性说明

    (1) spark.history.ui.port

    WebUI的端口号。默认为18080,也可以自行设置。

    (2) spark.history.retainedApplications

    设置缓存Cache中保存的应用程序历史记录的个数,默认50,如果超过这个值,旧的将被删除。

    注:缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取,速度稍有差别。

    (3) spark.history.fs.logDirectory

    存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

    启动

     

    [root@master sbin]# ./start-history-server.sh 

    如果提示文件目录无效,可以直接使用下面的命令指定目录:

    [root@master sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

    启动后的效果如下(此时尚未运行程序,没有记录显示出来):

    master:可以改为对应的机器ip

    显示效果

    如果无任务运行4040端口无法访问。

    展开全文
  • 防火墙放开了18080端口,但是 公安政务外网访问不了(ip 可能变化,但是没有做ip限制),把防火墙关了就可以访问, ,有没有人遇到过,其他 外网可以访问
  • windows上使用telnet测试端口号通不通

    千次阅读 2021-01-22 16:06:22
    windows上有自带的telnet工具的,可以直接用,如果你无法使用只是没有启用而已。 telnet启用过程: 打开控制面板,选择程序与功能 ... 勾选上Telnet Client后,点...例如我想测试下本地的18080端口通不通 就使用命令 te

    windows上有自带的telnet工具的,可以直接用,如果你无法使用只是没有启用而已。

    telnet启用过程:
    打开控制面板,选择程序与功能
    在这里插入图片描述
    点击启用或关闭Windows功能
    在这里插入图片描述
    勾选上Telnet Client后,点确定
    在这里插入图片描述
    打开windows dos命令行,输入telnet,如果弹出如下界面中所示信息,说明telnet启用成功了。
    在这里插入图片描述

    使用telnet测试端口号通不通:
    用法: telnet < ip > < port >
    例如我想测试下本地的18080端口通不通
    就使用命令 telnet 127.0.0.1 18080
    在这里插入图片描述
    如果出现这样一个黑屏说明端口是通的
    在这里插入图片描述

    展开全文
  • 扫描端口工具

    2018-08-22 14:55:32
    可以扫描某个ip段,开放了那些端口,例如:80;443;18080端口
  • 比如我要杀死18080端口号对应的进程,首先我得获取到该进程的id,键入命令:lsof -i:18080输出示例:java 7348 root 38u IPv6 117881 0t0 TCP *:18080 (LISTEN)然后想怎么杀就怎么杀了kill -9 7348by Mike Sun @ ...
  • 大数据常用端口

    2019-11-14 09:07:27
    大数据常用端口号 50070:HDFSwebUI的端口号 8088:yarn的webUI的端口号 8080:master的webUI,Tomcat的端口号 ...18080:historyServer的webUI的端口号 4040:application的webUI的端口号 2181:zookee...
  • spark默认端口

    千次阅读 2019-04-23 16:11:03
    8080:master的webUI,sparkwebUI的端口 7077:提交任务的端口 8081:worker的webUI的端口 18080:historyServer的webUI的端口 4040:application的webUI的端口
  • 大数据常用端口

    2020-01-14 15:33:16
    常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:...
  • 大数据端口总结

    2019-09-05 01:07:02
    常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 Zookeeper: 2181 : ...
  • 默认端口汇总

    2019-04-24 22:18:08
    50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:jobhistory WEB UI端口 ...
  • 18080:历史服务器的端口 8088:yarn的端口 8080:spark集群的master端口 7077:spark提交的时候的端口号spark-application的端口号 4040:option的端口 6379:redis的端口 8081:spark worker的webui端口 ...
  • HTTP常见端口

    千次阅读 2019-08-23 10:09:34
    常见端口地点 HTTP服务器,默认的端口号为80/tcp(木马Executor开放此端口); HTTPS(securely transferring web pages)服务器,默认的端口号为443/tcp 443/udp; Telnet(不安全的文本传送),默认端口号为23/tcp...
  • 大数据平台常用组件端口

    千次阅读 2018-06-17 17:02:05
    常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:job...
  • CDH常用端口汇总

    千次阅读 2020-07-23 15:04:45
    参考文章:CDH常用端口汇总 Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 10020...
  • Metasploit 中的端口转发与端口映射Metasploit portfwd 原理2 实验环境2.1 建立 meterpreter 反向连接2.2 portfwd 端口转发2.3 portfwd 端口映射 Metasploit portfwd 原理 portfwd 是借用 meterpreter s.
  • Spark部分端口汇总

    2021-06-07 17:19:00
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc ...18080:historyServer的webUI的端口号 4040:application的webUI的端口号 2181:zookeeper的rpc.
  • Spark常用端口

    2021-03-17 10:21:52
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc ...18080:historyServer的webUI的端口号 4040:application的webUI的端口号 2181:zook
  • spark重要端口

    2021-09-13 23:30:15
    18080:spark HistoryServer的webUI的端口。 8080:spark master的webUI端口,同时也是Tomcat的端口。 8081: Flink master的webUI端口,同时也是spark worker的webUI端口。 2181:zookeeper的rpc(Remote ...
  • hadoop spark端口整理

    2021-01-18 17:33:06
    50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc ...18080:historyServer的webUI的端口号 4040:application的webUI的端口号 2181:zook
  • 大数据端口

    2021-06-14 12:16:52
    hadoop默认端口号 hadoop2.x hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020 访问2NN 50090 9868 1 2 3 4 5 6 7 zookeeper...
  • 常用端口标注

    2019-04-01 15:08:30
    RPC:远程过程调用,是一种允许分布式应用程序调用网络上不同计算机的...(1)公认端口(Well Known Ports):从0到1023,它们紧密绑定(binding)于一些服务。通常这些端口的通讯明确表明了某种服务的协议。例如:...
  • 大数据中常见端口

    千次阅读 2018-08-14 21:03:47
    常见端口汇总: Hadoop:  50070:HDFS WEB UI端口  8020 : 高可用的HDFS RPC端口  9000 : 非高可用的HDFS RPC端口  8088 : Yarn 的WEB UI 接口  8485 : JournalNode 的RPC端口  8019 : ZKFC端口...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,362
精华内容 1,344
关键字:

18080端口