精华内容
下载资源
问答
  • IB网络的配置与IB网络测试调研

    千次阅读 2018-02-27 16:55:57
    一 配置IB网络1.1.将MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64.tgz上传到制定目录下解压tar -zxvf MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64.tgz 1.2.进入MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64执行./...

    一 配置IB网络

    1.1.将MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64.tgz上传到制定目录下解压

    tar -zxvf MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64.tgz
    

    1.2.进入MLNX_OFED_LINUX-4.1-1.0.2.0-rhel7.2-x86_64执行

    ./mlnxofedinstall
    

    1.3.在此操作中会有报错,根据错误信息安装依赖

    yum install -y tcl
    yum install -y gcc-gfortran
    yum install -y tk
    

    1.4.再次执行./mlnxofedinstall经过等待驱动安装成功

    1.5.在/etc/sysconfig/network-scripts/ifcfg-ib0配置:ifcfg-ib0

    TYPE="Infiniband"
    DEVICE="ib0"
    ONBOOT="yes"
    IPADDR="10.10.10.1"
    NETMASK="255.255.255.0"
    

    1.6.重启机器

    1.7.执行/etc/init.d/openibd restart

    二 测试IB网络

    2.1 网卡信息查看

    ibnodes命令,会发现端口连接的信息

    [root@test01 ~]# ibnodes
    Ca  : 0x0002c903000ae254 ports 2 "up75 HCA-1"
    Ca  : 0x0002c903000ec606 ports 2 "m04 HCA-1"
    

    2.1.1 ifconfig会发现ib端口

    ib0       Link encap:UNSPEC  HWaddr A0-00-02-20-FE-80-00-00-00-00-00-00-00-00-00-00  
              UP BROADCAST MULTICAST  MTU:4092  Metric:1
              RX packets:0 errors:0 dropped:0 overruns:0 frame:0
              TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:256 
              RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
    
    ib1       Link encap:UNSPEC  HWaddr A0-00-03-00-FE-80-00-00-00-00-00-00-00-00-00-00  
              inet addr:10.10.10.1  Bcast:10.10.10.255  Mask:255.255.255.0
              inet6 addr: fe80::202:c903:e:c608/64 Scope:Link
              UP BROADCAST RUNNING MULTICAST  MTU:2044  Metric:1
              RX packets:54575 errors:0 dropped:0 overruns:0 frame:0
              TX packets:67623 errors:0 dropped:0 overruns:0 carrier:0
              collisions:0 txqueuelen:256 
              RX bytes:3174514 (3.1 MB)  TX bytes:891903946 (891.9 MB)
    

    2.1.2 ibstatus可以查看网卡状态

    [root@test01 ~]# ibstatus
    Infiniband device 'mlx4_0' port 1 status:
        default gid:     fe80:0000:0000:0000:0002:c903:000e:c607
        base lid:    0x0
        sm lid:      0x0
        state:       1: DOWN
        phys state:  2: Polling
        rate:        10 Gb/sec (4X)
        link_layer:  InfiniBand
    
    Infiniband device 'mlx4_0' port 2 status:
        default gid:     fe80:0000:0000:0000:0002:c903:000e:c608
        base lid:    0x1
        sm lid:      0x1
        state:       4: ACTIVE
        phys state:  5: LinkUp
        rate:        40 Gb/sec (4X QDR)
        link_layer:  InfiniBand
    

    2.2 2台机器无需交换机连通使用opensm(需root权限)

    [root@test01 ~]# opensm
    -------------------------------------------------
    OpenSM 4.7.0.MLNX20160523.25f7c7a
    Command Line Arguments:
     Log File: /var/log/opensm.log
    -------------------------------------------------
    OpenSM 4.7.0.MLNX20160523.25f7c7a
    
    Using default GUID 0x2c903000ec608
    Entering DISCOVERING state
    
    Entering MASTER state
    

    2.2.1 此时可以互ping:

    [root@test01 ~]# ping 10.10.10.2
    PING 10.10.10.2 (10.10.0.2) 56(84) bytes of data.
    64 bytes from 10.10.10.2: icmp_seq=1 ttl=64 time=0.294 ms
    64 bytes from 10.10.10.2: icmp_seq=2 ttl=64 time=0.155 ms
    64 bytes from 10.10.10.2: icmp_seq=3 ttl=64 time=0.151 ms
    64 bytes from 10.10.10.2: icmp_seq=4 ttl=64 time=0.155 ms
    ^C
    --- 10.0.0.2 ping statistics ---
    4 packets transmitted, 4 received, 0% packet loss, time 3000ms
    rtt min/avg/max/mdev = 0.151/0.188/0.294/0.063 ms
    

    2.3 速度测试

    2.3.1 一台机器开启opensm(需root权限),使用ib_send_bw

    2.3.2 把一台机器作为server:

    [root@test01 ~]# ib_send_bw -a -c UD -d mlx_0 -i 2
    
    ************************************
    * Waiting for client to connect... *
    ************************************
    

    2.3.3把另外一台机器作为client:

    [root@test02 ~]# ib_send_bw -a -c UD -d mlx4_0 -i 2 10.10.10.1
     Max msg size in UD is MTU 4096
     Changing to this MTU
    ---------------------------------------------------------------------------------------
                        Send BW Test
     Dual-port       : OFF      Device         : mlx4_0
     Number of qps   : 1        Transport type : IB
     Connection type : UD       Using SRQ      : OFF
     TX depth        : 128
     CQ Moderation   : 100
     Mtu             : 4096[B]
     Link type       : IB
     Max inline data : 0[B]
     rdma_cm QPs     : OFF
     Data ex. method : Ethernet
    ---------------------------------------------------------------------------------------
     local address: LID 0x02 QPN 0x0238 PSN 0xf162c2
     remote address: LID 0x01 QPN 0x021a PSN 0xbc213c
    ---------------------------------------------------------------------------------------
     #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
     2          1000             5.72               5.20           2.727911
     4          1000             11.49              11.34          2.972020
     8          1000             22.99              22.61          2.963387
     16         1000             45.98              45.31          2.969666
     32         1000             91.70              90.55          2.967229
     64         1000             183.14             180.77         2.961664
     128        1000             366.79             361.35         2.960143
     256        1000             727.44             718.16         2.941597
     512        1000             1088.50            1044.70        2.139549
     1024       1000             1264.96            1263.29        1.293610
     2048       1000             1407.22            1406.43        0.720094
     4096       1000             1492.93            1492.75        0.382143
    

    2.4 延迟测试

    2.4.1 一台机器开启opensm(需root权限),使用ib_send_lat

    2.4.2 把一台机器作为server:

    [root@test01 ~]# ib_send_lat -a -c UD -d mlx4_0 -i 2
    
    ************************************
    * Waiting for client to connect... *
    ************************************
    

    2.4.3 把另外一台机器作为client:

    [root@test02 ~]# ib_send_lat -a -c UD -d mlx4_0 -i 2 10.10.10.1
     Max msg size in UD is MTU 4096
     Changing to this MTU
    ---------------------------------------------------------------------------------------
                        Send Latency Test
     Dual-port       : OFF      Device         : mlx4_0
     Number of qps   : 1        Transport type : IB
     Connection type : UD       Using SRQ      : OFF
     TX depth        : 1
     Mtu             : 4096[B]
     Link type       : IB
     Max inline data : 188[B]
     rdma_cm QPs     : OFF
     Data ex. method : Ethernet
    ---------------------------------------------------------------------------------------
     local address: LID 0x02 QPN 0x0239 PSN 0x29d370
     remote address: LID 0x01 QPN 0x021b PSN 0xbc98c4
    ---------------------------------------------------------------------------------------
     #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]
     2       1000          1.25           14.72        1.34   
     4       1000          1.24           88.94        1.27   
     8       1000          1.20           77.49        1.22   
     16      1000          1.21           66.69        1.23   
     32      1000          1.23           61.58        1.25   
     64      1000          1.27           12.92        1.30   
     128     1000          1.42           6.98         1.44   
     256     1000          1.94           173.62       1.97   
     512     1000          2.22           41.65        2.25   
     1024    1000          2.79           37.47        2.81   
     2048    1000          3.91           18.85        3.94   
     4096    1000          6.16           38.06        6.20   
    

    ---------------------------------------------------------------------------------------更多精彩原创文章,详见红象云腾社区

    展开全文
  • IB网络测速

    2021-07-14 11:21:18
    Infiniband带宽和延迟的测试 Infiniband 网络性能测试
    iblinkinfo
    ibstatus
    ib_write_lat
    ib_write_bw
    ib_read_lat
    ib_read_bw
    
    展开全文
  • 跨节点走IB网络任务报错

    千次阅读 2016-11-30 10:50:04
    1. 故障现象,客户HPC任务,走千兆网路正常运算,但是走IB网络报以下错误  psolid.x 00000000005F55AB mpp_init_ 68 mpp_init.F psolid.x 0000000000519C2D xmp_init_ 91 xmp_init

    1.  故障现象,客户HPC任务,走千兆网路正常运算,但是走IB网络报以下错误

     psolid.x           00000000005F55AB  mpp_init_                  68  mpp_init.F
    psolid.x           0000000000519C2D  xmp_init_                  91  xmp_init.F
    psolid.x           00000000005164BF  pamcsm_                    88  pamcsm.F
    psolid.x           0000000000515D90  MAIN__                     26  pcrash.F
    psolid.x           0000000000515D1C  Unknown               Unknown  Unknown
    libc.so.6          00007FCB4A9B4C36  Unknown               Unknown  Unknown
    psolid.x           0000000000515C29  Unknown               Unknown  Unknown
    forrtl: error (78): process killed (SIGTERM)
    Image              PC                Routine            Line        Source
    libpthread.so.0    00007F4E28BFC7E0  Unknown               Unknown  Unknown
    libibverbs.so.1    00007F4E23E4BC79  Unknown               Unknown  Unknown
    libibverbs.so.1    00007F4E23E4CC08  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E2669A8CF  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E2654CC45  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E26514B3B  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E26516935  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E26517BCF  Unknown               Unknown  Unknown
    libmpi.so.1        00007F4E265AD3BC  Unknown               Unknown  Unknown
    libmpm_platform-9  00007F4E26867F63  MPM_Mod_F_Init             23  MPM_Mod_F_Init.c
    libmpm.so          00007F4E30B5209A  mpi_init_                  44  MPM_Lib_F_Init.c
    psolid.x           00000000005F55AB  mpp_init_                  68  mpp_init.F
    psolid.x           0000000000519C2D  xmp_init_                  91  xmp_init.F
    psolid.x           00000000005164BF  pamcsm_                    88  pamcsm.F
    psolid.x           0000000000515D90  MAIN__                     26  pcrash.F
    psolid.x           0000000000515D1C  Unknown               Unknown  Unknown
    libc.so.6          00007F4E28890C36  Unknown               Unknown  Unknown
    psolid.x           0000000000515C29  Unknown               Unknown  Unknown
    forrtl: error (78): process killed (SIGTERM)
    Image              PC                Routine            Line        Source
    libpthread.so.0    00007FFBB1E877E0  Unknown               Unknown  Unknown
    libibverbs.so.1    00007FFBAD0D6C79  Unknown               Unknown  Unknown
    libibverbs.so.1    00007FFBAD0D7C08  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF9258CF  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF7D7C45  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF79FB3B  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF7A1935  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF7A2BCF  Unknown               Unknown  Unknown
    libmpi.so.1        00007FFBAF8383BC  Unknown               Unknown  Unknown
    libmpm_platform-9  00007FFBAFAF2F63  MPM_Mod_F_Init             23  MPM_Mod_F_Init.c
    libmpm.so          00007FFBB9DDD09A  mpi_init_                  44  MPM_Lib_F_Init.c
    psolid.x           00000000005F55AB  mpp_init_                  68  mpp_init.F
    psolid.x           0000000000519C2D  xmp_init_                  91  xmp_init.F
    psolid.x           00000000005164BF  pamcsm_                    88  pamcsm.F
    psolid.x           0000000000515D90  MAIN__                     26  pcrash.F
    psolid.x           0000000000515D1C  Unknown               Unknown  Unknown
    libc.so.6          00007FFBB1B1BC36  Unknown               Unknown  Unknown
    psolid.x           0000000000515C29  Unknown               Unknown  Unknown
    forrtl: error (78): process killed (SIGTERM)
    Image              PC                Routine            Line        Source
    libpthread.so.0    00007F9653FB07E0  Unknown               Unknown  Unknown
    libibverbs.so.1    00007F964F1FFC79  Unknown               Unknown  Unknown
    libibverbs.so.1    00007F964F200C08  Unknown               Unknown  Unknown
    libmpi.so.1        00007F9651A4E8CF  Unknown               Unknown  Unknown 

     no matching hostkey found
    ssh_keysign: no reply
    key_sign failed
    psolid.x: Rank 0:2: MPI_Init: Could not pin pre-pinned rdma region 0
    psolid.x: Rank 0:2: MPI_Init: hpmp_rdmaregion_alloc() failed
    psolid.x: Rank 0:2: MPI_Init: make_world_rdmaenvelope() failed
    psolid.x: Rank 0:2: MPI_Init: Internal Error: Processes cannot connect to rdma device
    psolid.x: Rank 0:0: MPI_Init: Could not pin pre-pinned rdma region 0
    psolid.x: Rank 0:0: MPI_Init: hpmp_rdmaregion_alloc() failed
    psolid.x: Rank 0:0: MPI_Init: make_world_rdmaenvelope() failed
    psolid.x: Rank 0:0: MPI_Init: Internal Error: Processes cannot connect to rdma device
    psolid.x: Rank 0:3: MPI_Init: Could not pin pre-pinned rdma region 0
    psolid.x: Rank 0:3: MPI_Init: hpmp_rdmaregion_alloc() failed
    psolid.x: Rank 0:3: MPI_Init: make_world_rdmaenvelope() failed
    psolid.x: Rank 0:3: MPI_Init: Internal Error: Processes cannot connect to rdma device
    psolid.x: Rank 0:1: MPI_Init: Could not pin pre-pinned rdma region 0
    psolid.x: Rank 0:1: MPI_Init: hpmp_rdmaregion_alloc() failed
    psolid.x: Rank 0:1: MPI_Init: make_world_rdmaenvelope() failed
    psolid.x: Rank 0:1: MPI_Init: Internal Error: Processes cannot connect to rdma device
    MPI Application rank 0 exited before MPI_Finalize() with status 1
    MPI Application rank 2 exited before MPI_Finalize() with status 1

    pamcrash : Error :
    ==============================================================================


    This process has exited with a nonzero exit code, indicating an error
    termination.
    You may have some unmerged files left behind like VW331-4CS_K_SAD_China-NCAP-MDB_51_40_v045_xxx.{LIS,msg}
    in /CAE/home/tpbrls/pam2014.3_test_new directory, containing some relevant informations regarding this error
    condition.
    Please refer to your documentation, or contact you technical support for this
    merging purpose.

    2.  解决办法,刚开始以为是少安装了某些库文件,后来发现是资源限制的问题,在/etc/security/limits.conf后增加下面两条,重启后问题解决

    admin:~ # cat /etc/security/limits.conf

    *                soft      memlock         unlimited
    *                hard    memlock         unlimited


    注: 其中memlock的含义为:max locked-in-memory address space (KB)

    展开全文
  • 基于IB网络的Oracle Extend RAC最佳实践-03.11随着HPC高性能计算集群的发展,基于InfiniBand的网络为HPC提供了极高的吞吐量和极低的延迟。现如今Infini...

    基于IB网络的Oracle Extend RAC最佳实践-03.11


    随着HPC高性能计算集群的发展,基于InfiniBand的网络为HPC提供了极高的吞吐量和极低的延迟。现如今InfiniBand技术也越来越多的用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。本次技术分享将主要分享,使用InfiniBand技术构建极致性能,灵活扩展的Oracle Extend Rac 双活数据库的案例。


    分享大纲

    • 构建双活的意义

    • 基于IB网络双活的前置需求

    • 双活实施过程最佳实践

    • 改造成果展现


    适合人群

    Oracle数据库技术支持工程师,数据库优化工程师、资深DBA。

    展开全文
  • RDMA技术开发必须学习的基本概念与协议。
  • Centos7.2下,xshell能ping通节点25的ib卡的网址也能ssh上,但是其他节点的服务器就是ping不通,也连接不上,而且其他节点可以ping通和连接上节点25的普通IP地址,也能连接上!感觉好奇怪不知道是哪里出了问题,求...
  • Mellanox持续为全球最快的超算系统提供互连,满足了其对高性能、高可扩展及高效网络的需求。此外,Mellanox以太网解决方案还连接了榜单中首个100Gb以太网系统和所有的40Gb以太网系统。 “InfiniBand的高性能、高可...
  • 1. 手把手安装搭建GoldenDB-03.09 作为成熟稳定商用领先... 分享大纲 构建双活的意义 基于IB网络双活的前置需求 双活实施过程最佳实践 改造成果展现 适合人群 Oracle数据库技术支持工程师,数据库优化工程师、资深DBA。
  • 看到相关ib网卡信息即可 五、配置网络 这个根据实际需要配置,相关配置文件参考如下: IB卡配置文件: TYPE=InfiniBand NAME=ib0 DEVICE=ib0 ONBOOT=yes MASTER=bondib0 SLAVE=yes IPV6INIT=no CONNECTED_MODE=yes ...
  • 云计算策略及IB

    2019-04-24 11:25:41
    云计算策略及IB,IB网络是指InfiniBand网络架构的交换机云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
  • 网络IB 使用技巧

    2016-04-19 14:25:30
    #import <UIKit/UIKit.h>IB_DESIGNABLE // 代码这个类可以在IB中设置 @interface ProgressButton : UIButton //IBInspectable 属性加在这个东西后,可以在IB在设置属性值 @property (nonatomic, assign)...
  • 网络存储IP SAN与IB SAN

    千次阅读 2015-12-11 10:35:33
    SAN是通过专用高速网将一个或多个网络存储...无限带宽技术(Infiniband )是一种高带宽、低延迟的互连技术,构成新的网络环境,实现IB SAN 的存储系统。通过Internet协议(IP)或以太网的数据存储。IP存储使得性价比较好
  • 文章目录IBA 网络协议分层1.链路层1.1 LRH1.2 ICRC1.3 VCRC2.网络层(GRH)3.传输层3.1 BTH3.2 extended transport header4. 报文结构4.1 send request4.2 RDMA Write request4.3 RDMA Read request4.4 ACK4.5 Atomic ...
  • 这是我写的关于 IB 卡 的文章 这是我写的关于 下载、安装IB驱动包 的文章 我推荐看一下 我上面分享的第一个文章链接,那里有详细的介绍,包括为什么新协议得使用专用的硬件设备?这里我只是做一个简单的总结: RDMA...
  • Infiniband的网络通信API: IB verbs

    千次阅读 2020-02-02 17:27:33
    由于它具有高带宽、低延时、 高可扩展性的特点,它非常适用于服务器与服务器(比如复制,分布式工作等),服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN, WANs和the Internet)的通信 ...
  • SAN是通过专用高速网将一个或多个网络存储设备...无限带宽技术(Infiniband )是一种高带宽、低延迟的互连技术,构成新的网络环境,实现IB SAN 的存储系统。通过Internet协议(IP)或以太网的数据存储。IP存储使得性价比较
  • netw-ib-ox-ag-5.39.0 Netwox官方原版 网络测试工具
  • IB交换机配置

    2019-03-14 16:38:15
    IB交换机初始化配置,初始化设置向导,
  • IB Computer ScienceIB 计算机01课程介绍计算机科学科目同样也分为SL(标准水平)与HL(高级水平)。SL学生会学习SL/HL核心内容(80h)及选修主题的核心内容(30h)。而HL学生除了要学习SL/HL核心内容(80h)外,还要学习HL...
  • 文章目录如何实现 RDMA ?为什么使用 InfiniBand ... 这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录;可以更方便的进行学习及文章的查找:   ...
  •       这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu...学习目录:RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试 RDMA 、InfiniBand、IB卡、IB驱动...
  • SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统,未来的信息存储将以SAN存储方式为主。 【正文】 SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统,...
  • 这里写自定义目录标题用之前的IB交换机] Exadata X8-2 及之前的Exadata 一体机,都是使用Infiniband交换机,40Gbps速度 新的ED X8M-2一体机则使用的是Cisco的Nexus 9336C-FX2 Switch 来配合 100Gbps RDMA Ethernet ...
  • SAN(Storage Area Network的简称)直译过来就是存储区域网络,它采用光纤通道(Fibre Channel)技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。SAN网络存储是一种高速网络或子网络...
  • 文章目录基于 Ubuntu 16.04 安装 IB 驱动:1、下载 IB 驱动:2、开始安装   1、关于 IB 的介绍 ,我还没写,等等写   基于 Ubuntu 16.04 安装 IB 驱动:   1、下载 IB 驱动: 戳我下载 Ubuntu 16.04 ...
  •       这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、...学习目录:RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试 下载地址链接: 戳我下载 Ubuntu 16.04...
  • 1、 使用 ib_read_bw 测试 RDMA 写速度: 首先你有两台有IB卡、装了ib驱动 的服务器。 服务器A:ib_write_bw -a -d mlx4_0 服务器B : ib_write_bw -a -F 服务器A的ip -d mlx4_0 --report_gbits 2、 使用 ib_write_...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,695
精华内容 4,278
关键字:

ib网络