精华内容
下载资源
问答
  • 为什么使用 InfiniBand 协议得配专门的 IB卡?IB 卡长什么样子?如何查看本机有没有ib卡?下载各种 OS 的 IB 驱动包:       这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04...


          这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录;可以更方便的进行学习及文章的查找:

     
    学习目录:RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试


    如何实现 RDMA ?

    大致有三种协议(标准):

    1)、Infiniband(IB): 一开始就支持RDMA技术的新一代网络协议!由于这是一种新的网络技术,因此需要支持该技术的NIC(也叫 IB卡)和交换机。

    2)、RoCE,一个允许在以太网上执行RDMA的网络协议。

    3)、iWARP,一个允许在TCP上执行RDMA的网络协议。 这支持在标准以太网基础设施(交换机)上使用RDMA。


    为什么使用 InfiniBand 协议得配专门的 IB卡?

          因为传统网络通信 —— 所有通信协议通过内核传递,这就导致它很难去支持 新的网络协议 及 发送/接收 端口。

          而 InfiniBand 是 新一代的网络协议,所以它得搭配专门的硬件设备来实现!


    IB 卡长什么样子?

    在这里插入图片描述
    在这里插入图片描述


    如何查看本机有没有ib卡?

    user@ubuntu:~$ lspci | grep Mell
    0b:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]
    
    # 记得是大写的 M,千万要注意格式
    

    下载各种 OS 的 IB 驱动包:

    戳我下载 Ubuntu 16.04 x86_64 IB 驱动的 iso

    戳我下载 Ubuntu 16.04 x86_64 IB 驱动的 tgz 包

    戳我下载 Ubuntu 16.04 x86_64 IB 驱动的 source 包

    点击链接之后,没有直接下载是因为需要同意用户使用协议(直接划到打开的网页最下面有这个协议):
    在这里插入图片描述

    戳我下载更多 Linux OS 的 IB 驱动包
    在这里插入图片描述

    戳我了解 更多 ib驱动版本与其支持的OS
    在这里插入图片描述

    展开全文
  • 安装IB卡驱动到vsphere

    2016-09-18 17:17:45
    安装IB卡驱动到vsphere
  • IB卡在BMC上面有显示,但是在系统侧没有显示,这往往是因为IB卡驱动没有进行加载, 可以选择如下命令进行使用 modprobe mlx5_core;modprobe mlx5_ib;modprobe ib_ipoib 问题解决 如果觉得这篇文章对自己有帮助...

    IB卡在BMC上面有显示,但是在系统侧没有显示,这往往是因为IB卡驱动没有进行加载,

    可以选择如下命令进行使用

    modprobe mlx5_core;modprobe mlx5_ib;modprobe ib_ipoib

    问题解决

    如果觉得这篇文章对自己有帮助,可以点击关注分享,谢谢!

    展开全文
  • Mellanox IB卡 虚拟化

    2021-07-16 17:40:00
    IB卡型号: MT27500 1.BIOS里开启SRIOV,CPU开启VT以及安装网卡对应的驱动等过程略 2.修改启动菜单参数 执行命令vi /etc/default/grub,按“i”进入编辑模式,在linuxefi行后添加启动参数“intel_iommu=on iommu=...

    IB卡型号: MT27500

    1.BIOS里开启SRIOV,CPU开启VT以及安装网卡对应的驱动等过程略

    2.修改启动菜单参数

    执行命令vi /etc/default/grub,按“i”进入编辑模式,在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=assign-busses pci=realloc”。

    添加完参数之后的启动参数如下:

    GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on iommu=pt pci=assign-busses pci=realloc"

    修改完后重新生成启动菜单文件:grub2-mkconfig >/boot/efi/EFI/centos/grub.cfg

    注意:启动方式为UEFI时, 生成grub.cfg的路径是 /boot/efi/EFI/centos/grub.cfg

    在非UEFI启动里的启动菜单路径在 /boot/grub2/grub.cfg

    检查上述修改是否生效:cat /boot/efi/EFI/centos/grub.cfg 查看是否有 intel_iommu 几个参数

    4. 修改完以上参数后,重启一下服务器。

    IB卡配置官方参照页面:

    HowTo Configure SR-IOV for ConnectX-3 with KVM (InfiniBand) (mellanox.com)

    5. 配置

    5.1打开固件的SRIOV功能

    # mst start 启动 mst

    Starting MST (Mellanox Software Tools) driver set

    Loading MST PCI module - Success

    Loading MST PCI configuration module - Success

    Create devices

    # mst status 查看所有ib卡状态

    MST modules:

    ------------

    MST PCI module loaded

    MST PCI configuration module loaded

    MST devices:

    ------------

    /dev/mst/mt4099_pciconf0 - PCI configuration cycles access.

    domain:bus:dev.fn=0000:5e:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1

    Chip revision is: 01

    /dev/mst/mt4099_pci_cr0 - PCI direct access.

    domain:bus:dev.fn=0000:5e:00.0 bar=0xc5e00000 size=0x100000

    Chip revision is: 01

    查看IB卡MT27500这张卡的配置,MT27500对应的是mt4099,

    # mlxconfig -d /dev/mst/mt4099_pciconf0 q

    Device #1:

    ----------

    Device type: ConnectX3

    Device: /dev/mst/mt4099_pciconf0

    Configurations: Next Boot

    SRIOV_EN False(0)

    NUM_OF_VFS 0

    LINK_TYPE_P1 VPI(3)

    LINK_TYPE_P2 VPI(3)

    LOG_BAR_SIZE 3

    BOOT_PKEY_P1 0

    BOOT_PKEY_P2 0

    BOOT_OPTION_ROM_EN_P1 True(1)

    BOOT_VLAN_EN_P1 False(0)

    BOOT_RETRY_CNT_P1 0

    LEGACY_BOOT_PROTOCOL_P1 PXE(1)

    BOOT_VLAN_P1 1

    BOOT_OPTION_ROM_EN_P2 True(1)

    BOOT_VLAN_EN_P2 False(0)

    BOOT_RETRY_CNT_P2 0

    LEGACY_BOOT_PROTOCOL_P2 PXE(1)

    BOOT_VLAN_P2 1

    IP_VER_P1 IPv4(0)

    IP_VER_P2 IPv4(0)

    CQ_TIMESTAMP True(1)

    # mlxconfig -d /dev/mst/mt4099_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 //注意 mt4099会根据不同型号IB卡有所不同

    设置完后可以用上面的一条带 q 参数的指令查看。

    8. 重启服务器

    9. 打开MLNX_OFED驱动的SRIOV配置

    #ibstat 查看ib设备状态,一般ConnectX-3 型号IB卡的驱动核心是 mlx4_0

    创建或编辑 vi /etc/modprobe.d/mlx4_core.conf,写入以下内容:

    options mlx4_core num_vfs=8 port_type_array=1,1 probe_vf=8

     重新加载ib卡驱动(重启IB卡)

    # /et/init.d/openibd restart

    10. 查看是否有虚拟IB卡创建成功

    # lspci|grep -i "virtual function"

    展开全文
  • 这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录;可以更方便的进行学习及文章的查找:   学习目录:RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装...

          这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录;可以更方便的进行学习及文章的查找:

     
    学习目录:RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、ib_read/write_bw测试


    RDMA 、InfiniBand、IB卡、IB驱动 之间的关系:

     

    1、RDMA 是一种技术(远程直接内存访问技术),如何实现这种技术呢?

    2、实现这种技术你可以选择用 Infiniband 协议。(当然你也可以使用其他协议,eg:roce、iwarp)

    3、如果你使用 Infiniband 协议,这个协议作为一个新一代网络协议。它必须依靠专门的硬件才能实现。eg:专用INC(网卡)—— IB卡,或者专用交换机。

    4、当你在服务器上安装了IB卡之后,你还得安装 IB驱动,才能使用 infiniband 。


    关于如何下载 ib驱动包或者如何安装ib驱动,请点击页面的目录链接!

    展开全文
  • ib卡ib线传输速度 IB:情报局 (IB: Intelligence Bureau) IB is an abbreviation of the Intelligence Bureau. It is an internal intelligence agency of India that for the most part operates with internal ...
  • 【服务器管理】IB网卡输入ibstat返回State: Initializing的解决办法硬件步骤软件步骤(这里以Ubuntu为例)IP配置 最近将管理实验室的服务器,希望从服务器存储节点到计算节点之间采用IB(infiniband)通信。购置了IB...
  • 本文主要讲述两个节点实现infiband的互联。主要包括两个部分,第一IB网卡驱动的安装和卸载,第二测试Infiiband连接性,网络带宽和网络延时。
  • 目录 1. 基础知识 ...RDMA 、InfiniBand、IB卡、IB驱动的关系 ibdump 用法说明 原文:https://www.cnblogs.com/sctb/p/13179542.html 最近多次安装、使用infiniband网卡,每次都要到处寻找相关资...
  • Lsi卡和IB卡在CentOS中升级 LSI 9271 步骤1:准备升级工具和固件包 rpm -ivh MegaCli-8.07.14-1.noarch.rpm [root@phegdata01 ~]# unzip 23-34-0-0005_SAS_2208_FW_IMAGE_APP_3-460-05-4565.zip...
  • mpirun配置,通过infiniband的ib卡进行通讯 1)gcc编译器从4.4升级到4.8 2)openmpi 1.4.5重新编译 3)修改/etc/security/limits.conf * soft memlock unlimited * hard memlock unlimited 修改/etc/security/limits...
  • Mellanox IB卡介绍

    千次阅读 2019-11-04 10:24:21
    2、为什么 Infiniband 协议需要使用 ib卡? 3、如何查看本机有没有ib卡? 4、如何简单使用: 1、它长什么样子??? 2、为什么 Infiniband 协议需要使用 ib卡? 首先,这里介绍两种概念: (1)、传统的网络通信...
  • 由于工作上的需求,需要在redhat6.5服务器上面安装mellanox品牌的IB网卡,故整理了一个安装&卸载IB网卡驱动的教程: 一、安装 1)下载相应操作系统驱动 ...mtag=linux_sw_drivers 2)解压安装驱动 ...
  • IB卡固件升级.docx

    2020-03-17 12:44:04
    在Centos7.6系统上使用Infiniband HCA安装驱动失败的情况下,可能需要升级firmware
  • IB卡开启EIPOIB做虚拟化桥接使用 步骤1:开启EiPOIB 编辑默认"no"为"yes" /etc/infiniband/openib.conf E_IPOIB_LOAD=yes 步骤2:重启hca卡驱动。 /etc/init.d/openibd restart 重启后会生成...
  • 这是我写的关于 IB 的文章 这是我写的关于 下载、安装IB驱动包 的文章 我推荐看一下 我上面分享的第一个文章链接,那里有详细的介绍,包括为什么新协议得使用专用的硬件设备?这里我只是做一个简单的总结: RDMA...
  • 本文章我主要当做一个目录来使用: 方便查询文章 和 跟着步骤去学习文章: 1、RDMA 是什么?...4、什么是 IB卡? 5、下载 IB 驱动的各种包、各种OS的包。 6、基于 Ubuntu 16.04 安装 IB 驱动。 [7、] ...
  • 按照oraclesupport网上步骤,对步骤进一步细化,环境是rhel6.2-64 oracle11.2.0.31, 首先安装IB网卡及驱动,并使用命令查看安装好的网卡:[root@nari65 bin]# ifconfig -aib0 Link encap:InfiniBand HWaddrA0:00:01...
  • Ubuntu 14.04安装IB卡驱动详细教程

    千次阅读 2018-04-25 13:53:44
    软硬件环境: Ubuntu14.04.1 LTS server 64bit,Titan X 4片,Mellanox CX353A infiniband 首先在Mellanox官网下载到该的驱动,下载地址: ...   找到ubu
  • linux安装IB网卡(mellanox)驱动

    千次阅读 2020-10-30 10:55:15
    下载驱动安装包(.tar) ... 解压并且安装 tar zxf MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64.tar.gz cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64 ./mlnxofedinstall ...modprobe -r ib_srpt modprobe..
  • 最近做的一个项目,需要基于基于IB网卡(Infiniband)OpenMPI集群搭建,自己折腾三四天才搞定,这篇文章主要是做个总结。 一、准备工作 实验设备 :两台塔式服务器 操作系统 :Ubuntu16.04 STL IP配置 : ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,447
精华内容 2,178
关键字:

ib卡