精华内容
下载资源
问答
  • MIC卡的OFED驱动安装

    千次阅读 2014-06-13 15:46:38
    IB网络和OFED驱动安装 IB InfiniBand是一个统一的互联结构,可以处理存储I/O、网络I/O和进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联,也可以连接外部网络(比如WAN、VPN、...
    

    IB网络和OFED驱动安装

    IB

    InfiniBand是一个统一的互联结构,可以处理存储I/O、网络I/O进程间通信(IPC)。它可以将磁盘阵列、SANsLANs、服务器和集群服务器进行互联,也可以连接外部网络(比如WANVPN、互联网)。设计InfiniBand的目的主要是用于企业数据中心,大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输,而且在单个或多个互联网络中支持冗余的I/O通道,因此能保持数据中心在局部故障时仍能运转。Infinband就是RDMA.

    InfiniBand与现存的I/O技术在许多重要的方面都不相同。不像PCIPCI-X IDE/ATA SCSI那样共享总线,因此没有相关的电子限制、仲裁冲突和内存一致性问题。相反,InfiniBand在交换式互联网络上,采用点到点的、基于通道的消息转发模型,同时,网络能够为两个不同的节点提供多种可能的通道。

    OFED

    OFED(OpenFabrics Enterprise Distribution) OpenFabrics联盟的企业发行版,是一个传输透明的软件堆栈,主要用于进行高性能计算和企业数据中心管理.

     

    OFED虚拟了一个HCA,安装OFED驱动后就可以可以使用Infiniband互联方式,将节点间延迟降低到微秒级,一般的TCP通信方式延迟是毫秒级,基本上就相当于本地PCI-X

    OFED驱动的安装

    OFEDIB网络会用到的软件包,安装OFED前首先确认已经安装有IB卡。

    需要安装libevent-develnfs-utils-develtcl-devel

     

     

    1. 下载OFED驱动

      https://www.openfabrics.org/downloads/OFED/

      一般只是支持OFED1.5.4.1,,具体情况可以看MIC驱动的readme文档。

    2. 解压,进入目录。

     # cdOFED-1.5.4.1

    3.运行安装文件install.pl

    # sudo perl install.pl

    1. 选择对应的选项,选项依次为:231YYN

    2. 执行下面的命令

      Sudo rpm  -elernel-ib

      Sudo rpm –e kernel-ib-devel

    3. 安装完成后,执行下面的命令:

      安装后如果提示tcl-devel、等没有安装,插入系统光盘找到相应的包安装好就是。

      Sudo yum install –nogpgcheck–noplugins—disablerepo=*ofed/*.rpm

       

    yum install --disablerepo=\* --enablerepo=c6-media PACKAGE-NAME

    yum groupinstall --disablerepo=\* --enablerepo=c6-media PACKAGE-NAME

     

    出现应有的显示结果,说明安装正确。

    安装时提示:

    tcl rpmis required to build ibutils

    tcl-develrpm is required to build ibutils

    tk rpm isrequired to build ibutils

    tcl rpmis required to install ibutils

    tk rpm isrequired to install ibutils

    tcsh rpmis required to build mpi-selector

    tcsh rpm is required to installmpi-selector

     

    1. 刷新flash

    1. Intel-mic-flash rpm已经安装

    2. 运行:/opt/intel/mic/bin/micinfo|grep –i “board stepping”

    3. 确认MPSS的服务状态,使用如下命令:

      service mpss status

    4. 刷新flash:

      B0MIC卡的步进标示,根据自己的卡版本不同而不同。

      首先,刷新之前,先检测卡的状态是否为ready

      Sudo micctrl –r

      Sudo micctrl -w

      然后,刷新

      sudo /opt/intel/mic/flash/EXT_HP2_B0_0372-02.rom.smc

    1. 启动OFED-MIC服务

      Service ofed-mic start

    2. 使用如下命令使MPSSOFED在重启后会自动运行

      chkconfig MPSS on

      chkconfig ofed-mic on

     

    1. 配置IP地址

      我们在/etc/sysconfig/network-scripts/目录下新建一个叫做ifcfg-ib0的文件,内容如下:

      DEVICE=ib0

      BOOTPROTO=none

      ONBOOT=yes

      IPADDR=

      NETMSAK=255.255.255.0

    启动ib,命令行输入下列命令即可:

    /etc/init.d/openibd start

    /etc/init.d/opensmd start

    展开全文
  • Infiniband的OFED package安装及vasp编译

    千次阅读 2011-05-19 16:37:00
    执行./install.sh之后不要急着开始, ctrl+C 取消之后编辑ofed.conf文件,把不需要的东西去掉(我安装的时候把mpitest全部取消了,因为它总说找不到某个lib文件,但这个文件是在lib目录里面的,而且这些mpitest也没...

    基本上按照doc里面的指示就差不多了,这里记录一些细节:

     

    1. 执行./install.sh之后不要急着开始, ctrl+C 取消之后编辑ofed.conf文件,把不需要的东西去掉(我安装的时候把mpitest全部取消了,因为它总说找不到某个lib文件,但这个文件是在lib目录里面的,而且这些mpitest也没啥大用,还是得编译测试vasp)

     

    2. 第一次安装的时候因为要编译rpm包所以会很慢,后面的就可以编辑ofed.net文件在别的机器上较快的安装了。

     

    3. 在/etc/sysconfig/network-script/ifg-ib0里面给HCA卡设置好IP,网关、掩码等,不用太在意,只要所以机器都能保持一致就好。

     

    4. 在/etc/security/limit.conf里面给memlock设一个较大的值或者直接unlimited ,不然运行vasp会报错。重启之后按照doc里说的看看ibinfo, /etc/init.d/openibd这些东西是不是正常,记得要设置一台机器作为manager,并打开/etc/init.d/opensmd.

     

     

    展开全文
  • OFED简介

    千次阅读 2019-08-20 10:12:44
    OPED简介简介Mellanox OFED栈的架构mlx4 VPI Drivermlx5 Driver上层协议(ULP)IP over IB (IPoIB)Mellanox OFED包ISO镜像软件组件模块参数 简介 Mellanox OFED是一个单独的VPI(Virtual Protocol Interconnect,虚拟...

    简介

    Mellanox OFED是一个单独的VPI(Virtual Protocol Interconnect,虚拟协议互联)软件栈。文档地址:https://docs.mellanox.com/display/MLNXOFEDv461000/Introduction。

    Mellanox OFED栈的架构

    在这里插入图片描述

    mlx4 VPI Driver

    ConnectX®-3可以作为一个IB(InfiniBand)适配器,或者一个以太网卡。mlx4是ConnectX® 家族适配器的低层驱动实现。OFED驱动支持IB和以太网配置,为了适应这些配置,这个驱动被分为下面模块:

    • mlx4_core:处理底层功能如设备初始化和固件。同时控制资源分配从而让IB和以太网功能可以互不干扰地共享设备
    • mlx4_ib:处理IB功能并且插入到IB中间层
    • mlx4_en:drivers/net/ethernet/mellanox/mlx4下一个10/24GigE的驱动,处理以太网功能
      libmlx4 is a userspace driver for Mellanox ConnectX InfiniBand HCAs.It is a plug-in module for libibverbs that allows programs to useMellanox hardware directly from userspace.

    mlx5 Driver

    mlx5是the Connect-IB® and ConnectX®-4适配器的底层驱动实现。Connect-IB作为IB适配器而ConnectX-4作为一个VPI适配器(IB和以太网)。mlx5包括了以下内核模块:

    • mlx5_core:作为一个通用功能库(比如重置后初始化设备),Connect-IB® and ConnectX®-4适配卡需要这些功能。mlx5_core也为ConnectX®-4实现了以太网接口。和mlx4_en/core不同的是,mlx5驱动不需要mlx5_en模块因为以太网功能已经内置在mlx_core模块中了。
    • mlx5_ib:处理IB功能
    • libmlx5:实现指定硬件的用户空间功能。如果固件和驱动不兼容,这个驱动不会加载并且会打印一条信息在dmesg中。下面是libmlx5的环境变量:
      • MLX5_FREEZE_ON_ERROR_CQE
      • MLX5_POST_SEND_PREFER_BF
      • MLX5_SHUT_UP_BF
      • MLX5_SINGLE_THREADED

    上层协议(ULP)

    IP over IB (IPoIB)

    IPoIB驱动是IB上的一个网络接口实现,它封装IP数据包到一个连接的IB或数据报传输服务。IPoIB在IP数据报前面增加了一个头,并通过IB传输服务发送出去。传输服务默认是不可靠数据报(UD),但也可以配置为可靠连接(RC),如果支持RC的话。这个接口支持单播、多播和广播。

    Mellanox OFED包

    ISO镜像

    MLNX_OFED_LINUX(Mellanox OFED for Linux)是作为一个ISO镜像或tar包提供的,每个支持的Linux发行版和CPU架构一个,包括了源代码,二进制RPM,固件,工具和文档。ISO镜像包含了一个安装脚本(mlnxofedinstall),它执行了必要的步骤完成以下功能:

    • 发现当前安装的内核
    • 卸载操作系统自带的IB栈或其他商业栈
    • 安装当前内核对应的MLNX_OFED_LINUX
    • 确认当前安装的IB HCA,执行必要的固件升级

    软件组件

    模块参数

    展开全文
  • ConnectX®-5网卡的Linux物理/虚拟机上安装和测试Mellanox OFED 驱动。下载Mellanox OFED1.验证系统是否安装了Mellanox网卡。以下示例显示了安装了Mellanox HCA的系统:[if !vml][endif]2.根据您的操作系统下载ISO...

    ConnectX®-5网卡的Linux物理/虚拟机上安装和测试Mellanox OFED 驱动。

    下载Mellanox OFED

    1.验证系统是否安装了Mellanox网卡。以下示例显示了安装了Mellanox HCA的系统:

    [if !vml]

    [endif]

    2.根据您的操作系统下载ISO映像到服务器共享文件夹。可以从以下网址下载:http://www.mellanox.com>

    Products > Software > InfiniBand/VPI Drivers > Mellanox OFED Linux

    (MLNX_OFED) > Download.

    [if !vml]

    [endif]

    安装Mellanox OFED

    1.以root用户身份登录安装计算机。

    2.将下载的ISO复制到/root

    3.在机器上安装ISO映像。

    # mkdir /mnt/iso # mount -o loop/share/MLNX_OFED_LINUX-4.2-1.0.0.0-ubuntu16.04-x86_64.iso /mnt/iso # cd/mnt/iso

    4.运行安装程序,安装完成后重启服务器。

    # ./mlnxofedinstall

    # /etc/init.d/openibd restart# reboot

    4.默认情况下,两个ConnectX®-5 VPI端口都初始化为InfiniBand端口。ConnectX®-5端口可以单独配置为InfiniBand或以太网端口。检查端口的类型:

    [if !supportLists]1.   [endif]

    # ibv_devinfo

    [if !vml]

    [endif]

    [if !supportLists]2.   [endif]如果您看到以下情况,请将接口端口类型更改为以太网[if !vml]

    [endif]

    [if !supportLineBreakNewLine]

    [endif]

    # mst start

    # mst status

    # mlxconfig -d /dev/mst/mt4121_pciconf0 s LINK_TYPE_P1=2

    # reboot

    # ibv_devinfo

    5.运行ibdev2netdev,查看以太网设备和IB设备/端口之间的关联。

    # ibdev2netdev

    # ifconfig enp1f0 31.31.31.41 netmask 255.255.255.0

    # vim /etc/network/interfaces

    auto eno0

    iface eno0 inet dhcp

    auto enp1f0

    iface eenp1f0 inet static

    address 31.31.31.41

    netmask 255.255.255.0

    6.检查网络配置是否设置正确。

    # ifconfig -a

    展开全文
  • Openwrt-mlnx-ofed-源码

    2021-03-12 14:45:08
    该项目为OpenWRT原始包,在编译过程中选择,即能安装最新版本的MLNX_OFED驱动。 在一些应用场景下,需要在虚拟机中使用OpenWRT,特别的,转换SR-IOV功能开启的VF,直通进入OpenWRT虚拟机。 但是,OpenWRT集成的...
  • centos编译RDMA-OFED驱动

    2020-09-02 21:58:55
    解压后进入驱动目录,运行mlnxofedinstall即可进行安装。但是直接使用./mlnxofedinstall命令会提示不支持该版本的系统,需要在后面加上--add-kernel-support以使驱动程序编译时加入对当前内核的支持。 运行上述...
  • MLNX_OFED_LINUX编程手册

    2014-01-09 20:09:12
    MLNX_OFED_LINUX编程手册,万兆网络,有api和example
  • MLNX_OFED_SRC-3.4-1.0.0.0.gz

    2017-01-16 14:53:16
    MLNX_OFED_SRC-3.4-1.0.0.0.gz
  • hca卡快速安装与验证参考

    千次阅读 2015-01-20 12:45:46
    此文档只作为快速安装参考,详细OFED安装请参考软件中的 README.txt文件。 操作系统: CentOS 6.3 x64 HCA及交换机硬件提供商: 迈络思 一.安装步骤 1.安装依赖组 yum groupinstall "Infin
  • 比如官方的连接: https://man7.org/linux/man-pages/man3/ibv_post_send.3.html 也有一些其他非官方网页,支持在线搜索: https://linux.die.net/man/3/ibv_post_send 查阅系统man page 如果你使用的商用OS安装了...
  • mellanox-IB网卡驱动 文件:MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64.iso 大小: 286871552 字节 MD5: 1F963D5B3F767D279780E5949DE8ED2C SHA1: FF4463B6B77EA538E26CA1C2B426B500A5F3239D CRC32: 9D2863E2
  • 之前在Mellanox的官网下载redhat6.9的网卡驱动能够成功安装配置ib网,但是现在重新下载6.9和7.4的网卡驱动发现都没能成功配置,在这将这两个资源发布出来希望能够帮助到有需要的人!!!!6.9驱动下载链接:安装教程...
  • 之前在Mellanox的官网下载redhat6.9的网卡驱动能够成功安装配置ib网,但是现在重新下载6.9和7.4的网卡驱动发现都没能成功配置,在这将这两个资源发布出来希望能够帮助到有需要的人!!!!7.4驱动下载链接: 安装...
  • VMA On K1 Powerlinux

    2020-07-09 17:06:55
    VMA On Power9 ...安装mellanox 套件 mlnx_ofed 安装依赖库 yum install python-devel lsof redhat-rpm-config rpm-build gcc kernel-devel-4.14.0-49.el7a.ppc64le yum install tcl gcc-gfortran tcsh tk p
  • Rhel7.7-最小化安装环境安装IB驱动和GPU...MLNX_OFED_LINUX-4.9-0.1.7.0-rhel7.7-x86_64.tgz GPU驱动安装文件 NVIDIA-Linux-x86_64-440.118.02.run CUDA安装文件 cuda_10.2.89_440.33.01_linux.run 安装IB驱动 挂载
  • 服务器网卡驱动安装 内容精选换一换Ubuntu服务器通过Windows操作系统上的虚拟机安装的场景下,需要在Windows操作系统上安装USB网卡驱动,即RNDIS(Remote Network Driver Interface Specification)驱动,否则Atlas ...
  • 这里介绍怎么样在ubuntu 12.04下安装infiniband的MLNX_OFED_LINUX v2.0.iso驱动。在官方网站http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers上可以下到ubuntu 12.04的版本。...
  • Ubuntu 12.04安装InfiniBand驱动及配置

    千次阅读 2014-03-11 17:17:07
    1.下载并安装 linux-headers-2.6.32-020632_2.6.32-020632_all.deb(或者其它的,不明觉厉) ,是因为OFED驱动有所依赖 sudo dpkg -i linux-headers-2.6.32-020632_2.6.32-020632_all.deb 2.下载Mellanox ...
  • linux安装IB网卡(mellanox)驱动

    千次阅读 2020-10-30 10:55:15
    tar zxf MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64.tar.gz cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64 ./mlnxofedinstall /etc/init.d/openibd restart 我出现的错误 此处在驱动安装文档中没有说明,...
  • 湖南麒麟下安装mellanox网卡驱动问题

    千次阅读 2020-03-08 21:20:11
    mellanox官网提供的OFED驱动中没有针对湖南麒麟的版本,为此只能找一个最接近的驱动进行安装,由于湖南麒麟是基于redhat修改的,所以选择redhat版本的OFED驱动进行适配。 2、下载mellanox驱动 mellanox网卡驱动...
  • [root@localhost MLNX_OFED_LINUX-4.9-3.1.5.0-rhel8.3-x86_64]# ./mlnxofedinstall Error: The current MLNX_OFED_LINUX is intended for rhel8.3
  • 本文安装的qemu-kvm属于kvm虚拟化,其中:kvm负责cpu虚拟化和内存虚拟化,QEMU模拟IO设备(网卡、磁盘等)。参考资料:qemu和docker区别:https://www.cnblogs.com/boyzgw/p/6807986.htmlqemu,kvm,qemu...
  • 硬件:Mellanox InfiniBand,主要包括 HCA(主机通道适配器)和交换机两部分软件:CentOS 6.4MLNX_OFED_LINUX-2.1-1.0.0-rhel6.4-x86_64.iso(从 ...检查主机是否安装了 HCA:lspci -v |...
  • 驱动:MLNX_OFED_LINUX-3.0-1-ubuntu14.04-x86_64.tgz依赖库 内核版本依赖库:这个问题有网就可以解决,在安装驱动过程中,会自动apt-get 依赖库 内核版本:这个需要手工配置了,开始安装ubuntu14.04,内核为3.14,...
  • GPU驱动和IB驱动安装方式方法-RHEL7.7 一 基础环境 系统:rhel7.7 --Red Hat Enterprise Linux Server release 7.7 (Maipo) 带有GUI的文件服务器安装 ...IB软件包名:MLNX_OFED_LINUX-4.9-0.1.7.0-rhel7.7-x86_64.tgz
  • linux安装IB驱动方法

    千次阅读 2019-09-23 11:45:44
    一、准备 ...2、驱动:MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz(根据实际情况变更,此处用redhat7.6系统举例) 二、解压缩 命令:tar -xzvf MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz...
  • Infiniband网卡安装、使用总结

    千次阅读 2020-06-22 22:39:33
    最近多次安装、使用infiniband网卡,每次都要到处寻找相关资料,所以决定做此总结,方便查找。 1. 基础知识 首先,得了解什么是RDMA,贴几个资料: 深入浅出全面解析RDMA RDMA技术详解(一):RDMA概述 RDMA技术...
  • 主要参考: https://doc.dpdk.org/guides/nics/mlx5.html#quick-start-guide-on-ofed-en ...环境 网卡:Mellanox MCX515A ...网卡驱动:MLNX_OFED_LINUX-5.1-0.6.6.0-rhel7.8-x86_64 下载 Mellanox 网卡
  • http://ch.mellanox.com/page/software_overview_ibroot@localhost MLNX_OFED_LINUX-3.4-1.0.0.0-rhel7.2-x86_64]# ./mlnxofedinstall Logs dir: /tmp/MLNX_OFED_LINUX-3.4-1.0.0.0.5480.logsVerifying KMP rpms ...

空空如也

空空如也

1 2 3 4 5 ... 15
收藏数 282
精华内容 112
关键字:

ofed安装