精华内容
下载资源
问答
  • 相信做搜索的朋友,对Faiss并不陌生,它区别于传统的倒排检索,通过近似向量的方式,召回检索数据,改善搜索体验。...起初按着Git上的README安装,无奈写的太笼统了,对于刚开始摸索的人来说并不太...

    相信做搜索的朋友,对Faiss并不陌生,它区别于传统的倒排检索,通过近似向量的方式,召回检索数据,改善搜索体验。最近我司准备在生产环境中上Faiss,第一步得先能完整编译可安装的so,于是我就上手初体验了一把。

    Faiss有两种安装方式,一种是通过conda安装,一种通过源码编译安装,本文介绍第二种安装方式。

    起初按着Git上的README安装,无奈写的太笼统了,对于刚开始摸索的人来说并不太友好,于是在网上检索了其他资源,看看有没有可以借鉴的文章。看了多篇文档,千挑万选,最后综合三篇文章,花了几个小时搞定。苦于自己遇到的问题,所以写篇文章分享一下,自认为是比较全面的,供后续朋友参考使用。

    先看选定的版本,Faiss是Git上最近的版本,目前1.6.3,由于我们在CPU环境中使用,所以编译的是CPU版本。它依赖的两个数学组件OpenBLAS和LAPACK,分别在Git和官网上可以下载。OpenBLAS是最近版本,LAPACK选定的3.8.0。安装Faiss前,需要先安装这两个数学组件,同时还要检测一下机器的g++版本是否太低,如果版本过低,会不支持Faiss的一些特性,导致编译失败。

    下载和检测方式

    #下载源码git clone https://github.com/facebookresearch/faiss.git#进入FAISS源码目录cd faiss#执行configure./configure --without-cuda --with-blas=/opt/OpenBLAS/#--without-cuda 指编译cpu版本,--with-blas是预指定的OpenBLAS路径

    由于起初我的开发机g++版本4.8.5,会报如下错误:

    edd8ad93d123e376c24db7b7a2fcd195.png

    之后将g++升级到4.9.3,执行命令通过,可以继续编译了。升级到4.9.3之后,需要设置默认的g++版本,执行命令:

    #设置g++默认版本路径,/usr/local/gcc-4.9.3为安装路径export PATH=/usr/local/gcc-4.9.3/bin/:$PATH

    安装Faiss前,需要先安装上文提到的两个数学组件。

    安装OpenBLAS

    git clone https://github.com/xianyi/OpenBLAS.gitcd OpenBLAS#如果没有安装gfortran#yum install gcc-gfortranmake FC=gfortran#将OpenBLAS默认安装在/opt下make install#由于我已找运维开通了临时root权限,所以自己一并搞定#通常RD无root权限,yum和make install需运维配合安装#将编译好的动态库链接至/usr/lib目录下ln -s /opt/OpenBLAS/lib/libopenblas.so  /usr/lib/libopenblas.so

    安装LAPACK

    #下载源码压缩包wget http://www.netlib.org/lapack/lapack-3.8.0.tar.gz#解压tar -zxvf lapack-3.8.0.tar.gz -C ./cd lapack-3.8.0cp ./INSTALL/make.inc.gfortran ./mv make.inc.gfortran make.inc#修改lapack-3.8.0/Makefile,因为lapack以来于blas库,所以需要做如下修改(注释下面的第一句话,去掉注释第二句话):#lib: lapacklib tmgliblib: blaslib variants lapacklig tmglib#编译所有的lapack文件make#编译C语言接口文件cd LAPACKEmake#由于lapack的makefile文件中没有make isntall 命令,需要手工进行安装#将lapacke的头文件复制到系统头文件目录cp include/*.h* /usr/include#返回上层目录,将生成的库文件拷贝到系统库目录cd ../; cp *.a /usr/lib/#这里的头文件包括:lapacke.h, lapacke_config.h, lapacke_mangling.h,lapacke_mangling_with_flags.h lapacke_utils.h#生成的库文件包括:liblapack.a, liblapacke.a, librefblas.a,libtmglib.a

    以上两步安装成功之后,便可以正经的安装Faiss了。

    安装Faiss

    #下载源码git clone https://github.com/facebookresearch/faiss.git#进入FAISS源码目录cd faiss#执行configure./configure --without-cuda --with-blas=/opt/OpenBLAS/#以上两步,先前已执行过,可不必重复执行make#默认安装在/usr/local/lib/ /usr/local/include/faiss/make install

    Faiss动态库和头文件在默认的安装路径中,ls查看到,就代表安装完成了,但能否运行成功呢?需要找个训练集测试一下,这里使用官方指定的训练集,运行个demo测试一下。

    #下载数据集,注意下载的目录wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz(或者浏览器下载http://corpus-texmex.irisa.fr/)cd faisstar -xzvf ../sift.tar.gz -C ./mv sift sift1Mmake demos#运行demo前,需要设置对应的libstdc++和动态链接库export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib:/opt/OpenBlAS/lib#/usr/lib64/libstdc++.so.6 软链指向g++4.9.3版本的路径运行demon./demos/demo_sift1M

    最后运行结果如下图所示,就代表成功啦。

    832a34690cd39d53d331d20e01f8083d.png

    展开全文
  • 方法一:pip 安装 # 如果是 CPU 版本 pip install mmcv 方法二:源码安装https://github.com/open-mmlab/mmcv​github.com 使用 git 命令克隆或从上面的网站下载压缩包解压 cd mmcv 5. 安装 pycocotools mm...

    19689d33825bc54d0aa204e8e26d8062.png

    1. 换源加速(可选)

    1)conda 换源

    创建~/.condarc,并写入如下内容

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes

    2)pip 换源

    创建 ~/.pip/pip.conf,并写入如下内容

    [global

    2. 创建虚拟环境

    python

    3. 安装 PyTorch

    参考官网,选择 PyTorch 1.3 - 1.5 进行安装

    PyTorchpytorch.org
    c4245cc2c22ca33a077d4469e5d1f36c.png
    pytorch

    4. 安装 MMCV

    mmdetection 2.3 以后将需要用 cuda 编译的代码搬到 mmcv,mmdetection 部分变成了高层调用的纯 python 代码。

    mmcv 有 2 个版本:

    1)mmcv: mmcv 的 CPU 版本,没有 cuda 编译

    2)mmcv-full: mmcv 的 GPU 版本,含有 cuda 编译

    因为训练要用 GPU 所以我们安装 full 版本。

    方法一:pip 安装

    # 如果是 CPU 版本
    pip install mmcv

    方法二:源码安装

    https://github.com/open-mmlab/mmcvgithub.com

    使用 git 命令克隆或从上面的网站下载压缩包解压

    cd mmcv
    
    

    5. 安装 pycocotools

    mmdetection 在 cocoapi 外面有封装,所以要使用 mmdetection 封装后的 cocoapi

    方法一:使用 pip 安装

    "git+https://github.com.cnpmjs.org/open-mmlab/cocoapi.git#subdirectory=pycocotools"

    方法二:源码安装

    https://github.com/open-mmlab/cocoapigithub.com

    使用 git 命令克隆或从上面的网站下载压缩包解压

    cd cocoapi/pycocotools/
    
    python setup.py install

    6. 安装 mmdetection

    使用 git 命令克隆或从下面的网站下载压缩包解压

    open-mmlab/mmdetectiongithub.com
    1bff7cedf966ef07da8a97f7cef48845.png
    cd mmdetection
    
    pip install -r requirements/build.txt
    pip install -v -e .

    快速安装:

    python
    展开全文
  • 用户只需在本地Python环境下安装JQData数据包,输入三行代码,即可调用由聚宽数据团队专业生产的全套量化金融数据,让你轻松告别平台限制,灵活安全地完成本地化的量化研究与投资决策。(2)支持系统:Linux、Mac、...

    1. JQData简介
    (1)JQData是聚宽数据团队专门为有志于从事量化投资的金融机构、研究人员以及个人量化爱好者提供的本地量化金融数据。用户只需在本地Python环境下安装JQData数据包,输入三行代码,即可调用由聚宽数据团队专业生产的全套量化金融数据,让你轻松告别平台限制,灵活安全地完成本地化的量化研究与投资决策。
    (2)支持系统:Linux、Mac、Windows
    (3)支持Python2和Python3
    2. JQData安装
    自动安装
    (1)安装Anaconda,并打勾配置环境变量(具体方法参考下面的注意事项);
    (2)打开cmd,输入或者复制下面代码,并回车,即可自动安装。
    pip install jqdatasdk ## 下面是之前的安装方法 # pip install git+https://github.com/JoinQuant/jqdatasdk.git # 或者下面的,速度能快点: # pip install git+https://github.com/JoinQuant/jqdatasdk.git -i https://mirrors.aliyun.com/pypi/simple/

    824a063824f99f48cc3128078891c84b.png


    之前的安装方法

    7b7389257b48912bcbb083e50f26778a.png


    手动安装
    (1)安装Anaconda,并打勾配置环境变量(具体方法参考下面的注意事项);
    (2)下载压缩包:https://github.com/JoinQuant/jqdatasdk
    (3)解压压缩包,然后切换到jqdatasdk目录中,执行 下面的程序:
    python setup.py install

    588d8e179cae99a9b118c068258738b4.png


    手动安装过程中报某个包的错误,可以再手动安装下这个包,例如sqlalchemy:
    pip install sqlalchemy==1.2.8 -i https://mirrors.aliyun.com/pypi/simple/
    检验是否安装成功
    (1)导入JQData
    import jqdatasdk
    (2)用户认证
    jqdatasdk.auth(“username”, “password”)
    认证成功后,显示”auth success”,就可以开始使用数据了,如果没有出现,请先检查下是否已经申请并通过。
    (3)获取数据
    jqdatasdk.get_price("000001.XSHE")

    07131910b4bc1b4d51797436104c4615.png


    注意事项
    (1)最重要的一点:同学们需要安装Python,2或者3都可以,建议安装Anaconda,记得要打勾打勾打勾配置到环境变量path:https://www.anaconda.com/download/ (提示:在cmd中输入python报错);

    0cde014a7d2e045302caa32bfd2e754c.png


    也可以手动将Aanconda配置到环境变量中,但是尽量使用自动配置。

    0135bba0d297ff1b80f1b0d232fd98d8.png


    (2)需要安装git的同学请参考https://git-scm.com/ (提示:Cannot find command 'git' - do you have 'git' installed and in your PATH?);
    (3)需要安装pip,不过一般环境都安装的有pip,不用单独安装,出现问题时需要检查下;
    (4)如果安装过程中报错,优先确认pip版本是否为最新版。windows用户运行python -m pip install -U pip升级pip版本,
    Linux用户和Mac用户:pip install -U pip(提示:You are using pip version 9.0.1, however version 10.0.1 is available.
    You should consider upgrading via the 'python -m pip install --upgrade pip' command.);
    (5)认证的账号和密码是用户在聚宽官网注册的账号和密码(只有开通JQData使用权限的用户才能成功认证);
    (6) Linux下报gcc错误的同学需要安装并检查下gcc,例如(gcc (Ubuntu 4.8.4-2ubuntu1~14.04.4) 4.8.4)。
    3. 其他
    (1)JQData申请:https://www.joinquant.com/default/index/sdk?f=home&m=banner
    (2)JQData使用方法:https://www.joinquant.com/help/api/help?name=JQData
    (3)其他问题请在社区提问: https://www.joinquant.com/community?f=home&m=memu#tag=faq
    (4)如何升级
    pip install -U jqdatasdk # pip install -U git+https://http://github.com/JoinQuant/jqdatasdk.git -i https://mirrors.aliyun.com/pypi/simple/
    (5)有关安装JQData的另一篇教程,可以参考JQData安装

    https://www.joinquant.com/user/aa470f4fe94b468d6e45465a945d4a13

    展开全文
  • 下载autoware主要是为了看它的架构及相应的模块源代码,最新的代码是在ubuntu18.04上的,无奈自己已经在...根据autoware的1.10.0版本安装要求,ubuntu16.04需要安装ros-kinetic,qt5.2.1以上,可以选安装cuda(我没装)2. ...

    下载autoware主要是为了看它的架构及相应的模块源代码,最新的代码是在ubuntu18.04上的,无奈自己已经在ubuntu16.04用了好几年了,所以找个ubuntu16.04的版本.

    autoware现在已经迁移到了gitlab上.

    1.根据autoware的1.10.0版本安装要求,ubuntu16.04需要安装ros-kinetic,qt5.2.1以上,可以选安装cuda(我没装)

    e544c63bb0fafc578b69f044be315abb.png

    2. 1.10.0的版本安装上有写ubuntu16.04的安装依赖,由于后面是使用catkin_make编译的,所以可以不用安装colcon等依赖,直接全部略过.

    731e1788276c115fce6bf31f9a218bbe.png

    3.安装要求我使用git拉下来,但是拉下来后,在git checkout的时候提示为指针分离,乱七八糟的,所以直接选择1.10.0版本的代码download下来.

    9cdb67e49f2b054c1d918421a41ef48f.png

    4.假设你已经把1.10.0版本的代码解压缩在$HOME目录下,即~/autoware-1.10.0

    $ cd ~/autoware-1.10.0/ros #进入到ros文件夹下
    $ rosdep update
    $ rosdep install -y --from-paths src --ignore-src --rosdistro kinetic #安装ros依赖
    $ ./catkin_make_release #使用catkin_make编译

    5.编译成功后,根据官方教程下载map和bag,进行quick start,两个包大小一共为3G,提供了一个谷歌镜像.

    72245f0ff60ced15471b13f6c72f4d28.png

    6.下载完后解压缩到.autoware文件夹(没有的自己在$HOME目录下创建)

    $ cd ~
    $ mkdir .autoware
    $ cd .autoware
    $ cp ~/Downloads/sample_moriyama_* . #把download下载的压缩包复制到.autoware文件夹下
    $ tar zxfv sample_moriyama_150324.tar.gz #解压缩
    $ tar zxfv sample_moriyama_data.tar.gz
    $ cd autoware/ros 
    $ source devel/setup.bash
    $ ./run

    7.这里是quick start的youtube视频教程,新手教程还不错,推荐看下.

    fc3efc09203236cbddc3b9ced386cc79.png

    PS:1.好像quick start有bug,要严格按照视频教程的操作顺序,pause,stop等等,还要留一点系统反应时间,加载topic进去,否则加载太快可能会崩.

    2.每次加载后,运行的效果都不一样,可能是后台每次算的起始状态都不同,需要一定时间进行匹配

    3.目前无法实现mission_planning和motion_planning的加载,尚未解决.

    4.rviz的配置每次编辑后默认是保留的,如果改乱了,可以到代码库里单独下rviz文件

    展开全文
  • github地址 https://github.com/toxicwebdev/robbyrussell-oh-my-zsh.git 下载完,然后解压文件,进入tools`目录。执行下面的命令: ./install.sh 等待完成即可(如果有需要输入密码,输入即可)。 3.配置Oh My Zsh ...
  • 接口测试脚本一般的执行流程 做接口测试的话,首先要考虑的是如何选择一个合适的工具?...用例归档到git/svn->脚本集成jenkins,在环境更新后自动触发执行或定时执行。Postman工具常见的接口测试流程是怎...
  • 时间过得是真快,离上次分享《用AI生成一堆漂亮且独一无二的女朋友!》已经快过去半个多月了。光分享效果,而不分享如何实现,这不是我的风格。...今天就来介绍第一部分,详细演示如何安装这个并运...
  • Linux-Centos7-安装GIt Linux-Centos7-安装GIt1.压缩包下载地址2.上传压缩包并解压3.安装4.配置环境变量 1.压缩包下载地址 FlowPane(流布局) 2.上传压缩包并解压 FlowPane(流布局) 3.安装 FlowPane(流...
  • GIT压缩包-IDEA插件

    2018-10-30 09:44:36
    idea的插件,安装方便,可以根据里面的手册进行安装,方便快捷。
  • GIT安装与下载

    2018-09-04 15:22:20
    1.在git官网下载git安装压缩包 2.一直默认知到这选中 3.下载完成后,进入git命令界面输入git测试安装是否成功 4.输入git --version测试安装版本  
  • GIT安装步骤

    2017-12-26 21:42:13
    Git64位官网最新版本,压缩包里分为安装文件与安装步骤.doc文件
  • git源码安装

    2019-10-04 07:36:17
    一、源码编译安装Git大体的安装步骤如下:①、获取github最新的Git安装包下载链接,进入Linux服务器,执行下载,命令为: wget https://github.com/git/git/archive/v2.17.0.tar.gz ;②、压缩包解压,命令为: tar ...
  • **情景:有时候会从git或者非官方下载第三方库,无法从pip里查找 ** 1、从镜像网站(https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/)或者其他情况下载下压缩包,不要解压(格式为zip/.tar.gz)...
  • 压缩包中包含了GIT软件的安装包,以及中文版的安装使用说明书,便于学习GIT的使用,便于开发人员进行版本控制
  • git安装

    2021-02-20 15:13:35
    Linux安装 删除旧版本 yum -y -remove git 下载最新安装文件 网址:github下载地址 ,将源码包下载到本地 github上网址太慢,经常出现下载失败...上传后存在压缩包 解压文件 在GitHub的官方下载使用tar进行解压
  • windows gitBash 安装zip

    千次阅读 2019-11-09 12:36:08
    1、安装git(包含git Bash); 2、下载安装包:https://www.jianshu.com/p/0d495f2aef39 zip-3.0-bin.zip bzip2-1.0.5-bin.zip 3:解压压缩包并把zip-3.0-bin.zip解压后的bin文件夹下的zip.exe文件和bzip2-1.0.5...
  • 2. 压缩包解压 tar -zxvf v2.17.0.tar.gz 3. 安装编译源码所需依赖(有提示,输入“y”即可) yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker 4
  • 下载图中圈出的git 压缩包,下载的tar包是源码,之后需要用make命令编译来完成安装git下载地址 https://mirrors.edge.kernel.org/pub/software/scm/git/3.使用finalshell传入虚拟机的个人目录下,我传入了/home/...
  • 安装git仓库

    2020-07-14 15:40:32
    1.先去官方下载git压缩包 2.下载成功后 检测git版本号 git --version 3.查看 git --help 信息 仓库 1.克隆 git clone 链接 2.查看状态 git status(红色字体并不是报错 而是你刚修改的文件) 3.提交 git add . git ...
  • 教程参考:https://my.oschina.net/sh021/blog/1626391?nocache=1521158374806https://blog.csdn.net/alex_zq/article/details/737941681.配置Jdk环境:由于Gitblit是纯java的应用,所以需要先安装JDK环境2....
  • 3.压缩包解压 tar -zxvf git-2.26.2.tar.gz 4.依赖安装 yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker 5.安装 # 进入目录 cd git-2.26.2
  • 一、Git安装 git安装很简单,在浏览器上搜索 git 下载就能报一堆的链接,我这里推荐(https://git-scm.com/downloads)。 打开后一般首页都会出现这个 点击下载就会出现压缩包安装在电脑选定的目录里就可以,建议...
  • 环境准备: 1. 安装git 不想麻烦的话直接:( 1.x 的步骤就不用走了) yum -y install git ...1,2 下载 git 压缩包 官网地址:https://github.com/git/git/releases 1.3 上传,解压缩,进入..
  • Linux安装git

    2019-02-12 23:31:38
    1.下载git压缩包   2.解压缩   3.安装相关依赖,yum -y install zlib-devel openssl-devel cpio expat-devel gettext-devel curl-devel perl-ExtUtils-CBuilder perl-ExtUtils- MakeMaker    4.进入解压后...
  • 解压MySQL压缩包将以下载的MySQL压缩包解压到自定义目录下,我的解压目录是:“D:\java\mysql"将解压目录下默认文件 my-default.ini 拷贝一份,改名 my.ini复制下面的配置信息到 my.ini 保存#如果没有my-default.ini,...
  • linux安装git

    2021-01-08 04:15:50
    大体的安装步骤如下: ①、获取github最新的Git安装包;...④、安装依赖时,yum自动安装Git,需要卸载旧版本Git,命令为: yum remove git 出现提示输入y即可; ⑤、进入解压后的文件夹,命令 cd git-2.17.0
  • Linux安装git(手动安装)

    2020-12-07 12:07:23
    下载压缩包:https://github.com/git/git/releases 解压压缩包(建议放到一个单独的目录进行解压) tar -zxvf git-2.22.0.tar.gz 拿到解压后的源码以后我们需要编译源码了,不过在此之前需要安装编译所需要的依赖。...
  • Linux安装搭建git

    2018-12-08 09:02:13
    安装依赖的包 yum install curl-devel expat-devel gettext-devel ...官网下载并上传git压缩包 cd /usr/local # 使用rz命令将本地下载的压缩包上传,或使用xftp等自己喜欢的方式上传 rz 解压 tar -zxvf g...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 732
精华内容 292
关键字:

git压缩包安装