精华内容
下载资源
问答
  • QIIME 2 使用总结

    2020-12-15 11:06:34
    软件介绍 这是一个关于该软件的overview https://docs.qiime2.org/2020.11/tutorials/overview/ 主要工作流程 下载安装 ...wget https://data.qiime2.org/distro/core/qiime2-2020.11-py36-linux-cond

    软件介绍

    这是一个关于该软件的overview
    https://docs.qiime2.org/2020.11/tutorials/overview/

    主要工作流程
    在这里插入图片描述

    下载安装

    如果没有conda环境,需要先安装conda

    安装教程:https://docs.qiime2.org/2020.11/install/native/#install-qiime-2-within-a-conda-environment

    wget https://data.qiime2.org/distro/core/qiime2-2020.11-py36-linux-conda.yml
    conda env create -n qiime2-2020.11 --file qiime2-2020.11-py36-linux-conda.yml
    # OPTIONAL CLEANUP
    rm qiime2-2020.11-py36-linux-conda.yml
    

    数据输入输出

    QIIME 2 中数据都需要导入成artifacts格式

    导入方法:

    https://docs.qiime2.org/2020.11/tutorials/importing/#sequence-data-with-sequence-quality-information-i-e-fastq

    如fastq的导入有以下几种方式

    With QIIME 2, there are functions to import different types of FASTQ data:

    • FASTQ data with the EMP Protocol format
    • Multiplexed FASTQ data with
      barcodes in sequences
    • FASTQ data in the Casava 1.8 demultiplexed
      format
    • Any FASTQ data not represented in the list items above

    由于我们的数据从ncbi上面下载,SRA后缀的文件,用fastq-dump命令之后得到的是一个fastq文件,没有其他的辅助文件,导入方法见移步此博客。

    导入时,除了原始序列的fastq文件,还需要其他的文件

    EMP Protocol format
    在这里插入图片描述

    FASTQ with barcodes
    在这里插入图片描述

    Casava 1.8 single-end demultiplexed fastq

    在这里插入图片描述

    导出方法

    直接导出即可
    https://docs.qiime2.org/2020.11/tutorials/exporting/

    mkdir extracted-feature-table
    qiime tools extract \
      --input-path feature-table.qza \
      --output-path extracted-feature-table
    

    artifact/visualization files .qza/.qzv files

    In order to use QIIME 2, your input data must be stored in QIIME 2 artifacts (i.e. .qza files).

    visualization files 可以看见图标

    artifacts type

    https://docs.qiime2.org/2020.11/semantic-types/
    这里列出几种和OTU相关的type

    FeatureTable[Frequency]: A feature table (e.g., samples by OTUs) where each value indicates the frequency of an OTU in the corresponding sample expressed as raw counts.

    FeatureTable[RelativeFrequency]: A feature table (e.g., samples by
    OTUs) where each value indicates the relative abundance of an OTU in
    the corresponding sample such that the values for each sample will sum
    to 1.0.

    FeatureTable[PresenceAbsence]: a feature table (e.g., samples by OTUs)
    where each value indicates whether an OTU is present or absent in the
    corresponding sample.

    FeatureTable[Composition]: A feature table (e.g., samples by OTUs)
    where each value indicates the frequency of an OTU in the
    corresponding sample, and all frequencies are greater than zero.

    使用

    激活工作环境

    conda activate qiime2-2020.11
    

    关闭工作环境

    source deactivate
    

    可视化

    此时 fmt-tutorial-demux-1.qza 的 type是
    SampleData[SequencesWithQuality]

    qiime demux summarize \
      --i-data fmt-tutorial-demux-1.qza \
      --o-visualization demux-summary-1.qzv
    qiime demux summarize \
      --i-data fmt-tutorial-demux-2.qza \
      --o-visualization demux-summary-2.qzv
    

    在这里插入图片描述

    质量控制 DADA2

    qiime dada2 denoise-single \
      --p-trim-left 13 \
      --p-trunc-len 150 \
      --i-demultiplexed-seqs fmt-tutorial-demux-1.qza \
      --o-representative-sequences rep-seqs-1.qza \
      --o-table table-1.qza \
      --o-denoising-stats stats-1.qza
    qiime dada2 denoise-single \
      --p-trim-left 13 \
      --p-trunc-len 150 \
      --i-demultiplexed-seqs fmt-tutorial-demux-2.qza \
      --o-representative-sequences rep-seqs-2.qza \
      --o-table table-2.qza \
      --o-denoising-stats stats-2.qza
    

    生成文件的type

    stats-1.qza SampleData[DADA2Stats]

    rep-seqs-1.qza FeatureData[Sequence]
    format:“DNASequencesDirectoryFormat”

    table-1.qza BIOMV210DirFmt

    rep-seqs.qzv 可视化
    在这里插入图片描述
    这个文件导出之后是一个后缀为.biom的文件,可以通过biom相关工具包转换为csv

    可以完成的功能

    Differential abundance measurements determine which features (OTUs, ASVs, taxa, etc) are significantly more/less abundant in different experimental groups.

    展开全文
  • QIIME2使用方法

    千次阅读 2019-06-16 22:53:00
    激活qiime2的执行环境:source activate qiime2-2019.4如何查看conda已有的环境:conda info -e以下分析流程参考:https://docs.qiime2.org/2019.4/tutorials/qiime2-for-experienced-microbiome-researchers/ ...
    激活qiime2的执行环境:source activate qiime2-2019.4
    如何查看conda已有的环境:conda info -e

    以下分析流程参考:https://docs.qiime2.org/2019.4/tutorials/qiime2-for-experienced-microbiome-researchers/

    1、数据准备

    现在我们常用的就是这种格式的数据,每个样品一对数据文件

    wget \
      -O "casava-18-paired-end-demultiplexed.zip" \
      "https://data.qiime2.org/2019.4/tutorials/importing/casava-18-paired-end-demultiplexed.zip"

    下载解压后,文件夹中文件如下:

     

    2、将数据转换为qza格式(qiime新定义的自己的格式类型,有点编程中对象的含义)

    qiime tools import \
      --type 'SampleData[PairedEndSequencesWithQuality]' \
      --input-path casava-18-paired-end-demultiplexed \
      --input-format CasavaOneEightSingleLanePerSampleDirFmt \
      --output-path demux-paired-end.qza

    3、查看数据质量
    qiime demux summarize --i-data demux-paired-end.qza --o-visualization demux-summary-1.qzv
    用以下命令查看结果:
    qiime tools view demux-summary-1.qzv

    4、双端序列合并成单端

    qiime vsearch join-pairs --i-demultiplexed-seqs demux-paired-end.qza --o-joined-sequences demux-joinded.qza

     

    5、查看对merge后的数据质量情况

    qiime demux summarize --i-data demux-joinded.qza --o-visualization demux-summary-merged.qzv

    qiime tools view demux-summary-merged.qzv

     

    4、对数据进行剪切

    双端:
    qiime dada2 denoise-paired \ --i-demultiplexed-seqs demux-paired-end.qza \ --p-trim-left-f 13 \ --p-trim-left-r 13 \ --p-trunc-len-f 150 \ --p-trunc-len-r 150 \ --o-table table.qza \ --o-representative-sequences rep-seqs.qza \ --o-denoising-stats denoising-stats.qza

    单端:

    qiime dada2 denoise-single \
      --i-demultiplexed-seqs demux-joinded.qza \  #输入应该也是序列,不能是joined对象
      --p-trim-left 13 \
      --p-trunc-len 150 \
      --o-table table.qza \
      --o-representative-sequences rep-seqs-merged.qza \
      --o-denoising-stats denoising-stats-merged.qza

    https://forum.qiime2.org/t/demultiplexing-and-trimming-adapters-from-reads-with-q2-cutadapt/2313

    转载于:https://www.cnblogs.com/afeiyuanda/p/11037287.html

    展开全文
  • qiime-default-reference(标准发音为chime default reference )是一个Python软件包,其中包含与一起使用的默认参考数据文件。 当前的默认参考数据是从Greengenes 16S rRNA数据库版本13_8编译而来的。 有关更多...
  • 本文档整合了Qiime软件包所含python脚本的使用方法
  • 登录成功会返回Login Succeeded docker push liuyongxin/ubuntu16 docker rmi liuyongxin/ubuntu16 # 如果本地不再使用且想清理空间,可移除镜像 使用别人配置的QIIME docker # 在docker库中检索 docker search ...


    本教程环境为Ubuntu16.04 x64

    最好有管理员权限,没权限找管理员帮忙。用Docker运行所有流程的成功率高,几乎是万能的,简单高效,不存在环境变量污染和版本冲突的问题,是复杂分析项目非常好的解决方案。

    Docker 基本使用

    安装Docker

    # 安装Docker
    sudo apt-get install docker.io
    # 启动Docker服务
    service docker start # select 1, using passwd yyf......
    # 关闭Docker服务
    service docker stop
    
    # 配置权限,添加用户至docker组即可
    user=test # 设置用户名为yongxin
    groupadd docker
    sudo usermod -aG docker ${USER}
    
    # 查看docker运行信息
    docker info

    下载镜像

    # 搜索镜像:镜像的名字通常由用户名/镜像名构成,无用户名的为官方认证镜像
    docker search ubuntu
    
    # 获取镜像
    docker pull ubuntu # ubuntu latest 16.04
    
    # 查看本机Docker中存在的镜像 
    docker images
    
    # 查看镜像的历史编辑信息
    docker history ubuntu

    运行镜像

    # 可以查看这个命令的参数
    docker run --help
    
    # 创建容器,命名容器名ubuntu,互动标准输入i和分配新命令行t。i: --interactive Keep STDIN open even if not attached; t: --tty Allocate a pseudo-TTY
    docker run --name=ubuntu -it ubuntu
    
    apt-get update
    apt-get install less
    apt-get install htop
    bash --version # 4.3.48
    perl -v # 5.22.1
    apt-get install r-base # depended on python
    R --version # 3.2.3 (2015-12-10)
    python --version # 2.7.12
    
    # 内部退出容器
    exit # 或Ctrl+D
    
    # 查看容器列表
    docker ps -a|less -S # 查看所有container
    
    # 启动退出容器(ID/Names)
    docker start ubuntu
    
    # 进入运行容器
    docker attach ubuntu
    exit # 退出终端和容器
    
    # 保存容器至镜像
    ## a作者,m描述(am可不添),容器,镜像(用户/镜像:版本)
    docker commit -a liuyongxin -m 'Add r-base' ubuntu liuyongxin/ubuntu16:0.01
    
    # 导出容器至文件
    docker export ubuntu -o ubuntu.tar
    # 导入容器文件为镜像
    docker import ubuntu.tar liuyongxin/ubuntu16:latest
    
    # 删除退出容器及挂载目录链接
    docker rm -v ubuntu
    
    # 后台运行images
    docker run --name=ubuntu -itd liuyongxin/ubuntu16 /bin/bash  
    
    # 外部退出容器
    docker stop ubuntu
    
    # 批量退出容器
    docker stop $(docker ps -a -q)
    
    # 批量删除退出的容器
    docker rm -v $(docker ps -a -q -f status=exited)
    
    # 移除镜像
    docker rmi liuyongxin/ubuntu16
    
    # 移除全部镜像
    docker rmi $(docker images -q)
    
    # 只对某目录数据处理:打开镜像并挂载目录工作,退出自动删除容器
    # rm退出删除容器,v挂载yongxing至home,容器名,打开命令行
    docker run --rm -v /mnt/bai/yongxin:/home --name=ubuntu -it liuyongxin/ubuntu16:0.01

    上传镜像

    我们需要现在Docker hub注册账号
    Username:liuyongxin
    Email: liuyongxin@163.com
    Password:xxx……

    docker login # 按提示输入用户名、密码。登录成功会返回Login Succeeded
    docker push liuyongxin/ubuntu16
    docker rmi liuyongxin/ubuntu16 # 如果本地不再使用且想清理空间,可移除镜像

    使用别人配置的QIIME docker

    # 在docker库中检索
    docker search qiime
    # 下载需要的docker
    docker pull yoshikiv/basespace-qiime-191-dev
    # 查看本地的qiime docker
    docker images|grep 'qiime'
    # 运行docker,加载工作目录,退出自动移除
    docker run  --rm -v /mnt/bai/yongxin:/home --name=qiime -it yoshikiv/basespace-qiime-191-dev

    增强docker qiime的高级绘图功能,选用

    # install ggplot2 ggtree for R
    R
    source("https://bioconductor.org/biocLite.R")
    biocLite(c("ggtree","ggplot2","colorspace"))

    实例:使用docker中的QIIME绘制alpha rarefraction曲线

    docker run --rm -v `pwd`:/home --name=qiime yoshikiv/basespace-qiime-191-dev make_rarefaction_plots.py -i home/${result}/a_collated/ -m home/doc/design_rare.txt -o home/result

    Reference

    1. http://mp.weixin.qq.com/s/HLHiWMLaWtB7SOJe_jP3mA

    猜你喜欢

    10000+:菌群分析 宝宝与猫狗 梅毒狂想曲 提DNA发Nature Cell专刊 肠道指挥大脑

    系列教程:微生物组入门 Biostar 微生物组  宏基因组

    专业技能:学术图表 高分文章 生信宝典 不可或缺的人

    一文读懂:宏基因组 寄生虫益处 进化树

    必备技能:提问 搜索  Endnote

    文献阅读 热心肠 SemanticScholar Geenmedical

    扩增子分析:图表解读 分析流程 统计绘图

    16S功能预测   PICRUSt  FAPROTAX  Bugbase Tax4Fun

    在线工具:16S预测培养基 生信绘图

    科研经验:云笔记  云协作 公众号

    编程模板: Shell  R Perl

    生物科普:  肠道细菌 人体上的生命 生命大跃进  细胞暗战 人体奥秘  

    写在后面

    为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外2400+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍末解决群内讨论,问题不私聊,帮助同行。

    学习16S扩增子、宏基因组科研思路和分析实战,关注“宏基因组”

    点击阅读原文,跳转最新文章目录阅读

    展开全文
  • 使用的软件qiime2 https://github.com/YongxinLiu/QIIME2ChineseManual讲得很详细,优先使用这个 https://qiime2.org https://blog.csdn.net/woodcorpse/article/details/77942745 ...

    使用的软件qiime2
    https://github.com/YongxinLiu/QIIME2ChineseManual讲得很详细,优先使用这个
    https://qiime2.org
    https://blog.csdn.net/woodcorpse/article/details/77942745
    https://forum.qiime2.org/t/qiime2-chinese-manual/838
    https://view.qiime2.org/可视化网页
    序列比对: https://www.genome.jp/tools-bin/clustalw

    如何在NCBI上根据属名批量下载参考基因组https://github.com/kblin/ncbi-genome-download

    导入fastq文件
    https://blog.csdn.net/julse/article/details/111587818
    https://blog.csdn.net/zhihaoyi/article/details/102588522
    1、建立清单文件
    2、代码

    time qiime tools import \
    --type 'SampleData[SequencesWithQuality]' \
    --input-path metainfo.tsv \
    --output-path single-end-demux.qza \
    --input-format SingleEndFastqManifestPhred33V2
    

    3、查看导入文件的统计信息,先生成qzv文件,再上传到https://view.qiime2.org/visualization/ 显示出来,或下载到本地解压查看

    time qiime demux summarize \
      --i-data single-end-demux.qza \
      --o-visualization single-end-demux.qzv
    

    训练分枝杆菌属(Mycobacterium)分类器

    教程https://mp.weixin.qq.com/s/K_4HhVCrCJuYePnsxgok6w
    Mycobacterium_16sRNA.fasta 数据来源:https://lpsn.dsmz.de/genus/mycobacterium(LPSN)
    LPSN每一种微生物属的16sRNA.fasta 都有,可以一次性下载
    分枝杆菌致病菌数据库https://mycobrowser.epfl.ch/
    分枝杆菌在全国分布的文章https://www.hindawi.com/journals/bmri/2016/2153910/tab2/

    展开全文
  • 使用别人配置的QIIME docker # 在docker库中检索 docker search qiime # 下载需要的docker docker pull yoshikiv/basespace-qiime- 191 -dev # 查看本地的qiime docker docker images|grep 'qiime' # ...
  • qiime2R包的安装及使用

    千次阅读 2020-09-01 14:48:54
    qiime2R包讲qiime2中的最终特征表文件(table.qza),分类文件(taxonomy.qza)及进化树文件直接导入R软件中,进行图形的绘制及统计分析。 功能如下: read_qza()- Function for reading artifacts (.qza). qza_to_...
  • 下载qiime2所需安装软件列表 wget https://data.qiime2.org/distro/core/qiime2-2020.6-py36-linux-conda.yml 创建环境 conda env create -n qiime2-2020.6 --file qiime2-2020.6-py36-linux-conda.yml 激活环境 ...
  • 教程:集成QIIME2和R以使用qiime2R( v0.99.5 )进行数据可视化和分析 背景 是一种用于存储的输入和输出以及相关元数据和有关对象形成方式的出处信息的方法。 这种存储对象的方法具有许多明显的优点。 但是,从表面...
  • 电气石是使用及其包装的软件包对Illumina序列数据进行的扩增子序列处理工作流程。 电气石使用工作流程管理系统管理命令,输入和输出。 为什么要使用电气石? 电气石具有增强可用性和互操作性的若干功能: 可移植性...
  • 您也可以将的应用程序编程接口与一起使用,以使用QIIME 2的输出文件(例如,分类条形图或alpha稀疏图)创建具有出版质量的图形。 要安装独岛,请在终端中输入以下内容: $ git clone ...
  • 使用QIIME进行 进化树,Alpha,Beta多样性 分析 上回讲到,使用Usearch进行进化树,Alpha,Beta多样性的分析。同时,我们还要再次强调QIIME的伟大之处在于全流程分析的能力。因此,使用QIIME同样可以进行上述分析过程...
  • 我们知道,不管是16S等扩增子测序,还是宏基因组,最后最重要的结果,就是物种的丰度...那么,现成的软件有哪些呢,在这里,我抛砖引玉,提出一个曲线救国的方法,使用qiime2的前任qiime1解决,稍微做几步处理即可。如
  • 使用 vsearch+usearch11+QIIME 处理双端测序数据 上文说到,使用Vsearch、Usearch、QIIME均可以处理双端测序数据。这里为了充分利用每个工具的优点,开发了一个使用vsearch、usearch11和QIIME1.9的16S rRNA数据处理...
  • 启动QIIME2运行环境 conda activate qiime2-2019.4 ###新建并定位设置到存在fq数据的文件夹 mkdir qiime2-importing-tutorial ##建立新的文件夹 cd */*/qiime2-importing-tutorial 将fq数据转换成qza数据 1.清单...
  • 1. 安装miniconda ... bash Miniconda3-...由于qiime1官网已经停止维护,且有些依赖包只能使用旧版本,因此,建议使用虚拟环境的方法进行安装。不然会与系统的软件冲突。如系统默认版本为python3,matplotlib版...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 143
精华内容 57
关键字:

qiime使用