使用nf-core的ampliseq(qiime2)流程分析16S数据

最近看到生信技能树的一篇推文在介绍nf-core这个流程管理工具,发现官方有qiime2的流程,学习一下,顺便探索一下中间的坑。关于nf-core,这篇推文已经介绍的够多了,我这里主要学习它的搭建和使用。

一、环境搭建

首先,先进行环境搭建工作,这是必修课和基础,没有环境,什么也做不了。理解下来,nf-core可以使用三种方式进行环境准备,本地安装,conda或者docker,一般来说,对新手最友好的当属conda了,除了有的软件清华源镜像里没有,会速度极慢,容易失败,可能环境准备要放许久,如果数据不大的话,建议选用一台物理地址在香港等地的小云服务器解决,软件安装节省很多很多时间。

#下载conda,境内推荐清华源 
#https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
#按照提示安装
bash Miniconda3-latest-Linux-x86_64.sh
#如果选择不初始化,激活环境
source miniconda3/bin/activate
#下载流程所需要的环境配置文件
wget https://github.com/nf-core/ampliseq/raw/master/environment.yml
#创建流程所需要的环境
conda env create -n ampliseq --file environment.yml
#激活环境
conda activate ampliseq
#安装nextflow
conda install -c bioconda nextflow -y

二、配置和运行

配置主要是参考github上这个流程的参数说明,主要是控制16S的扩增引物,电脑的最大CPU核心数和RAM,序列质控trim的长度,先fastqc确定一下。

#配置
cd test
#把数据放在工作目录,这里省略
#配置好sample-metadata.txt样本信息表,下载已经训练好的分类参考
#版本需要对应,这里是2019.10
wget https://data.qiime2.org/2019.10/common/gg-13-8-99-nb-classifier.qza
#然后运行流程,这里我开了一个虚拟机,双核4g
#因为已经切到建好的环境了,就不再加上-profile conda参数了,否则又要新建一个一样的环境
nextflow run nf-core/ampliseq --reads "Dong-16S" \
    --FW_primer TACGGRAGGCAGCAG \
    --RV_primer AGGGTATCTAATCCT \
    --metadata "sample-metadata.txt" \
    --untilQ2import \
    --extension "/*R{1,2}.fastq" \
    --trunclenf 280 \
    --trunclenr 250 \
    --max_memory '3.GB' \
    --max_cpus 2 \
    --onlyDenoising

然后,就得到了输出结果:

给我的感觉是,一个成熟的流程构建者由于对数据处理有丰富的经验,可以充分地利用计算机的硬件最大潜能,实现最短的时间完成最大的任务量,这对于生产环境是用及其重要的,科研环境一般可能不会有这种问题,科研最需要的是画图,和能说明问题的结论以及故事。它充分地合理安排了各个任务,可以步骤交替运行,但基本上没有限速步骤,这是值得学习和使用的地方。

Launching `nf-core/ampliseq` [reverent_goldstine] - revision: cd23988d88 [master]
[2m----------------------------------------------------
                                        ,--./,-.
        ___     __   __   __   ___     /,-._.--~'
  |\ | |__  __ /  ` /  \ |__) |__         }  {
  | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                        `._,._,'
  nf-core/ampliseq v1.1.2
----------------------------------------------------
Pipeline Name     : nf-core/ampliseq
Pipeline Release  : master
Run Name          : reverent_goldstine
Reads             : Dong-16S
Data Type         : Paired-End
Max Resources     : 3.GB memory, 2 cpus, 10d time per job
Output dir        : ./results
Launch dir        : /root/test_project
Working dir       : /root/test_project/work
Script dir        : /root/.nextflow/assets/nf-core/ampliseq
User              : root
Config Profile    : standard
------------------------------------------------------
executor >  local (1)
[-        ] process > get_software_versions        [  0%] 0 of 1
[34/c556b9] process > fastqc                       [  0%] 0 of 6
[-        ] process > trimming                     [  0%] 0 of 6
[-        ] process > multiqc                      -
[-        ] process > qiime_import                 -
[-        ] process > qiime_demux_visualize        -
......
[d8/db2448] process > get_software_versions        [100%] 1 of 1 ✔
[2e/88b642] process > fastqc                       [100%] 6 of 6 ✔
[cf/4605c1] process > trimming                     [100%] 6 of 6 ✔
[57/54f4cc] process > multiqc                      [100%] 1 of 1 ✔
[9e/b298db] process > qiime_import                 [100%] 1 of 1 ✔
[8b/60b53e] process > qiime_demux_visualize        [100%] 1 of 1 ✔
[08/804cd9] process > dada_trunc_parameter         [100%] 1 of 1 ✔
[5c/532077] process > dada_single                  [100%] 1 of 1 ✔
[25/c6cdaa] process > classifier                   [100%] 1 of 1 ✔
[2b/ef2011] process > filter_taxa                  [100%] 1 of 1 ✔
[5f/cf7385] process > export_filtered_dada_output  [100%] 1 of 1 ✔
[29/caccdc] process > report_filter_stats          [100%] 1 of 1 ✔[63/2018d3] process > RelativeAbundanceASV         [100%] 1 of 1 ✔
[35/521394] process > RelativeAbundanceReducedTaxa [100%] 1 of 1 ✔[e3/06d354] process > barplot                      [100%] 1 of 1 ✔
[cb/b1321a] process > tree                         [100%] 1 of 1 ✔[62/9aab63] process > alpha_rarefaction            [100%] 1 of 1 ✔
[0b/caf4ae] process > combinetable                 [100%] 1 of 1 ✔[6d/00777a] process > diversity_core               [100%] 1 of 1 ✔
[13/37d1de] process > metadata_category_all        [100%] 1 of 1 ✔
[81/ac4e94] process > metadata_category_pairwise   [100%] 1 of 1 ✔
[0e/77008d] process > alpha_diversity              [100%] 4 of 4, failed: 4 ✔
[-        ] process > beta_diversity               -
[52/e9e491] process > beta_diversity_ordination    [100%] 4 of 4 ✔
[02/1173eb] process > prepare_ancom                [100%] 1 of 1 ✔
[93/fec20e] process > ancom_tax                    [100%] 5 of 5 ✔
[ca/f279b2] process > ancom_asv                    [100%] 1 of 1 ✔
[ae/e29fd4] process > output_documentation         [100%] 1 of 1 ✔
[0;35mWarning, pipeline completed, but with errored process(es)
[0;31mNumber of ignored errored process(es) : 4
[0;32mNumber of successfully ran process(es) : 43
[0;35m[nf-core/ampliseq] Pipeline completed successfully
[a9/5c27da] NOTE: Process `alpha_diversity (evenness_vector)` terminated with an errorexit status (1) -- Error is ignored
WARN: To render the execution DAG in the required format it is required to install Graphviz -- See http://www.graphviz.org for more info.
Completed at: 08-Apr-2020 06:44:42
Duration    : 9m 24s
CPU hours   : 0.2 (2.4% failed)
Succeeded   : 43
Ignored     : 4
Failed      : 4
#运行时间9分钟左右,已经超级高效了,我手动做的话会到法小时吧。因为手上数据有些质量问题,处理过程中有报错

三、结果欣赏

来看看这个结果怎样,因为结果做的很漂亮,所以用上了欣赏这个词。基本上相当于一个公司的数据分析报告的感觉,我觉得如果再加上一个网页端,人人都可以云生信做微生物数据分析了。毕竟,16S数据分析也不需要多强大的电脑,自己的笔记本就可以搞定。专注于具体的参数,而不需要考虑每一个命令,这就是未来呀。从运行过程来看,作者还使用了一些R脚本完成了许多图形的绘制,以及部分文件的操作。

#安装tree,查看文件目录树
sudo apt install tree
tree
#以下是输出
├── Documentation
├── MultiQC
├── abundance_table
├── alpha-diversity
├── alpha-rarefaction
├── ancom
├── barplot
├── beta-diversity
├── demux
├── fastQC
├── phylogenetic_tree
├── pipeline_info
├── rel_abundance_tables
├── representative_sequences
├── taxonomy
└── trimmed

1.提供了一个帮助文档,方便理解以上各个文件的信息。

2.然后是结果汇总,是流程的运行概览信息,CPU,内存使用情况和运行时间,以及各个任务的详细信息,包括脚本命令等。

3.关于结果,流程是把qiime2的qzv格式做了解压处理,这样方便直接用网页打开而不需要view.qiime2.cn这个网站。而且对文件进行了重命名,方便进行查阅。和qiime2的输出结果是一样的,这里就不放了。

发表评论