您可以通过 FTP 管道检索多个文件吗？答案

【问题标题】：Can you pipeline from an FTP retrieving multiple files?您可以通过 FTP 管道检索多个文件吗？
【发布时间】：2020-11-10 06:36:08
【问题描述】：

我正在尝试从 NCBI 检索数百个基因组，并将它们通过管道传输到服务器 Phaster（直接或通过我的本地服务器）。你能在一个命令中输出一个检索多个文件的 FTP 输出吗？我试过使用 rsync 和 wget。

任何 FTP 在管道中运行良好？

【问题讨论】：

你能分享你用来检索文件的命令（或一个简短的 shell/bash 脚本）吗？它将帮助 SO 读者根据您已经完成的工作为您提供建议
您能否更具体地了解您的需求。看起来您想从 ftp 服务器下载一堆文件。你可以使用 wget wget --user=username --password=123 ftp://ftp.place.to.downloadfrom.com/path2files
你可以试试ncftp！但是对于使用管道（参见bash 中的coproc），您最好使用简单的ftp 客户端。

标签： bash fasta ncbi

【解决方案1】：

例如，我有以下内容的文件。

Kluyveromyces_lactis ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/002/515/GCF_000002515.2_ASM251v1 latest_Complete Genome_Major Leishmania_major_strain_Friedlin ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/002/725/GCF_000002725.2_ASM272v2 最新_完整基因组_主要疟原虫_恶性疟原虫_3D7 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/002/765/GCF_000002765.5_GCA_000002765 最新_完整基因组_主要秀丽隐杆线虫_线虫 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/002/985/GCF_000002985.6_WBcel235 最新_完整基因组_主要芽孢杆菌_pseudofirmus_OF4 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/005/825/GCF_000005825.2_ASM582v2 最新_完整基因组_主要大肠杆菌_coli_str._K-12_substr._MG1655 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/005/845/GCF_000005845.2_ASM584v2 latest_Complete Genome_Major Methanococcus_voltae_A3 ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCF/000/006/175/GCF_000006175.1_ASM617v2 latest_Complete Genome_Major

而且，如果我想下载 Kluyveromyces_lactis .fna 和 .gtf 文件，我在下面运行 php 代码

<?php
$process=new GDownloading("assembly_summary_refseq_new.txt","ftp_links_of_species_1.txt", "Chromosome");
//$process->Sorting();
$process->Download();

class GDownloading
{
    public $s_file, $r_file, $g_opt;
    function __construct($SourceFile, $ResultFile, $Goption)
    {
        $this->s_file=$SourceFile;
        $this->r_file=$ResultFile;
        $this->g_opt=$Goption;
    }
    function Sorting()
    {
        $gfile = fopen($this->s_file, "r");
        $resfile = fopen($this->r_file, "wb");
        while($line=fgets($gfile, 1000000))
        {
            if($line[0]=="#")
            {continue;}
            $pts = explode("\t", $line);
            if (substr($pts[19], 0, 4) == "ftp:")
            {
                if ($pts[10]=="latest" && $pts[11]==$this->g_opt && $pts[12]=="Minor")
                {
                    $ftp_link = $pts[19];
                    $sp_name = str_replace(" ", "_", $pts[7]);
                    fwrite($resfile, "$sp_name\t$ftp_link\t$pts[10]_$pts[11]_$pts[12]\n");
                }
                else
                {
                    continue;
                }
            }
        }
        fclose($gfile);
        fclose($resfile);
    }
    function Download()
    {
        $ftp_link = fopen($this->r_file, "r");
        if(!is_dir("Chromosome"))
        {
            mkdir("Chromosome");
        }
        $download_count=0;
        while($line=fgets($ftp_link, 10000))
        {
            $dir=scandir("Chromosome");
            $pts=explode("\t", $line);
            $pts[0]=str_replace("/", "", $pts[0]);
            $pts[0]=str_replace(":","_", $pts[0]);
            if(in_array("$pts[0]", $dir))
            {
                $folder_name=$pts[0] . "_" . $download_count;
            }
            else
            {
                $folder_name = $pts[0];
            }
            $link = $pts[1];
            mkdir("Chromosome/$folder_name") ;
            $file=explode("/", $link);
            $file=end($file);
            $fna=$link."/".$file."_genomic.fna.gz";
            $gtf=$link."/".$file."_genomic.gtf.gz";
            system("wget -c ".$fna." -P Chromosome/".$folder_name);
            system("wget -c ".$gtf." -P Chromosome/".$folder_name);
            $download_count++;
        }
    }
}

?>

【讨论】：

请格式化您的答案以便阅读。
请问，“格式”这个词是什么意思？我只能将一些 //cmets 添加到我的代码页中。你是这个意思吗？