【问题标题】:How do I perform a multi-segment FTP download with ftplib Python 2.7?如何使用 ftplib Python 2.7 执行多段 FTP 下载?
【发布时间】:2016-05-19 17:23:54
【问题描述】:

对 Python 完全陌生,但我已经完成了简单的 FTP 下载和上传,将块写入磁盘而不是在写入整个文件之前填充 RAM。

我的问题是,我如何同时下载 x 个部分的文件(多个线程下载单个文件的不同段),同时立即将其写入磁盘而不是先填充 RAM?

我已经四处寻找这方面的例子,但它们先填满 RAM,然后再写出文件。

我还想知道是否可以这样做上传?

谢谢

【问题讨论】:

    标签: python multithreading python-2.7 ftp ftplib


    【解决方案1】:

    所以我自己想出来了:)

    from ftplib import *
    from threading import *
    from shutil import *
    import os
    
    num_parts = 20
    FTP_server = 'ftp.example.com'
    FTP_user = 'mark'
    FTP_password = 'password'
    
    FTP_directory = '/foo/bar'
    FTP_file = 'foo.bar'
    
    
    class Done(Exception):
        pass
    
    
    def open_ftp():
        ftp = FTP(FTP_server, FTP_user, FTP_password)
        ftp.cwd(FTP_directory)
        return ftp
    
    
    def go():
        ftp = open_ftp()
        filesize = ftp.size(FTP_file)
        print 'filesize: ' + str(filesize)
        ftp.quit()
    
        chunk_size = filesize/num_parts
        last_chunk_size = filesize - (chunk_size * (num_parts - 1))
    
        downloaders = []
        for i in range(num_parts):
            if i == (num_parts - 1):
                this_chunk_size = last_chunk_size
            else:
                this_chunk_size = chunk_size
            downloaders.append(Downloader(i, chunk_size * i, this_chunk_size))
        for downloader in downloaders:
            downloader.thread.join()
    
        with open(FTP_file, 'w+b') as f:
            for downloader in downloaders:
                copyfileobj(open(downloader.part_name, 'rb'), f)
    
    
    class Downloader:
    
        thread_number = 0
    
        def __init__(self, part_number, part_start, part_size):
            self.filename = FTP_file
            self.part_number = part_number
            self.part_name = 'part' + str(self.part_number)
            self.part_start = part_start
            self.part_size = part_size
            Downloader.thread_number += 1
            self.thread_number = Downloader.thread_number
            self.ftp = open_ftp()
            self.thread = Thread(target=self.receive_thread)
            self.thread.start()
    
        def receive_thread(self):
            try:
                self.ftp.retrbinary('RETR '+self.filename, self.on_data, 100000, self.part_start)
            except Done:
                pass
    
        def on_data(self, data):
            with open(self.part_name, 'a+b') as f:
                f.write(data)
            if os.path.getsize(self.part_name) >= self.part_size:
                with open(self.part_name, 'r+b') as f:
                    f.truncate(self.part_size)
                raise Done
    
    go()
    

    所以我了解到来自 retrbinary 的回调是它获取的实际二进制数据。因此,对于每个线程,我创建一个文件并将来自回调的二进制数据附加到它,直到文件的大小大于预期大小,然后我们截断额外的。 当所有线程都完成时,文件被连接起来,并产生一个具有原始文件名的文件。文件大小和 sha256 已完成并确认它可以工作。 :)

    代码改编自RichieHindle

    【讨论】:

    • 对于一个大文件,我看到以下错误 File "/python/2.7.3/lib/python2.7/ftplib.py", line 555, in size resp = self.sendcmd('SIZE ' + 文件名)文件“/python/2.7.3/lib/python2.7/ftplib.py”,第 244 行,在 sendcmd 返回 self.getresp() 文件“/python/2.7.3/lib/python2.7/ ftplib.py”,第 219 行,在 getresp 中引发 error_perm,resp ftplib.error_perm:550 foo.tgz:对于 A 型尺寸来说太大。我该如何解决这个问题? ftp.sendcmd('binary') 不起作用
    • @gostkadost 引发的错误与权限(550)有关,请确保您提供正确的路径。
    • @MarkPashmfouroush - 我尝试使用相同的方法,但我知道我正在处理的 FTP 服务器未配置为 SIZE (ftplib.error_perm: 501 command aborted -- FTP server not configured尺寸)。你有什么解决方法吗?
    猜你喜欢
    • 1970-01-01
    • 2012-07-19
    • 1970-01-01
    • 2012-01-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-02
    • 2015-05-15
    相关资源
    最近更新 更多