一种从SFTP服务器在Python上加载大数据的方法，而不是使用我的硬盘

Question

由于我的硬盘内存不够，我将大数据上传到SFTP服务器。 如何用Python访问服务器并加载它们进行分析？ 我只想使用 Python 并将输出再次发送到服务器，而不是将它们下载到我的计算机上。

Answer 1

通过 Paramiko 库，您可以使用

SFTPClient.open

方法 检索可处理远程数据的类文件对象。然后，大多数 Python API 都可以使用这个类似文件的对象来代替本地文件句柄。

with sftp.open('filename.txt', bufsize=32768) as f:
    # use f as if you have opened a local file with open()

有关一些现实生活中的示例，请参阅：

• 使用 Python Paramiko 将 .csv 文件从 SFTP 服务器读取到内存
• 从 SFTP 服务器打开 Astropy FITS 文件
• 将 JSON 文件直接转储到远程 SSH 连接，而不先将它们存储在本地计算机中
• 从 SFTP 文件读取 CSV/Excel 文件，使用 Pandas 对这些文件进行一些更改，然后保存回来
• 使用 pdfplumber 和 Paramiko 从 SFTP 服务器读取 PDF 文件
• 使用Paramiko将文件从SFTP传输到S3
• 使用Python直接从SFTP服务器将文件上传到Google存储桶

---

但是您仍然会“下载”数据。如果不下载（使用网络带宽），您就无法在本地处理远程数据。您只是不会将数据存储到本地文件系统。

---

为了

bufsize=32768的目的，请参阅

读取使用Python Paramiko SFTPClient.open方法打开的文件很慢

。

Answer 2

https://pypi.org/project/pysftp/

    import pysftp

    with pysftp.Connection('hostname', username='me', password='secret') as sftp:
        with sftp.cd('public'):             # temporarily chdir to public
        sftp.put('/my/local/filename')  # upload file to public/ on remote
        sftp.get('remote_file')         # get a remote file

访问 

http://docs.paramiko.org/en/stable/api/sftp.html