将 Google Drive 中的图像数据集(文件夹或 zip)加载到 Google Colab?

问题描述 投票:0回答:5

我的 Google 云端硬盘上有一个图像数据集。我的数据集有压缩的 .zip 版本和未压缩的文件夹。

我想使用 Google Colab 训练 CNN。我如何告诉 Colab 我的 Google 云端硬盘中的图像在哪里?

  1. 官方教程对我没有帮助,因为它只展示了如何上传单个文件,而不是像我一样上传包含 10000 张图像的文件夹。

  2. 然后我找到了这个答案,但是解决方案还没有完成,或者至少我不明白如何继续解压。不幸的是,我无法评论这个答案,因为我没有足够的“stackoverflow 点”

  3. 我也找到了这个帖子,但这里所有的答案都使用其他工具,例如Github或dropbox

我希望有人能解释我需要做什么或告诉我在哪里可以找到帮助。

编辑1:

我发现另一个线程问了与我相同的问题:可悲的是,在这 3 个答案中,有两个提到了 Kaggle,我不知道也没有使用它。第三个答案提供了两个链接。第一个链接指的是我链接的第三个线程,第二个链接仅解释如何手动上传单个文件。

python neural-network google-colaboratory
5个回答
11
投票

更新答案。您现在可以通过 Google Colab 进行操作

# Load the Drive helper and mount
from google.colab import drive

# This will prompt for authorization.
drive.mount('/content/drive')

!ls "/content/drive/My Drive"

谷歌文档


7
投票

正如@yl_low 这里

所提到的

步骤1:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

第2步:

from google.colab import auth
auth.authenticate_user()

步骤3:

from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

第2步和第3步都需要填写URL提供的验证码

第四步:

!mkdir -p drive
!google-drive-ocamlfuse drive

第5步:

print('Files in Drive:')
!ls drive/

5
投票

其他答案都很好,但它们需要每次都在 Google Drive 中进行身份验证,如果您想自上而下运行笔记本,这不是很舒服。

我有同样的需求,我想从 Drive 下载一个包含数据集的 zip 文件到 Colab。我更喜欢获取该文件的可共享链接并运行以下单元格(用您的共享链接替换drive_url):

import urllib

drive_url = 'https://drive.google.com/uc?export=download&id=1fBVMX66SlvrYa0oIau1lxt1_Vy-XYZWG'
file_name = 'downloaded.zip'

urllib.request.urlretrieve(drive_url, file_name)
print('Download completed!')

2
投票

我看到并尝试了以上所有内容,但它对我不起作用。因此,这里有一个简单的解决方案和简单的说明,可以帮助您加载 .zip 图像文件夹并从中提取图像。

  • 连接到谷歌驱动器
    from google.colab import drive
    drive.mount('/content/drive')
    

(您将获得一个登录您的谷歌帐户的链接,复制代码并粘贴到colab中要求的代码上)

  • 安装并导入keras库
    !pip install -q keras
    import keras
    
    

(zip文件加载到colab中)

  • 解压文件夹
    ! unzip 'zip-file-path'
    

获取路径:

  • 选择google colab左侧的文件
  • 浏览文件,单击 3 个点
  • 复制路径

现在解压的图像文件夹已加载到您的colab中,您可以随意使用它


© www.soinside.com 2019 - 2024. All rights reserved.