读取mjsynth数据集的图像问题

Question

最近，我正在尝试训练文本识别网络。我试图通过将mjsynth dataset 馈入网络来开始培训。但是，数据集中似乎有些图像是空白的。因此，在训练期间，如果我直接将数据馈送到网络，则在读取图像时会产生错误，并且由于该错误，训练会停止。有谁知道mjsynth数据集中的空白图像列表。这样我就可以从数据集中删除那些空白图像。

Answer 1

[尝试了许多事情之后，我最终进行了一个相当长的实验，读取了近900万张mjsynth数据集的图像，并收集了损坏或空白的图像。我发现这是12张损坏的图像，当mjsynth数据直接馈送到模型进行训练而没有任何变化时，这些图像会停止模型训练。这是代码，并建立了无效的图像。因此，您可以在开始模型训练之前从mjsynth数据集中删除此图像。

import os
import cv2
import numpy as np
rootdir = './mjsynth/mnt/ramdisk/max/90kDICT32px'

invalid_images = []
for subdir, dirs, files in os.walk(rootdir):
    for file in files:
        im_path = os.path.join(subdir, file)
        im = cv2.imread(im_path)
        if type(im) != np.ndarray:
            invalid_images.append(im_path)

print('invalid_images = {}'.format(invalid_images ))

# output
invalid_images = 
['./mjsynth/mnt/ramdisk/max/90kDICT32px\\1863/4/223_Diligently_21672.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\913/4/231_randoms_62372.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\2025/2/364_SNORTERS_72304.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\495/6/81_MIDYEAR_48332.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\869/4/234_TRIASSIC_80582.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\173/2/358_BURROWING_10395.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\2013/2/370_refract_63890.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\368/4/232_friar_30876.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\1881/4/225_Marbling_46673.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\1817/2/363_actuating_904.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\275/6/96_hackle_34465.jpg',
'./mjsynth/mnt/ramdisk/max/90kDICT32px\\2069/4/192_whittier_86389.jpg']