之前我在for循环中使用model.fit()手动训练我的模型,由于内存限制,在小批量数据上训练它。这个问题是我无法通过history.history访问所有以前的历史记录,因为它就像每次训练新模型时一样,并且以前的历史记录不存储在任何地方。
当我在500批量大小上使用model.fit()时,我的ram大约7 GB就会满了。我使用keras和tensorflow-cpu后端。但是当我使用生成器时,即使批量大小为50也不适合内存,并且会被交换到磁盘上。
我正在进行分类,使用224 * 224图像,我正在尝试微调vgg脸。我正在使用vgg face根据这个链接实现:VGG-Face
我正在使用ResNet和SeNet架构,如链接中所述。
我以前洗过我的数据。我已将我的数据的20%放在一边进行测试。我的数据,图像地址和标签存储在列表中。我的训练数据的%20将用于验证。例如,如果批量大小等于50,则train_data_generator将从训练数据的第一个%80部分创建大小为40的批次,并且vl_data_generator将从训练数据的最后%20部分创建大小为10的批次。我写了一个类,通过创建一个实例并通过它调用train方法,我进行了训练。以下是我的代码的生成器和培训部分,不包括模型定义:
def prepare_input_data(self, batch_addresses):
image = []
for j in range(len(batch_addresses)):
img = cv2.imread(batch_addresses[j])
img = cv2.resize(img, (224, 224))
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = img - np.array([103.939, 116.779, 123.68])
image.append(img)
data = np.array(image)
data = data.astype('float32')
data /= 255
return data
def train_data_generator(self, addresses, labels, batch_size):
"""Train data generator"""
#Use first %80 of data for training.
addresses = addresses[: int(0.8 * len(addresses))]
labels = labels[: int(0.8 * len(labels))]
total_data = len(addresses)
while 1:
for i in range(total_data / batch_size):
batch_addresses = addresses[i * batch_size: (i + 1) * batch_size]
batch_labels = labels[i * batch_size: (i + 1) * batch_size]
data = self.prepare_input_data(batch_addresses)
batch_labels = np_utils.to_categorical(batch_labels, self.nb_class)
yield data, batch_labels
def val_data_generator(self, addresses, labels, batch_size):
"""Validation data generator"""
#Use the last %20 of data for validation
addresses = addresses[int(0.8 * len(addresses)):]
labels = labels[int(0.8 * len(labels)):]
total_data = len(addresses)
image = []
while 1:
for i in range(total_data / batch_size):
batch_addresses = addresses[i * batch_size: (i + 1) * batch_size]
batch_labels = labels[i * batch_size: (i + 1) * batch_size]
data = self.prepare_input_data(batch_addresses)
batch_labels = np_utils.to_categorical(batch_labels, self.nb_class)
yield data, batch_labels
def train(self, label_interested_in):
"""Trains the model"""
#Read training data from json file, and get addresses and labels
addresses, labels = self.create_address_and_label(label_interested_in)
batch_size = 50
train_batch_size = 40
val_batch_size = 10
steps = int(len(addresses) / batch_size) + 1
print(len(addresses), steps)
#Perform training
history = self.custom_vgg_model.fit_generator(
self.train_data_generator(addresses, labels, train_batch_size),
steps_per_epoch=steps, epochs=self.number_of_epochs,
verbose=1, validation_data=self.val_data_generator(addresses, labels, val_batch_size),
validation_steps=steps, initial_epoch=0)
为什么我看到如此高的内存使用率?是因为发电机在keras工作的方式吗?我读到发电机事先准备好批次,通过与培训并行运行来加速培训过程。或者我做错了什么?
作为一个附带问题,由于fit_generator()中没有batch_size参数,我是否正确假设数据基于生成器加载到模型中,并且在每次训练和验证批次加载后执行渐变更新?
试试workers=0
这不会调用任何多处理,这些多处理旨在使用k worker预先填充队列,直到max_queue_size
参数。这是做什么的;在GPU上进行训练时,在CPU上准备生成数据的队列,这样就不会浪费时间并避免瓶颈。
为了您的需要,工人= 0将起作用
有关更深入的查询,请参阅keras fit_generator