CNN模型过度拟合，在学习游戏时无法从OpenCV序列中正确学习

Question

我正在努力让卷积神经网络运行起来，以便能够玩旧的NES Ice Climbers。现在我已经利用OpenCV来捕捉输入的屏幕，输出是iceclimber的动作，例如左右行走或跳跃。我遇到的问题是训练有素的模型实际上没有正确学习，或者当我验证它时它过度拟合。

我已经尝试通过排除跳转命令来降低输出。我尝试过不同的批量大小，时代和不同的测试数据。我也尝试过更改优化器和尺寸，但没有任何重大影响。

这是我捕获屏幕并使用该数据训练模型时的代码。我的训练数据是900个连续的屏幕截图，我播放的相应输入被推送。我在播放训练数据时保存了大约10k个序列。

def screen_record():
   global last_time
   printscreen =  np.array(ImageGrab.grab(bbox=(0,130,800,640)))
   last_time = time.time()
   processed = greycode(printscreen)
   processed = cv2.resize(processed, (80, 60))
   cv2.imshow('AIBOX', processed)
   cv2.moveWindow("AIBOX", 500, 150);

   #training.append([processed, check_input()])
   processed = np.array(processed).reshape(-1, 80, 60, 1)
   result = AI.predict(processed, batch_size=1)
   print (result)
   AI_Control_Access(result)

def greycode(screen):
   greymap = cv2.cvtColor(screen, cv2.COLOR_BGR2GRAY) 
   greymap = cv2.Canny(greymap, threshold1=200, threshold2=300) 
   return  greymap    

def network_train():
   train_data = np.load('ICE_Train5.npy')
   train = train_data[::7]
   test = train_data[-3::]

   x_train = np.array([i[0] for i in train]).reshape(-1,80,60,1)
   x_test = np.array([i[0] for i in test]).reshape(-1,80,60,1)
   y_train = np.asarray([i[1] for i in train])
   y_test = np.asarray([i[1] for i in test])

   model = Sequential()
   model.add(Convolution2D(32, (3, 3), activation='relu', input_shape=(80, 60, 1)))
   model.add(Convolution2D(16, (5, 5), activation='relu', strides=4))
   model.add(MaxPooling2D(pool_size=(2, 2)))
   model.add(Dropout(0.25))
   model.add(Flatten())
   model.add(Dense(128, activation='relu'))
   model.add(Dropout(0.5))
   model.add(Dense(2, activation='softmax'))
   sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
   model.compile(loss='categorical_crossentropy', optimizer='sgd')
   model.fit(x_train, y_train,batch_size=450,epochs=50,verbose=1,callbacks=None,validation_split=0,validation_data=None,shuffle=False,
           class_weight=None,sample_weight=None,initial_epoch=0,steps_per_epoch=None,validation_steps=None)

当我针对测试数据运行它以进行验证时，我可以获得的最高值大约是16％，但即使我使用该模型实际玩游戏它总是预测相同的按钮推动所以我认为这是由于过度拟合模型或模型根本没有学习，但由于这是我第一次使用卷积网络，我不确定如何调整网络以更好地响应培训。

Answer 1

一般设置听起来更像是强化学习的良好环境。

如果您想坚持使用有监督的学习设置，首先应检查您的不同课程是否具有相同数量的培训示例。如果是这种情况，您可以尝试学习率，更多正规化（丢失），网络架构等。