为什么准确率较低0.01，但预测效果很好（99,99%）？

Question

我用Python中的TensorFlow 2做了我自己的第一个神经网络，我的想法是建立一个神经网络，它能够找到将二进制数（8位）翻译成十进制数的解决方案，经过几次尝试。是的，它的工作非常精确！但我不明白的是：

但我不明白的是。准确率很低

第二件事是。这个模型要训练超过200. 000个值！对于256个可能的答案。我的codemodel的故障在哪里？

#dataset
def dataset(length, num):
 global testdata, solution
 testdata = np.random.randint(2, size=(num, length))

 solution = testdata.copy()
 solution = np.zeros((num, 1))

 for i in range(num):
  for n in range(length):
   x = testdata [i,length - n -1] * (2 ** n)
   solution [i] += x

length = 8
num = 220000
dataset (length, num)

#Modell
model = tf.keras.models.Sequential([
  tf.keras.layers.Dense(8, activation='relu'),
  tf.keras.layers.Dense(1, activation='relu')
])

model.compile(optimizer='adam',
              loss='mean_squared_error',
              metrics=['accuracy'])

#Training und Evaluate
model.fit(testdata, solution, epochs=4)
model.evaluate(t_testdata,  t_solution, verbose=2)
model.summary()

损失。6.6441e-05 -准确率：0.0077

是不是应该像0.77或者更高？

Answer 1

你不应该考虑精度作为回归问题的指标，因为你是想输出一个单一的值，即使精度的微小变化也会导致零，你可以考虑下面的例子。

考虑到你正试图预测值15，而模型返回值14.99，结果精度仍然为零。

m = tf.keras.metrics.Accuracy()
_ = m.update_state([[15]], [[14.99]])
m.result().numpy()

结果是这样的。

0.0  

你可以考虑下面的回归指标列表。

• 回归指标
• MeanSquaredError类
• RootMeanSquaredError类
• MeanAbsoluteError类
• MeanAbsolutePercentageError类。
• MeanSquaredLogarithmicError类。
• CosineSimilarity类
• LogCoshError类

我已经用上面列出的一个指标尝试了同样的问题，下面是结果。

def bin2int(bin_list):
    #bin_list = [0, 0, 0, 1]
    int_val = ""
    for k in bin_list:
        int_val += str(int(k))
    #int_val = 11011011    
    return int(int_val, 2) 

def dataset(num):
    # num - no of samples
    bin_len = 8
    X = np.zeros((num, bin_len))
    Y = np.zeros((num))

    for i in range(num):
        X[i] = np.around(np.random.rand(bin_len)).astype(int)
        Y[i] = bin2int(X[i])
    return X, Y  


no_of_smaples = 220000
trainX, trainY = dataset(no_of_smaples)
testX, testY = dataset(5) 


model = tf.keras.models.Sequential([
  tf.keras.layers.Dense(8, activation='relu'),
  tf.keras.layers.Dense(1, activation='relu')
])

model.compile(optimizer='adam',
              loss='mean_absolute_error',
              metrics=['mse']) 

model.fit(trainX, trainY,validation_data = (testX,testY),epochs=4) 
model.summary() 

输出。

Epoch 1/4
6875/6875 [==============================] - 15s 2ms/step - loss: 27.6938 - mse: 2819.9429 - val_loss: 0.0066 - val_mse: 5.2560e-05
Epoch 2/4
6875/6875 [==============================] - 15s 2ms/step - loss: 0.0580 - mse: 0.1919 - val_loss: 0.0066 - val_mse: 6.0013e-05
Epoch 3/4
6875/6875 [==============================] - 16s 2ms/step - loss: 0.0376 - mse: 0.0868 - val_loss: 0.0106 - val_mse: 1.2932e-04
Epoch 4/4
6875/6875 [==============================] - 15s 2ms/step - loss: 0.0317 - mse: 0.0466 - val_loss: 0.0177 - val_mse: 3.2429e-04
Model: "sequential_11"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_24 (Dense)             multiple                  72        
_________________________________________________________________
dense_25 (Dense)             multiple                  9         
_________________________________________________________________
round_4 (Round)              multiple                  0         
=================================================================
Total params: 81
Trainable params: 81
Non-trainable params: 0

Predict:

model.predict([[0., 0., 0., 0., 0., 1., 1., 0.]])

array([[5.993815]], dtype=float32)