如何减少张量流模型使用的 GPU 量？
问题描述 投票：0回答：1
所以我目前使用的是Kaggle笔记本环境。我正在尝试建立一个用于图像分割的 U-Net 模型。当我构建模型时，显示模式大小为 2.17mb，但这需要模型占用 15.4GB 的 GPU 内存。为什么会发生这种情况？有什么办法可以减少这种情况吗？使用 pytorch 构建模型对此有帮助吗？我对此有点陌生，因此非常感谢任何帮助！
这是我的模型的可重复性代码。
def build_ARes_UNet(IMG_HEIGHT, IMG_WIDHT, IMG_CHANNELS, FILTER_NUM, FILTER_SIZE, DROPOUT, ACTIVATION, RESIDUAL, ATTENTION):
inputs = tf.keras.layers.Input((IMG_WIDHT, IMG_HEIGHT, IMG_CHANNELS))
# s = tf.keras.layers.Lambda(lambda x:x/255)(inputs)
#layer 1
c1 = res_conv_block(x=inputs, size=FILTER_NUM, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #16 FOR FITLER_NUM=16
p1 = MaxPooling2D((2,2))(c1)
#layer 2
c2 = res_conv_block(x=p1, size=FILTER_NUM*2, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #32
p2 = MaxPooling2D((2,2))(c2)
#layer 3
c3 = res_conv_block(x=p2, size=FILTER_NUM*4, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #64
p3 = MaxPooling2D((2,2))(c3)
#layer 4
c4 = res_conv_block(x=p3, size=FILTER_NUM*8, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #128
p4 = MaxPooling2D(pool_size=(2, 2))(c4)
#layer 5
c5 = Conv2D(FILTER_NUM*16, (3, 3), activation='relu', padding='same')(p4) #256
c5 = Dropout(0.3)(c5)
c5 = Conv2D(FILTER_NUM*16, (3, 3), activation='relu', padding='same')(c5)
#Expansive path
#layer 6
u6 = UpSampling2D(size=(2,2), data_format="channels_last")(c5)
if ATTENTION[0]:
gate6 = gate_block(c5, FILTER_NUM*8) #128
attention6 = attention_block(c4, gate6, FILTER_NUM*8)
# u6 = Conv2DTranspose(128, (2, 2), strides=(2, 2), padding='same')(c5)
u6 = concatenate([u6, attention6], axis=3)
else:
u6 = concatenate([u6,c4])
c6 = res_conv_block(x=u6, size=FILTER_NUM*8, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #128
#layer 7
u7 = UpSampling2D(size=(2,2), data_format="channels_last")(c6)
if ATTENTION[1]:
gate7 = gate_block(c6, FILTER_NUM*4)
attention7 = attention_block(c3, gate7, FILTER_NUM*4)
# u7 = Conv2DTranspose(64, (2, 2), strides=(2, 2), padding='same')(c6)
u7 = concatenate([u7, attention7])
else:
u7 = concatenate([u7,c3])
c7 = res_conv_block(x=u7, size=FILTER_NUM*4, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #64
#layer 8
u8 = UpSampling2D(size=(2,2), data_format="channels_last")(c7)
if ATTENTION[2]:
gate8 = gate_block(c7, FILTER_NUM*2)
attention8 = attention_block(c2, gate8, FILTER_NUM*2)
# u8 = Conv2DTranspose(32, (2, 2), strides=(2, 2), padding='same')(c7)
u8 = concatenate([u8, attention8])
else:
u8 = concatenate([u8,c2])
c8 = res_conv_block(x=u8, size=FILTER_NUM*2, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #32
#layer 9
u9 = UpSampling2D(size=(2,2), data_format="channels_last")(c8)
if ATTENTION[3]:
gate9 = gate_block(c8, FILTER_NUM)
attention9 = attention_block(c1, gate9, FILTER_NUM)
# u9 = Conv2DTranspose(16, (2, 2), strides=(2, 2), padding='same')(c8)
u9 = concatenate([u9, attention9], axis=3)
else:
u9 = concatenate([u9,c1])
c9 = res_conv_block(x=u9, size=FILTER_NUM, f_size=FILTER_SIZE, dropout=DROPOUT, activation=ACTIVATION, res=RESIDUAL) #16
outputs = Conv2D(1, (1, 1), activation='sigmoid', padding = 'same')(c9)
model = tf.keras.models.Model(inputs = inputs, outputs=outputs)
return model
res_conv_block的定义如下：
def res_conv_block(x, size, f_size, dropout, activation, res):
c1 = Conv2D(size,(f_size, f_size), padding='same',activation=activation)(x)
c1 = Dropout(dropout)(c1)
c1 = Conv2D(size,(f_size, f_size), padding='same', activation=activation)(c1)
if not res:
return c1
else:
shortcut = Conv2D(size, kernel_size = (1,1), padding ='same')(x)
respath = tf.keras.layers.Add()([shortcut, c1])
respath = Activation(activation)(c1)
return respath
我的模型摘要的输出如下：
┏━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓
┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃
┡━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩
│ input_layer │ (None, 256, 256, │ 0 │ - │
│ (InputLayer) │ 3) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d (Conv2D) │ (None, 256, 256, │ 224 │ input_layer[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout (Dropout) │ (None, 256, 256, │ 0 │ conv2d[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_1 (Conv2D) │ (None, 256, 256, │ 584 │ dropout[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation │ (None, 256, 256, │ 0 │ conv2d_1[0][0] │
│ (Activation) │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ max_pooling2d │ (None, 128, 128, │ 0 │ activation[0][0] │
│ (MaxPooling2D) │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_3 (Conv2D) │ (None, 128, 128, │ 1,168 │ max_pooling2d[0]… │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_1 (Dropout) │ (None, 128, 128, │ 0 │ conv2d_3[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_4 (Conv2D) │ (None, 128, 128, │ 2,320 │ dropout_1[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_1 │ (None, 128, 128, │ 0 │ conv2d_4[0][0] │
│ (Activation) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ max_pooling2d_1 │ (None, 64, 64, │ 0 │ activation_1[0][… │
│ (MaxPooling2D) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_6 (Conv2D) │ (None, 64, 64, │ 4,640 │ max_pooling2d_1[… │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_2 (Dropout) │ (None, 64, 64, │ 0 │ conv2d_6[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_7 (Conv2D) │ (None, 64, 64, │ 9,248 │ dropout_2[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_2 │ (None, 64, 64, │ 0 │ conv2d_7[0][0] │
│ (Activation) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ max_pooling2d_2 │ (None, 32, 32, │ 0 │ activation_2[0][… │
│ (MaxPooling2D) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_9 (Conv2D) │ (None, 32, 32, │ 18,496 │ max_pooling2d_2[… │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_3 (Dropout) │ (None, 32, 32, │ 0 │ conv2d_9[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_10 (Conv2D) │ (None, 32, 32, │ 36,928 │ dropout_3[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_3 │ (None, 32, 32, │ 0 │ conv2d_10[0][0] │
│ (Activation) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ max_pooling2d_3 │ (None, 16, 16, │ 0 │ activation_3[0][… │
│ (MaxPooling2D) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_12 (Conv2D) │ (None, 16, 16, │ 73,856 │ max_pooling2d_3[… │
│ │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_4 (Dropout) │ (None, 16, 16, │ 0 │ conv2d_12[0][0] │
│ │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_13 (Conv2D) │ (None, 16, 16, │ 147,584 │ dropout_4[0][0] │
│ │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_14 (Conv2D) │ (None, 16, 16, │ 8,256 │ conv2d_13[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_16 (Conv2D) │ (None, 16, 16, │ 4,160 │ conv2d_14[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_transpose │ (None, 16, 16, │ 36,928 │ conv2d_16[0][0] │
│ (Conv2DTranspose) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_15 (Conv2D) │ (None, 16, 16, │ 4,160 │ activation_3[0][… │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ add_4 (Add) │ (None, 16, 16, │ 0 │ conv2d_transpose… │
│ │ 64) │ │ conv2d_15[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_4 │ (None, 16, 16, │ 0 │ add_4[0][0] │
│ (Activation) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_17 (Conv2D) │ (None, 16, 16, 1) │ 65 │ activation_4[0][… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_5 │ (None, 16, 16, 1) │ 0 │ conv2d_17[0][0] │
│ (Activation) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_1 │ (None, 32, 32, 1) │ 0 │ activation_5[0][… │
│ (UpSampling2D) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ lambda (Lambda) │ (None, 32, 32, │ 0 │ up_sampling2d_1[… │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ multiply (Multiply) │ (None, 32, 32, │ 0 │ lambda[0][0], │
│ │ 64) │ │ activation_3[0][… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_18 (Conv2D) │ (None, 32, 32, │ 4,160 │ multiply[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d │ (None, 32, 32, │ 0 │ conv2d_13[0][0] │
│ (UpSampling2D) │ 128) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ batch_normalization │ (None, 32, 32, │ 256 │ conv2d_18[0][0] │
│ (BatchNormalizatio… │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ concatenate │ (None, 32, 32, │ 0 │ up_sampling2d[0]… │
│ (Concatenate) │ 192) │ │ batch_normalizat… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_19 (Conv2D) │ (None, 32, 32, │ 110,656 │ concatenate[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_5 (Dropout) │ (None, 32, 32, │ 0 │ conv2d_19[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_20 (Conv2D) │ (None, 32, 32, │ 36,928 │ dropout_5[0][0] │
│ │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_6 │ (None, 32, 32, │ 0 │ conv2d_20[0][0] │
│ (Activation) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_22 (Conv2D) │ (None, 32, 32, │ 2,080 │ activation_6[0][… │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_24 (Conv2D) │ (None, 32, 32, │ 1,056 │ conv2d_22[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_transpose_1 │ (None, 32, 32, │ 9,248 │ conv2d_24[0][0] │
│ (Conv2DTranspose) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_23 (Conv2D) │ (None, 32, 32, │ 1,056 │ activation_2[0][… │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ add_6 (Add) │ (None, 32, 32, │ 0 │ conv2d_transpose… │
│ │ 32) │ │ conv2d_23[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_7 │ (None, 32, 32, │ 0 │ add_6[0][0] │
│ (Activation) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_25 (Conv2D) │ (None, 32, 32, 1) │ 33 │ activation_7[0][… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_8 │ (None, 32, 32, 1) │ 0 │ conv2d_25[0][0] │
│ (Activation) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_3 │ (None, 64, 64, 1) │ 0 │ activation_8[0][… │
│ (UpSampling2D) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ lambda_1 (Lambda) │ (None, 64, 64, │ 0 │ up_sampling2d_3[… │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ multiply_1 │ (None, 64, 64, │ 0 │ lambda_1[0][0], │
│ (Multiply) │ 32) │ │ activation_2[0][… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_26 (Conv2D) │ (None, 64, 64, │ 1,056 │ multiply_1[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_2 │ (None, 64, 64, │ 0 │ activation_6[0][… │
│ (UpSampling2D) │ 64) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ batch_normalizatio… │ (None, 64, 64, │ 128 │ conv2d_26[0][0] │
│ (BatchNormalizatio… │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ concatenate_1 │ (None, 64, 64, │ 0 │ up_sampling2d_2[… │
│ (Concatenate) │ 96) │ │ batch_normalizat… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_27 (Conv2D) │ (None, 64, 64, │ 27,680 │ concatenate_1[0]… │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_6 (Dropout) │ (None, 64, 64, │ 0 │ conv2d_27[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_28 (Conv2D) │ (None, 64, 64, │ 9,248 │ dropout_6[0][0] │
│ │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_9 │ (None, 64, 64, │ 0 │ conv2d_28[0][0] │
│ (Activation) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_30 (Conv2D) │ (None, 64, 64, │ 528 │ activation_9[0][… │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_32 (Conv2D) │ (None, 64, 64, │ 272 │ conv2d_30[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_transpose_2 │ (None, 64, 64, │ 2,320 │ conv2d_32[0][0] │
│ (Conv2DTranspose) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_31 (Conv2D) │ (None, 64, 64, │ 272 │ activation_1[0][… │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ add_8 (Add) │ (None, 64, 64, │ 0 │ conv2d_transpose… │
│ │ 16) │ │ conv2d_31[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_10 │ (None, 64, 64, │ 0 │ add_8[0][0] │
│ (Activation) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_33 (Conv2D) │ (None, 64, 64, 1) │ 17 │ activation_10[0]… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_11 │ (None, 64, 64, 1) │ 0 │ conv2d_33[0][0] │
│ (Activation) │ │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_5 │ (None, 128, 128, │ 0 │ activation_11[0]… │
│ (UpSampling2D) │ 1) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ lambda_2 (Lambda) │ (None, 128, 128, │ 0 │ up_sampling2d_5[… │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ multiply_2 │ (None, 128, 128, │ 0 │ lambda_2[0][0], │
│ (Multiply) │ 16) │ │ activation_1[0][… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_34 (Conv2D) │ (None, 128, 128, │ 272 │ multiply_2[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_4 │ (None, 128, 128, │ 0 │ activation_9[0][… │
│ (UpSampling2D) │ 32) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ batch_normalizatio… │ (None, 128, 128, │ 64 │ conv2d_34[0][0] │
│ (BatchNormalizatio… │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ concatenate_2 │ (None, 128, 128, │ 0 │ up_sampling2d_4[… │
│ (Concatenate) │ 48) │ │ batch_normalizat… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_35 (Conv2D) │ (None, 128, 128, │ 6,928 │ concatenate_2[0]… │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_7 (Dropout) │ (None, 128, 128, │ 0 │ conv2d_35[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_36 (Conv2D) │ (None, 128, 128, │ 2,320 │ dropout_7[0][0] │
│ │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_12 │ (None, 128, 128, │ 0 │ conv2d_36[0][0] │
│ (Activation) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_38 (Conv2D) │ (None, 128, 128, │ 136 │ activation_12[0]… │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_40 (Conv2D) │ (None, 128, 128, │ 72 │ conv2d_38[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_transpose_3 │ (None, 128, 128, │ 584 │ conv2d_40[0][0] │
│ (Conv2DTranspose) │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_39 (Conv2D) │ (None, 128, 128, │ 72 │ activation[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ add_10 (Add) │ (None, 128, 128, │ 0 │ conv2d_transpose… │
│ │ 8) │ │ conv2d_39[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_13 │ (None, 128, 128, │ 0 │ add_10[0][0] │
│ (Activation) │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_41 (Conv2D) │ (None, 128, 128, │ 9 │ activation_13[0]… │
│ │ 1) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_14 │ (None, 128, 128, │ 0 │ conv2d_41[0][0] │
│ (Activation) │ 1) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_7 │ (None, 256, 256, │ 0 │ activation_14[0]… │
│ (UpSampling2D) │ 1) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ lambda_3 (Lambda) │ (None, 256, 256, │ 0 │ up_sampling2d_7[… │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ multiply_3 │ (None, 256, 256, │ 0 │ lambda_3[0][0], │
│ (Multiply) │ 8) │ │ activation[0][0] │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_42 (Conv2D) │ (None, 256, 256, │ 72 │ multiply_3[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ up_sampling2d_6 │ (None, 256, 256, │ 0 │ activation_12[0]… │
│ (UpSampling2D) │ 16) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ batch_normalizatio… │ (None, 256, 256, │ 32 │ conv2d_42[0][0] │
│ (BatchNormalizatio… │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ concatenate_3 │ (None, 256, 256, │ 0 │ up_sampling2d_6[… │
│ (Concatenate) │ 24) │ │ batch_normalizat… │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_43 (Conv2D) │ (None, 256, 256, │ 1,736 │ concatenate_3[0]… │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ dropout_8 (Dropout) │ (None, 256, 256, │ 0 │ conv2d_43[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_44 (Conv2D) │ (None, 256, 256, │ 584 │ dropout_8[0][0] │
│ │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ activation_15 │ (None, 256, 256, │ 0 │ conv2d_44[0][0] │
│ (Activation) │ 8) │ │ │
├─────────────────────┼───────────────────┼────────────┼───────────────────┤
│ conv2d_46 (Conv2D) │ (None, 256, 256, │ 9 │ activation_15[0]… │
│ │ 1) │ │ │
└─────────────────────┴───────────────────┴────────────┴───────────────────┘
Total params: 568,501 (2.17 MB)
Trainable params: 568,261 (2.17 MB)
Non-trainable params: 240 (960.00 B)
这是我的内存使用情况，如 Kaggle 所示：
我的图像尺寸为256x256x3，我使用Adam优化器，学习率为0.001，如下：
model_ATEST = build_ARes_UNet(IMG_HEIGHT, IMG_WIDHT, IMG_CHANNELS, FILTER_NUM=8, FILTER_SIZE=3, DROPOUT=0.2, ACTIVATION='relu', RESIDUAL=1, ATTENTION=[1,1,1,1])
model_ATEST.compile(optimizer=tf.keras.optimizers.Adagrad(0.001), loss=dice_loss, metrics=[dice_coef])
model_ATEST.summary()
1个回答
0
投票
投票
默认情况下，
TensorFlow有一个选项可以禁用该行为并让 TF 仅分配它需要的内容，请查看此示例。重要的一行是this。来自文档：
physical_devices = tf.config.list_physical_devices('GPU') # get a list of gpus
try:
tf.config.experimental.set_memory_growth(physical_devices[0], True) # set the growth for the first one
except:
# Invalid device or cannot modify virtual devices once initialized.
pass
如果您只有一个可用的 GPU，那就可以了。否则，您可以循环遍历
physical_devices最新问题
- 获取意外参数：参数中发现意外的密钥“UploadId”，多部分 S3 预签名中出现错误
- 用ggplot2和grid画出最适合的线结束的箭头
- Angular 2+ 中悬停时列表的样式元素
- 通过“import”导入的所有内容都会获得类型，但 require() 不会
- **python3 osmWebWizard.py** 在 Ubuntu 22.04 中无法工作
- 如何使用mysql在codeigniter中计算总计
- MSD 算法输出产生“镜像”输出
- 在 Nuxt 3 中使用可组合项对组件进行 Vitest 单元测试
- Redshift：stv_inflight 和 stv_recents 显示相互矛盾的结果
- 在qmake项目中链接SRT库
- 如何统计嵌套列表中子列表的数量？
- vscode 可以使用 Properties/launchSettings.json 中的配置文件吗？
- 条件格式不起作用，而是格式化所有单元格
- JPA 多个带前缀的嵌入字段？
- Swiper js动画
- 无法绑定多部分标识符“S.clientid”
- DPDK多进程硬件时间戳问题
- Python 在父类静态/类方法中获取子类
- 如何在函数内初始化预先写好的函数？
- 为什么我的主窗口无法在屏幕上正确居中？
© www.soinside.com 2019 - 2024. All rights reserved.