使用BERT的Finetune Text嵌入？

Question

当微调分类任务时，文本emebddings是否也经过微调？或者微调编码的层（最后一层是否为第二层）？

Answer 1

如果您使用的是Google发布的the original BERT repository，则所有图层都可以训练;意思是：根本没有冻结。您可以通过打印tf.trainable_variables()来检查。