张量流中cudnnlstm的默认激活函数是什么

Question

什么是TensorFlow中cudnnlstm的默认激活功能？如何设置激活功能，如relu？也许它只是线性模型？我读了这份文件，但我没找到。

例如，代码如下：

lstmcell=tf.contrib.cudnn_rnn.CudnnLSTM(1,encoder_size,direction="bidirectional")

hq,_ =lstmcell(query)

我读了TensorFlow From this link的文件。

功能如下

__init__(

    num_layers,
    num_units,
    input_mode=CUDNN_INPUT_LINEAR_MODE,
    direction=CUDNN_RNN_UNIDIRECTION,
    dropout=0.0,
    seed=None,
    dtype=tf.float32,
    kernel_initializer=None,
    bias_initializer=None,
    name=None
)

没有像"activation = "tanh"那样设置tf.nn.rnn_cell.LSTMell等参数的关键字。

那么TensorFlow中cudnnlstm的默认激活函数是什么，以及如何将其更改为leaky_relu。

Answer 1

tf.contrib.cudnn_rnn.CudnnLSTM() : Tanh

这是在Keras github中给出的。

https://github.com/keras-team/keras/issues/8510#issuecomment-429255318

Nvidia文档。

https://devblogs.nvidia.com/optimizing-recurrent-neural-networks-cudnn-5/