使用GPT-2语言模型的文本补全如何生成完整的URL？

Question

我在 Fabrice Bellard 先生的网站上找到了 this 自动文本完成功能。然后我就如图所示问：

所以我的问题是：响应文本是随机生成的还是以某种方式由我输入的文本控制（如果它是由我输入的文本控制，为什么它与我输入的问题无关？）？它怎么可能生成一个网页链接（我无法访问）？

我对人工智能和中性网络（以及诸如此类的事情）很陌生，所以如果这是一个愚蠢的问题，请原谅我（因为我对此很好奇）。

Answer 1

Gtp-2 经过互联网上大量文本的训练，能够通过预测令牌序列中的下一个单词来生成文本。理论上，生成的内容应该由您提供的输入驱动。请注意，生成的 URL 不是真实的，是模型发明（幻觉）它们的。

您还可以检查 GPT-3，因为它在根据输入上下文生成文本方面做得更好。