Microsoft Autogen 中的流媒体功能

Question

我想知道如何使用Autogen中的Streaming功能。

下面的代码使用Autogen让Agent具备流媒体功能。

llm_config = {
    "config_list" : config_list,
    "timeout" : 120,
    "seed" : random.randint(1, 100),
    "stream" : True
}

user_proxy.initiate_chat(
    manager,
    message="hello, the weather is nice today",
    llm_config=llm_config,
) 

我所知道的 Streaming 功能是打印并显示句子完成之前创建的每个字母，但即使我使用选项（“stream”：True），结果也是整个文本输出到终端。

我不确定我是否误解了流媒体功能，或者我是否知道如何正确使用它。能否请你帮忙？ 谢谢你:)

Answer 1

目前，AutoGen 尚未针对您所描述的流媒体问题提供直接的解决方案。 GitHub 上的未解决问题缺乏解决方案就证明了这一点，特别是与流媒体相关的问题 (https://github.com/microsoft/autogen/issues?q=is%3Aissue+is%3Aopen+streaming)。

但是，存在一种解决方法，涉及使用“猴子修补”来修改负责打印接收到的消息的函数的行为。此方法允许您拦截并更改输出行为以实现您正在寻找的流媒体效果。

猴子补丁技术可以通过覆盖库中的_print_received_message方法来实现。此方法在 https://youtu.be/iNPCB6b5gvA 中有详细介绍，其中提供了如何有效应用此方法的分步说明。