在 LangChain 中调用 SageMaker Endpoint 时添加 CustomAttributes 字段

Question

我正在尝试使用基于 SageMaker 端点上托管的 LLM 的 LangChain。 在此链接中您可以看到LangChain文档建议的代码：

llm=SagemakerEndpoint(
        endpoint_name="endpoint-name",
        region_name="us-west-2",
        model_kwargs={"temperature": 1e-10},
        content_handler=content_handler,
    ),

但是我的端点需要传递

CustomAttributes="accept_eula=true"

参数。我怎样才能做到这一点？

作为参考，我知道以下代码可以工作（不使用 LangChain）

client = boto3.client("sagemaker-runtime")
response = client.invoke_endpoint(
    EndpointName=endpoint_name,
    ContentType="application/json",
    Body=json.dumps(payload),
    CustomAttributes="accept_eula=true",
)

Answer 1

我相信添加以下参数可以解决问题：

endpoint_kwargs={"CustomAttributes": 'accept_eula=true'},



llm=SagemakerEndpoint(
        endpoint_name="endpoint-name",
        region_name="us-west-2",
        model_kwargs={"temperature": 1e-10},
        content_handler=content_handler,
        endpoint_kwargs={"CustomAttributes": 'accept_eula=true'},

    ),