如何为 VertexAi java 聊天语言模型配置凭证

Question

我正在尝试创建 VertexAi Java 聊天语言模型对象来为 Java 应用程序生成聊天响应

VertexAiChatModel 类接受以下参数

ChatLanguageModel chatModel = VertexAiChatModel.builder()
                .endpoint(llm_endpoint)
                .project(project_name)
                .location(region)
                .publisher("google")
                .modelName("text-bison@001")
                .temperature(0.7)
                .maxOutputTokens(1024)
                .topK(40)
                .topP(0.95)
                .maxRetries(3)
                .build();

从 IDE 运行时，该对象的“生成”方法不起作用，因为凭据尚未经过身份验证。 不过，自从我登录后，我就可以从 GCP Console 运行它。

我在 JSON 文件中拥有凭据（类型、项目 Id、private_key_id、private_key）

我不确定如何将此 JSON 文件输入到聊天模型对象，或者是否必须将其添加到环境中。此外，没有找到有关 VertexAi 的凭证配置的文档。

OpenAi 的类似聊天模型类没有问题，因为它接受 API 密钥作为参数

            ChatLanguageModel chatModel= OpenAiChatModel.builder()
                    .apiKey(apiKey.getInsecureString())
                    .timeout(Duration.ofSeconds(queryTimeout.intValue()))
                    .maxTokens(maxTokens.intValue())
                    .temperature(temperature)
                    .maxRetries(null)
                    .build();

请告诉我如何使用 JSON 凭据文件验证我的 ChatLanguageModel 对象。

Answer 1

您可以在本地开发环境中向 ADC 提供您的用户凭据或服务帐户凭据，如本文档中所述。

当您的代码在本地开发环境（例如开发工作站）中运行时，最佳选择是使用与您的 Google 帐户关联的凭据，也称为 用户凭据。您可以使用服务帐户模拟或使用服务帐户密钥，使用服务帐户的凭据设置 ADC。详细步骤在上面的文档中有提到。

正如@Rok Benko所评论的，您可以参考这个类似的stack答案以获取更多输入。