logstash 发送到 https 服务器：[HTTP 输出失败] 无法获取 URL

Question

客户端正在使用logstash发送到我们的https服务器，格式为json。发送速率是500 eps，不高。我们可以得到一些数据，但有时logstash端会出现以下错误。谁能帮忙，如何解决这个问题。谢谢

[2023-xx-xxTxx:xx:xx,xxx][ERROR][logstash.outputs.http    ][main][e939f55c8a49efb231738689491d86258dcce3b80aa0a101617b4df7fe32e4ed] [HTTP Output Failure] Could not fetch URL {:url=>https://xxxx:5555/foo, :method=>:post, :message=>"xxxx:5555 failed to respond", :class=>"Manticore::ClientProtocolException", :will_retry=>true}

输出秒应如下所示

output {
  http {
    http_method => "post"
    url => "https://xxxx:5555/foo"
    format => "json"
    headers => {
      "Content-Type" => "application/json"
    }
  }
}

Answer 1

错误消息表明 Logstash 在将数据发送到指定 URL 的 HTTPS 服务器时遇到问题。它提到了 Manticore::ClientProtocolException，这通常表明 Logstash 使用的底层 HTTP 客户端库存在问题。这可能是由于多种原因造成的，例如网络问题、服务器问题或配置问题。

• 确保Logstash服务器和HTTPS服务器之间没有网络问题。 验证 HTTPS 服务器是否已启动并正在运行，并且可以接受端口 5555 上的传入连接。

  telnet server_ip_or_hostname 5555
  

• 检查 HTTPS 服务器上的日志是否存在可能阻止其响应传入请求的任何错误或问题。

• 确保您提供的Logstash配置正确且完整。 验证 Logstash 服务器是否有权访问 HTTPS 服务器 URL。 仔细检查 Logstash 配置中的 URL、端口和路径，确保它们正确。

• 如果您的 HTTPS 服务器使用 SSL/TLS，请确保 Logstash 配置为信任服务器的 SSL 证书。您可能需要在 Logstash 配置中指定证书颁发机构 (CA) 或证书文件。有关详细信息，请查看此处：https://www.elastic.co/guide/en/fleet/current/secure-logstash-connections.html

如果您仍然可以找到问题。您可以尝试在logstash中启用调试模式来检查问题。