无法将Windows-1253的JSON响应转换为utf8

Question

我正在尝试从我无法控制的Web服务解析JSON响应。

这些是标题

这是我在php中看到的隐藏敏感部分的主体

我正在使用guzzle http客户端发送请求并检索响应

如果我尝试直接解码它我收到一个空对象所以我假设需要转换所以我试图转换像这样的响应内容

json_decode(iconv($charset, 'UTF-8', $contents))

要么

mb_convert_encoding($contents, 'UTF-8', $charset);

两者都抛出异常。

Notice: iconv(): Wrong charset, conversion from 'windows-1253' to 'UTF-8' is not allowed in Client.php on line 205

Warning: mb_convert_encoding(): Illegal character encoding specified in Client.php on line 208

我以前成功使用过这段代码，但我无法理解为什么它现在失败了。

使用POSTMAN发送相同的请求正确地检索没有损坏字符的数据，它似乎显示相同的标题和正文接收。

我正在根据评论进行更新。

mb_detect_encoding($response->getBody()) - > UTF-8

mb_detect_encoding($response->getBody->getContents()) - > ASCII

json_last_error_msg - >格式错误的UTF-8字符，可能编码错误

此外，作为试错法尝试，我尝试了所有iconv编码，看看是否有任何可以将其转换为utf-8而没有错误来检测使用此编码的编码

        private function detectEncoding($str){
        $iconvEncodings = [...]
        $finalEncoding = "unknown";
        foreach($iconvEncodings as $encoding){
            try{
                iconv($encoding, 'UTF-8', $str);
                return $encoding;
            }
            catch (\Exception $exception){
                continue;
            }
        }
        return $finalEncoding;
    }

显然没有编码工作，一切都给出了相同的例外。我假设问题是通过guzzle而不是iconv本身正确检索响应json。它不可能不是1000多个中的任何一个。

CURL的更多信息

我只是用CURL重试了相同的有效载荷

  /**
     * @param $options
     * @return bool|string
     */
    public function makeCurlRequest($options)
    {

        $payload = json_encode($options);
        // Prepare new cURL resource
        $ch = curl_init($this->softoneurl);

        curl_setopt_array($ch, [
            CURLOPT_RETURNTRANSFER => true,   // return web page
            CURLOPT_HEADER => false,  // don't return headers
            CURLOPT_FOLLOWLOCATION => true,   // follow redirects
            CURLOPT_MAXREDIRS => 10,     // stop after 10 redirects
            CURLOPT_ENCODING => "",     // handle compressed
            CURLOPT_USERAGENT => "test", // name of client
            CURLOPT_AUTOREFERER => true,   // set referrer on redirect
            CURLOPT_CONNECTTIMEOUT => 120,    // time-out on connect
            CURLOPT_TIMEOUT => 120,    // time-out on response
            CURLINFO_HEADER_OUT => true,
            CURLOPT_POST => true,
            CURLOPT_POSTFIELDS => $payload,
        ]);

        // Set HTTP Header for POST request
        curl_setopt($ch, CURLOPT_HTTPHEADER, array(
                'Content-Type: application/json',
                'Content-Length: ' . strlen($payload))
        );

        // Submit the POST request
        $result = curl_exec($ch);

        // Close cURL session handle
        curl_close($ch);
        return $result;
    }

我收到完全相同的字符串，转换后的结果完全相同。也许我错过了一个选择？

显然，在环境中iconv本身存在问题，而且不是特定于应用程序的。通过SSH运行以下代码

php -r "var_dump(iconv('Windows-1253', 'UTF-8', 'test'));"

产量

PHP Notice:  iconv(): Wrong charset, conversion from `Windows-1253' to `UTF-8' is not allowed in Command line code on line 1
PHP Stack trace:
PHP   1. {main}() Command line code:0
PHP   2. iconv(*uninitialized*, *uninitialized*, *uninitialized*) Command line code:1
Command line code:1:
bool(false)

也许缺少一些依赖

Answer 1

大约14个小时的故障排除后，我能够正确回答我自己的问题。在我的情况下，因为它是在CLI命令的上下文中运行的，所以由于缺少库而导致了问题。基本上CLI php二进制文件无法访问所需的某些库iconv。

更具体地说是gconv库。在我的Debian 9中，它位于

/usr/lib/x86_64-linux-gnu/gconv

并且此文件夹包含用于每种编码的许多库。理解这一点的一个好方法是，如果您在系统中运行，则您可以访问该命令

strace iconv -f <needed_encoding> -t utf-8

它会产生很多iconv尝试访问的文件夹，包括gconv文件夹，并指向您需要包含在SSH环境中的文件夹的位置。如果您没有以root身份访问，则必须询问您的托管服务提供商。

Answer 2

试试这个：

$response = $guzzle->request('GET', $url);

$type = $response->getHeader('content-type');
$parsed = Psr7\parse_header($type);

$original_body = (string)$response->getBody();
$utf8_body = mb_convert_encoding($original_body, 'UTF-8', $parsed[0]['charset'] ?: 'UTF-8');