c#utf-8与德语变音符号的转换问题

问题描述 投票:1回答:1

我通过thrift协议从c ++后端获取一些信息,包含带有德语变音符号的字符串(名称)。现在这些变音符号显示为问号,所以我认为我正在尝试将它们转换为utf-8,尽管thrift似乎传递字符串为utf-8无论如何。

原始数据来自postgresql数据库,并在将其发送到thrift接口之前正确显示在c ++代码中。

我已经尝试了3种不同的版本进行转换,但它们都没有真正做任何事情我被困在这里。

版本1:

private string ConvertUTF8(string str) // str == "Ha�loch, �mely"
{
  byte[] bytSrc;
  byte[] bytDestination;
  string strTo = string.Empty;

  bytSrc = Encoding.Unicode.GetBytes(str);
  bytDestination = Encoding.Convert(Encoding.Unicode, Encoding.UTF8, bytSrc);
  strTo = Encoding.UTF8.GetString(bytDestination);

  return strTo; // strTo == "Ha�loch, �mely"
}

版本2:

private string ConvertUTF8(string str) // str == "Ha�loch, �mely"
{
  byte[] bytes = str.Select(c => (byte)c).ToArray();
  return Encoding.UTF8.GetString(bytes); // == "Ha�loch, �mely"
}

版本3:

private string ConvertUTF8(string str) // str == "Ha�loch, �mely"
{
  byte[] bytes = Encoding.Default.GetBytes(str);
  return Encoding.UTF8.GetString(bytes); // == "Ha?loch, ?mely"
}

正如您所看到的,版本3 - 无论出于何种原因 - 将�更改为常规?但结果应该是“Haßloch,Ämely”。知道我做错了什么吗?

编辑1:

在c ++端,字符串从QString.toStdString()转换,然后传递给thrift。根据QT doc,.toStdString()调用包括转换为UTF-8(另请参见顶部答案here)。所以字符串应该正确传递,而thrift接口似乎也在内部使用UTF-8。

编辑2:

我试图找出,第一次出现的字符串将在哪里找到这一行:

Name = iprot.ReadString();

其中Name的类型为string,iprot的类型为Thrift.Protocol.TCompactProtocol

对于ReadString()方法,节俭文档说Reads a byte[] (via readBinary), and then UTF-8 decodes it所以这也不是原因...

编辑3(解决方案):

马克格拉维尔把我推到了这里......刚换下来

Name = iprot.ReadString();

var bytes = iprot.ReadBinary();
Name = Encoding.GetEncoding("Windows-1252").GetString(bytes);

编辑4:

更简单:

var bytes = iprot.ReadBinary();
Name = Encoding.Default.GetString(bytes);
c# qt utf-8 thrift thrift-protocol
1个回答
5
投票

如果你得到string str输入,你已经丢失了数据。 .NET中的stringSystem.String)总是UTF-16。您需要查看上游,输入数据来自哪里(可能是从某个文件,字节缓冲区,http客户端或数据库读取)。通常只是在最初解码数据的位置指定正确的Encoding

事后你无法修改编码;在上面的代码中,你已经无可挽回地失去了你想要的东西。

© www.soinside.com 2019 - 2024. All rights reserved.