从python的Windows-1252（cp1252）文件正确读取文本

Question

很好，正如标题所示，我的问题是从python中的Windows-1252编码文件中正确读取输入并将所述输入插入SQLAlchemy-MySql表中。

当前系统设置：Windows 7 VM，带有“ Roger访问控制系统”，用于输出文件；具有Windows系统共享文件夹的Ubuntu 12.04 LTS VM，因此我可以使用“ Python 2.7.3”访问该文件。

由于实际问题，对于输入文件，我有一个“ VM共享文件夹”，其中包含一个文件，该文件在Windows 7系统上通过Roger Access Control System（有关更多详细信息，请参见roger.pl）生成。称为“ PREvents.csv”，其内容暗示一个“;”单独的数据列表。

数据的示例格式：

2013-03-19;15:58:30;100;Jānis;Dumburs;1;Uznemums1;0;Ieeja;
2013-03-19;15:58:40;100;Jānis;Dumburs;1;Uznemums1;2;Izeja;

第四个字段包含卡所有者名称，第五个字段包含所有者姓氏，第六个字段包含所有者分配的组。

[问题来自上述3个字段中的任何一个都可以包含拉脱维亚语言的特定字符，在示例文件中，单词“Jānis”包含字母“ā”，在Unicode中为257。

按照我的习惯，我这样打开文件：

try:
    f = codecs.open(file, 'rb', 'cp1252')
except IOError:
    f = codecs.open(file, 'wb', 'cp1252')

到目前为止，一切正常，它打开了文件，因此我继续遍历文件的每一行（这是一个连续运行的脚本，请原谅循环）：

while True:
    line = f.readline()

    if not line:
        # Pause loop for 1 second
        time.sleep(1)
    else:
        # Split the line into list
        date, timed, userid, firstname, lastname, groupid, groupname, typed, pointname, empty = line.split(';')

这就是问题的开始，如果我print repr(firstname)会打印u'J\xe2nis'，据我所知，这是不正确的-“ \ xe2 \”不表示拉脱维亚字符“ā”。根据事件类型进一步深入循环，我将变量分配给SQLAlchemy对象并插入/更新：

if typed == '0':  # Entry type
    event = Events(
        period,
        fullname,
        userid,
        groupname,
        timestamp,
        0,
        0
    )
    session.add(event)
else:  # Exit type
    event = session.query(Events).filter(
        Events.period == period,
        Events.exit == 0,
        Events.userid == userid
    ).first()
    if event is not None:
        event.exit = timestamp
        event.spent = timestamp - event.entry

# Commit changes to database
session.commit()

在寻找答案时，我发现了如何定义要使用的默认编码：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

没有任何帮助。

基本上，所有这些都导致我无法插入正确的所有者的名字/姓氏以及所有者分配的组名，如果它们包含拉脱维亚的任何特定字符，例如：

Instead of the character "ā" it inserts "â"

我还想补充一点，我不能更改“ PREvents.csv”文件的编码，并且“ RACS”系统不支持插入UTF-8或Unicode文件-如果您尝试使用任何一种方法，系统都会插入随机符号拉脱维亚语专用字符。

如果需要任何其他信息，请现在让我，我会很乐意提供它：）

任何帮助将不胜感激。

Answer 1

CP1252不能代表ā；您输入的内容包含类似的字符。 repr只是在Python 2.x中显示Unicode字符串的ASCII表示形式：

>>> print(repr(b'J\xe2nis'.decode('cp1252')))
u'J\xe2nis'
>>> print(b'J\xe2nis'.decode('cp1252'))
Jânis

Answer 2

我认为u'J\xe2nis'是正确的，请参阅：

>>> print u'J\xe2nis'.encode('utf-8')
Jânis

您是从SQLAlchemy还是从应用程序的输出中获取实际错误？

Answer 3

我对某些XML文件有同样的问题，我解决了使用ANSI编码（Windows-1252）读取文件并使用UTF-8编码写入文件的问题：

import os
import sys

path = os.path.dirname(__file__)

file_name = 'my_input_file.xml'

if __name__ == "__main__":
    with open(os.path.join(path, './' + file_name), 'r', encoding='cp1252') as f1:
        lines = f1.read()
        f2 = open(os.path.join(path, './' + 'my_output_file.xml'), 'w', encoding='utf-8')
        f2.write(lines)
        f2.close()