我有一个以'cp500'编码的IBM大型机文件(我被告知),它将被解码为ascii或可读文本。该文件来自使用IPSwitch工具传输到Windows的unix服务器。
我已经尝试过以下代码,无法实现我的目标:
sample data = 'ðñðòðõÅäù@@@@@@@ððð :BÄÑðò÷øò@@@JaÈK' - in txt file
import codecs
with open(file, "rb") as ebcdic:
ascii_txt = codecs.decode(ebcdic, "cp500")
print(ascii_txt)
这产生了类型错误
"TypeError: decoding with 'cp500' codec failed (TypeError: a bytes-
like object is required, not '_io.BufferedReader')"
然后我尝试了这两个,
with open(file, 'r', encoding='cp500') as f:
for line in f:
print(line)
with codecs.open(file, 'r', encoding='cp500')
for line in f:
print(line)
我也尝试过国际编码“cp1140”格式 -
with open(file, 'r', encoding="cp1140") as f:
for line in f:
print(line)
我期待一个可读的输出 - 字帖布局 - 像这样...
0001***********
0002...........
0003...........
但以上三种打印输出为:
C¢C£C¢C¥C¢C§CeCuC¾ C¢C¢C¢âCdCjC¢C¥C¼C½C¥ [/Ch.
我也尝试在“rb”模式下读取文件:
with open(file, 'rb') as f:
for line in f:
print(line)
这是产量低于产量 -
b'\xc3\xb0\xc3\xb1\xc3\xb0\xc3\xb2\xc3\xb0\xc3\xb5\xc3\x85\xc3\xa4\xc3\xb9@@@@@@@\xc3\xb0\xc3\xb0\xc3\xb0 :B\xc3\x84\xc3\x91\xc3\xb0\xc3\xb2\xc3\xb7\xc3\xb8\xc3\xb2@@@Ja\xc3\x88K'
这是我第一次处理ebcdic / mainframe文件 - 任何有关解码的帮助都将受到赞赏!
提前致谢 :)
我怀疑EBCDIC数据是用Latin-1解码的,并且在你正在使用的TXT文件中用UTF-8保存。
让我们尝试用你的例子的缩写版本重建:
>>> copybook = '0102 [/H.'
这是最初制作的。该文本使用EBCDIC进行编码:
>>> '0102 [/H.'.encode('cp500')
b'\xf0\xf1\xf0\xf2@Ja\xc8K'
这就是在原始大型机文件中写入的字节序列。您也可以在通用(非Python)表示中将其写为:
F0 F1 F0 F2 40 4A 61 C8 4B
现在这些字节用Latin-1或CP-1252(“Windows Latin-1”)解码。如果您在Windows机器上执行此操作,可能会发生这种情况:
>>> with open(file) as f:
... text = f.read()
>>> text
'ðñðò@JaÈK'
您可以像这样模拟这种错误编码:
>>> '0102 [/H.'.encode('cp500').decode('latin1')
'ðñðò@JaÈK'
这是你在帖子开头显示的字符串。它已经比仅仅处理大型机文件的问题更糟糕 - 它是大型机文件的一个mojibake!
现在,为了使事情变得更糟,这个字符串使用UTF-8保存到文件中。我们也试一试:
>>> '0102 [/H.'.encode('cp500').decode('latin1').encode('utf8')
b'\xc3\xb0\xc3\xb1\xc3\xb0\xc3\xb2@Ja\xc3\x88K'
根据最后一个片段(使用'rb'
模式打开并打印输出),这些是TXT文件中包含的字节。
现在这些字节不再是EBCDIC了。使用Latin-1和UTF-8的编码往返扭曲了内容:
>>> '0102 [/H.'.encode('cp500').decode('latin1').encode('utf8').decode('cp500')
'C¢C£C¢C¥ [/Ch.'
这是你在问题中首次尝试时得到的输出。
为了从这种情况中恢复,你需要撤消失真:
>>> distorted = '0102 [/H.'.encode('cp500').decode('latin1').encode('utf8')
>>> distorted
b'\xc3\xb0\xc3\xb1\xc3\xb0\xc3\xb2@Ja\xc3\x88K'
>>> recovered = distorted.decode('utf8').encode('latin1').decode('cp500')
>>> recovered
'0102 [/H.'
...或者从文件中读取时,您可以让open
为您执行第一个解码步骤:
>>> with open(file, encoding='utf8') as f:
... data = f.read()
... text = data.encode('latin1').decode('cp500')
对于完整的示例行,这将产生以下文本:
'010205EU9 000\x80\x9aâDJ02782 [/H.'
我不是100%肯定这是原文。它包含一些控制字符(80
,9A
)和非ASCII字母(“â”)。也许000...782
块必须被解释为二进制blob。但我希望这种分析可以帮助您进一步解决这个问题!