在Python中将十六进制NCR文本表示转换为Unicode

问题描述 投票:0回答:1

我有一个从原来用中文解析的网页中的字符串:

若き葉末には風が立ち 森は翡翠の息を返す 雲の切れ間から注ぐ 光に君を見初めん

碧き瞳のほほえむとき そは鐘のひびき胸に打つ さしのべた腕に絡む 蔦の葉に君を逃す

残る 香り 水面をかけゆく恋の舟 つかの間の波に 揺られ

やさしき幻影 心に映るその姿よ 永遠なる君に 想いを捧げん

若き葉末には風は眠り 森は密やかに息を止む 抱きしめた腕のなかで 静かに君は消えゆく

月は 満ちて 黄金の羽根が舞いおちる 我はただひとり森に

祈りたまえや

但是在解析它的过程中,它以下列形式转换为Hex NCR字符串:

若き葉末には風が立ち\n森は翡翠の息を返す\n雲の切れ間から注ぐ\n光に君を見初めん\n\n碧き瞳のほほえむとき\nそは鐘のひびき胸に打つ\nさしのべた腕に絡む\n蔦の葉に君を逃す\n\n残る 香り\n水面をかけゆく恋の舟\nつかの間の波に 揺られ\n\nやさしき幻影 心に映るその姿よ\n永遠なる君に 想いを捧げん\n\n若き葉末には風は眠り\n森は密やかに息を止む\n抱きしめた腕のなかで\n静かに君は消えゆく\n\n月は 満ちて\n黄金の羽根が舞いおちる\n我はただひとり森に\n\n祈りたまえや

我想将此字符串转换为适当的unicode格式。

根据我的研究,我已经能够收集到例如一映射到unicode字符串b'\\u4e00'

这可以通过剥离&#x并将\\u前缀加到字符串的开头,同时使整个小写字母和通过在字符串之前添加b转换为字节字符串来手动完成。这是在repo中完成的,但是通过eval("b'\\u4e00")等代码使用低效的eval函数。

[编辑:上述段落不正确。它不是字节串,而是python2中存在的unicode字符串。正确的映射将是一 - > u'\u4e00']

有一个更好的方法吗?考虑边缘情况,这些十六进制地图字符串可以出现在常规文本的中间,例如:

Je me levais tôt
Travailler en homme
Je me souviens du goût
Du café brûlant
Dans la tasse rouge
Et la femme qui dort
Les portes ouvertes de la grande usine
Bouffaient nos fils le jour de leurs quinze ans
On se levait tôt
Sortis de nos draps
On se retrouvait en bas
Les rues du village s'allumaient d'un coup
A six heures moins le quart
Les portes ouvertes de la grande usine
Bouffaient nos fils bien avant leurs quinze ans
On se lève trop tôt
On sait plus quoi faire
Dans le café des vieux
Les mains dans nos poches
Cachent nos poings noirs
Y'a plus qu'à qui change pas
Les portes sont fermées
Y'a plus de feu qui gronde
L'usine a tout vomi d'un seul coup
Pourquoi on fait ça
Pourquoi ça m'fait ça
Pourquoi on nous fait ça à nous

我正在处理大量数据,其中这些字符可以遍布任何地方,我需要一种有意义的方式来处理它们。

那么还有更好的方法吗?理想情况下,python本身支持的一个。

如果有人在这里解决我的问题,我将非常感激。提前致谢。

python unicode character-encoding python-unicode ncr
1个回答
2
投票

看看标准库中的html模块:

>>> import html
>>> html.unescape('Je me levais tôt')
'Je me levais tôt'
>>> html.unescape('若き葉末には')
'若き葉末には'

结果是一个Unicode字符串(在Python 3中键入str)。请注意,b'...'表示法用于字节字符串。你的例子中的文字b'\\u4e00'没有多大意义,因为它是一个包含6个字符的字节字符串(\,u,4,e,0,0)。你可能意味着'\u4e00'(或Python 2中的u'\u4e00'),它是一个单字符的Unicode字符串。

© www.soinside.com 2019 - 2024. All rights reserved.