u'\ufeff'

Question

我收到错误并显示以下异常消息：

UnicodeEncodeError: 'ascii' codec can't encode character u'\ufeff' in
position 155: ordinal not in range(128)

不确定

u'\ufeff'

是什么，当我抓取网页时它会出现。我该如何补救这种情况？

.replace()

字符串方法对此不起作用。

Answer 1

我在 Python 3 上遇到了这个问题并发现了这个问题（和解决方案）。打开文件时，Python 3支持encoding关键字来自动处理编码。

没有它，BOM会包含在读取结果中：

>>> f = open('file', mode='r')
>>> f.read()
'\ufefftest'

给出正确的编码，结果中会省略 BOM：

>>> f = open('file', mode='r', encoding='utf-8-sig')
>>> f.read()
'test'

只要我的2分钱。

Answer 2

Unicode 字符

U+FEFF

是字节顺序标记或 BOM，用于区分大端和小端 UTF-16 编码之间的区别。如果您使用正确的编解码器对网页进行解码，Python 将为您删除它。例子：

#!python2
#coding: utf8
u = u'ABC'
e8 = u.encode('utf-8')        # encode without BOM
e8s = u.encode('utf-8-sig')   # encode with BOM
e16 = u.encode('utf-16')      # encode with BOM
e16le = u.encode('utf-16le')  # encode without BOM
e16be = u.encode('utf-16be')  # encode without BOM
print 'utf-8     %r' % e8
print 'utf-8-sig %r' % e8s
print 'utf-16    %r' % e16
print 'utf-16le  %r' % e16le
print 'utf-16be  %r' % e16be
print
print 'utf-8  w/ BOM decoded with utf-8     %r' % e8s.decode('utf-8')
print 'utf-8  w/ BOM decoded with utf-8-sig %r' % e8s.decode('utf-8-sig')
print 'utf-16 w/ BOM decoded with utf-16    %r' % e16.decode('utf-16')
print 'utf-16 w/ BOM decoded with utf-16le  %r' % e16.decode('utf-16le')

请注意，

EF BB BF

是 UTF-8 编码的 BOM。 UTF-8 不需要它，但仅用作签名（通常在 Windows 上）。

输出：

utf-8     'ABC'
utf-8-sig '\xef\xbb\xbfABC'
utf-16    '\xff\xfeA\x00B\x00C\x00'    # Adds BOM and encodes using native processor endian-ness.
utf-16le  'A\x00B\x00C\x00'
utf-16be  '\x00A\x00B\x00C'

utf-8  w/ BOM decoded with utf-8     u'\ufeffABC'    # doesn't remove BOM if present.
utf-8  w/ BOM decoded with utf-8-sig u'ABC'          # removes BOM if present.
utf-16 w/ BOM decoded with utf-16    u'ABC'          # *requires* BOM to be present.
utf-16 w/ BOM decoded with utf-16le  u'\ufeffABC'    # doesn't remove BOM if present.

请注意，

utf-16

编解码器要求存在BOM，否则Python将不知道数据是大端还是小端。

Answer 3

该字符是 BOM 或“字节顺序标记”。它通常作为文件的前几个字节接收，告诉您如何解释其余数据的编码。您只需删除该角色即可继续。不过，由于错误表明您正在尝试转换为“ascii”，因此您可能应该为您尝试执行的任何操作选择另一种编码。

Answer 4

您正在抓取的内容是用 unicode 而不是 ascii 文本编码的，并且您得到的字符不会转换为 ascii。正确的“翻译”取决于原始网页的想法。 Python 的 unicode 页面给出了它如何工作的背景。

您是否想打印结果或将其粘贴到文件中？该错误表明是“写入”数据导致了问题，而不是读取数据。 这个问题是寻找修复的好地方。

Answer 5

UnicodeEncodeError: 'ascii' codec can't encode character u'\ufeff'

是因为 Python 尝试使用 ASCII 编码对字符（u'\ufeff'，这是字节顺序标记或 BOM 的 Unicode 字符）进行编码，而 ASCII 编码只能表示字符范围为 0-127。该字符超出了该范围，这就是您看到此错误的原因。

字节顺序标记（BOM）通常用于指示文本文件或流的字节顺序（字节序）。如果您从网络上抓取的文件采用 UTF-8、UTF-16 或其他 Unicode 格式编码，它可能会出现在该文件的开头。

Answer 6

u = u'ABCtestβ貝塔위másbêta|test|اختبار|测试|測試|テスト|परीक्षा|പരിശോധന|פּרובירן|kiểm tra|Ölçek|' e8 = u.encode('utf-8') # encode without BOM e8s = u.encode('utf-8-sig') # encode with BOM e16 = u.encode('utf-16') # encode with BOM e16le = u.encode('utf-16le') # encode without BOM e16be = u.encode('utf-16be') # encode without BOM print('utf-8 %r' % e8) print('utf-8-sig %r' % e8s) print('utf-16 %r' % e16) print('utf-16le %r' % e16le) print('utf-16be %r' % e16be) print() print('utf-8 w/ BOM decoded with utf-8 %r' % e8s.decode('utf-8')) print('utf-8 w/ BOM decoded with utf-8-sig %r' % e8s.decode('utf-8-sig')) print('utf-16 w/ BOM decoded with utf-16 %r' % e16.decode('utf-16')) print('utf-16 w/ BOM decoded with utf-16le %r' % e16.decode('utf-16le'))

这是一个测试运行：

值得注意的是，只有

utf-8-sig

和

utf-16

才能在

encode

和

decode

之后返回原始字符串。

Answer 7

UTF-8或UTF-16编码

时出现的，因为Python会自动在代码的开头添加一些特殊字符（文本编辑器不会显示）来识别编码格式。但是，当您尝试执行代码时，它会在第 1 行中给出语法错误，即代码开始，因为python 编译器理解 ASCII 编码。当您使用 read() 函数查看文件的代码时，您可以在返回代码的开头看到 '\ufeff' 显示。解决此问题的一个最简单的解决方案就是将编码更改回 ASCII 编码（为此，您可以将代码复制到记事本中并保存记住！选择 ASCII 编码... 希望这会有所帮助。

u'\ufeff'

问题描述投票：0回答：7

7个回答

最新问题

u'\ufeff'

问题描述 投票：0回答：7

7个回答

最新问题

问题描述投票：0回答：7