我刚刚开始Python编程。我想用scrapy创建一个机器人,它显示 类型错误:当我运行项目时,“字节”类型的对象不可 JSON 序列化。
import json
import codecs
class W3SchoolPipeline(object):
def __init__(self):
self.file = codecs.open('w3school_data_utf8.json', 'wb', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'
# print line
self.file.write(line.decode("unicode_escape"))
return item
from scrapy.spiders import Spider
from scrapy.selector import Selector
from w3school.items import W3schoolItem
class W3schoolSpider(Spider):
name = "w3school"
allowed_domains = ["w3school.com.cn"]
start_urls = [
"http://www.w3school.com.cn/xml/xml_syntax.asp"
]
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//div[@id="navsecond"]/div[@id="course"]/ul[1]/li')
items = []
for site in sites:
item = W3schoolItem()
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('a/@title').extract()
item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)
return items
追溯:
TypeError: Object of type 'bytes' is not JSON serializable
2017-06-23 01:41:15 [scrapy.core.scraper] ERROR: Error processing {'desc': [b'\x
e4\xbd\xbf\xe7\x94\xa8 XSLT \xe6\x98\xbe\xe7\xa4\xba XML'],
'link': [b'/xml/xml_xsl.asp'],
'title': [b'XML XSLT']}
Traceback (most recent call last):
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\site-p
ackages\twisted\internet\defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\LZZZZB\w3school\w3school\pipelines.py", line 19, in process_item
line = json.dumps(dict(item)) + '\n'
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\_
_init__.py", line 231, in dumps
return _default_encoder.encode(obj)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 199, in encode
chunks = self.iterencode(o, _one_shot=True)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 257, in iterencode
return _iterencode(o, 0)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\
json\encoder.py", line 180, in default
o.__class__.__name__)
TypeError: Object of type 'bytes' is not JSON serializable
您正在自己创建那些
bytes
对象:
item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)
每个
t.encode()
、l.encode()
和 d.encode()
调用都会创建一个 bytes
字符串。不要这样做,将其保留为 JSON 格式来序列化这些。
接下来,你还犯了其他几个错误;您在不需要的地方编码太多。将其留给
json
模块和 open()
调用返回的 standard文件对象来处理编码。
您也不需要将
items
列表转换为字典;它已经是一个可以直接进行 JSON 编码的对象了:
class W3SchoolPipeline(object):
def __init__(self):
self.file = open('w3school_data_utf8.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(item) + '\n'
self.file.write(line)
return item
我猜您遵循的教程假定使用 Python 2,而您正在使用 Python 3。我强烈建议你找到一个不同的教程;它不仅是为过时的 Python 版本编写的,如果它提倡
line.decode('unicode_escape')
,那么它就是在教导一些极其坏的习惯,这些习惯将导致难以跟踪的错误。我建议您查看 Think Python,第 2 版,这是一本关于学习 Python 3 的免费好书。
只需写
<variable name>.decode("utf-8")
。
例如:
myvar = b'asdqweasdasd'
myvar.decode("utf-8")
我今天正在处理这个问题,我知道我有一些编码为字节对象的东西,我试图用
json.dump(my_json_object, write_to_file.json)
将其序列化为json。 my_json_object
在这种情况下是我创建的一个非常大的json对象,所以我有几个字典、列表和字符串来查看以查找仍然是字节格式的内容。
我最终解决它的方式:
write_to_file.json
将拥有导致问题的字节对象的所有内容。
在我的特殊情况下,这是一条通过
获得的线for line in text:
json_object['line'] = line.strip()
我首先在 write_to_file.json 的帮助下找到此错误,然后将其更正为:
for line in text:
json_object['line'] = line.strip().decode()
我在处理图像数据时遇到了同样的错误。在 Python 中,在客户端,我正在读取图像文件并将其发送到我的服务器。我的服务器将二进制数据解码为字节。所以,我只是将字节数据转换为字符串来解决我的错误。
image_bytes = file.read()
data = {"key1": "value1", "key2" : "value2", "image" : str(image_bytes)}
我通过在变量末尾添加
.hex()
来修复自己的问题
示例
test = "0xfggfddr"
return test.hex()
#这对我有用:
thestrvar = base64.b64encode(thevartocode.encode('utf-8')).decode()
thestrvar 看起来像 PGh0bWw+DQo8Ym9k...那么
rec = {}
rec['myidx'] = thestrvar
print(json.dumps(rec)) #without problems