urllib 相关问题

如何纠正http.client的ModuleNotFoundError

我正在尝试使用 urllib 库作为 python 程序的一部分进行网页抓取。它包含模块 request.py ，该模块必须导入 http.client 。然而我不断收到这样的消息：

Python：Socket.timeout 未由 except 处理

有时我可以有效地处理socket.timeout，尽管有时我会收到套接字超时错误并且我的脚本突然停止...我的异常手中是否缺少一些东西...

从python请求中的response.headers获取位置

我正在使用 python requests 并发表帖子 导入请求 响应 = requests.post('https://petdogs.net/search/?input=abcdefgh', 标题=标题， 允许重定向=假） 打印（响应.标题...

使用 urllib.request 验证 HTTPS 证书

我正在尝试使用 Python 3 的 urllib.request 模块中的 urlopen 方法打开 https URL。它似乎工作正常，但文档警告说“[i]如果既没有指定 cafile 也没有指定 capath，则

网址错误：<urlopen error [SSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED] unsafe legacy renegotiation disabled (_ssl.c:1007)>

我正在尝试通过从 conllu 文件检索的 URL 来检索音频文件。我收到了链接，但是当我想下载文件时，出现以下错误，而当我在额头输入链接时...

如何查询特定年份的 arXiv？

我正在使用下面所示的代码来从 arXiv 检索论文。我想检索标题中含有“机器”和“学习”一词的论文。论文数量为l...

如何发送POST请求？

我在网上找到了这个脚本： 导入httplib、urllib params = urllib.urlencode({'number': 12524, 'type': 'issue', 'action': 'show'}) headers = {“内容类型”：“application/x-www-form-urlencoded”， ...

如何解决使用urllib而不绕过SSL验证时出现[SSL: CERTIFICATE_VERIFY_FAILED]错误

导入urllib.request 导入 json gojson = 'https://nominatim.openstreetmap.org/details.php?osmtype=W&osmid=17025436&class=highway&addressdetails=1&hierarchy=0&group_hierar...

如何使用python从xml树中提取值？

我有一个 api 查询，它返回下面的 xml 树，我想从中提取某些值。特别是，我想提取 LinkedInCount 等信息。 我有一个 api 查询，它返回下面的 xml 树，我想从中提取某些值。特别是，我想提取 LinkedInCount 等信息。 <aws:UrlInfoResponse xmlns:aws="http://alexa.amazonaws.com/doc/2005-10-05/"> <aws:Response xmlns:aws="http://awis.amazonaws.com/doc/2005-07-11"> <aws:OperationRequest> <aws:RequestId>5486794a-0d03-4d47-a45b-e95764c3f0ee</aws:RequestId>< /aws:OperationRequest> <aws:UrlInfoResult> <aws:Alexa> <aws:ContentData> <aws:DataUrl type="canonical">yahoo.com/</aws:DataUrl> <aws:Asin>B00006D2TC</aws:Asin> <aws:SiteData> <aws:Title>Yahoo!</aws:Title> <aws:Description>Personalized content and search options. Chatrooms, free e-mail, clubs, and pager.</aws:Description> <aws:OnlineSince>18-Jan-1995</aws:OnlineSince> </aws:SiteData> <aws:Speed> <aws:MedianLoadTime>2242</aws:MedianLoadTime> <aws:Percentile>51</aws:Percentile> </aws:Speed> <aws:AdultContent>no</aws:AdultContent> <aws:Language> <aws:Locale>en</aws:Locale> </aws:Language> <aws:LinksInCount>76894</aws:LinksInCount> <aws:OwnedDomains> <aws:OwnedDomain> <aws:Domain>yahooligans.com</aws:Domain> <aws:Title>yahooligans.com</aws:Title> </aws:OwnedDomain> </aws:OwnedDomains> </aws:ContentData> <aws:Related> <aws:DataUrl type="canonical">yahoo.com/</aws:DataUrl> <aws:Asin>B00006D2TC</aws:Asin> <aws:RelatedLinks> <aws:RelatedLink> <aws:DataUrl type="canonical">aol.com/</aws:DataUrl> <aws:NavigableUrl>http://aol.com/</aws:NavigableUrl> <aws:Asin>B00006ARD3</aws:Asin> <aws:Relevance>301</aws:Relevance> </aws:RelatedLink> </aws:RelatedLinks> <aws:Categories> <aws:CategoryData> <aws:Title>On the Web/Web Portals</aws:Title> <aws:AbsolutePath>Top/Computers/Internet/On_the_Web/Web_Portals</aws:AbsolutePath> </aws:CategoryData> </aws:Categories> </aws:Related> <aws:TrafficData> <aws:DataUrl type="canonical">yahoo.com/</aws:DataUrl> <aws:Asin>B00006D2TC</aws:Asin> <aws:Rank>1</aws:Rank> <aws:UsageStatistics> <aws:UsageStatistic> <aws:TimeRange> <aws:Days>1</aws:Days> </aws:TimeRange> <aws:Rank> <aws:Value>1</aws:Value> <aws:Delta>+0</aws:Delta> </aws:Rank> <aws:Reach> <aws:Rank> <aws:Value>2</aws:Value> <aws:Delta>+0</aws:Delta> </aws:Rank> <aws:PerMillion> <aws:Value>252,500</aws:Value> <aws:Delta>-1%</aws:Delta> </aws:PerMillion> </aws:Reach> <aws:PageViews> <aws:PerMillion> <aws:Value>51,400</aws:Value> <aws:Delta>-1%</aws:Delta> </aws:PerMillion> <aws:Rank> <aws:Value>1</aws:Value> <aws:Delta>+0</aws:Delta> </aws:Rank> <aws:PerUser> <aws:Value>13.7</aws:Value> <aws:Delta>-1%</aws:Delta> </aws:PerUser> </aws:PageViews> </aws:UsageStatistic> </aws:UsageStatistics> </aws:TrafficData> </aws:Alexa> </aws:UrlInfoResult> <aws:ResponseStatus xmlns:aws="http://alexa.amazonaws.com/doc/2005-10-05/"> <aws:StatusCode>Success</aws:StatusCode> </aws:ResponseStatus> </aws:Response> </aws:UrlInfoResponse> 一旦获得“树”，我就可以使用以下代码获得响应： elem = tree.find("//{http://alexa.amazonaws.com/doc/2005-10-05/}StatusCode") print elem.text 但是，我不确定如何获取其中包含的 LinksInCount <aws:LinksInCount>76894</aws:LinksInCount> 我尝试过以下方法： elem = tree.find("//{http://alexa.amazonaws.com/doc/2005-10-05/}LinksInCount") print elem.text elem = tree.find("LinksInCount") print elem.text http://docs.aws.amazon.com/AlexaWebInfoService/latest/ 看起来您正在使用 ElementTree； find 方法仅搜索当前元素的直接子元素。尝试使用 iterfind 代替。

HTTP 错误 403：使用 urllib 下载文件时禁止

我有这行代码： urllib.request.urlretrieve('http://lolupdater.com/downloads/LPB.exe', 'LPBtest.exe')，但是当我运行它时，它会抛出错误 urllib .error.HTTPError：HTTP 错误 403：禁止。

使用 Beautiful Soup 在 python 中解析网页

我在从网站获取数据时遇到一些麻烦。网站源码在这里： 查看来源：http://release24.pl/wpis/23714/%22La+mer+a+boire%22+%282011%29+FRENCH.DVDRip.XviD-AYMO 那里……

Python - 如何读取 URL 的内容两次？

我正在使用 'urllib.request.urlopen' 来读取 HTML 页面的内容。之后，我想将内容打印到本地文件，然后执行某个操作（例如，在该文件上构造一个解析器...

失败时重试请求

我编写了此代码来获取网站内容，但有一个问题 当连接被提交时，程序停止并且不要尝试重新连接 url='https://website.com' 定义

如何使用Python检测当前打开的网络浏览器并在同一浏览器中打开新页面？

我正在制作一个网站，其中使用一些 html 表单，它将值传递给 python 脚本，作为回报，python 脚本在网络浏览器中打开一个新页面/选项卡。我正在使用网络浏览器

尝试通过 URL 获取文件时如何避免出现错误 403: Forbidden

我有一个连接到 MySQL 数据库的 Discord.py 机器人。 我想根据用户的 Discord 用户 ID 从数据库中检索用户的横幅 URL。 检索 URL 后，我使用 urllib.request。

在具有 <p> 和 <font> HTML 元素

上下文 我一直在做这个小型网络抓取项目来练习和提高我的编码技能。我有一个想法，我可以保留祖父的一些作品并将其保存在某个地方并保留他的

如何捕获 urllib.urlretrieve 中的 404 错误

背景：我使用 urllib.urlretrieve，而不是 urllib* 模块中的任何其他函数，因为它支持钩子函数（请参阅下面的 reporthook）.. 用于显示文本

在具有 <p> 和 <font> HTML 元素

上下文 我一直在做这个小型网络抓取项目来练习和提高我的编码技能。我有一个想法，我可以保留祖父的一些作品并将其保存在某个地方并保留他的

在具有 <p> 和 <font> HTML 元素的阿拉伯语网站中进行网页剪贴多个段落

上下文 我一直在做这个小型网络抓取项目来练习和提高我的编码技能。我有一个想法，我可以保留祖父的一些作品并将其保存在某个地方并保留他的

用于批量下载文件的ThreadPoolExecutor任务仅下载列表中的最后一个文件

我有一个名为 images.txt 的文件，它只是图像 URL 的列表，每行一个： https://upload.wikimedia.org/wikipedia/commons/thumb/3/3e/Glenn_Jacobs_%2853122237030%29_-_Cropped.jpg/440px-