Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
我正在尝试使用 scrapy 和splash 抓取网站。 我想从图像中出现的响应中抓取特定的 html 代码。 这是带有标题的响应： 这是重新...
TypeError：“str”对象无法使用 driver.current_url() 调用（Python 3.6）（Selenium）
我的代码： https://pastebin.com/WKHZwAib 进口硒 从 selenium 导入 webdriver 作为 web url = 'https://www.wta.org/go-outside/hikes/hike_search?排序=&评级=0&里程:浮动:列表=0....
我终于让 IntelliJ 开始工作了。我正在使用下面的代码。它工作完美。我需要它一遍又一遍地循环，并从电子表格中提取链接，以便一遍又一遍地查找不同商品的价格...
如何使用 Selenium 和 Java 加载和收集所有评论
我有一个 Java 应用程序，它使用 Selenium Web 驱动程序从 Google Play 商店应用程序中抓取/抓取信息。我有大约 30 个来自应用程序的链接，但我在收集所有链接时遇到问题
我正在 http://www.ulta.com/makeup-eyes-eyebrows?N=26yi 上抓取所有产品详细信息。我的规则复制如下。我只从第一页获取数据，不会继续到下一页。 规则=（R...
Beautifulsoup 中的查找函数在第一个列表中返回 None
我现在练习用Beautifulsoup4解析HTML。 我在使用查找功能时遇到问题。 这是我的代码。 soup1 = BeautifulSoup(a,"html.parser") table1 = soup1.find('div', {'id':'auction_conta...
我的问题不应该太难回答，我遇到的问题是我不知道如何抓取特定关键字的网站..我对Python很陌生..所以我知道我需要添加一些更多详细信息...
X 路径 Python 错误 - 'list' 对象没有属性 'xpath'
我正在尝试做一个网络爬行项目，并且我不断收到一个名为“'list'对象没有属性'xpath'”/的错误代码 这是到目前为止的代码： 导入请求 从 lxml 导入 html 我...
使用 PHP scraper 获取所有 Play 商店搜索结果（不仅仅是前 20 名）
总结： 我想获取所有 Play 商店搜索结果，问题是，滚动后显示的应用程序未在 PHP file_get_content() 中显示。 细节： 我正在尝试制作一个基于 php 的游戏...
我想创建一个程序来抓取我的帐户的多个网站的阅读列表，并将它们添加到我的 Safari 阅读列表中。但是，我不能只使用普通链接来抓取，因为它需要
我希望使用以下代码从该网站抓取网址： var request = require("请求"); Cheerio = require("cheerio"); 网址=[]； 请求（“http://news.sabay.com.kh/topics/sport”，功能...
我正在编写一个爬虫来爬取一些论坛内容，并且我所有的HTTP连接都使用Apache Http Client。 正如官方文档所建议的，我使用单个 Http 客户端来实现单个功能...
Python3打开图片时请求ConnectionResetError(10054)
我试图从“http://xxx.jpg”等网站下载图片。 代码： headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML，如 Gecko) Chrome/66....
我正在尝试抓取数学/科学/经济学页面下所有可汗学院页面的标题和 URL。然而，目前它只输出一个开括号，在此之前它会......
我对 AWS Bedrock 知识库、网络爬虫作为数据源有疑问，我不小心输入了 Wikipedia 的 2 个 URL（例如，“https://en.wikipedia.org/wiki/article1 和第二个 URL： “呃……
我正在尝试从此网页提取 CSU 员工工资数据（http://www.sacbee.com/statepay/#req=employee%2Fsearch%2Fname%3D%2Fyear%3D2013%2Fdepartment%3DCSU%20Sacramento） 。我试过用你的...
拜托，我需要有人帮助我。我不明白为什么我只抓取 25 部电影而不是 250 部电影。我的代码： 将 pandas 导入为 pd 导入请求 从 bs4 导入 BeautifulSoup headers = {'用户代理': 'M...
我正在分析https://qiye.obei.com.cn/web-zone/bwzy/procurement.html，发现它有3个cookie值需要处理，] 我认为前两个cookie是通过请求获得的，] 我...
我的客户有一个博客，希望对 Google 的抓取工具隐藏所有提到的名称。出于这个原因，他写下了所有的个人名字，就像这个一样，每个字母之间用点分隔。这种方法见...