Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
是否有任何方法可以确定YouTube视频类型是否为球形（360度）？对于360度视频，YouTube视频播放器在左上方显示箭头键。是吗 ...
我正在尝试抓取一个网站并且这样做，我正在使用Scrapy。因此，当对嵌套页面发出请求时，该过程通常会在第一次试验时正确获取信息，但是，在以后的请求中......
我必须在网站上查看搜索结果。问题是，当您在该网站上搜索某些内容时，该网址不会更改，这意味着我无法使用该网址获得结果...
如何在网站页面完全加载时抓取它（js，css all loaded）
我想抓取一些网站页面，如亚马逊或eBay，以获得已售出的项目图片路径。当我检查页面时，似乎图像src在页面完全被javascript修改时...
我想获得网页所有网络电话的列表。这是页面的网址https://www.upwork.com/o/jobs/browse/?q=Java&sort=renew_time_int%2Bdesc如果你看看DeveloperConsole->网络你...
在我的项目中，stormcrawler maven archetype似乎与warc模块不太搭配。目前，它只创建名为“crawl-20180802121925-00000.warc.gz”的空0字节文件。我......
Python - 关于selenium dropbox的问题，没有用于Web爬行的选项和协议复选框
我正在尝试抓取这个网站。我需要：选择技术选项中的一个选项“我已阅读并同意以下免责声明”点击搜索按钮抓取以提取网址...
首先，非常感谢您的帮助！我不知道为什么我每页只获得两个结果。请你帮助我好吗？这是代码：＃ - * - 编码：utf-8 - * - 从scrapy导入scrapy ....
Stormcrawler的ContentParseFilter
如果我将StormCrawler的ContentParseFilter设置为“pattern”：“// DIV [@id = \”site-body \“]”，这是否意味着在处理每个url时它将查找指向其他页面的链接的唯一位置？一世 ...
StormCrawler的default-regex-filters.txt
我现在已经搞乱了一段时间，并且无法理清StormCrawler的default-regex-filters.txt文件是如何工作的。在一个示例中，我需要将爬虫限制为仅...
我想为实验制作一个基于Java的网络爬虫。我听说如果这是你第一次使用Java制作一个Web爬虫是可行的方法。但是，我有两个重要问题。怎么会 ...
通过Python获取iTunes top 100的歌曲名称和艺术家
我是Python Crawl的新手，只想获得歌曲和艺术家。 Scrapy肯定会这样做更容易，但我想尝试请求和bs4。我知道我需要从这里获取数据：...
我有以下代码行来使用jsoup获取html文档Document doc = Jsoup.connect（“http://nomads.ncep.noaa.gov/pub/data/nccf/com/hrrr/prod/hrrr.20180904/ conus /“）....
当我执行scrapy shell'https：//scrapy.org'时发生以下错误，我按照scrapy文档中的说明https://doc.scrapy.org/en/latest/topics/shell.html#launch-the -...
我想抓取google play商店并获取特定类别的所有应用ID。当我执行下面的代码时，我刚刚获得了前49个应用程序的应用程序ID，而不是更多。但我希望得到所有......
我正在尝试使用Apache Nutch抓取整个youtube.com。问题是我需要大量的种子网址，以确保几乎所有的Youtube网址都被抓取。但我找不到任何站点地图或......
我真的想知道如何在某个URL下查找所有网站。例如，我的网址为https：// ab / c，我想查找其下的所有网站，例如https：// ab / c / d和https：// ab / c / d / e .. 。
我是scrapy和html的新手，我正在尝试创建一个简单的蜘蛛来刮取https://www.mobiel.nl网站。我设法访问了移动电话页面，例如HTTPS：//www.mobiel.nl / ...
如何将Python抓取的Bing网页内容转换为人类可读的内容？
我正在使用python抓取Bing网页搜索页面。我发现收到的原始内容看起来像字节类型，但尝试解压缩它失败了。有人知道什么样的数据......
我正在尝试使用python和请求库下载一系列古典音乐midi文件。不幸的是，我似乎无法自己下载midi文件。我唯一的......