Web爬虫(也称为Web爬虫)是一种以有条不紊,自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁,自动索引器,僵尸程序,Web蜘蛛,Web机器人,或者 - 尤其是在FOAF社区中 - Web scutters。
使用 JavaScript 在 SPA 中抓取更新表数据的问题
我正在为构建为单页应用程序(SPA)的服务开发一个爬虫。 我不确定使用的框架是 React、Angular 还是其他框架。我的爬虫与桌子交互
我有一个使用 .NET 8 的 Blazor InteractiveServer 应用程序。 Google 网络爬虫仅获取页面的静态 html,而不等待 Blazor 创建 SignalR 电路,因此无需等待...
如何将动态文本写入Google抓取工具将看到的<head>?
看起来Google爬虫获取了页面的静态页面(预先调用OnInitializedAsync)。这适用于 Blazor 交互式服务器应用程序。 我需要填充 和 <
我需要从商业网站获取产品ID。产品 ID 是 URL 末尾的数字系列。 例如:http://example.com/sp/123170/ 的产品 ID 为 123170。 一些要求:...
查找网站中所有可能的链接/使用 Python 进行屏幕网页抓取
这里有一个开放式问题。我需要浏览一个工作网站并搜索工作描述标签和技能要求(我已经完成了)。我基本上想知道,我如何抓取...
当你做一个 AJAX 驱动的网站时,最好的 SEO 实践是什么?
我遇到了几个使用Ajax运行的网站,看起来他们的SEO很糟糕,Google真的会抓取这样的网站吗?
Python + BeautifulSoup:如何从 href 属性获取完整链接?
我正在组装一个网络爬虫用于练习和学习,并发现了一些问题。我最初的思考过程是... 在给定页面上,查找所有 href 属性。如果 href 值是有效的链接...
最近我一直在用BeautifulSoup用Python开发网络爬虫。现在我想知道 Java 中最受欢迎的库是哪些。我做了一些搜索,主要是看到 JTidy 和 JSoup。什么...
我需要通过代码登录购物网站。我将为此使用 Webclient。 我没有找到如何做的起点?有人可以分享一下我该怎么做的代码示例吗
如何爬行网站以搜索名称并在发现与 robots.txt 相符时返回 URL?
我正在尝试将一些网站中找到的名称的简历列表放在一起。 我有名字和相应的网站: 名称网站 ----------------- 约翰·多伊 abc.com 史蒂夫·J apple.com ...
希望创建一个机器人来抓取 API 并将数据存储在 excel/csv 文件中
嘿伙计们,这个问题有点模糊,所以我很抱歉......我只是在寻求帮助,以引导我走向正确的方向。 我想开发某种可以抓取某些内容的机器人/脚本/程序...
我有一个小爬虫/屏幕抓取脚本,半年前可以使用,但现在它不再工作了。我检查了页面源中reg表达式的html和css值,但是......
我正在构建一个购物比较引擎,我需要构建一个爬行引擎来执行日常数据收集过程。 我决定用 C# 构建爬虫。我有很多不好的经历...
我正在使用PHP创建一个网站,它需要根据用户的时区在页面上显示时间。 经过一番搜索,我找不到服务器端的方法来做到这一点,所有的解决方案......
我在 s3 中有一些国家/地区级别的分区数据,爬虫正在爬行此根文件夹并创建一个表。国家/地区代码不存在空值。但是当看雅典娜时,...
如何测试 robots.txt 是否在本地主机上的本地 Web 服务器中工作?
我将 robots.txt 文件添加到本地 Web 服务器的根目录中。 服务器上的 robots.txt 文件的 url 是 http://localhost/myserver/robots.txt。 robots.txt文件的内容是 ...
当我使用 Chrome 在此网站上发布:“http://xh.5156edu.com/index.php”时,我会被重定向到一个新页面。但是,当我使用 python request 模块来发帖时,如下所示: r =
在scrapyrt的POST文档中,我们可以传递这样的JSON请求,但是如何访问start_requests中的类别和项目等元数据? { “要求”: { “元”:{ ...
我正在开发的网站有一个按钮。 当我使用 puppeteer 单击按钮时,它会在 ul 元素上创建 10 个以上的列表。 第一次该网站已经在 ul 元素上有 10 个列表,每当 cli...