Web爬虫（也称为Web爬虫）是一种以有条不紊，自动化或有序方式浏览万维网的计算机程序。 Web爬虫的其他术语是蚂蚁，自动索引器，僵尸程序，Web蜘蛛，Web机器人，或者 - 尤其是在FOAF社区中 - Web scutters。
这应该是一个简单的任务，但我无法处理，因为我对（甚至非常基本的）Web架构一无所知。我想访问https：//www.coursera.org/browse / ...下的每个课程的链接
大家早上好，我尝试在这个网站上收集有关汽车的数据：https：//www.caramigo.eu/要这样做，我需要在主页的搜索栏上发送一个指定位置的请求和...
我想抓取标签：p，class：txt但我不能weblink = https://school.iamservice.net/organization/18193/group/2079351 --------------- -码 - - - - - - - - - - - - - - - - - - - - - - - - -----------...
我尝试从这个网址获取城市的纬度和经度坐标：https：//www.latlong.net/。我的代码是：＃ - * - coding：utf-8 - * - import re import json import scrapy class geo_spider（scrapy ....
我想用Scrapy抓取新闻网站。该代码从当前链接检索相关新闻，但不跟随下一页链接。新闻网站有以下链接属性我正在遵循的代码：...
我制作了一个python代码来搜索在Google新闻上通过关键字搜索的新闻文章的内容。 def __init __（self，term）：self.term = term self.url ='https：//www.google.com/search？q = ...
我尝试使用beautifulsoup4来删除python中HTML代码的URL，但是我得到了如下错误：AttributeError：'NoneType'对象没有属性'get'HTML code：
抓取或刮掉Instagram是合法的吗？我需要获取一些数据，但我真的不知道我是否应该只使用官方API。您能否参考我可以参考的条款和条件页面...
Selenium with python中的问题（instagram crawler）
我刚刚写了这个instagram爬虫，这是一个大学的小项目。我会告诉你代码并上传一张图片，告诉你我的问题是什么。从时间导入睡眠从硒导入...
我正在尝试使用“wget”获取Facebook用户的个人资料页面，但继续获取一个名为“browser.php”的非个人资料页面，该页面与该特定用户无关。我的个人资料页面的网址...
我正在研究一个聚合报纸文章的网络刮板。我知道AMP协议要求一个精简的Javascript版本，我也知道Javascript（部分）启用网站...
我想为网站创建一个PHP脚本。我只是想找出该链接的链接。例如，我有http://example.com链接，我的抓取工具应该在后台打开该链接并找到所有...
如果我们可以使用Selenium，为什么还需要像BeautifulSoup这样的解析器呢？
我目前正在使用Selenium来抓取某些网站的数据。与urllib不同，我似乎并不需要像BeautifulSoup这样的解析器来解析HTML。我可以简单地找到一个元素......
我想知道某个网址的任何子页面。例如。我有URL example.com。可能存在子页面example.com/home,example.com/help等。是否有可能获得所有这些子页面......
TypeError：不能在re.findall（）中的字节对象上使用字符串模式
我正在尝试学习如何从页面自动获取网址。在下面的代码中，我试图获取网页的标题：import urllib.request import re url =“http://www.google.com”...
我想建立一个基于迷你图像的搜索引擎，我可以提供图像文件，它将在solr中搜索类似的图像。我正在使用nutch进行爬行部分并将数据索引到...
如何在JavaScript代码中获取JavaScript对象？
TL; DR我想要解析JSON的parseParameter，如下面的代码。 someCrawledJSCode是已爬行的JavaScript代码。 const data = parseParameter（someCrawledJSCode）;的console.log（数据）; // data1：{...} ...
我试图使用JFree库隐藏蜘蛛图表上的所有标签。我一直认为以下行会起作用，但是当我添加它时我收到错误。 webPlot.setLabelGenerator（...
这是我的第一个网络抓取任务。我的任务是抓取这个网站这是一个包含丹麦律师姓名的网站。我的困难在于我只能检索名字......