web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

无法相应地在excel文件中写入数据

我很高兴在python中使用xlsxwriter。我在python中创建了一个刮刀,它运行得很完美。但是,当我尝试使用xlsxwriter在excel文件中写入这些数据时,我会陷入困境。 ...

回答 2 投票 0

如何访问网页的特定元素以导入到Pandas中

我有这个代码在网站上搜索菜单信息。我有它工作,以便从本周菜单项获取文本:#Weekly早餐菜单从bs4导入请求...

回答 1 投票 1

我正在抓一个FAQ页面,我需要在FAQ页面找到哪个标签有答案

从bs4导入请求导入numpy作为np导入pandas作为pd import re req = requests.get('https://www.godrejproperties.com/nricorner/nri-faqs')汤= ...

回答 1 投票 0

Jsoup无法从网页上获取完整内容?

我正在尝试使用JSOUP从以下页面获取内容:http://www.peshawarairport.com.pk/Schedule.aspx?Type = Arrival但它不会获取整个页面内容并仅返回内容...

回答 1 投票 1

硒不工作Mac [重复]

我刚刚开始学习用硒进行网状刮擦。我不知道为什么我会收到以下错误。我已经分享了下面的图片。以下代码似乎不起作用。 chrome_path = r“\\ ...

回答 3 投票 -3

如何使用来自多个URL的Web抓取内容创建CSV文件?

我想从webscraped内容创建一个CSV文件。内容来自FinViz.com我想从20个不同的股票中抽取该网站20次,并将所有内容输入CSV ...

回答 1 投票 0

安装scrapy时出错?

我使用python 3.6,当我尝试在cmd上使用pip安装scrapy时输出如下所示:命令“”c:\ program files \ python36 \ python.exe“-u -c”import setuptools,...

回答 1 投票 0

剥离文本 and in the same

我正在使用Beautiful Soup来抓取一些数据而且我遇到了以下问题:对于tr.in soup.select(“tr [class ^ ='rg']”):row = [td.text.strip() for tr('td')[1:-1]中的td如果行:...

回答 1 投票 0

使用Node.js进行Web Scraping

我想知道是否有人可以给我一个如何用Node.js网页抓取多个页面的例子?我在网上找到例子,但我想抓一个搜索结果网页。那么如果有“下一个”......

回答 1 投票 -1

在python中使用selenium抓取网页时出现的问题

我已经获得了一个模型,可以在选定的网站上运行一个成功的网络刮刀,但是,当我改变它以从第二个网站收集数据时,它会一直作为错误返回。我不确定是不是......

回答 1 投票 0

使用selenium单击下拉列表中的所有值

我正在废弃一个网站http://tabnet.saude.prefeitura.sp.gov.br/cgi/deftohtm3.exe?secretarias/saude/TABNET/AIHRD08/AIHRDNET08.def我需要选择PeríodosDisponíveis字段中的所有值。一世 ...

回答 1 投票 0

从网站获取数据 - 下载具有可调日期范围的链接

对于网页抓取来说真的很新,抱歉留下这样一个未解决的问题。在某种程度上,我想知道可行性和如何做到这一点。我只是真的使用python(这可能有点挫折...

回答 1 投票 0

WEB SCRAPING - 噩梦和请求

我正在使用NODEjs中的梦魇,cheerio和请求的组合,用于制作自定义网络抓取机器人...我使用梦魇js进行身份验证和过滤器设置,现在我需要调用函数...

回答 1 投票 0

在代理服务器后面运行selenium

我一直在使用selenium进行自动浏览器模拟和python中的web抓取,它对我来说效果很好。但是现在,我必须在代理服务器后面运行它。所以现在硒开了......

回答 4 投票 13

如何解析具有相同标签的数据?

我正在尝试解析数据以查找相同标签下的详细信息,但我无法执行此操作。我试过的脚本:导入重新导入pytz导入请求从flask导入导入日期时间...

回答 1 投票 -1

网页抓取多个级别的网站

我正在寻找一个网站。然后,对于每个已删除的项目,我想在子网页上抓取更多信息。作为一个例子,我将使用IMDB网站。我正在使用rvest包和选择器......

回答 1 投票 0

无法使用'OnKeyPress'属性输入值到输入框 - Selenium Python

我希望我的代码在下面的框中输入值并转到下一页。我在Python中使用selenium来做到这一点。这是元素的HTML。

回答 1 投票 0

在Infinite Scrolling表上使用= ImportHTML \ XML

我一直在使用Google表格来跟踪我的视频游戏集合一段时间了,而且当我从某个网站导入数据时,我已经开始打破它。我从2个网站链接,...

回答 1 投票 0

Selenium与纽约大都会歌剧院

首先,必须提前道歉 - 这里几乎是新手,这是我的第一个问题;请善待......我正在努力刮掉javascript生成的页面;特别是大都会的......

回答 1 投票 0

在点击网页中的某些链接时遇到问题

我在python中编写了一个脚本来点击网页中的某些类别。我可以设法点击前两个类别,但在启动最终点击时遇到困难。我给了一个链接......

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.