从ASP.NET WebForm获取数据

问题描述 投票:0回答:2

[我是Web开发的新手,以前从未做过任何屏幕抓取或爬网的工作,但是昨天我的一个朋友问我是否能够从this网站上获取一些数据,不是我的,也不是他的,但该数据甚至可以公开下载。数据的问题在于,每个日期或公司只能使用一个文件,而不是多个日期或公司可以使用一个文件,这涉及很多繁琐的“单击谷底”日历,因此他认为,如果我将能够创建一些应用程序,只需单击一下即可获取所有数据,并将其输出到一个文件或类似文件中。

该网站使用带有__doPostBack的aspx webFrom来检索不同日期的数据,即使XSL中下载数据的链接也不是通常的“ href =…”链接,我认为它们是一些asp脚本的引用...

老实说,我唯一尝试过的是PHP cURL,它不起作用,但是由于我是第一次尝试cURL,所以我什至不知道它是否不起作用,因为cURL无法实现,或者只是因为我不知道如何使用它。我只精通PHP和JavaScript,但不精通ASP,尽管我不介意学习新知识。

所以我的问题是..是否有可能从这样的网站上获取数据?如果是,那么您是否愿意给我一些有关如何解决此类问题的提示?

该网站再次位于http://extranet.net4gas.cz/capacity_ee.aspx

谢谢

我是Web开发的新手,以前从未进行过任何屏幕抓取或爬网的工作,但是昨天我的一个朋友问我是否可以从该网站上获取一些数据,...

asp.net screen-scraping web-crawler
2个回答
1
投票

C#有一个不错的WebClient类来完成这项工作:


1
投票

Marosko,正如您所说的,网站上的数据是公开的,因此可以肯定的是,您可以从中抓取数据。现在,这是为了减少手动点击日期并从中删除数据。我个人对Curl的工作方式并不了解,但是我确信它将涉及很多编码。我宁愿建议您使用某些自动化工具(例如软件应用程序)来自动化整个过程。尝试使用Automation Anywhere,几个月前我出于某些数据提取目的将其购买了,并且效果很好。它是自动的,您可以检查其显示的screen scraping功能。它是我的最爱:)

© www.soinside.com 2019 - 2024. All rights reserved.