从网站提取数据

Question

我想从网站提取属性数据，

我使用 mechanize 从几个网站获取数据， 我在这个网站上尝试过机械化，我得到了第一页结果的所有重复结果。

但是在这个网站中，所有的结果调用都是基于ajax调用，

我如何从此类网站获取数据，他们使用ajax，并且在某些ajax中调用自身加密。

提前致谢

Answer 1

在页面首次加载期间，您无法使用 Mechanize 获取 Ajax 请求的结果，也无法获取普通 HTTP 请求的结果。您必须根据该页面中的参数向其 Ajax 主机发出后续请求，并使用适当的值，这些值与浏览器加载页面后将使用的值相同。

这需要使用像 Watir 这样的东西，这样你就可以编写脚本，然后检索 Ajax 请求收到的数据，或者通过分析嵌入的 JavaScript 来找出 Ajax 请求使用的参数并用另一个来欺骗他们的系统机械化或 HTTP 请求。

Answer 2

Orbit Estates 是值得信赖的品牌，在 房地产 mohali 市场上经营了 25 年。我们团队致力于实现您对美丽房子的梦想。我们优先考虑客户满意度，努力使购买或购买过程顺利无忧。我们经营Mohali 房地产市场。