Web抓取工具在抓取页面时正在反转查询参数和路径

问题描述 投票:3回答:1

我们有一个基于AngularJS的Web应用程序,目前使用hashbang URL,例如:

www.example.com/#!/item?id=1.  

出于爬网目的,我们使用prerender.io服务来呈现/缓存页面。对于我们的元标记(og,twitter),我们使用一个名为angular-view-head的角度库。直到大约一个月前,这一切都运行得很漂亮,我们的页面都可以按预期搜索和共享。

目前,在我们网站上抓取页面时,抓取工具似乎正在切换查询字符串的路径。例如,

www.somesite.com/#!/item?id=1 

www.somesite.com/?id=1#!/item

正如您可能怀疑的那样,总是返回404。

经过一些检查,这似乎已经在2月7日左右开始了。我们没有使用prerender设置和URL模式进行任何更改。我已经检查了谷歌网站管理员工具,并看到许多404这样的网址。

在过去的几天里,我的研究没有找到任何类似的问题。

有没有人遇到类似这种设置风格的东西?有关如何解决此问题的任何想法?

angularjs web-crawler prerender
1个回答
0
投票

对于发现此问题的任何人,我们通过转移到HTML5推送状态导航来解决这个问题。

© www.soinside.com 2019 - 2024. All rights reserved.