Mechanize：如何下载电子表格

Question

我正在使用Mechanize by sparklemotion（https://github.com/sparklemotion/mechanize）。

有一个名为https://philjobs.org/的网站。在那里，您可以通过单击链接下载电子表格。

我正在尝试自动下载电子表格。这就是我现在所拥有的：

require 'rubygems'
require 'mechanize'

agent = Mechanize.new

agent.pluggable_parser.default = Mechanize::Download

page = agent.get('https://philjobs.org')

agent.page.link_with(:text => 'Download spreadsheet').click.save

它保存了html，而不是保存电子表格。如何保存电子表格呢？

Answer 1

试试这个

agent = Mechanize.new
agent.pluggable_parser.default = Mechanize::Download
url = "https://philjobs.org/jobQuery/execute?fromSavedquery=&email=&jobQuery.name=&format=csv&id=&view=On+screen+-+simple&typesToggler=Any+job+type&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&_jobTypes=&tenureTypesToggler=Any+contract+type&_tenureTypes=&_tenureTypes=&_tenureTypes=&_tenureTypes=&jobQuery.locationConstraint=NONE&jobQuery.institution.id=&jobQuery.institution.name=&jobQuery.institution.deleted=false&jobQuery.distance=50.0&jobQuery.city.id=&autonamejobQuerycity=&jobQuery.country=&jobQuery.region=&topicListToggler=Any+AOS&aocListToggler=Any+AOC&jobQuery.keywords=&moreOptions=&jobQuery.orderBy=Creation+time&searchFromDatePicker=&jobQuery.fromDate=date.struct&jobQuery.fromDate_day=&jobQuery.fromDate_month=&jobQuery.fromDate_year=&searchToDatePicker=&jobQuery.toDate=date.struct&jobQuery.toDate_day=&jobQuery.toDate_month=&jobQuery.toDate_year=&_withExpired="

agent.get(url).save('stackoverflow.csv')

当您单击下载电子表格链接时，它使用javascript作为get方法提交表单。上面的url是使用表单的所有输入字段（params）生成的。