如何让我的 webcraper 输入内容并从下拉列表中选择

Question

所以我想从这个网站上抓取所有脊椎按摩师https://chiropractic.ca/find-a-chiro/alberta/

我使用一个叫Webscraper的工具，这个工具非常好，允许我进行分页并进一步选择每个脊椎按摩师的数据将其存储在一个表中。

这里的问题是，要出现脊椎按摩师，您必须在搜索选项卡上粘贴城市，并选择半径。

所以我需要知道如何指示我的网络爬虫首先输入城市并从下拉列表中选择半径。

我不确定 webscraper.io 是否可以做到这一点，但我真的很感激任何帮助。

还没找到解决办法

Answer 1

要让您的网络抓取工具在文本输入字段中输入内容并从网页上的下拉列表中进行选择，您可以使用 Selenium，这是一个用于自动化网络浏览器的强大工具。以下是如何使用 Ruby 和 Selenium 实现此目的的基本示例：

require 'selenium-webdriver'

# Start the web browser
driver = Selenium::WebDriver.for :chrome

# Open the web page
driver.get("https://chiropractic.ca/find-a-chiro/alberta/")

# Find the text input field and type something into it
input_field = driver.find_element(id: "addressInput_7")
input_field.send_keys("Your text here")

# Find the dropdown menu and select an option by value
dropdown = driver.find_element(id: "radiusSelect_7")
select = Selenium::WebDriver::Support::Select.new(dropdown)
select.select_by(:value, "option_value")

# Close the browser
driver.quit