如何从网站抓取数据时设置路径

问题描述 投票:0回答:1

我正在抓取数据from this URL。这是我的代码:

from selenium import webdriver
import os
import time
chrome_driver = os.path.abspath(os.path.dirname(__file__)) + '/chromedriver'
browser = webdriver.Chrome(chrome_driver)
browser.get("https://angel.co/companies?locations[]=1688-United+States")
time.sleep(3)
data_row = browser.find_elements_by_class_name('base.startup')
for item in data_row:
    print('-'*100)
    company = item.find_element_by_class_name('name').text
    location = item.find_element_by_class_name('column.location').text
    print(company)
    print(location)

有人可以帮我吗?我正在使用Windows 10。

  1. 我要收集所有数据的文件的路径应该是什么?
  2. 该代码正确吗,还是有另一个库可以比BS或硒更快地抓取数据?
python selenium web-scraping selenium-chromedriver pythonpath
1个回答
0
投票
© www.soinside.com 2019 - 2024. All rights reserved.