我正在尝试抓取一个使用react的网站,当我在chrome中可以访问所需的元素,但是当我尝试使用puppeteer时我无法访问同一元素,因为源代码未加载那些元素反应元素,是否有任何访问方法。
这里是代码
const request= require('request-promise')
const cheerio= require('cheerio');
const puppeteer = require("puppeteer");
const Url='https://angel.co/companies';
(async ()=>{
const browser = await puppeteer.launch({headless: false});
const page = await browser.newPage();
await page.goto(Url);
const html = await page.content();
// const response=request.get(Url)
const $ = await cheerio.load(html);
// const companies=$('div.base.startup').html()
const companies=await $('div.base.startup > div.company.column > div > div.text > div.pitch').text()
// const companies=document.querySelectorAll('div.base.startup > div.company.column > div > div.text > div.pitch')
console.log(companies)
await browser.close()
} )()
几个月前,我用Python做过类似的事情。基本上等待元素出现在页面上(作为指示符,React已完成加载)。