Python：抓取Instagram IGTV数据，但仅显示有关前24条记 录的信息

Question

[我正在尝试抓取instagram IGTV数据（例如，视频标题，观看次数，喜欢，评论等）。首先，我仅使用了[[BeautifulSoup，但我只能获取前12个视频详细信息。然后，我开始使用Selenium，现在我可以获得前24个视频详细信息。但是我必须抓取所有视频。

下面的代码为我提供了前24个视频的超链接，然后我从每个超链接中删除视频详细信息：

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#import json

url = 'https://www.instagram.com/agt/channel/?hl=en'
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=options)
driver.get(url)
time.sleep(3)
page = driver.page_source
driver.quit()
soup = BeautifulSoup(page, 'html.parser')

#print(soup)
video_links=[]
for a in soup.find_all('a', class_='_bz0w', href=True):
    video_links.append('https://www.instagram.com' + a['href'])
print(video_links)

请向我建议如何获取所有视频详细信息。

Answer 1

您可能需要向下滚动以加载更多结果。您可以执行类似的操作

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

这样做