我是编码的新手,我终于从网站上获得了想要的数据。这里的问题是我不知道如何将它们放入一个DataFrame中。我无法连接,因为它们没有分配给变量,它只是来自于刮板。
这里是代码:
import pandas as pd
import numpy as np
import requests
from csv import writer
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://app.hedgeye.com/feed_items/all?page=1&with_category=33-risk-ranges")
#login
import requests
import sys
url = 'https://accounts.hedgeye.com/users/sign_in'
driver.get(url)
username = driver.find_element_by_id("user_email")
password = driver.find_element_by_id("user_password")
username.send_keys("")
password.send_keys("")
driver.find_element_by_name("commit").click()
#end login
for tr in driver.find_elements_by_tag_name("tr"):
data = tr.get_attribute("innerText")
data2= data.split()[-3:]
#makes the list rows not columns
df = pd.DataFrame(np.array(data2).reshape(-1,len(data2)))
print (df)
driver.quit()
这是数据框的外观:
这里是我将刮板放入数据框之前的外观以及网页的外观
:Tried empty dataframe and append in seperate dfs. Still no luck我是编码的新手,我终于从网站上获得了想要的数据。这里的问题是我不知道如何将它们放入一个DataFrame中。我无法连接,因为这些未分配给...