如何连接这些数据框?

问题描述 投票:0回答:1

我是编码的新手,我终于从网站上获得了想要的数据。这里的问题是我不知道如何将它们放入一个DataFrame中。我无法连接,因为它们没有分配给变量,它只是来自于刮板。

这里是代码:

import pandas as pd
import numpy as np
import requests
from csv import writer


from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys



chrome_options = Options()  
chrome_options.add_argument("--headless")  
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://app.hedgeye.com/feed_items/all?page=1&with_category=33-risk-ranges")

#login
import requests
import sys

url = 'https://accounts.hedgeye.com/users/sign_in'
driver.get(url)

username = driver.find_element_by_id("user_email")
password = driver.find_element_by_id("user_password")

username.send_keys("")
password.send_keys("")

driver.find_element_by_name("commit").click()
#end login

for tr in driver.find_elements_by_tag_name("tr"):


        data = tr.get_attribute("innerText")
        data2= data.split()[-3:]

        #makes the list rows not columns
        df = pd.DataFrame(np.array(data2).reshape(-1,len(data2)))
        print (df)  

driver.quit()

这是数据框的外观

这里是我将刮板放入数据框之前的外观以及网页的外观

Tried empty dataframe and append in seperate dfs. Still no luck

我是编码的新手,我终于从网站上获得了想要的数据。这里的问题是我不知道如何将它们放入一个DataFrame中。我无法连接,因为这些未分配给...

python pandas dataframe web-scraping concat
1个回答
0
投票
因此,在for循环之外,您将得到类似的内容:
© www.soinside.com 2019 - 2024. All rights reserved.