我需要废弃一个包含列表的网站。单击任何列表元素会显示一个模式对话框,其中包含一些我要废弃的文本。在循环中执行此操作会导致过时的元素异常,因此这是我最初所做的
elems = browser.find_elements_by_xpath("//a[@data-toggle='modal']")
temp_names = []
for elem in elems:
temp_names.append(elem.text)
点击这个锚标签元素显示模态对话框,所以我将所有这些元素的文本存储在列表中,最后我做了这个:
for temp_name in temp_names:
print(temp_name)
modals= browser.find_element_by_xpath("//a[contains(text(),'"+temp_name+"')]")
modals.click()
time.sleep(1)
# rest of the scrapping code
现在我得到无元素异常错误,即使temp_name打印正确的文本。网页结构如下:
<div class="...">
<h4 class="...">
<a href=# data-toggle="modal" data-target="#(target modal dialogue id)">Text</a>
</h4>
. . .
(Some Other tags)
. . .
</div>
<div id =(modal dialogue id) class="..." role="dialog">
. . .
(Some text I want to Scrap)
. . .
</div>
锚标签中的文字是我正在寻找的。我计划通过文本找到元素,然后单击它,然后在循环结束时使用browser.get(URL)返回原始URL,再次找到第二个元素,依此类推。我不明白为什么它无法找到该元素,因为我刚刚在前一个循环中获得了元素文本。如果有更好的方法,请分享。
注意:我不能直接从模态对话框div中删除,除非我先单击否则返回的文本将为空。
编辑:
以下是我目前的代码:
chromedriver = 'C:\\chromedriver.exe'
chop = webdriver.ChromeOptions()
chop.add_extension('C:\\AdBlock_v3.38.1.crx')
time.sleep(5)
browser = webdriver.Chrome(chromedriver, chrome_options = chop)
for i in range(1,22):
browser.get("http://pasha.org.pk/members/page/"+str(i)+"/")
time.sleep(1)
elems = browser.find_elements_by_xpath("//a[@data-toggle='modal']")
print(len(elems))
temp_names = []
for elem in elems:
temp_names.append(elem.text)
current = browser.current_url
for temp_name in temp_names:
print()
print(temp_name)
print()
modals= browser.find_element_by_xpath(f"//a[contains(text(), '{temp_name}')]")
modals.click()
time.sleep(1)
# elem2 = browser.find_element_by_xpath("//button[@class='close']")
# time.sleep(1)
browser.get(current)
以下是我得到的错误摘录:
你可以尝试几件事情 - 我认为你的引言可能会弄乱一些语法,但如果这就是问题,我不知道为什么它会适用于第一个循环....
modals= browser.find_element_by_xpath(f"//a[contains(text(), '{temp_name}')]")
modals= browser.find_element_by_xpath("//a[contains(text(), '" + temp_name + "')]")
这些定义中的任何一个都能更好地工
如果没有,您可以上传您收到的完整错误文本吗?
编辑以解决OP的澄清:“我需要点击所有带有data-toggle ='modal'的标签”
对我来说,以下xPath使用<a>
返回20个data-toggle='modal'
元素
modals= browser.find_element_by_xpath("//a[@data-toggle='modal']")