如何“托管” Selenium Python Webscraper并收集数据而不在我的计算机上运行

问题描述 投票:1回答:1

我写了一个Selenium Python Web Scraper来抓取新闻站点并收集标题和日期。我现在已经设置好了,因此,如果从计算机上运行它,它将弹出一个chrome标签,单击几次加载按钮,然后抓取我需要的文本数据。打印到终端并将其另存为csv文件。

我如何远程托管它,以便它可以24/7全天候收集数据,而不仅在我的计算机上运行。我还想对这些数据进行分析,并获得漂亮的图形和内容。我应该使用什么?那里有什么?我是一名学生,如果可能的话,我正在寻找一种便宜的选择。另外,如果您可以链接有关操作方法的文档,我们将不胜感激。

python selenium aws-lambda remote-server
1个回答
0
投票

好!我想到了!我认为其他人也可能会喜欢一个答案。

[Google Cloud Platform提供了一个选择,可获取$ 300的免费计算能力(我认为它可能是存储设备,虽然不太确定,但还是请检查一下)。

[有一个创建计算VM的选项,我只是创建了一个Ubuntu VM,并安装了Python,Selenium,Chrome和Chromedriver,以及其他任何必要的模块。 BOOM奏效了!

Dockerfile on What to Install on Ubuntu (GitHub)

Python File to Test if Selenium is Working

希望我能对其他人有所帮助!这很难理解,但是如果您知道要看的地方,互联网对您很有帮助!

© www.soinside.com 2019 - 2024. All rights reserved.