我有一个程序,我需要发出大量的URL请求。我无法同时发出所有请求,因为总会有新的URL添加到队列中。我也不能同步运行它们,因为有些请求需要很长时间才能完成,这会降低程序的速度。我认为最好的方法是通过在任务完成时启动新任务来确保同时运行特定数量的异步任务。
问题是我没有找到任何其他方法来使用asyncio库,而不是制作大量的任务并等待它们。这是有问题的,因为总会有一些请求被卡住导致程序在等待时卡住。
我该如何解决这个问题?
您可以使用asyncio.wait_for(),也可以使用此https://github.com/aio-libs/async-timeout