限制任务数量

Question

我有一个代码可以为 2000 多家公司触发下载数据例程。为了使这个示例简单，我将下载例程更改为 300 秒等待。以下是单个公司被调用者多次调用的例程。

Public Async Function DoJob(ByVal company As Company) As Task(Of Boolean)
    Console.WriteLine(String.Format("Started:{0}", company.CompanySymbol))
    For i As Long = 1 To 300
        Await Task.Delay(1000).ConfigureAwait(False)
    Next
    Console.WriteLine(String.Format("Ended:{0}", company.CompanySymbol))
    Return True
End Function

对于呼叫者，我使用：

Dim downloadTasksQuery As IEnumerable(Of Task(Of Boolean)) =
               From company In companies Select DoJob(company)
'***Use ToList to execute the query And start the download tasks. 
Dim downloadTasks As IEnumerable(Of Task(Of Boolean)) = downloadTasksQuery.ToList()
Await Task.WhenAll(downloadTasks) 

它的作用是并行触发所有任务，并且任务排队直到它到达互联网并得到响应。由于任务数量较多，许多任务会超时，因为它们无法在规定的时间内得到响应，因为在任何时间点等待响应的任务数量都很大。 （请记住，为了简单起见，我已经删除了下载的实际代码，并代之以在上面的 DoJob 方法中等待 300 秒的长时间运行的任务）。

我想要做的是限制可以触发的任务数量。比如说 50 个。这意味着在任何时间点只有 50 个任务处于活动状态，其余任务将等待这 50 个任务完成，然后在任务完成时排队。

我试过这个：

Dim options As New ParallelOptions()
options.MaxDegreeOfParallelism = 100
Parallel.ForEach(companies, options, Sub(company)
                                                 ' logic
                                                 DoJob(company)
                                             End Sub)

但看起来这是一次性触发所有任务，而不是先触发 100 个任务然后等待（来自

DoJob

的打印来自所有 2000 多个项目，然后任务完成）。

这里也有同样的问题：

Dim listOfActions = New List(Of Action)()
For Each company In companies
    ' Note that we create the Action here, but do not start it.
    listOfActions.Add(Function() DoJob(company))
Next

Dim options As New ParallelOptions()
options.MaxDegreeOfParallelism = 100
Parallel.Invoke(options, listOfActions.ToArray())

我已经尝试过@ClearLogics示例如何限制c#中的最大并行任务数

它也表现出相同的行为。所有任务都会立即被解雇。

我如何解决这个问题 - 只需要触发 100 个任务并随后等待并继续排队，这样在任何时候我的任务都不会超过 100 个。

Answer 1

您对

MaxDegreeOfParallelism

的期望是不正确的，请查看this文章，它解释了为什么您可以看到2000个线程同时启动。当

Await Task.Delay(1000).ConfigureAwait(False)

执行时，线程被认为是空闲的并且可以开始下一个任务。

我想做的是限制可以触发的任务数量。

你必须自己实施。您可以采取两种方法：

1. 实现您的自定义

   TaskScheduller

   ，如这篇文章中所示。
2. 在更高层控制创建的任务数量，例如使用信号量来控制并发任务。您可以在here找到示例。

如果您选择第二个选项，我警告您，这只是使用信号量的示例。我的意思是，该代码不适用于生产。