正确使用fasthttp.Client与goroutines相结合的方法。

Question

我是围棋新手，正在寻找正确的方法使用 net/http 或 fasthttp 与goroutines。不幸的是，没有多少 fasthttp 客户端的例子有。

我发现了以下代码。(例1)

package main

import (
    "bufio"
    "fmt"
    "github.com/valyala/fasthttp"
    "log"
    "net"
    "os"
    "sync"
    "time"
)

func grabPage(fastClient *fasthttp.Client, i int, wg *sync.WaitGroup) {
    defer wg.Done()
    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))
    if err != nil {
        log.Fatal(err)
    }
    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    w := bufio.NewWriter(f)
    w.Write(body)
}

func main() {
    var wg sync.WaitGroup
    total := 500

    c := &fasthttp.Client{
        Dial: func(addr string) (net.Conn, error) {
            return fasthttp.DialTimeout(addr, time.Second*10)
        },
        MaxConnsPerHost: total,
    }

    wg.Add(total)
    for index := 0; index < total; index++ {
        go grabPage(c, index, &wg)
    }
    wg.Wait()
}

在这段代码中，开发者创建了一个 fasthttp.Client 例子 main() 函数并将其传递给goroutine，并使用 go grabPage(c, ...). 对于我的理解，这种方式你创建一个实例，所有的请求都使用这一个实例来完成工作。

在另一个页面上，一个开发者使用了类似的东西。(例2)

func grabPage(i int, wg *sync.WaitGroup) {
    defer wg.Done()

    fastClient := &fasthttp.Client{
        Dial: func(addr string) (net.Conn, error) {
            return fasthttp.DialTimeout(addr, time.Second*10)
        },
        MaxConnsPerHost: 500,
    }

    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))
    if err != nil {
        log.Fatal(err)
    }
    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    w := bufio.NewWriter(f)
    w.Write(body)
}

最大的问题是，这两种解决方案都正确吗？还是说Example2的方案真的是每一个goroutine都会创建一个新的实例，使用大量的内存？

我把我的问题用片段做了例子，在Example2中肯定是这样的 defer 丢失。这不是问题的一部分。

一个小的附带问题。(fastClient *fasthttp.Client, i int, wg *sync.WaitGroup) -> fastClient和wg都是指针，为什么要调用。grabPage(c, index, &wg) 而不是 grabPage(&c, index, &wg)?

Answer 1

大致的答案是：两者都是正确的（就像他们工作得很好），只是不同而已。

每 文献, a fasthttp.Client 是安全的，可以并发使用，所以共享一个实例就可以了。它可能会遇到并发连接的限制，但这可能不是问题。

第二个例子确实有一些开销，将无法重用连接或参数，但这又可能是一个无所谓的用例（如果我只执行两个操作，节省开销可能不值得优化）。

对于问题的第二部分。

• c 是否已经是一个 *fasthttp.Client，所以不需要取其地址(&fasthttp.Client 返回一个指向新的 fasthttp.Client)
• wg 是一个普通 sync.WaitGroup 所以地址必须是