为什么copyBuffer实现while循环

问题描述 投票:1回答:3

[我试图了解copyBuffer的工作原理,但不清楚的是使用while循环

for {
        nr, er := src.Read(buf)
        //...
}

下面的完整代码:

// copyBuffer is the actual implementation of Copy and CopyBuffer.
// if buf is nil, one is allocated.
func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
    // If the reader has a WriteTo method, use it to do the copy.
    // Avoids an allocation and a copy.
    if wt, ok := src.(WriterTo); ok {
        return wt.WriteTo(dst)
    }
    // Similarly, if the writer has a ReadFrom method, use it to do the copy.
    if rt, ok := dst.(ReaderFrom); ok {
        return rt.ReadFrom(src)
    }
    size := 32 * 1024
    if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
        if l.N < 1 {
            size = 1
        } else {
            size = int(l.N)
        }
    }
    if buf == nil {
        buf = make([]byte, size)
    }
    for {
        nr, er := src.Read(buf)
        if nr > 0 {
            nw, ew := dst.Write(buf[0:nr])
            if nw > 0 {
                written += int64(nw)
            }
            if ew != nil {
                err = ew
                break
            }
            if nr != nw {
                err = ErrShortWrite
                break
            }
        }
        if er != nil {
            if er != EOF {
                err = er
            }
            break
        }
    }
    return written, err
}

nw, ew := dst.Write(buf[0:nr])是读取的字节数时写入nr,为什么while loop是必要的?

go
3个回答
1
投票

假设src不实现WriterTodst不实现ReaderFrom,因为否则我们根本就不会陷入for循环。

为了简单起见,我们进一步假设src没有实现LimitedReader,因此size32 * 1024:32 KB。 (这里并没有真正失去一般性,因为至少在这种情况下,LimitedReader仅允许来源选择更小的数字。)

最后,让我们假设bufnil。 (或者,如果它不是nil,则假定它具有32768字节的容量。如果它具有大容量,我们可以更改下面的其余假设,以便src的字节数超过缓冲区中的字节数。 。)

所以:我们进入循环,其中size保留临时缓冲区buf的大小,即32k。现在假设源是一个保存64k的文件。至少需要两个src.Read()调用才能读取它!显然,我们需要一个外部循环。这就是这里的整体for

现在假设src.Read()确实确实读取了完整的32k,因此nr也是32 * 1024。该代码现在将调用dst.Write(),传递完整的32k数据。与src.Read()(只能读取1k而不是完整的32k)不同,下一个代码块要求dst.Write()写入全部32k。如果没有,则循环将在break设置为err的情况下显示ErrShortWrite

(另一种选择是继续用剩余的字节调用dst.Write(),以便dst.Write()只能写入32k中的1k,需要32次调用才能全部写入。)

请注意,src.Read()可以选择只读,例如1k而不是32k。如果实际文件为64k,则它将通过外循环执行64次行程,而不是2次。 (另一种选择是强迫这种阅读器实现LimitedReader接口。但是,它不那么灵活,也不是LimitedReader的目的。)


1
投票

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error)当要复制的总数据大小大于len(buf)时,nr, er := src.Read(buf)将尝试每次最多读取len(buf)数据。

copyBuffer的工作方式:

for {
   copy `len(buf)` data from `src` to `dst`;
   if EOF {
       //done
       break;
   }
   if other Errors {
        return Error
   }
}

0
投票

在通常情况下,您只会调用Copy而不是Copy

CopyBuffer

我认为,具有用户提供的缓冲区的选项仅用于极端优化方案。名称中使用单词“ CopyBuffer”可能会引起混淆,因为该函数正在复制缓冲区-仅在内部使用。有两个循环原因...

    缓冲区可能不足以一次复制所有数据(不一定事先知道其大小)。
  1. [func Copy(dst Writer, src Reader) (written int64, err error) { return copyBuffer(dst, src, nil) } ,尽管不是Buffer,但可能会返回部分结果。
  2. 关于第二项,请考虑Reader不一定代表固定文件或数据缓冲区。相反,它可能是来自其他线程或进程的实时流。因此,有许多有效的方案可供读取和处理流数据。

    尽管Reader不会执行此操作,但仍必须处理任何'Writer'中的此类行为。

© www.soinside.com 2019 - 2024. All rights reserved.