如何获取磁盘上文件第一个字节的位置？

Question

我需要在C＃应用程序中校验给定USB磁盘上的每个文件。我怀疑这里的瓶颈是实际的磁盘读取，所以我希望尽快做到这一点。

我怀疑如果我能按顺序读取磁盘上的文件，按照它们出现在磁盘上的实际顺序（假设磁盘没有碎片），这会更快。

如何从标准路径中找到每个文件的此信息？即在“F：\ MyFile.txt”中给出一个文件，如何在磁盘上找到该文件的起始位置？

我正在Windows中运行C＃应用程序。

Answer 1

现在......我真的不知道它对你有用吗：

[StructLayout(LayoutKind.Sequential)]
public struct StartingVcnInputBuffer
{
    public long StartingVcn;
}

public static readonly int StartingVcnInputBufferSizeOf = Marshal.SizeOf(typeof(StartingVcnInputBuffer));

[StructLayout(LayoutKind.Sequential)]
public struct RetrievalPointersBuffer
{
    public uint ExtentCount;
    public long StartingVcn;
    public long NextVcn;
    public long Lcn;
}

public static readonly int RetrievalPointersBufferSizeOf = Marshal.SizeOf(typeof(RetrievalPointersBuffer));

[DllImport("kernel32.dll", CharSet = CharSet.Unicode, SetLastError = true)]
public static extern SafeFileHandle CreateFileW(
        [MarshalAs(UnmanagedType.LPWStr)] string filename,
        [MarshalAs(UnmanagedType.U4)] FileAccess access,
        [MarshalAs(UnmanagedType.U4)] FileShare share,
        IntPtr securityAttributes,
        [MarshalAs(UnmanagedType.U4)] FileMode creationDisposition,
        [MarshalAs(UnmanagedType.U4)] FileAttributes flagsAndAttributes,
        IntPtr templateFile);

[DllImport("kernel32.dll", ExactSpelling = true, SetLastError = true, CharSet = CharSet.Auto)]
static extern bool DeviceIoControl(IntPtr hDevice, uint dwIoControlCode,
    ref StartingVcnInputBuffer lpInBuffer, int nInBufferSize,
    out RetrievalPointersBuffer lpOutBuffer, int nOutBufferSize,
    out int lpBytesReturned, IntPtr lpOverlapped);

// Returns a FileStream that can only Read
public static void GetStartLogicalClusterNumber(string fileName, out FileStream file, out long startLogicalClusterNumber)
{
    SafeFileHandle handle = CreateFileW(fileName, FileAccess.Read | (FileAccess)0x80 /* FILE_READ_ATTRIBUTES */, FileShare.Read, IntPtr.Zero, FileMode.Open, 0, IntPtr.Zero);

    if (handle.IsInvalid)
    {
        throw new Win32Exception();
    }

    file = new FileStream(handle, FileAccess.Read);

    var svib = new StartingVcnInputBuffer();

    int error;

    RetrievalPointersBuffer rpb;

    int bytesReturned;
    DeviceIoControl(handle.DangerousGetHandle(), (uint)589939 /* FSCTL_GET_RETRIEVAL_POINTERS */, ref svib, StartingVcnInputBufferSizeOf, out rpb, RetrievalPointersBufferSizeOf, out bytesReturned, IntPtr.Zero);

    error = Marshal.GetLastWin32Error();

    switch (error)
    {
        case 38: /* ERROR_HANDLE_EOF */
            startLogicalClusterNumber = -1; // empty file. Choose how to handle
            break;

        case 0: /* NO:ERROR */
        case 234: /* ERROR_MORE_DATA */
            startLogicalClusterNumber = rpb.Lcn;
            break;

        default:
            throw new Win32Exception();
    }
}

请注意，该方法将返回一个FileStream，您可以保持打开并用于读取文件，或者您可以轻松地修改它以不返回它（而不是创建它），然后在您想要散列它时重新打开该文件。

使用：

string[] fileNames = Directory.GetFiles(@"D:\");

foreach (string fileName in fileNames)
{
    try
    {
        long startLogicalClusterNumber;
        FileStream file;
        GetStartLogicalClusterNumber(fileName, out file, out startLogicalClusterNumber);
    }
    catch (Exception e)
    {
        Console.WriteLine("Skipping: {0} for {1}", fileName, e.Message);
    }
}

我正在使用这里描述的API：https://web.archive.org/web/20160130161216/http://www.wd-3.com/archive/luserland.htm。该程序更容易，因为您只需要初始逻辑集群号（代码的第一个版本可以提取所有LCN扩展区，但它将无用，因为您必须从第一个字节到最后一个字节散列文件）。请注意，空文件（长度为0的文件）没有分配任何集群。该函数返回集群的-1（ERROR_HANDLE_EOF）。您可以选择如何处理它。

Answer 2

如果您的驱动器是SSD或基于记忆棒技术 - 忘了它。

记忆棒和其他类似设备通常基于SSD（或类似）技术，其中随机读/写访问的问题实际上不是问题。所以你可以枚举文件并运行校验和。

您可以尝试在多个线程中运行它，但我不确定是否可以加快该过程，这可能是您可能需要测试的。它可能因设备而异。

奖金 @xanatos提到了一个有趣的观点：“我总是注意到在记忆棒上复制数千个文件要比复制一个大文件慢得多”

复制一个大文件确实要快得多，而不是一堆小文件。原因（通常）不是因为文件彼此靠近，所以硬件更容易按顺序读取它们。问题出现在需要跟踪每个文件的操作系统上。

如果你在Windows上运行过procmon，你会发现大量的FileCreates，FileReads和FileWrites。为了复制100个文件，操作系统将打开每个文件，读取其内容，写入另一个文件，关闭两个文件+许多发送到文件系统的更新操作，例如两个文件的更新属性，更新安全描述符两个文件，更新目录信息等。因此一个复制操作有许多卫星操作。