如何在java中复制大于4.3 GB的文件

Question

我正在编写程序部分只是为了将文件从源文件复制到目标文件。代码也可以正常运行，但是如果存在文件大文件，则在目标文件达到4.3 GB的大小之后，复制过程将结束，但有异常。例外情况是“文件大到”它看起来像：

java.io.IOException: Die Datei ist zu groß
at sun.nio.ch.FileDispatcherImpl.write0(Native Method)
at sun.nio.ch.FileDispatcherImpl.write(FileDispatcherImpl.java:60)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:93)
at sun.nio.ch.IOUtil.write(IOUtil.java:65)
at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:211)
at java.nio.channels.Channels.writeFullyImpl(Channels.java:78)
at java.nio.channels.Channels.writeFully(Channels.java:101)
at java.nio.channels.Channels.access$000(Channels.java:61)
at java.nio.channels.Channels$1.write(Channels.java:174)
at java.nio.file.Files.copy(Files.java:2909)
at java.nio.file.Files.copy(Files.java:3069)
at sample.Controller.copyStream(Controller.java:318)

产生的方法如下：

    private void copyStream(File src, File dest){
    try {

        FileInputStream fis = new FileInputStream(src);
        OutputStream newFos = java.nio.file.Files.newOutputStream(dest.toPath(),StandardOpenOption.WRITE);

        Files.copy(src.toPath(),newFos);

        newFos.flush();
        newFos.close();
        fis.close();
    } catch (Exception e) {
        e.printStackTrace();
    }
}

我也尝试使用java.io Fileoutputstream并以kbyte方式写入，但发生的情况相同。如何复制或创建大于4.3 GB的文件？是否可能用java以外的其他语言？这个程序我运行在Linux（Ubuntu LTS 16.04）上。

提前致谢。

---

编辑：

非常感谢大家的帮助。正如你所说，文件系统是问题所在。在我将文件系统格式化为exfat后，它工作正常。

Answer 1

POSIX（以及Unix）系统允许在路径上施加最大长度（从File.getPath()或路径的组件获得的结果（使用File.getName()可以得到的最后一个）。你可能会看到这个问题，因为文件的长名称。

在这种情况下，文件open操作系统调用将失败，并带有ENAMETOOLONG error code。

但是，消息“文件太大”通常与'EBBIG'错误代码相关联。这更有可能来自write系统调用：

尝试编写的文件超出了与实现相关的最大文件大小或进程的文件大小限制。

也许正在打开文件进行追加，文件末尾隐含的lseek给出了EFBIG错误。

最后，如果必须对RAM执行某些操作，可以尝试其他复制方法。

另一种选择可能是磁盘已满。

复制文件基本上有四种方式[并且结果是基本级别的流是最快的]：

使用流复制：

private static void copyFileUsingStream(File source, File dest) throws IOException {
    InputStream is = null;
    OutputStream os = null;
    try {
        is = new FileInputStream(source);
        os = new FileOutputStream(dest);
        byte[] buffer = new byte[1024];
        int length;
        while ((length = is.read(buffer)) > 0) {
            os.write(buffer, 0, length);
        }
    } finally {
      is.close();
      os.close();
    }
}

使用Java NIO类复制：

private static void copyFileUsingChannel(File source, File dest) throws IOException {
    FileChannel sourceChannel = null;
    FileChannel destChannel = null;
    try {
        sourceChannel = new FileInputStream(source).getChannel();
        destChannel = new FileOutputStream(dest).getChannel();
        destChannel.transferFrom(sourceChannel, 0, sourceChannel.size());
    }finally{
           sourceChannel.close();
           destChannel.close();
    }
}

使用Apache Commons IO FileUtils进行复制：

private static void copyFileUsingApacheCommonsIO(File source, File dest) throws IOException {
    FileUtils.copyFile(source, dest);
}

和使用Java 7和Files类的方法：

private static void copyFileUsingJava7Files(File source, File dest) throws IOException {
    Files.copy(source.toPath(), dest.toPath());
}

编辑1：正如评论中所建议的，这里有三个SO问题，它们涵盖了问题并解释了四种不同的复制方法：

• Standard concise way to copy a file in Java?
• File copy/move methods and approaches explanation, comparison
• Reading and writing a large file using Java NIO

感谢@jww指出它