large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

在“ reader = new PdfReader(new RandomAccessFileOrArray(filenameSource),null)”之前添加“ Document.plainRandomAccess = true”的原因是什么?

我正在使用itext 2.1.7处理大约1.3gb的大文件。为此,我尝试了以下代码来加载文件:Document.plainRandomAccess = true; PdfReader reader = new PdfReader(new ...

回答 1 投票 -1

大型文件会在现代文件系统上造成问题吗?

我正在开发使用一些大型二进制文件的应用程序-范围在1GB-25GB之间。该应用程序将主要在服务器上运行,也可能在奇怪的功能强大/现代的台式机上运行。我可以(a)...

回答 4 投票 0


Python通过等待直到内存可用来处理内存错误

我正在尝试在具有多个用户的系统上加载和处理非常大的文件。是否可以通过使脚本重试在...

回答 1 投票 0

区分具有恒定空间(内存限制)的非常大的文件

我想在内存有限的Linux环境(16 Gb RAM)中比较两个非常大的数据库转储(几个200 Gb表格文件)。我正在比较的两个文件之间的更改是稀疏的,并且...

回答 1 投票 0

在Python中处理大型csv文件的最快方法是什么?

我一直在研究python代码,该代码读取具有800个奇数行和大约17000列的csv文件。我想检查csv文件中的每个条目,看看这个数字是否大于或...

回答 1 投票 0

尝试使用git filter repo减小repo大小

我有一个大型存储库,现在无法使用。因此,我试图删除不小心添加到历史记录中的旧文件,已删除文件,二进制文件...为此,我正在使用git filter repo ...

回答 1 投票 0

即使关闭文件对象,我们也如何读取它

我们需要使用subprocess.Popen()执行系统命令。由于输出中包含大量数据,因此当我们尝试使用Popen.wait()时,它被卡住了。 pipe = subprocess.Popen(cmd,shell = False,stdout = subprocess ....

回答 1 投票 0

如何在C#中打开大文本文件

我有一个文本文件,其中包含约100000篇文章。文件的结构为:.Document ID 42944-YEAR:5 .Date 03 \ 08 \ 11 .Cat政治文章内容1 .Document ID 42945-YEAR:5 .Date 03 \ 08 \ ...

回答 4 投票 3

IBM MQ调优传输大量文件

我有一个使用IBM MQ传输文件的项目。有10000个客户端和一个数据中心。最大文件大小将近8MB。 MQ集群包含三个MQ管理器,它们位于不同的位置...

回答 1 投票 0

无法推送大文件

虽然将文件推送到GitHub时,我没有注意到文件的大小以及在将其推送到$ git push时枚举对象:4,完成。计数对象:100%(4/4),已完成。增量压缩最多使用4 ...

回答 1 投票 0

如何在Linux中用C快速创建大文件?

遵循此问题:如何在C中快速创建大文件?我记得4到5年前,我能够在Linux中使用fallocate shell实用程序创建没有漏洞/空白的文件。磁盘文件系统为...

回答 1 投票 0

如何在kali linux中打开很大的文本文件?

该txt文件为4.6 GB,当我使用默认应用打开该文件时,总是在加载一半时关闭,我已经尝试过升华文本,但不会加载任何文本。我应该用什么打开它?

回答 1 投票 -1

Ruby处理大文件时搜索并合并CSV文件

总结查看与此相对应的其他问题无济于事,因为我仍在逐行打开文件,因此我不会在大文件上用尽内存。实际上...

回答 1 投票 0

使用python连接大(> 100MB)多个(例如10个)csv文件

我有12个结构相同的大型csv文件。我想将所有的csv文件合并为一个csv文件。不要重复标题。现在我按以下方式使用shutil。导入关闭导入时间...

回答 1 投票 0

带有CMake的AC_SYS_LARGEFILE

我声明我从未使用过autoconf工具。现在,我将一个小项目从autoconf迁移到cmake,然后遇到了AC_SYS_LARGEFILE。我对...

回答 1 投票 0

Dataflow GCP(Apache Beam)-连续读取大量文件(OutOfMemory)

我想做的事情:按模式连续读取和解压缩GZ文件(约3000个文件),解压缩后每个文件分别有1.2MB和9 MB替换每个CSV文件中的某些字符序列...

回答 1 投票 0

如何使用sed搜索值列表的任何成员

不确定如何适当地问问题,但这是用例:我有一个〜18GB的XML文件(OpenStreetMap);约2.5亿行该文件有约250个有问题的条目正在破坏数据集。...

回答 1 投票 1

如何在Python中快速读取大型xlsx文件?

是否可以使用python中的大型excel文件快速读取和获取DataFrame?] >>

回答 1 投票 0

在Pandas Dataframe中读取大文件文本文件的最佳方法

我有几个大文件(每个> 4 GB)。其中一些采用固定宽度格式,另一些采用管道定界。这些文件具有数字和文本数据。目前,我正在使用以下方法:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.