large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

如何在网页上渲染大的pdf文件

我创建了一个聊天机器人,可以回答您有关所提供的 PDF 文件的问题。 聊天机器人可以为您的问题提供解释性答案,还可以提供答案的来源,

回答 0 投票 0

如何使用 python 将整个大型(100 GB)json 加载到内存

我有 json 文件,大小为 100 GB。它的方案看起来像: json_f = {"main_index":{"0":3,"1":7},"引理":{"0":["test0", "test0&qu...

回答 1 投票 0

Firefox 与 Chrome 和 Safar 上的文件下载有什么区别?

我正在调试大文件下载问题。 我的 Web 应用程序将调用一个 API,该 API 将向用户下载一个 zip 文件。 这适用于 1-5MB 的文件,但有些文件是...

回答 0 投票 0

在 powershell 中拆分包含多个页眉和页脚的大文本文件

我正在使用 powershell 脚本拆分包含多个页眉和页脚的日常文本文件,页眉记录始终以“0”开头,页脚以“9”开头...

回答 1 投票 0

如何在数据帧中使用 Bert 编码的大值?

我正在使用大约 200 条推文编码值,但这些大量的值使文件变大,而且很难使用这些值运行 google colab。colab 会出现运行时错误。 ...

回答 1 投票 0

将大型 XML 文件 (1.8GB) 解析为 JSON

我正在尝试将 XML 文件解析为节点项目中的 JSON 文件。为了解析较小的文件,我一直使用“fast-xml-parser”。 我现在处理的文件要大得多,实际上大到......

回答 1 投票 0

加载和清理一个非常大的 JSON 文件

我正在使用 Snapshot Serengeti 数据集进行图像分类项目。该数据集附带一个非常大的 JSON 文件 (5GB+),其中包含顶级键。我特别需要...

回答 1 投票 0

使用 NSIS 脚本创建大数据设置

我正在使用 NSIS 脚本创建大约 10 GB 的大数据设置,并尝试创建单个设置(exe)。它给出了一个错误 - 内部编译器错误 #12345:映射文件错误 (xxxxxxxx...

回答 4 投票 0

如何实现将每一行拆分成一个单词数组,同时使用 perl 保留单词中的任何空格

我正在尝试使用 Perl 逐行解释文件行,并且每一行都将其分成几个词。但是有些单词包含空格,我想在拆分时保留这些空格......

回答 0 投票 0

如何使用 C/C++ 编写/创建大于 2GB 的文件

我尝试使用 write() 函数将一大块内存写入文件(超过 2GB),但从未成功。有人可以告诉我该怎么做吗?

回答 3 投票 0

打开非常大的 TIF 图像序列

我有一组(>10,000)大型未压缩图像(1200,1600)存储为 TIFF 堆栈。 我无法将它们直接加载到内存中,因为文件的总大小超过了可用内存。是...

回答 1 投票 0

在 rust 中加载大型 json 文件(100GB+)[关闭]

我希望加载超过 100GB+ 的大型 json 文件。此文件中的对象不是静态的,而且几乎从不相同。我发现这个箱子叫做 nop-json https://crates.io/crates/nop-json/2.0.5....

回答 1 投票 0

下载大型音频文件,即使在后台和网络不佳的情况下也能播放

我正在开发一个类似于播客的应用程序,用户可以在其中播放和下载大量音频会话。有些会议长达一个小时。当用户点击任何会话进行播放时,让...

回答 0 投票 0

对于没有安装LFS扩展的开发者来说,了解Git LFS仓库的工作原理。

正如标题所言,我感兴趣的是,对于没有安装LFS git扩展的开发者来说,带有LFS文件的git仓库将如何运作(克隆受影响的文件,提交......)。

回答 1 投票 1

如何在我的Web服务器上解压一个5GB的压缩文件而不出现PHP超时?

如何在Web服务器上解压一个5GB的压缩文件而不出现PHP超时?我需要在服务器上解压一个5GB的压缩文件。当我运行解压时,它超时了,因为文件提取时间太长。我做...

回答 1 投票 0

使用Popen.wait()时遇到死锁。

我们需要使用subprocess.Popen()执行一个系统命令。pipe= subprocess.Popen(cmd, shell=False,stdout=...)

回答 1 投票 0

在Python中使用mmap和re.findall搜索一个大文件时出现MemoryError。

我想用re实现几行python代码,首先操作一个字符串,然后用这个字符串作为regex搜索。我有一些中间带*的字符串,比如ab***cd,用*'......

回答 1 投票 2

如何对 10GB 的文件进行排序?

我正在尝试对存储在文件中的大表进行排序。该文件的格式是 (ID, 整数值) 数据按 ID 排序,但我需要的是使用 intValue 按降序对数据进行排序。 对于

回答 2 投票 0

sed, awk, perl)

谢谢你观看本帖。我会努力做到清晰、全面的回报! 下面说说情况。数百个~GB大小的.gz档案 列表中的想要的数据,由标识符组成。每个 ...

回答 1 投票 0

如何在不超过50 GB的php中上传较大的文件

我必须将php max文件上传到50 GB。服务器具有该功能,但是我对应该如何完成此任务感到困惑。我的第一个问题:是否可以上传50 GB ...

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.