large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

如何在Perl中读取文件末尾的行?

我正在使用Perl脚本来读取CSV文件并进行一些计算。 CSV文件只有两列,如下所示。一二1.00 44.000 3.00 55.000现在,此CSV文件非常大,可以是...

回答 11 投票 8

读取大的CSV文件并用C#处理。有什么建议吗?

我有一个大约25G的大CSV文件。我需要解析大约10列的每一行,并进行一些处理,最后将其保存到具有解析数据的新文件中。我使用字典作为我的...

回答 2 投票 5

大文件支持在C编程中不起作用

我正在尝试编译共享对象(最终在带有ctypes的Python中使用)。用于构建对象的命令行是:gcc -Wall -O3 -shared -Wl,-soname,borg_stream -lm -m128bit-long -...

回答 3 投票 2

制作指向已分配内存的C ++向量

我正在使用一些较旧的代码,该代码会分配一 块RAM,然后将一个二进制文件加载到其中。二进制文件是X尺寸为X的一系列8位灰度图像平面,Z深度为Z平面。文件是...

回答 1 投票 2

损坏的文件或空白文件正在通过Web应用通过电子邮件获取-Google脚本

问题下面的google脚本运行正常,但通过电子邮件上载时通过电子邮件发送的文件已损坏或为空白。附加的文件名,内容类型与上载相同...但是得到...

回答 1 投票 0

无法使用html 标签 显示电影

我正在尝试使用HTML的 标签来显示电影。我想我做对了所有事情,但视频没有播放。

回答 1 投票 -1

加载大型Json文件的替代方法

我正在尝试将大的json文件(大约4G)作为pandas数据帧加载,但是以下方法不适用于文件> 2G左右。有其他替代方法吗? data_dir ='data.json'my_data ...

回答 1 投票 2

过滤大文件将返回一个空的新文件

我是python的新手,如果这个问题太基础了,请原谅我。我一直在尝试使用另一个文件(大约100,000行)中的模式来过滤大文件(> 85,000,000行)中的行。我想阅读...

回答 2 投票 0

使用python过滤大文件,返回空的新文件

我是python的新手,如果这个问题太基础了,请原谅我。我一直在尝试使用另一个文件(大约100,000行)中的模式来过滤大文件(> 85,000,000行)中的行。我想阅读...

回答 2 投票 0

在具有写行的python错误中合并具有不同列的多个csv文件

我有大量的csv文件/数据框,它们太大而无法一起存储在内存中。但是,我注意到这些数据框之间的列大小不同。我的专栏是...

回答 1 投票 0

反序列化非常大的图像文件

我正在从WebAPI接收图像集,作为包含每个字节数组的ImageData对象的列表。公共类ImageData {public byte [] data; }当我有很多小尺寸时...

回答 1 投票 0

运行超过500K行的最佳方式?

我有一个包含一堆行的文件,其中包含来自不同配置的某些部件号的数据。这些零件号中的一些在整个文件中重复,在那些重复的零件中...

回答 2 投票 0

如何将极大的json流文件解析为有效的JSON

我正在进行CS课程项目,在其中我必须在Ubuntu VM上对Twitter数据进行情感分析。我能够构建一个搜寻器来获取数据,但是输出的格式为...

回答 1 投票 0

将大xml分割成小块

我们要处理大约6 GB的大型xml文件。在这里,我们将大型xml读取到数据帧中,然后将其导出到csv文件,我们使用带有iterparse的lxml逐行读取xml并将其加载...

回答 1 投票 0

使用Java NIO读取和写入大文件(> 1Gb)吗?

我正在尝试在每个事务中将通常大于1 Gb的大文件读写到另一个存储位置。在性能和低内存方面最有效的是什么(防止...

回答 1 投票 0

在C#中对osm-File(osm.pbf)的处理和过滤时间太长

场景:我想编写自己的地址自动完成API,就像一个Google提供的那样。 (非常基本:街道,门牌号,城市,邮政编码,国家/地区)。它仅供私人使用,...

回答 1 投票 2

使用Apache Camel,如何在已经很大的文件中添加一些行?

我实际上有一个3个步骤:将一个csv重新格式化为另一种格式(使用split&aggregator),手动添加一些行作为页眉和页脚zip并发送到ftp,所有这些都可以正常工作...

回答 1 投票 0

如何有效地将CMS中的大文件广播到LAN中的n个客户端

我在LAN(WiFi)和Internet上的CMS中有一个主设备和n个从设备。我需要能够通过在主服务器上选择从CMS向所有从服务器上推送/下载一个千兆字节的视频文件。 ...

回答 1 投票 0


在Python中逐行读取大文件-内存管理和性能

我正在尝试找出在Python中逐行读取大文本文件(> 5GB)的最佳方法。每行也将被顺序处理(例如,将字符串切成薄片并将其推入某个函数)。 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.