large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

错误:无法统计文件“XX.csv”:未知错误

我运行此命令:COPY XXX FROM'D:/XXX.csv'WITH(FORMAT CSV,HEADER TRUE,NULL'NULL')在Windows 7中,它成功导入小于1GB的CSV文件。如果文件大于1GB,我得到......

回答 3 投票 2

用于置换外部存储器的实用算法

在旋转的磁盘上,我有N个记录,我想要置换。在RAM中,我有一个包含所需排列的N个索引数组。我也有足够的RAM来一次保存n条记录。什么 ...

回答 3 投票 1

将大型.csv导入Excel,

我试图将一个大的.csv文件导入Excel。该文件有近400万行和329列,因此它远远超过了Excel的65536 1M行限制。我在网上发现了一个VB脚本来导入文本文件......

回答 2 投票 0

在PHP中读取非常大的文件

当我尝试在PHP中读取一个非常适中的文件时,fopen失败了。一个6兆的文件使它窒息,虽然100k左右的小文件就好了。我读过有时候有必要......

回答 8 投票 24

访问存储在GitHub LFS中的静态.obj文件

我有一个简单的静态应用程序部署到Heroku,在GitHub中有一个repo。静态应用程序本质上是一个HTML页面,其中包含一些JavaScript,它使用Three.js将一些非常大的.obj文件呈现给...

回答 1 投票 0

如何在Python中正确读取大文本文件,以免堵塞内存?

所以今天在购买BTC的时候,我搞砸了并且丢失了我的解密密码短语到ATM在电子邮件上自动发送的钱包。我记得密码短语的最后4个字符,所以我生成了一个单词列表...

回答 1 投票 0

我必须编写一个程序,输出最大的X数,给定X数和一个巨大的文件大小

到目前为止,我有这个代码读取文件并使用Ruby对其进行排序。但这并没有正确排序数字,我认为这将是低效的,因为该文件可以大到200GB和...

回答 4 投票 1

如何有效地打开30gb文件并处理它的部分而不会减慢速度?

我有一些大文件(超过30GB),其中包含我需要进行一些计算的信息,比如平均。我提到的部分是文件片,我知道开头......

回答 1 投票 5

使用PHP中的分块上传1GB文件

我有一个Web应用程序,可以接受最多4 MB的文件上传。服务器端脚本是PHP,Web服务器是NGINX。许多用户要求大幅增加此限制以允许上传...

回答 8 投票 37

使用Web Service :: Dropbox上载大型文件

有人可以给我一些示例代码,使用WebService :: Dropbox模块上传大于1GB的文件吗?我按照说明成功上传了不到150MB的文件,但我......

回答 1 投票 -2

sqlite:导入无法存储在内存中的文件

我有一个72 Gb文件,我想放在一个数据库中,这样我就可以分组了。有没有办法将其放在sqlite数据库中?我尝试过以下方法:.mode csv .separator; 。进口......

回答 1 投票 0

如何使用python将大块文件从源文件复制到目标文件?

该文件可以说是20GB。导入,读取文件然后写入另一个文件的传统方法是不可行的。

回答 1 投票 1

如何使用加载大文件并将其与Python中较小的文件连接?

我有一个大文件〜5TB(> 2000列和250毫升行),并希望将其与另一个非常小~10 GB(10列和20行)的文件连接起来。这是我目前在Python中的方法:...

回答 1 投票 2

如何分析大型jvm转储文件

我们的hadoop集群有1000多个节点和20PB数据。因此,我们的NameNode转储文件超过100GB,我们发现很难通过任何工具对其进行分析。有没有人对如何分析有任何建议......

回答 1 投票 0

如何通过CSVParser处理大文件?

我有一个大的.csv文件(大约300 MB),从远程主机读取,并解析为目标文件,但我不需要将所有行复制到目标文件。在复制时,我需要阅读每个......

回答 2 投票 9

绘制大量数据

我们目前正在使用ZedGraph绘制一些数据的折线图。输入数据来自任意大小的文件,因此,我们事先不知道数据点的最大数量是多少。 ...

回答 4 投票 16

PySpark:处理100000列数据集

我正在使用Cloudera Spark 2.我们在集群中实现了Kerberos。我有一个400000x100000的CSV数据集。它有500GB。我做了以下:df = spark.read.csv('largefile.csv',header = ...

回答 1 投票 1

如何向服务器发送大尺寸视频?

我发现这个代码HttpURLConnection发送带有参数may(String或Json String)Android的图像,音频和视频文件,它与视频,图像和音频完美配合。但是当我发送......

回答 1 投票 0

git的大文件扩展名[关闭]

Mercurial最近添加了官方的Large Files扩展。它解决了与存储基本上不可转换的文件相关的问题,视频游戏资产就是这种情况的常见例子。 ...

回答 2 投票 10

获取C中的大文件大小

在有人抱怨“重复”之前,我一直在彻底检查SO,但似乎还没有干净的答案,尽管问题看起来很简单。我正在寻找便携式C代码,......

回答 6 投票 9

© www.soinside.com 2019 - 2024. All rights reserved.