read.csv 警告“带引号的字符串内的 EOF”阻止完全读取文件

问题描述 投票：0回答：10

我有一个 CSV 文件 (24.1 MB)，我无法完全读入我的 R 会话。当我在电子表格程序中打开该文件时，我可以看到 112,544 行。当我用 read.csv

 将其读入 R 时，我只得到 56,952 行，并且出现此警告：

cit <- read.csv("citations.CSV", row.names = NULL, comment.char = "", header = TRUE, stringsAsFactors = FALSE, colClasses= "character", encoding= "utf-8") Warning message: In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, : EOF within quoted string
我可以使用

readLines

 将整个文件读入 R：

rl <- readLines(file("citations.CSV", encoding = "utf-8")) length(rl) [1] 112545
但是我无法将其作为表格返回到 R 中（通过

read.csv

）：

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE) rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL) Warning message: In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, : EOF within quoted string
如何解决或解决此 EOF 消息（这似乎更像是错误而不是警告）以将整个文件放入我的

R

 会话中？

我在使用其他读取 CSV 文件的方法时也遇到类似的问题：

require(sqldf) cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file") require(data.table) cit_dt <- fread("citations.CSV") require(ff) cit_ff <- read.csv.ffdf(file="citations.CSV")
这是我的 sessionInfo()

R version 3.0.1 (2013-05-16) Platform: x86_64-w64-mingw32/x64 (64-bit) locale: [1] LC_COLLATE=English_United States.1252 LC_CTYPE=English_United States.1252 [3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C [5] LC_TIME=English_United States.1252 attached base packages: [1] tools tcltk stats graphics grDevices utils datasets methods base other attached packages: [1] ff_2.2-11 bit_1.1-10 data.table_1.8.8 sqldf_0.4-6.4 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4 chron_2.3-43 gsubfn_0.6-5 [9] proto_0.3-10 DBI_0.2-7
r csv eof read.table
10个回答
229
投票
您需要禁用引用。

cit <- read.csv("citations.CSV", quote = "", row.names = NULL, stringsAsFactors = FALSE) str(cit) ## 'data.frame': 112543 obs. of 13 variables: ## $ row.names : chr "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ... ## $ id : chr "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ... ## $ doi : chr "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ... ## $ title : chr "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ... ## $ author : chr "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ... ## $ journaltitle : chr "79\t" "54\t" "41\t" "1\t" ... ## $ volume : chr "3\t" "\t" "1\t" "3\t" ... ## $ issue : chr "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ... ## $ pubdate : chr "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ... ## $ pagerange : chr "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ... ## $ publisher : chr "fla\t" "fla\t" "fla\t" "fla\t" ... ## $ type : logi NA NA NA NA NA NA ... ## $ reviewed.work: logi NA NA NA NA NA NA ...
我认为是因为这种线条（检查“刺”和“减”）

readLines("citations.CSV")[82] [1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"
13
投票
我是一个新的 R 用户，我想我应该发布这个，以防它对其他人有帮助。我试图从包含一些西班牙语字符的文本文件（用逗号分隔）中读取数据，但我花了很长时间才弄清楚。 我知道我需要使用 UTF-8 编码，将 header arg 设置为 TRUE，并且我需要将 sep argumentmnt 设置为“，”，但我仍然遇到了麻烦。

读完这篇文章后我尝试将 fill arg 设置为 TRUE，但随后得到了相同的“带引号的字符串内的 EOF”，我可以按照与上面相同的方式修复它。我成功的 read.table 如下所示：

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")



结果有西班牙语字符和与我最初相同的暗淡，所以我称它是成功的！谢谢大家！

    



      

      
      
      

      

        

          

            

              
8
投票

              
            

          

        

        
在 R 帮助部分，如上所述，只需添加以下内容即可完全禁用引用：



    quote = "" 



read.csv() 对我有用。 



错误“EOF 在引号字符串内”发生于：



    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16



读入的文件缺少 6,619 行。但是通过禁用引用



    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16



工作没有错误，所有行均已成功读入。

    



      

      
      
      

      

        

          

            

              
7
投票

              
            

          

        

        
我也有类似的问题。但就我而言，问题的原因是某些文本值中存在撇号（即单引号）。在处理包括法语文本的数据时，这种情况尤其常见，例如«另一个日子».



因此，解决方案只是调整 quote 参数的默认设置以排除 «'» 符号，因此，使用 
quote = "\"" （即双引号 only），一切正常。 


我希望这可以帮助你们中的一些人。干杯。

    



      

      
      
      

      

        

          

            

              
5
投票

              
            

          

        

        
readr
包将解决这个问题。 

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')


    



      

      
      
      

      

        

          

            

              
3
投票

              
            

          

        

        



read.table("....csv", sep=",", ...)




请注意，分隔符参数是在更通用的 
read.table()
 中定义的。
    





      

      
      
      

      

        

          

            

              
3
投票

              
            

          

        

        
read.csv()
读取包含文本内容的文件并不是一个好主意，禁用设置的引号
quote=""
只是一个临时解决方案，它仅适用于单独的引号。还有其他原因会导致警告，例如某些特殊字符。 


永久解决方案（使用
read.csv()
），找出这些特殊字符是什么并使用正则表达式来消除它们是一个想法。


你有没有想过安装包
{data.table}
并使用
fread()
来读取文件。它要快得多，并且不会因 EOF 警告而打扰您。请注意，它加载的文件将存储为 data.table 对象，而不是 data.frame 对象。 data.table 类有许多好的功能，但无论如何，如果需要，您可以使用 
as.data.frame()
 对其进行转换。
    





      

      
      
      

      

        

          

            

              
2
投票

              
            

          

        

        



但是查看未加载的第一行，我发现其中一个单元格中有一个特殊字符，一个箭头→（十六进制值0x1A）。删除箭头后，我就可以正常加载数据了。

    





      

      
      
      

      

        

          

            

              
0
投票

              
            

          

        

        

    





      

      
      
      

      

        

          

            

              
0
投票

              
            

          

        

        


我能够用以下方法解决它：

quote = "\"'"
 禁用 
\ ' "
参见：


df<-read.csv("/content/my_df.csv", header = TRUE, sep=",", encoding = "UTF-8", quote = "\"'")
    



      

      
    

  

  

    
最新问题


  





  

    © www.soinside.com 2019 - 2024. All rights reserved.