这个问题在这里已有答案:
我有一个data.frame给出如下。我试图将它从长格式转移到宽格式。使用传播列为日期。使用来自tidyr
包的扩散函数提出了两个问题:
那我怎么去
30-Apr-2015 632.95
28-May-2015 532.95
25-Jun-2015 232.95
至
30-Apr-2015 28-May-2015 25-Jun-2015
632.95 532.95 232.95
相反,我最终在
30-Apr-2015 25-Jun-2015 28-May-2015
632.95 NA 232.95
NA 232.95 NA
NA NA 532.95
实际日期并不重要,但是它们的相对排序事项,即最接近的月份数据应该按顺序进入第一列,然后是其他两个月的数据。这是必要的,因为我在结果上使用rbind
我试过的代码
data = tidyr::spread(data, key = EXPIRY_DT, value = CHG_IN_OI)
colnames(data)[3:5] = c('Month1', 'Month2', 'Month3')
data.frame如下所示:
data = structure(list(SYMBOL = c("A", "A", "A", "B", "B", "B", "C",
"C", "C", "D", "D", "D"), EXPIRY_DT = c("30-Apr-2015", "28-May-2015",
"25-Jun-2015", "30-Apr-2015", "28-May-2015", "25-Jun-2015", "30-Apr-2015",
"28-May-2015", "25-Jun-2015", "30-Apr-2015", "28-May-2015", "25-Jun-2015"
), OPEN = c(1750, 1789, 0, 1627.5, 1653.3, 0, 632.95, 644.1,
0, 317.8, 319.5, 0), HIGH = c(1788.05, 1795, 0, 1656.5, 1653.3,
0, 646.4, 650.5, 0, 324.6, 326.65, 0), LOW = c(1746, 1760, 0,
1627.5, 1645.45, 0, 629.65, 635, 0, 315.85, 318.4, 0), CLOSE = c(1782.3,
1791.85, 1695.1, 1642.95, 1646.75, 1613.9, 640.85, 644.35, 614.6,
320.55, 322.35, 310.85), SETTLE_PR = c(1782.3, 1791.85, 1804.8,
1642.95, 1653.85, 1664.35, 640.85, 644.35, 649.1, 320.55, 322.35,
325.35), CONTRACTS = c(1469L, 78L, 0L, 2638L, 14L, 0L, 4964L,
181L, 0L, 3416L, 82L, 0L), VALUE = c(6496.96, 347.91, 0, 10830.05,
57.68, 0, 15869.41, 583.38, 0, 10969.31, 264.93, 0), OPEN_INT = c(1353750L,
8500L, 0L, 1377250L, 17000L, 0L, 6264000L, 98000L, 0L, 8228000L,
216000L, 0L), CHG_IN_OI = c(15250L, 1250L, 0L, -21000L, 1500L,
0L, 73500L, 6000L, 0L, -192000L, 13000L, 0L), TIMESTAMP = c("10-APR-2015",
"10-APR-2015", "10-APR-2015", "10-APR-2015", "10-APR-2015", "10-APR-2015",
"10-APR-2015", "10-APR-2015", "10-APR-2015", "10-APR-2015", "10-APR-2015",
"10-APR-2015")), .Names = c("SYMBOL", "EXPIRY_DT", "OPEN", "HIGH",
"LOW", "CLOSE", "SETTLE_PR", "CONTRACTS", "VALUE", "OPEN_INT",
"CHG_IN_OI", "TIMESTAMP"), row.names = 40:51, class = "data.frame")
谢谢阅读。
编辑:
在@akrun发表评论后添加了预期的输出。因为每个日期的值不同,即需要一个接一个地放置每个月的数据,列名称附加字符串'Month1 / 2/3'而不是实际日期。希望有所帮助。
output = structure(list(SYMBOL = c("A", "B", "C", "D"), TIMESTAMP = c("10-Apr-15",
"10-Apr-15", "10-Apr-15", "10-Apr-15"), OPEN.Month1 = c(1750,
1627.5, 632.95, 317.8), HIGH.Month1 = c(1788.05, 1656.5, 646.4,
324.6), LOW.Month1 = c(1746, 1627.5, 629.65, 315.85), CLOSE.Month1 = c(1782.3,
1642.95, 640.85, 320.55), SETTLE_PR.Month1 = c(1782.3, 1642.95,
640.85, 320.55), CONTRACTS.Month1 = c(1469L, 2638L, 4964L, 3416L
), VALUE.Month1 = c(6496.96, 10830.05, 15869.41, 10969.31), OPEN_INT.Month1 = c(1353750L,
1377250L, 6264000L, 8228000L), CHG_IN_OI.Month1 = c(15250L, -21000L,
73500L, -192000L), OPEN.Month2 = c(1789, 1653.3, 644.1, 319.5
), HIGH.Month2 = c(1795, 1653.3, 650.5, 326.65), LOW.Month2 = c(1760,
1645.45, 635, 318.4), CLOSE.Month2 = c(1791.85, 1646.75, 644.35,
322.35), SETTLE_PR.Month2 = c(1791.85, 1653.85, 644.35, 322.35
), CONTRACTS.Month2 = c(78L, 14L, 181L, 82L), VALUE.Month2 = c(347.91,
57.68, 583.38, 264.93), OPEN_INT.Month2 = c(8500L, 17000L, 98000L,
216000L), CHG_IN_OI.Month2 = c(1250L, 1500L, 6000L, 13000L),
OPEN.Month3 = c(0L, 0L, 0L, 0L), HIGH.Month3 = c(0L, 0L,
0L, 0L), LOW.Month3 = c(0L, 0L, 0L, 0L), CLOSE.Month3 = c(1695.1,
1613.9, 614.6, 310.85), SETTLE_PR.Month3 = c(1804.8, 1664.35,
649.1, 325.35), CONTRACTS.Month3 = c(0L, 0L, 0L, 0L), VALUE.Month3 = c(0L,
0L, 0L, 0L), OPEN_INT.Month3 = c(0L, 0L, 0L, 0L), CHG_IN_OI.Month3 = c(0L,
0L, 0L, 0L)), .Names = c("SYMBOL", "TIMESTAMP", "OPEN.Month1",
"HIGH.Month1", "LOW.Month1", "CLOSE.Month1", "SETTLE_PR.Month1",
"CONTRACTS.Month1", "VALUE.Month1", "OPEN_INT.Month1", "CHG_IN_OI.Month1",
"OPEN.Month2", "HIGH.Month2", "LOW.Month2", "CLOSE.Month2", "SETTLE_PR.Month2",
"CONTRACTS.Month2", "VALUE.Month2", "OPEN_INT.Month2", "CHG_IN_OI.Month2",
"OPEN.Month3", "HIGH.Month3", "LOW.Month3", "CLOSE.Month3", "SETTLE_PR.Month3",
"CONTRACTS.Month3", "VALUE.Month3", "OPEN_INT.Month3", "CHG_IN_OI.Month3"
), class = "data.frame", row.names = c(NA, -4L))
我们可以使用devel
版本的data.table
即。 'v1.9.5'可以带多个“value.vars”。安装devel版本的说明是here
。
将'data.frame'更改为'data.table'(setDT(data)
)。通过使用每个“SYMBOL”的行号粘贴“月”来创建“月”列。然后,我们可以使用dcast
,将value.var
指定为列'3:11'。
library(data.table)
res <- dcast(setDT(data)[, Month:=paste0('Month', 1:.N), by=SYMBOL],
SYMBOL+TIMESTAMP~Month, value.var=names(data)[3:11])
如果我们需要将列名更改为'output'中的特定格式,请使用setnames
。我按照预期结果('output')重新排列了列的顺序,并将data.table更改为data.frame(setDF
)
setnames(res, sub('([^_]+)_(.*)', '\\2.\\1', colnames(res)))
res1 <- setDF(res[,names(output), with=FALSE])
res1
# SYMBOL TIMESTAMP OPEN.Month1 HIGH.Month1 LOW.Month1 CLOSE.Month1
#1 A 10-APR-2015 1750.00 1788.05 1746.00 1782.30
#2 B 10-APR-2015 1627.50 1656.50 1627.50 1642.95
#3 C 10-APR-2015 632.95 646.40 629.65 640.85
#4 D 10-APR-2015 317.80 324.60 315.85 320.55
# SETTLE_PR.Month1 CONTRACTS.Month1 VALUE.Month1 OPEN_INT.Month1
#1 1782.30 1469 6496.96 1353750
#2 1642.95 2638 10830.05 1377250
#3 640.85 4964 15869.41 6264000
#4 320.55 3416 10969.31 8228000
# CHG_IN_OI.Month1 OPEN.Month2 HIGH.Month2 LOW.Month2 CLOSE.Month2
#1 15250 1789.0 1795.00 1760.00 1791.85
#2 -21000 1653.3 1653.30 1645.45 1646.75
#3 73500 644.1 650.50 635.00 644.35
#4 -192000 319.5 326.65 318.40 322.35
# SETTLE_PR.Month2 CONTRACTS.Month2 VALUE.Month2 OPEN_INT.Month2
#1 1791.85 78 347.91 8500
#2 1653.85 14 57.68 17000
#3 644.35 181 583.38 98000
#4 322.35 82 264.93 216000
# CHG_IN_OI.Month2 OPEN.Month3 HIGH.Month3 LOW.Month3 CLOSE.Month3
#1 1250 0 0 0 1695.10
#2 1500 0 0 0 1613.90
#3 6000 0 0 0 614.60
#4 13000 0 0 0 310.85
# SETTLE_PR.Month3 CONTRACTS.Month3 VALUE.Month3 OPEN_INT.Month3
#1 1804.80 0 0 0
#2 1664.35 0 0 0
#3 649.10 0 0 0
#4 325.35 0 0 0
# CHG_IN_OI.Month3
#1 0
#2 0
#3 0
#4 0
'output'中的TIMESTAMP
列的格式不同。更改了'res1'中的格式,它与预期输出相同。
res1$TIMESTAMP <- format(as.Date(res1$TIMESTAMP, '%d-%b-%Y'), '%d-%b-%y')
all.equal(output, res1)
#[1] TRUE
或者我们可以使用来自reshape
的base R
,它确实采用了多个值列。就像我们之前创建的序列一样,在这里我们可以使用ave
创建'MONTH'列并将其用作timevar
中的reshape
。
data$MONTH <- with(data, paste0('MONTH', ave(seq_along(SYMBOL),
SYMBOL, FUN=seq_along)))
res2 <- reshape(data[-2], idvar=c('SYMBOL', 'TIMESTAMP'),
timevar='MONTH', direction='wide')
非常棘手的问题。我设计了一个非常接近你的样本输出的解决方案;你应该能够清理之后的小差异(请参阅我的答案的结尾以获得差异摘要)。
首先,让我从我的假设开始:
data
已经针对EXPIRY_DT
正确排序(每个SYMBOL
独立)。您的样本输入满足此假设。现在,作为一般建议,您应该尝试始终使用ISO 8601作为日期格式,这自然按字典顺序排序,并且自然允许您强制使用R中的Date
格式。鉴于您的输入日期格式,如果您想保证正确的顺序,你必须调用as.Date()
并传递输入格式,然后调用order()
。我没有将其包含在我的代码中,而是假设数据已经被排序。TIMESTAMP
的所有SYMBOL
值,所以我假设这两列包含数据的多列主键。如果这不正确,您可以简单地更改我在代码中定义的keys
变量,使其不包含TIMESTAMP
。但如果是这种情况,那么您将在输出中获得额外的TIMESTAMP.Month{mnum}
列(如果需要,可以在之后删除)。keys <- c('SYMBOL','TIMESTAMP');
mnum <- ave(1:nrow(data), data[,keys], FUN=seq_along );
mnum;
## [1] 1 2 3 1 2 3 1 2 3 1 2 3
mdata <- lapply(1:max(mnum), function(x) setNames(data[mnum==x,],ifelse(names(data)%in%keys,names(data),paste0(names(data),'.Month',x))) );
mdata;
## [[1]]
## SYMBOL EXPIRY_DT.Month1 OPEN.Month1 HIGH.Month1 LOW.Month1 CLOSE.Month1 SETTLE_PR.Month1 CONTRACTS.Month1 VALUE.Month1 OPEN_INT.Month1 CHG_IN_OI.Month1 TIMESTAMP
## 40 A 30-Apr-2015 1750.00 1788.05 1746.00 1782.30 1782.30 1469 6496.96 1353750 15250 10-APR-2015
## 43 B 30-Apr-2015 1627.50 1656.50 1627.50 1642.95 1642.95 2638 10830.05 1377250 -21000 10-APR-2015
## 46 C 30-Apr-2015 632.95 646.40 629.65 640.85 640.85 4964 15869.41 6264000 73500 10-APR-2015
## 49 D 30-Apr-2015 317.80 324.60 315.85 320.55 320.55 3416 10969.31 8228000 -192000 10-APR-2015
##
## [[2]]
## SYMBOL EXPIRY_DT.Month2 OPEN.Month2 HIGH.Month2 LOW.Month2 CLOSE.Month2 SETTLE_PR.Month2 CONTRACTS.Month2 VALUE.Month2 OPEN_INT.Month2 CHG_IN_OI.Month2 TIMESTAMP
## 41 A 28-May-2015 1789.0 1795.00 1760.00 1791.85 1791.85 78 347.91 8500 1250 10-APR-2015
## 44 B 28-May-2015 1653.3 1653.30 1645.45 1646.75 1653.85 14 57.68 17000 1500 10-APR-2015
## 47 C 28-May-2015 644.1 650.50 635.00 644.35 644.35 181 583.38 98000 6000 10-APR-2015
## 50 D 28-May-2015 319.5 326.65 318.40 322.35 322.35 82 264.93 216000 13000 10-APR-2015
##
## [[3]]
## SYMBOL EXPIRY_DT.Month3 OPEN.Month3 HIGH.Month3 LOW.Month3 CLOSE.Month3 SETTLE_PR.Month3 CONTRACTS.Month3 VALUE.Month3 OPEN_INT.Month3 CHG_IN_OI.Month3 TIMESTAMP
## 42 A 25-Jun-2015 0 0 0 1695.10 1804.80 0 0 0 0 10-APR-2015
## 45 B 25-Jun-2015 0 0 0 1613.90 1664.35 0 0 0 0 10-APR-2015
## 48 C 25-Jun-2015 0 0 0 614.60 649.10 0 0 0 0 10-APR-2015
## 51 D 25-Jun-2015 0 0 0 310.85 325.35 0 0 0 0 10-APR-2015
##
res <- Reduce(function(x,y) merge(x,y,by=keys,all=T), mdata );
res;
## SYMBOL TIMESTAMP EXPIRY_DT.Month1 OPEN.Month1 HIGH.Month1 LOW.Month1 CLOSE.Month1 SETTLE_PR.Month1 CONTRACTS.Month1 VALUE.Month1 OPEN_INT.Month1 CHG_IN_OI.Month1 EXPIRY_DT.Month2 OPEN.Month2 HIGH.Month2 LOW.Month2 CLOSE.Month2 SETTLE_PR.Month2 CONTRACTS.Month2 VALUE.Month2 OPEN_INT.Month2 CHG_IN_OI.Month2 EXPIRY_DT.Month3 OPEN.Month3 HIGH.Month3 LOW.Month3 CLOSE.Month3 SETTLE_PR.Month3 CONTRACTS.Month3 VALUE.Month3 OPEN_INT.Month3 CHG_IN_OI.Month3
## 1 A 10-APR-2015 30-Apr-2015 1750.00 1788.05 1746.00 1782.30 1782.30 1469 6496.96 1353750 15250 28-May-2015 1789.0 1795.00 1760.00 1791.85 1791.85 78 347.91 8500 1250 25-Jun-2015 0 0 0 1695.10 1804.80 0 0 0 0
## 2 B 10-APR-2015 30-Apr-2015 1627.50 1656.50 1627.50 1642.95 1642.95 2638 10830.05 1377250 -21000 28-May-2015 1653.3 1653.30 1645.45 1646.75 1653.85 14 57.68 17000 1500 25-Jun-2015 0 0 0 1613.90 1664.35 0 0 0 0
## 3 C 10-APR-2015 30-Apr-2015 632.95 646.40 629.65 640.85 640.85 4964 15869.41 6264000 73500 28-May-2015 644.1 650.50 635.00 644.35 644.35 181 583.38 98000 6000 25-Jun-2015 0 0 0 614.60 649.10 0 0 0 0
## 4 D 10-APR-2015 30-Apr-2015 317.80 324.60 315.85 320.55 320.55 3416 10969.31 8228000 -192000 28-May-2015 319.5 326.65 318.40 322.35 322.35 82 264.93 216000 13000 25-Jun-2015 0 0 0 310.85 325.35 0 0 0 0
正如您所看到的,我的解决方案的核心是将输入数据按月份分成单独的data.frames,这样就可以为每个拆分独立地为所有非键列添加后缀,然后重复调用merge()
将它们合并在一起。
mnum
矢量代表“月号”。你可以认为它是输入data
对象的一种“分离”列;它表示data
中每行所属的主键组中的月份编号。我使用ave()
为每个组调用seq_along()
一次,生成一个长度等于组大小的连续整数向量(即组中的行数),ave()
映射回原始data
对象中组行的位置。
mdata
对象是data.frames列表,其中每个组件代表一个月的数字。具有特定月份数的行的实际提取是通过简单的逻辑索引操作完成的:
data[mnum==x,]
其中x
是mnum
元素,由1:max(mnum)
在lapply()
上重复。使用setNames()
完成非键列名称的后缀,派生替换列名称如下:
ifelse(names(data)%in%keys,names(data),paste0(names(data),'.Month',x))
上面保留了密钥列的名称,但是将'.Month{mnum}'
附加到所有非键列的名称。
最后,所有月份号码拆分必须合并回一个data.frame。我以为我可以使用merge()
的一次调用(可能得到do.call()
的一些帮助)来做到这一点,但是发现它只需要两个参数来合并,x
和y
(也见Simultaneously merge multiple data.frames in a list)。因此,我需要调用Reduce()
来实现重复调用。如果您的不同符号具有不同的到期日数,那么all=T
论证将是重要的;那么“短”符号将不会在最终合并的RHS上表示,因此如果没有通过all=T
则会被删除。
我的输出与您的样本输出不完全匹配。以下是不符点之处:
TIMESTAMP
列的格式与输入中的格式,例如,10-APR-2015
更改为10-Apr-15
。我的代码没有触及TIMESTAMP
的格式。EXPIRY_DT
列,我的解决方案保留在其后缀EXPIRY_DT.Month1
,EXPIRY_DT.Month2
等名称下。如果需要,您可以在grep()
和names()
上使用negative indexing删除这些列。记得aggregate()
对data.frames的重载可以用来实现这个要求。列名和顺序将不完全符合您的要求,但它们肯定是合乎逻辑且可用的(之后可以调整):
keys <- c('SYMBOL','TIMESTAMP');
aggregate(data[,!(names(data)%in%keys)],data[,names(data)%in%keys],identity);
## SYMBOL TIMESTAMP EXPIRY_DT.1 EXPIRY_DT.2 EXPIRY_DT.3 OPEN.1 OPEN.2 OPEN.3 HIGH.1 HIGH.2 HIGH.3 LOW.1 LOW.2 LOW.3 CLOSE.1 CLOSE.2 CLOSE.3 SETTLE_PR.1 SETTLE_PR.2 SETTLE_PR.3 CONTRACTS.1 CONTRACTS.2 CONTRACTS.3 VALUE.1 VALUE.2 VALUE.3 OPEN_INT.1 OPEN_INT.2 OPEN_INT.3 CHG_IN_OI.1 CHG_IN_OI.2 CHG_IN_OI.3
## 1 A 10-APR-2015 30-Apr-2015 28-May-2015 25-Jun-2015 1750.00 1789.00 0.00 1788.05 1795.00 0.00 1746.00 1760.00 0.00 1782.30 1791.85 1695.10 1782.30 1791.85 1804.80 1469 78 0 6496.96 347.91 0.00 1353750 8500 0 15250 1250 0
## 2 B 10-APR-2015 30-Apr-2015 28-May-2015 25-Jun-2015 1627.50 1653.30 0.00 1656.50 1653.30 0.00 1627.50 1645.45 0.00 1642.95 1646.75 1613.90 1642.95 1653.85 1664.35 2638 14 0 10830.05 57.68 0.00 1377250 17000 0 -21000 1500 0
## 3 C 10-APR-2015 30-Apr-2015 28-May-2015 25-Jun-2015 632.95 644.10 0.00 646.40 650.50 0.00 629.65 635.00 0.00 640.85 644.35 614.60 640.85 644.35 649.10 4964 181 0 15869.41 583.38 0.00 6264000 98000 0 73500 6000 0
## 4 D 10-APR-2015 30-Apr-2015 28-May-2015 25-Jun-2015 317.80 319.50 0.00 324.60 326.65 0.00 315.85 318.40 0.00 320.55 322.35 310.85 320.55 322.35 325.35 3416 82 0 10969.31 264.93 0.00 8228000 216000 0 -192000 13000 0
基础R中一个干净,简单的解决方案!
编辑:感谢@Frash指出上述“解决方案”中的怪癖。可以通过如下包装aggregate()
来纠正这种情况:
do.call(data.frame,...);
这是因为data.frame()
会自动将矩阵扩展为结果data.frame中的独立列(除了“model.matrix”类的矩阵和受I()
保护的矩阵)。