我有一个记录,它是我们源代码的特定版本的性能采样字典。我将它存储在我们的前夕数据库中。我们为每个修订进行性能测试。我们有超过20,000个修订版。
我可以使用http://host/api/performance?projection= {“FileIO.Reads”:1,“Revision”:1}来获取值,它为我提供了20,000条记录,其中包含以下内容:
{
"_items" : [
{ "_id" : ... ,
"_updated": ...,
"_created":...,
"_etag":...,
"Revision":1000,
"FileIO" : {
{ "Reads": [20.34,10,30] } # avg/min/max
}
},
# next item
{ "_id" : ... ,
"_updated": ...,
"_created":...,
"_etag":...,
"Revision":1001,
"FileIO" : {
{ "Reads": [23,10,50] } # avg/min/max
}
}
# and so on
]
}
有没有办法让Eve甚至更好的MongoDB将所有这些组合成[[Revision,Reads],[Revision,Reads] ...]甚至[Revision,Avg,Min,Max]形式的单个值]最小化JSON转换,性能和带宽成本?
我应该在事件挂钩中进行自己的处理吗?如果是这样的话?
我想我应该可以通过某种类型的聚合来做到这一点,但不清楚如何将我的修订与我的FileIO读取合并。
我真的没有任何其他想法如何存储这些数据 - 我们只有一个每个版本的性能值字典。
谢谢。
我做了一些调查和捣乱,并提出了以下聚合管道。我不知道它是否有效,但它做了我需要它做的事情。我想我很了解它是如何工作的但是双重分组似乎应该是不必要的。
db.getCollection('test_profiles').aggregate( [
{ $group: {
_id : { revision :"$revision", value : "$FileIO.Reads" }
}},
{ $unwind : "$_id"},
{ $group: {
_id : null,
values:
{ $push: "$_id" }
}}
])
这产生以下类型的记录:
{
"_id" : null,
"values" : [
{
"revision" : 109999,
"value" : [
0.903873742,
0.00723229861,
1.23190153
]
},
{
"revision" : 109998,
"value" : [
0.903873742,
0.00723229861,
1.23190153
]
},
// .. and on and on
]
}