Bash脚本，每隔十分钟计算方括号中的ID

Question

有这个日志文件

20180917084726:-
20180917085418:[111783178, 111557953, 111646835, 111413356, 111412662, 105618372, 111413557]
20180917115418:[111413432, 111633904, 111783198, 111792767, 111557948, 111413225, 111413281]
20180917105419:[111413432, 111633904, 111783198, 111792767, 111557948, 111413225, 111413281]
20180917085522:[111344871, 111394583, 111295547, 111379566, 111352520]
20180917090022:[111344871, 111394583, 111295547, 111379566, 111352520]

输入日志的格式为：

时间戳的格式为YYYYMMDDhhmmss

我想知道如何编写一个脚本，为每天的每10分钟片段输出一行，返回唯一ID的计数

结果如下：

20180917084:0
20180917085:12
20180917115:7
20180917105:7

Answer 1

awk：使用冒号或逗号作为字段分隔符。

awk -F '[,:]' '
    {
        key = substr($1,1,11)"0"
        count[key] += ($2 == "-" ? 0 : NF-1)
    } 
    END {
        PROCINFO["sorted_in"] = "@ind_num_asc"
        for (key in count) print key, count[key]
    }
' file

201809170840 0
201809170850 12
201809170900 5
201809171050 7
201809171150 7

---

要过滤今天的日期，您可以说：

gawk -F '[,:]' '
    BEGIN {today = strftimme("%Y%m%d", systime())}
    $0 ~ "^"today { key = ...

要么

awk -F '[,:]' -v "today=$(date "+%Y%m%d")" '
    $0 ~ "^"today { key = ...

或将现有的awk代码传递给| grep "^$(date +%Y%m%d)"

Answer 2

你可以尝试下面的，它将以输入文件中发生时间戳发生的相同顺序给你输出。

awk '
{
  val=substr($0,1,11)
}
!a[val]++{
  b[++count]=val
}
match($0,/\[.*\]/){
  num=split(substr($0,RSTART,RLENGTH),array,",")
  c[val]+=num
}
END{
  for(i=1;i<=count;i++){
    print b[i],c[b[i]]+0
  }
}'   Input_file

输出如下。

20180917084 0
20180917085 12
20180917115 7
20180917105 7
20180917090 5

编辑：添加一个解决方案，以防你的任何字段具有NULL值，所以现在也检查上面的代码。

awk '
{
  val=substr($0,1,11)
}
!a[val]++{
  b[++count]=val
}
match($0,/\[.*\]/){
  count1=""
  num=split(substr($0,RSTART,RLENGTH),array,",")
  for(j=1;j<=num;j++){
    if(array[j]){
      count1++
    }
  }
  c[val]+=count1
}
END{
  for(i=1;i<=count;i++){
    print b[i],c[b[i]]+0
  }
}'  Input_file

Answer 3

你的输入和输出不一致，但我想你想要这样的东西

 $ awk -F: '{k=sprintf("%10d",$1/1000); n=gsub(",",",",$2); a[k]+=(n?n+1:n)} 
        END {for(k in a) print k":"a[k] | "sort" }' file 

20180917084:0
20180917085:12
20180917090:5
20180917105:7
20180917115:7

Answer 4

Perl救援！

perl -ne '
    ($timestamp, @ids) = /([0-9]+)/g;
    substr $timestamp, -3, 3, "";
    @{ $seen{$timestamp} }{@ids} = ();
    END {
        for my $timestamp (sort keys %seen) {
            print "$timestamp:", scalar keys %{ $seen{$timestamp} }, "\n";
        }
    }' < file.log

• -n逐行读取输入
• substr在这里用空字符串替换时间戳的最后三个字符
• %seen是散列的散列，对于每个时间戳，内部散列记录了所看到的id
• 标量上下文中的keys返回键的计数，在这种情况下，每个时间戳的唯一ID数。