convert atopsar output to influxdb
[atop-influxdb] / atop2influx.pl
1 #!/usr/bin/perl
2 use warnings;
3 use strict;
4 use Time::Local;
5
6 use Data::Dump;
7 sub XXX { warn Data::Dump::dump( @_ ) };
8
9 my $measurement = 'debug';
10 my $host;
11 my $yyyymmdd;
12
13 my ($dd,$mm,$yyyy);
14 my ($hour,$min,$sec)=(0,0,0);
15 my @cols;
16 my $time;
17 sub update_time {
18         #warn "# time $yyyy-$mm-$dd $hour:$min:$sec $time\n";
19         $time = timelocal($sec,$min,$hour,$dd,$mm-1,$yyyy) * 1000_000_000;
20         return $time;
21 }
22
23 while(<>) {
24         chomp;
25         next if /^$/;
26
27         #warn "#[$_]\n";
28
29         my @vals;
30
31         if ( /^(\w+)\s+(\S+)\s+(.+)\s+(\w+)\s+(\d\d\d\d)\/(\d\d)\/(\d\d)$/ ) {
32                 $host = $1;
33                 @cols = qw( kernel build arch );
34                 @vals =   ( qq{"$2"}, qq{"$3"}, qq{"$4"} ); # must quote all this as strings for influx
35                 ( $yyyy, $mm, $dd ) = ( $5, $6, $7 ); update_time;
36
37         } elsif ( m/analysis date: (\S+)/ ) {
38                 ( $yyyy, $mm, $dd ) = split(/\//, $1, 3); update_time;
39                 next;
40
41         } elsif ( m/^00:00:01\s+(.+)_(\w+)_/ ) {
42                 $measurement = $2;
43                 my $cols = $1;
44                 $cols =~ s/(in|out):\s+(\w+)/$1_$2/g; # ipv4, ipv6
45                 @cols = split(/\s+/, $cols);
46                 next;
47
48         } elsif ( m/^(\d\d:\d\d:\d\d)\s+(.+)/ ) {
49                 ( $hour, $min, $sec )  = split(/:/, $1, 3); update_time;
50                 @vals = split(/\s+/, $2);
51         } elsif ( m/^\s+(.+)/ ) {
52                 @vals = split(/\s+/, $1);
53         } else {
54                 die "UNPARSED: $_\n";
55         }
56
57         next unless @vals;
58
59         next if $measurement =~ /top3/; # FIXME this isn't parsed yet
60
61         #XXX { cols => \@cols, vals => \@vals };
62         print "atop_$measurement,host=$host";
63         my $d = " ";
64         foreach my $i ( 0 .. $#cols ) {
65                 if ( my $c = $cols[$i] ) {
66                         my $s = '';
67
68                         if ( $c =~ m/(cpu|disk|interf)/ ) { ; # XXX tag
69                                 ($d,$s) = (',',' ');
70                         }
71
72                         $c =~ s/^%//;
73                         $c =~ s{/s$}{};
74                         $c =~ s/\W+/_/g;
75
76                         my $v = $vals[$i];
77                         die "line: [$_]\nno vals[$i] in ",Data::Dump::dump( @vals ) if ! defined $v;
78
79                         #$v *= 1024 * 1024 if $v =~ s/M$//;
80                         $v =~ s/M$//;
81                         $v =~ s/%$//;
82
83                         $v =~ s/\s/\\ /g unless $v =~ m/"/;
84
85                         next if $c eq "busy" && $v eq "?";
86
87                         print "$d$c=$v$s";
88
89                         $d ||= ',';
90                         $d = '' if $s eq " "; # move to values
91                         $d = ',' if $d eq " "; # move to values
92
93
94                 } else {
95                         die "line: [$_]\nno cols[$i] in ",Data::Dump::dump( @cols );
96                 };
97                 
98         }
99         print " $time\n";
100 }
101