web_ui.pl

   1 #!/usr/bin/env perl
   2
   3 use Mojolicious::Lite;
   4 use Redis;
   5
   6 use lib '/srv/MojoX-Gearman/lib';
   7 use MojoX::Gearman;
   8
   9 use lib 'lib';
  10 use APKPM::Model;
  11 use Redis;
  12 use Encode;
  13
  14 use Data::Dump qw(dump);
  15
  16 plugin 'tag_helpers';
  17 # Documentation browser under "/perldoc" (this plugin requires Perl 5.10)
  18 plugin 'pod_renderer';
  19
  20 app->secret('apkpm');
  21
  22 get '/' => sub {
  23         my $self = shift;
  24         $self->render('index');
  25 };
  26
  27 get '/ping_http' => sub {
  28         my $self = shift;
  29         my $gearman = $self->client;
  30         my $pong = $gearman->post( "http://localhost:4780/ping" => { Connection => 'close' } => "some data" )->res->body;
  31         warn "ping = $pong";
  32         $self->render( 'ping', pong => $pong );
  33 };
  34
  35 my $gearman = MojoX::Gearman->new; #( ioloop => Mojo::IOLoop->singleton );
  36 $gearman->server( $ENV{GEARMAN} || 'localhost:4730' );
  37 $gearman->timeout( 15 );
  38
  39 get '/ping_g' => sub {
  40         my $self = shift;
  41         my $pong = $gearman->req( 'SUBMIT_JOB', 'ping', '', "some data 2" );
  42         warn "ping = $pong";
  43         $self->render( 'ping', pong => $pong );
  44 };
  45
  46 sub _render_jsonp {
  47         my ( $self, $json ) = @_;
  48         #my $data = $self->render( json => $json, partial => 1 );
  49         my $data = $json;
  50         if ( my $callback = $self->param('callback') ) {
  51                 $data = "$callback($data)";
  52         }
  53         $self->render( data => $data, format => 'js' );
  54 }
  55
  56
  57 get '/g/:call/:args' => [ args => qr/.*/ ] => sub {
  58         my $self = shift;
  59
  60         my $call = $self->param('call');
  61         my $args = $self->param('args');
  62
  63         if ( $call =~ m/^(LDAP|CRM)_search/ ) {
  64                 my $k = $1 . '.*' . $args . '*';
  65                 my $redis = Redis->new;
  66                 if ( my @k = $redis->keys( $k ) ) {
  67                         my $ret = join(',', map { $redis->get($_) } @k );
  68                         return _render_jsonp( $self, "[$ret]" );
  69                 }
  70         }
  71
  72         my $ret = $gearman->req( 'SUBMIT_JOB', $call, '', $args );
  73         warn "$call = ", dump($ret), "\n";
  74         die "no result for $call args: $args" unless defined $ret;
  75         _render_jsonp( $self, $ret );
  76 };
  77
  78 get '/table/:table' => sub {
  79         my $self = shift;
  80
  81         my $table = $self->param('table');
  82         my $username = $self->param('username');
  83         my $limit = $self->param('limit') || 1;
  84
  85         warn "/table/$table $username $limit";
  86
  87         my $sql = "select * from $table";
  88         $sql .= " where username = '$username'" if $username;
  89         $sql .= " limit $limit";
  90
  91         my $ret;
  92         if ( $limit == 1 ) {
  93                 my $redis = Redis->new;
  94                 my $json = Mojo::JSON->new->decode( $redis->get( "table.$table.$username" ) );
  95                 warn "redis hit table.$table.$username";
  96
  97                 # generate result as Store_sql does
  98
  99                 my @c = split(/\s+/, $redis->get("columns.$table"));
 100                 my ($hash_col) = grep { $c[$_] eq 'h' } 0 .. $#c;
 101
 102                 $ret = {
 103                         columns => \@c,
 104                         hash_col => $hash_col,
 105                         rows => [[ map { $json->{$_} } @c ]],
 106                 };
 107                 $ret = Mojo::JSON->new->encode($ret);
 108         }
 109         if ( ! $ret ) {
 110                 $ret = $gearman->req( 'SUBMIT_JOB', 'Store_sql', '', $sql );
 111                 warn "gearman $sql";
 112         }
 113         warn ">>> $ret";
 114         _render_jsonp( $self, $ret );
 115 };
 116
 117 get '/_g/status' => sub {
 118         my $self = shift;
 119
 120         my $ret = $gearman->req( 'TEXT' => 'status' );
 121         warn "# status:\n$ret";
 122
 123         my @c = qw(function total running available);
 124
 125         my $status;
 126         foreach my $l ( split(/\n/,$ret) ) {
 127                 my @v = split(/\t/, $l);
 128                 my $h;
 129                 $h->{$c[$_]} = $v[$_] foreach 0 .. $#v;
 130                 push @$status, $h;
 131         }
 132         warn "## ", dump $status;
 133         _render_jsonp( $self, Mojo::JSON->new->encode({ status => $status }) );
 134 };
 135
 136 sub _gearman_redis {
 137         my ( $job, $params, $timeout ) = @_;
 138
 139         my $key = $params;
 140         $key =~ s/\W+/_/gs;
 141         $key =~ s/\s+/_/gs;
 142         $key = "sql.$key";
 143         warn "# _gearman_redis $key [$timeout s]";
 144
 145         my $redis = Redis->new;
 146         my $json;
 147
 148         if ( $json = $redis->get($key) ) {
 149                 warn "redis hit $key\n";
 150         } else {
 151                 $gearman->timeout($timeout);
 152                 $json = $gearman->req( 'SUBMIT_JOB', $job, '', $params );
 153                 die "no result for $params" unless $json;
 154         }
 155
 156         my $ret = Mojo::JSON->new->decode( $json );
 157
 158         if ( ! exists $ret->{error} && ref $ret->{columns} ne 'ARRAY' ) {
 159                 $ret->{error} = 'query run longer than ' . $gearman->timeout . ' s timeout';
 160         }
 161
 162         $redis->set($key => $json);
 163         $redis->expire($key => 60); # refresh redis key timeout
 164
 165         return $ret;
 166 }
 167
 168 get '/gnuplot' => sub {
 169         my $self = shift;
 170
 171         my $sql = $self->param('sql');
 172
 173         if ( my $timeout = $self->param('timeout') ) {
 174                 warn "set timout to $timeout";
 175                 $gearman->timeout( $timeout );
 176         } else {
 177                 $self->param( timeout => $gearman->timeout );
 178         }
 179
 180         return $self->render('gnuplot', img => '', gnuplot => '') unless $sql;
 181
 182         # re-format SQL
 183         $sql =~ s/\s+(from|where|order|limit|join)/\n$1/gs;
 184         $self->param( sql => $sql );
 185
 186         my $ret = _gearman_redis( 'Store_sql' => $sql, $self->param('timeout') );
 187
 188         return $self->render('gnuplot', sql => $sql, img => '', gnuplot => $ret->{error} )
 189                 if exists $ret->{error};
 190
 191         my $dir = $self->app->home->rel_dir('public');
 192
 193         my $with = $self->param('with') || 'dots';
 194
 195         my $name = $sql;
 196         $name =~ s/\W+//gs;
 197         $name .= $with;
 198         $name .= '.png';
 199
 200 warn "# $sql -> $name";
 201
 202         mkdir "$dir/gnuplot" unless -e "$dir/gnuplot";
 203         my $png = "$dir/gnuplot/$name"; # FIXME
 204
 205         my @c = @{ $ret->{columns} };
 206
 207         my $gnuplot = qq|
 208 set terminal png
 209 set output '$png'
 210 |;
 211
 212         my $del; # delimiter between date and time
 213
 214         if ( $ret->{rows}->[0]->[0] =~ m/(\d{4}-\d{2}-\d{2})(.)?(\d{2}:\d{2}:\d{2})?/ ) {
 215
 216                 my ( $date,$time );
 217                 ( $date, $del, $time ) = ( $1,$2,$3 );
 218
 219                 my $fmt = '%Y-%m-%d';
 220                 $fmt   .= 'T' if $del;
 221                 $fmt   .= '%H:%M:%S' if $time;
 222
 223                 my $format_x = $time ? '%d %H:%M' : '%Y-%m-%d';
 224                 $gnuplot .= qq|
 225
 226 set xdata time
 227 set timefmt "$fmt"
 228
 229 set format x "$format_x"
 230 set xtics nomirror rotate by -90
 231
 232 |;
 233
 234         } else {
 235                 warn "first column not timestamp";
 236         }
 237
 238         my $plot = 'plot ';
 239         foreach my $i ( 1 .. $#{ $ret->{rows}->[0] } ) {
 240                 $gnuplot .= $plot; $plot = ',';
 241                 $gnuplot .= qq| '-' using 1:2 with $with title "$c[$i]" |;
 242         }
 243         $gnuplot .= "\n";
 244
 245         foreach my $i ( 1 .. $#{ $ret->{rows}->[0] } ) {
 246
 247                 foreach my $row ( @{ $ret->{rows} } ) {
 248                         my $date = $row->[0];
 249                         $date =~ s/\Q$del\E/T/g if $del;
 250                         $date =~ s/\.\d+//;
 251                         $gnuplot .= join(" ", $date, $row->[$i])."\n";
 252                 }
 253                 $gnuplot .= "e\n";
 254         }
 255
 256         open(my $fd, '|-', 'gnuplot') || die "gnuplot: $!";
 257         print $fd $gnuplot;
 258         close($fd);
 259
 260         $gnuplot = '' unless $self->param('include_gnuplot');
 261
 262         $self->render('gnuplot', sql => $sql, img => "/gnuplot/$name", gnuplot => $gnuplot);
 263 };
 264
 265 get '/_redis' => sub {
 266         my $self = shift;
 267
 268         _render_jsonp( $self, Mojo::JSON->new->encode({ status => APKPM::Model->redis_status }) );
 269 };
 270
 271 get '/user' => sub {
 272         my $self = shift;
 273
 274         $self->render('user');
 275 };
 276
 277 get '/psql/:command' => sub {
 278         my $self = shift;
 279         my $command = $self->param('command');
 280         $command =~ s/^_/\\/ && warn "internal psql command $command";
 281         $command = sprintf "psql -c '%s' apkpm", $command;
 282         my $output = `$command`; # FIXME unsecure
 283         $self->render_text( "\$ <b><tt>$command</tt></b>\n\n<pre>$output</pre>" );
 284 };
 285
 286 # create pid file
 287 open(my $pid, '>', '/tmp/apkpm.web_ui.pid');
 288 print $pid "$$\n";
 289 close $pid;
 290
 291 app->start;