bin/mplayer.pl

   1 #!/usr/bin/perl
   2
   3 use warnings;
   4 use strict;
   5
   6 use IPC::Open3 qw(open3);
   7 use IO::Epoll;
   8 use Data::Dump qw(dump);
   9 use File::Slurp;
  10 use YAML;
  11 use JSON;
  12 use HTML::TreeBuilder;
  13 use Graphics::Magick;
  14
  15 my $debug = $ENV{DEBUG} || 0;
  16
  17 my $movie = shift @ARGV;
  18
  19 sub base_dir  { $1 if $_[0] =~ m{^(.+)/[^/]+$} }
  20 sub base_name { $1 if $_[0] =~ m{^.+/([^/]+)$} }
  21
  22 if ( ! $movie && -e 'media/_editing' ) {
  23         $movie = 'media/' . readlink('media/_editing') . '/video.ogv';
  24         warn "using media/_editing -> $movie\n";
  25 } elsif ( -d $movie && $movie =~ m{media/} ) {
  26         $movie .= '/video.ogv';
  27 } elsif ( -f $movie && $movie !~ m{video\.ogv} ) {
  28         my $movie_master = $movie;
  29         $movie = base_dir($movie) . '/video.ogv';
  30         if ( ! -e $movie ) {
  31                 symlink base_name($movie_master), $movie;
  32                 warn "symlink video.ogv -> $movie_master";
  33         } else {
  34                 warn "using symlink video.ogv -> ", readlink $movie;
  35         }
  36 } elsif ( -f $movie ) {
  37         warn "using video $movie";
  38 } else {
  39         die "Usage: $0 media/conference-Title_of_talk[/video.ogv'\n";
  40 }
  41
  42 my $media_part = my $media_dir = base_dir($movie);
  43 $media_part =~ s{media/}{};
  44 $media_part =~ s{/$}{};
  45
  46 unlink 'media/_editing';
  47 symlink $media_part, 'media/_editing';
  48
  49 warn "# media_part $media_part\n";
  50
  51 my $edl = "/dev/shm/edl";
  52 my $subtitles = $movie;
  53 $subtitles =~ s{\.\w+$}{.srt};
  54
  55 my $preroll = 3;
  56
  57 my $slide_factor = 4; # 1/4 size of video
  58
  59 our $to_mplayer;
  60 our $from_mplayer;
  61 our $err_mplayer;
  62 our $prop = {};
  63
  64 my $pid = open3( $to_mplayer, $from_mplayer, $err_mplayer,
  65          'mplayer',
  66                 '-slave', '-idle',
  67                 '-quiet',
  68                 '-edlout', $edl,
  69                 '-osdlevel', 3,
  70                 '-vf' => 'screenshot',
  71 );
  72
  73 my $epfd = epoll_create(10);
  74
  75 epoll_ctl($epfd, EPOLL_CTL_ADD, fileno STDIN         , EPOLLIN  ) >= 0 || die $!;
  76 epoll_ctl($epfd, EPOLL_CTL_ADD, fileno $from_mplayer , EPOLLIN  ) >= 0 || die $!;
  77 #epoll_ctl($epfd, EPOLL_CTL_ADD, fileno $to_mplayer   , EPOLLOUT ) >= 0 || die $!;
  78
  79 sub load_subtitles;
  80
  81 sub load_movie {
  82         warn "$movie ", -s $movie, " bytes $edl\n";
  83         print $to_mplayer qq|loadfile "$movie"\n|;
  84         print $to_mplayer "get_property $_\n" foreach ( qw/metadata video_codec video_bitrate width height fps length/ );
  85         load_subtitles;
  86 }
  87
  88
  89 my $term_id = `xdotool getwindowfocus`;
  90 our $mplayer_id;
  91
  92
  93 sub focus_mplayer {
  94         $mplayer_id ||= `xdotool search mplayer`;
  95         warn "focus_mplayer $mplayer_id\n";
  96         system "xdotool windowactivate $mplayer_id"
  97 }
  98
  99 sub focus_term {
 100         warn "focus_term $term_id\n";
 101         system "xdotool windowactivate $term_id";
 102 }
 103
 104 sub preroll {
 105         my ( $pos, $osd ) = @_;
 106         $osd =~ s{\W+}{ }gs;
 107         warn "PREROLL $pos $osd\n";
 108         print $to_mplayer "osd_show_text \"PREROLL $osd\" ", $preroll * 1000, "\n";
 109         my $to = $pos - $preroll;
 110         $to = 0 if $to < 0;
 111         print $to_mplayer "set_property time_pos $to\n";
 112         print $to_mplayer "get_property time_pos\n";
 113         print $to_mplayer "play\n";
 114 }
 115
 116
 117 $|=1;
 118
 119 my $line;
 120 my $repl;
 121
 122 sub repl {
 123         print "> ";
 124         my $cmd = <STDIN>;
 125         warn ">>> $cmd\n";
 126         print $to_mplayer $cmd;
 127 }
 128
 129
 130 our @subtitles;
 131
 132 sub slide_jpg {
 133         sprintf "%s/s/%d/%03d.jpg", $media_dir, @_;
 134 }
 135
 136 sub oggThumb {
 137         my $video = shift;
 138         my $file  = shift;
 139         my $t = join(',', @_);
 140         system "oggThumb -t $t -o jpg -n $file $video";
 141 }
 142
 143 sub html5tv {
 144
 145         if ( ! $prop->{width} || ! $prop->{height} ) {
 146                 warn "SKIP no size yet\n";
 147                 return;
 148         }
 149
 150         if ( ! @subtitles ) {
 151                 warn "SKIP no subtitles yet\n";
 152                 return;
 153         }
 154
 155
 156         my $sync;
 157
 158         my @slide_t;
 159
 160         my @videos;
 161         my @frames;
 162
 163         foreach my $s ( @subtitles ) {
 164                 push @{ $sync->{htmlEvents}->{'#subtitle'} }, {
 165                         startTime => $s->[0],
 166                         endTime   => $s->[1],
 167                         html      => $s->[2],
 168                 };
 169
 170                 if ( $s->[2] =~ m{video:(.+)} ) {
 171                         my $video = $1;
 172                         my $path = "$media_dir/$video";
 173                         if ( ! -e $path ) {
 174                                 warn "MISSING $path: $!\n";
 175                         } else {
 176                                 my $frame_dir = "$media_dir/s/$video";
 177                                 system "mplayer -vo jpeg:outdir=$frame_dir,quality=95 -frames 1 -ss 0 -ao null -really-quiet $media_dir/$video"
 178                                         if ! -e $frame_dir;
 179                                 push @videos, [ @$s, $video ];
 180                         }
 181                 } elsif ( $s->[2] =~ m{slide:(\d+)\s+shot:(\d+\.\d+)} ) {
 182                         push @frames, [ $2, $1 ];
 183                         next;
 184                 }
 185
 186                 next unless $s->[2] =~ m{\[(\d+)\]};
 187
 188
 189                 push @{ $sync->{customEvents} }, {
 190                         startTime => $s->[0],
 191                         endTime   => $s->[1],
 192                         action    => 'chapterChange',
 193                         args => {
 194                                 carousel => 'theCarousel',
 195                                 id => "chapter$1",
 196                                 title => $s->[2],
 197                                 description => $s->[2],
 198                                 src => slide_jpg( 4 => $1 ),
 199                                 href => '',
 200                         },
 201                 };
 202
 203                 push @slide_t, $s->[0];
 204         }
 205
 206         if ( @frames ) {
 207                 my $hires = "$media_dir/s/hires";
 208                 mkdir $hires unless -e $hires;
 209                 oggThumb $movie, "$hires/.f%.jpg", map { $_->[0] } @frames;
 210
 211                 foreach my $i ( 0 .. $#frames ) {
 212                         my $from = "$hires/.f$i.jpg";
 213                         my $to   = "$hires/f" . $frames[$i]->[1] . '.jpg';
 214                         rename $from, $to || warn "can't rename $from -> $to: $!";
 215                 }
 216         }
 217
 218         foreach ( 0 .. $#slide_t ) {
 219                 my $slide_nr = $_ + 1;
 220                 push @{ $sync->{htmlEvents}->{'#slide'} }, {
 221                         startTime => $slide_t[$_],
 222                         endTime   => $slide_t[$_ + 1] || $prop->{length},
 223                         html      => '<img src=' . slide_jpg( 1 => $slide_nr ) . '>',
 224                 };
 225         }
 226
 227         my @slides_hires = glob "$media_dir/s/hires/*";
 228
 229         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( $slides_hires[0] );
 230         my $slide_aspect = $slide_width / $slide_height;
 231
 232         foreach my $factor ( 4, 2, 1 ) {
 233                 my $w = $prop->{height} / $factor * $slide_aspect;
 234                 my $h = $prop->{height} / $factor;
 235
 236                 my $path = "$media_dir/s";
 237                 if ( ! -d $path ) {
 238                         warn "create slides imaes in $path";
 239                         mkdir $path;
 240                 }
 241
 242                 $path .= '/' . $factor;
 243
 244                 if ( ! -d $path ) {
 245                         mkdir $path;
 246                         warn "created $path\n";
 247
 248                 }
 249
 250                 foreach my $hires ( @slides_hires ) {
 251
 252                         my $nr = $1 if $hires =~ m{(\d+)\.\w+$} || warn "can't find number in $hires";
 253                         next unless $nr;
 254                         my $file = slide_jpg( $factor => $nr );
 255                         warn "slide $hires -> $file\n";
 256 #                       next if -e $file;
 257
 258                         my $im = Graphics::Magick->new;
 259                         $im->ReadImage( $hires );
 260                         $im->Resize( width => $w, height => $h, filter => 13, blur => 0.9 );
 261                         my $c = $h / 10;
 262                         my %info = (
 263                                 font => 'Sans', pointsize => $h / 10,
 264                                 #text => "$factor = $w*$h",
 265                                 text => " $nr ",
 266                                 y => $c,
 267                                 x => $c,
 268                         );
 269                         warn "# info ", dump %info;
 270                         warn dump $im->QueryFontMetrics( %info );
 271                         my ($x_ppem, $y_ppem, $ascender, $descender, $width, $height, $max_advance) = $im->QueryFontMetrics( %info );
 272                         my $background = Graphics::Magick->new( size => $width . 'x' . $height );
 273                         $background->ReadImage( 'xc:black' );
 274                         $im->Composite( image => $background, compose => 'Over', x => $c, y => $c, opacity => 75 );
 275                         $info{y} += $ascender;
 276                         $im->Annotate( fill => 'yellow', %info );
 277                         $im->Write( filename => $file );
 278                 }
 279
 280         }
 281
 282         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( slide_jpg( $slide_factor => 1 ) );
 283
 284         $slide_width  ||= $prop->{width}  / $slide_factor;
 285         $slide_height ||= $prop->{height} / $slide_factor;
 286
 287         my $html5tv = {
 288                 sync => $sync,
 289                 video => $prop,
 290                 slide => {
 291                         width => $slide_width,
 292                         height => $slide_height,
 293                 },
 294         };
 295
 296         $html5tv->{html}->{video_tags} =
 297                 join("\n",
 298                         map {
 299                                 my $s = $_;
 300                                 my $id = $s->[3];
 301                                 $id =~ s{\W+}{_}g;
 302
 303                                 push @{ $html5tv->{sync}->{customEvents} }, {
 304                                         startTime => $s->[0],
 305                                         endTime   => $s->[1],
 306                                         action    => 'additional_video',
 307                                         args => {
 308                                                 id => $id,
 309                                                 title => $s->[2],
 310                                                 description => $s->[2],
 311                                                 src => "$media_dir/s/1/00000001.jpg",
 312                                                 href => '',
 313                                         },
 314                                 };
 315
 316                                 qq|
 317                                         <video id="$id" style="display: none" controls="controls" width="$html5tv->{video}->{width}px" height="$html5tv->{video}->{height}px">
 318                                         <source src="$media_dir/$_->[3]" />
 319                                         </video>
 320                                 |
 321                         } @videos
 322                 )
 323         ;
 324
 325         sub customEvents_sorted {
 326
 327                 if ( ref $html5tv->{sync}->{customEvents} ne 'ARRAY' ) {
 328                         my $max =
 329                         warn "ERROR: no slide markers [1] .. [", scalar @slides_hires, "] in subtitles\n";
 330                         return;
 331                 }
 332
 333                 sort { $a->{startTime} <=> $b->{startTime} }
 334                 @{ $html5tv->{sync}->{customEvents} }
 335         }
 336
 337         my $index = 1;
 338
 339         $_->{args}->{index} = $index++ foreach customEvents_sorted;
 340
 341         warn "last customEvent $index\n";
 342
 343         $html5tv->{html}->{subtitles_table}
 344                 = qq|<table id="subtitles">|
 345                 . join("\n",
 346                         map { qq|
 347                                 <tr id="sub_$_->{index}">
 348                                         <td class="seek_video">$_->{startTime}</td>
 349                                         <td class="seek_video">$_->{endTime}</td>
 350                                         <td>$_->{args}->{title}</td>
 351                                 </tr>
 352                         | }
 353                         customEvents_sorted
 354                 )
 355                 . qq|</table><a href="$media_dir/video.srt">download subtitles</a>|
 356                 ;
 357
 358         my $hCalendar = '<div style="color: red">Create <tt>hCalendar.html</tt> to fill this space</div>';
 359         my $hcal_path = '$media_dir/hCalendar.html';
 360         if ( -e $hcal_path ) {
 361                 $html5tv->{hCalendar} = read_file $hcal_path;
 362                 my $tree = HTML::TreeBuilder->new;
 363                 $tree->parse_file($hcal_path);
 364                 if ( my $vevent = $tree->look_down( class => 'vevent' ) ) {
 365                         $html5tv->{title} = $vevent->look_down( class=> 'summary' )->as_trimmed_text;
 366                 }
 367         }
 368
 369         warn "# html5tv ", dump $html5tv if $debug;
 370
 371         my $sync_path = "$media_dir/video.js";
 372         write_file $sync_path, "var html5tv = " . to_json($html5tv) . " ;\n";
 373         warn "sync $sync_path ", -s $sync_path, " bytes\n";
 374
 375         my $html = read_file 'www/tv.html';
 376         $html =~ s|{([^}]+)}|my $n = $1; $n =~ s(\.)(}->{)g; eval "\$html5tv->{$n}"|egs ||
 377                 warn "no interpolation in template!";
 378
 379         write_file "www/_editing.html", $html;
 380         $html =~ s{media/_editing}{media/$media_part}gs;
 381         write_file "www/$media_part.html", $html;
 382
 383         my $carousel_width = $prop->{width} + $slide_width - 80;
 384         $carousel_width -= $carousel_width % ( $slide_width + 6 ); # round to full slide
 385         my $carousel_height =   $slide_height + 2;
 386
 387         write_file "$media_dir/video.css", qq|
 388
 389 .jcarousel-skin-ie7 .jcarousel-container-horizontal,
 390 .jcarousel-skin-ie7 .jcarousel-clip-horizontal {
 391         width: ${carousel_width}px;
 392         height: ${carousel_height}px;
 393 }
 394
 395 .jcarousel-skin-ie7 .jcarousel-item {
 396         width: ${slide_width}px;
 397         height: ${slide_height}px;
 398         margin: 0 2px 0 2px;
 399 }
 400
 401 .active {
 402         background-color: #ffc;
 403 }
 404
 405 div#videoContainer {
 406         width: $prop->{width}px;
 407         height: $prop->{height}px;
 408         font-family: Arial, Helvetica, sans-serif;
 409         margin: 0 10px 0px 0;
 410         position: relative;
 411         display: inline;
 412 }
 413
 414
 415 div#subtitle {
 416         bottom: 24px;
 417         color: white;
 418         font-size: 100%;
 419         font-weight: bold;
 420         height: 22px;
 421         line-height: 1em;
 422         margin: 0  0 0 0;
 423         padding: 1px 10px 5px 10px ;
 424         position: absolute;
 425         text-align: center;
 426         width: $html5tv->{video}->{width}px;
 427 }
 428
 429
 430
 431 .jcarousel-skin-ie7 .jcarousel-item img:hover {
 432 //      border-color: #555 !important;
 433 }
 434
 435 .jcarousel-skin-ie7 .jcarousel-item:hover div.thumbnailOverlay {
 436         visibility: visible !important;
 437 }
 438
 439 .jcarousel-skin-ie7 .jcarousel-item div.thumbnailOverlay {
 440         background: black;
 441         bottom: 1px;
 442         color: #00EEFF;
 443         visibility: hidden;
 444         font-size: 10px;
 445         font-family: Arial, Verdana;
 446         font-weight: bold;
 447         line-height: 0.9em;
 448         opacity: 0.5;
 449         position: absolute;
 450         text-align: center;
 451         z-index: 10;
 452         padding: 2px 0 2px 0;
 453         width: ${slide_width}px;
 454 }
 455
 456 .seek_video {
 457         text-align: right;
 458         font-family: monospace;
 459 }
 460
 461         |;
 462
 463         return 1;
 464 }
 465
 466
 467 sub t_srt {
 468         my $t = shift;
 469         my $hh = int( $t / 3600 );
 470         $t -= $hh * 3600;
 471         my $mm = int( $t / 60 );
 472         $t -= $mm * 60;
 473         my $srt = sprintf "%02d:%02d:%04.1f", $hh, $mm, $t;
 474         $srt =~ s{\.}{,};
 475         return $srt;
 476 }
 477
 478 sub save_subtitles {
 479
 480         html5tv || return;
 481
 482         my $nr = 0;
 483         my $srt = "\n";
 484         foreach my $s ( @subtitles ) {
 485                 $srt .= $nr++ . "\n"
 486                         . t_srt( $s->[0] ) . " --> " . t_srt( $s->[1] ) . "\n"
 487                         . $s->[2] . "\n\n"
 488                         ;
 489         }
 490         warn $srt;
 491
 492         write_file $subtitles, $srt;
 493         YAML::DumpFile "$subtitles.yaml", sort { $a->[0] <=> $b->[0] } @subtitles;
 494
 495         print $to_mplayer "sub_remove\n";
 496         print $to_mplayer qq|sub_load "$subtitles"\n|;
 497         print $to_mplayer "sub_select 1\n";
 498 }
 499
 500 sub load_subtitles {
 501         if ( ! -e "$subtitles.yaml" ) {
 502                 warn "no subtitles $subtitles to load\n";
 503                 return;
 504         }
 505         @subtitles = YAML::LoadFile "$subtitles.yaml";
 506         warn "subtitles ", dump @subtitles;
 507         save_subtitles;
 508 }
 509
 510 sub edit_subtitles {
 511         print $to_mplayer qq|pause\n|;
 512         focus_term;
 513         system( qq|vi "$subtitles.yaml"| ) == 0 and load_subtitles;
 514         focus_mplayer;
 515 }
 516
 517 sub add_subtitle {
 518         print $to_mplayer qq|pause\n|;
 519
 520         focus_term;
 521
 522         warn "subtitles ", dump( @subtitles );
 523         print "## ";
 524         my $line = <STDIN>;
 525         $subtitles[ $#subtitles ]->[2] = $line if defined $line;
 526
 527         save_subtitles;
 528
 529         focus_mplayer;
 530
 531         preroll $subtitles[ $#subtitles ]->[0], $line;
 532 }
 533
 534 sub time_pos {
 535         print $to_mplayer qq|get_property time_pos\n|;
 536         my $pos = <$from_mplayer>;
 537         if ( $pos =~ m{^ANS_time_pos=(\d+\.\d+)} ) {
 538                 warn "# time_pos $1\n";
 539                 return $1;
 540         }
 541 }
 542
 543 sub sub_fmt {
 544         my $s = shift;
 545         sprintf "%1.5f - %1.5f %s %s\n", @$s, join(' | ',@_);
 546 }
 547
 548 sub prev_subtitle {
 549         my $pos = time_pos;
 550         my $s = ( grep { $_->[0] < $pos } @subtitles )[-1] || return;
 551         warn "<<<< subtitle ", sub_fmt $s;
 552         preroll $s->[0], $s->[2];
 553 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 554 }
 555
 556 sub next_subtitle {
 557         my $pos = time_pos;
 558         my $s = ( grep { $_->[0] > $pos } @subtitles )[0] || return;
 559         warn ">>>> subtitle ", sub_fmt $s;
 560         preroll $s->[0], $s->[2];
 561 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 562 }
 563
 564 sub current_subtitle {
 565         my $callback = shift;
 566         my $pos = time_pos;
 567         my $visible;
 568         foreach my $nr ( 0 .. $#subtitles ) {
 569                 my $s = $subtitles[$nr];
 570                 if ( $s->[0] <= $pos && $s->[1] >= $pos ) {
 571                         warn sub_fmt $s, $pos;
 572                         $visible = $nr;
 573                         $callback->( $visible, $pos ) if $callback;
 574                         return ( $visible, $pos );
 575                 }
 576         }
 577         warn "# $pos no visible subtitle\n";
 578 }
 579
 580 sub move_subtitle {
 581         my $offset = shift;
 582         current_subtitle( sub {
 583                 my ( $nr, $pos ) = @_;
 584                 my $new_start = $subtitles[$nr]->[0] += $offset;
 585                 warn "subtitle $nr $pos $offset $new_start\n";
 586                 save_subtitles;
 587                 preroll $new_start, "$pos $offset $new_start";
 588         } );
 589 }
 590
 591
 592
 593 # XXX main epool loop
 594
 595 load_movie;
 596
 597 while ( my $events = epoll_wait($epfd, 10, 1000) ) { # Max 10 events returned, 1s timeout
 598
 599         warn "no events" unless $events;
 600
 601         foreach my $e ( @$events ) {
 602 #               warn "# event: ", dump($e), $/;
 603
 604                 my $fileno = $e->[0];
 605
 606                 if ( $fileno == fileno STDIN ) {
 607                         my $chr;
 608                         sysread STDIN, $chr, 1;
 609                         print $chr;
 610                 } elsif ( $fileno == fileno $from_mplayer ) {
 611                         my $chr;
 612                         sysread $from_mplayer, $chr, 1;
 613                         print $chr;
 614
 615                         if ( $chr =~ m{[\n\r]} ) {
 616
 617                                 exit if $line =~ m{Exiting};
 618
 619                                 if ( $line =~ m{ANS_(\w+)=(\S+)} ) {
 620                                         $prop->{$1} = $2;
 621                                         warn "prop $1 = $2\n";
 622                                 } elsif ( $line =~ m{No bind found for key '(.+)'} ) {
 623
 624                                         # XXX keyboard shortcuts
 625
 626                                           $1 eq 'c'  ? repl
 627                                         : $1 eq ','  ? add_subtitle
 628                                         : $1 eq 'F1' ? prev_subtitle
 629                                         : $1 eq 'F2' ? move_subtitle( -0.3 )
 630                                         : $1 eq 'F3' ? move_subtitle( +0.3 )
 631                                         : $1 eq 'F4' ? next_subtitle
 632                                         : $1 eq 'F5' ? save_subtitles
 633                                         : $1 eq 'F9' ? add_subtitle
 634                                         : $1 eq 'F12' ? edit_subtitles
 635                                         : warn "CUSTOM $1\n"
 636                                         ;
 637
 638                                 } elsif ( $line =~ m{EDL}i ) {
 639
 640                                         print $to_mplayer qq|osd_show_text "$line"\n|;
 641
 642                                         if ( my $pos = time_pos ) {
 643                                                 if ( $line =~ m{start}i ) {
 644                                                         push @subtitles, [ $pos, $pos, '-' ];
 645                                                 } else {
 646                                                         $subtitles[ $#subtitles ]->[1] = $pos;
 647                                                 }
 648                                         }
 649                                 } elsif ( $line =~ m{(shot\d+.png)} ) {
 650                                         my $shot = $1;
 651                                         my $t = time_pos;
 652                                         warn "shot $t $shot\n";
 653
 654                                         my @existing_slides = glob("$media_dir/s/hires/*");
 655                                         my $nr = $#existing_slides + 2;
 656
 657                                         push @subtitles, [ $t, $t, "slide:$nr shot:$t" ];
 658
 659                                         warn "slide $nr from video $t file $shot\n";
 660                                         save_subtitles;
 661                                 }
 662
 663                                 $line = '';
 664                         } else {
 665                                 $line .= $chr;
 666                         }
 667
 668
 669                 } elsif ( $fileno == fileno $to_mplayer ) {
 670 #                       warn "command";
 671                 } else {
 672                         die "invalid fileno $fileno";
 673                 }
 674         }
 675
 676 }
 677