bin/mplayer.pl

   1 #!/usr/bin/perl
   2
   3 use warnings;
   4 use strict;
   5
   6 use IPC::Open3 qw(open3);
   7 use IO::Select;
   8 use Data::Dump qw(dump);
   9 use File::Slurp;
  10 use YAML;
  11 use JSON;
  12 use HTML::TreeBuilder;
  13 use Graphics::Magick;
  14 use Time::HiRes qw(time);
  15
  16 use lib 'lib';
  17 use HTML5TV::Slides;
  18
  19 my $debug = $ENV{DEBUG} || 0;
  20
  21 my $movie = shift @ARGV;
  22
  23 sub base_dir  { $1 if $_[0] =~ m{^(.+)/[^/]+$} }
  24 sub base_name { $1 if $_[0] =~ m{^.+/([^/]+)$} }
  25
  26 if ( ! $movie && -e 'media/_editing' ) {
  27         $movie = 'media/' . readlink('media/_editing') . '/video.ogv';
  28         warn "using media/_editing -> $movie\n";
  29 } elsif ( -d $movie && $movie =~ m{media/} ) {
  30         $movie .= '/video.ogv';
  31 } elsif ( -f $movie && $movie !~ m{video\.ogv} ) {
  32         my $movie_master = $movie;
  33         $movie = base_dir($movie) . '/video.ogv';
  34         if ( ! -e $movie ) {
  35                 symlink base_name($movie_master), $movie;
  36                 warn "symlink video.ogv -> $movie_master";
  37         } else {
  38                 warn "using symlink video.ogv -> ", readlink $movie;
  39         }
  40 } elsif ( -f $movie ) {
  41         warn "using video $movie";
  42 } else {
  43         die "Usage: $0 media/conference-Title_of_talk[/video.ogv'\n";
  44 }
  45
  46 my $media_part = my $media_dir = base_dir($movie);
  47 $media_part =~ s{media/}{};
  48 $media_part =~ s{/$}{};
  49
  50 unlink 'media/_editing';
  51 symlink $media_part, 'media/_editing';
  52
  53 warn "# media_part $media_part\n";
  54
  55 my $edl = "/dev/shm/edl";
  56 my $subtitles = $movie;
  57 $subtitles =~ s{\.\w+$}{.srt};
  58
  59 my $preroll = 3;
  60
  61 my $slide_factor = 4; # 1/4 size of video
  62
  63 our $to_mplayer;
  64 our $from_mplayer;
  65 our $err_mplayer;
  66 our $prop = {};
  67
  68 my $pid = open3( $to_mplayer, $from_mplayer, $err_mplayer,
  69          'mplayer',
  70                 '-slave', '-idle',
  71                 '-quiet',
  72                 '-edlout', $edl,
  73                 '-osdlevel', 3,
  74                 '-vf' => 'screenshot',
  75 );
  76
  77 my $select = IO::Select->new();
  78 #$select->add( \*STDIN );
  79 $select->add( $from_mplayer );
  80
  81 sub load_subtitles;
  82
  83 sub load_movie {
  84         warn "$movie ", -s $movie, " bytes $edl\n";
  85         print $to_mplayer qq|loadfile "$movie"\n|;
  86         load_subtitles;
  87 }
  88
  89
  90 my $term_id = `xdotool getwindowfocus`;
  91 our $mplayer_id;
  92
  93
  94 sub focus_mplayer {
  95         $mplayer_id ||= `xdotool search mplayer`;
  96         warn "focus_mplayer $mplayer_id\n";
  97         system "xdotool windowactivate $mplayer_id"
  98 }
  99
 100 sub focus_term {
 101         warn "focus_term $term_id\n";
 102         system "xdotool windowactivate $term_id";
 103 }
 104
 105 sub preroll {
 106         my ( $pos, $osd ) = @_;
 107         $osd =~ s{\W+}{ }gs;
 108         warn "PREROLL $pos $osd\n";
 109         print $to_mplayer "osd_show_text \"PREROLL $osd\" ", $preroll * 1000, "\n";
 110         my $to = $pos - $preroll;
 111         $to = 0 if $to < 0;
 112         print $to_mplayer "set_property time_pos $to\n";
 113         print $to_mplayer "get_property time_pos\n";
 114         print $to_mplayer "play\n";
 115 }
 116
 117
 118 $|=1;
 119
 120 my $line;
 121 my $repl;
 122
 123 sub repl {
 124         print "> ";
 125         my $cmd = <STDIN>;
 126         warn ">>> $cmd\n";
 127         print $to_mplayer $cmd;
 128 }
 129
 130
 131 our @subtitles;
 132
 133 sub slide_jpg {
 134         sprintf "%s/s/%d/%03d.jpg", $media_dir, @_;
 135 }
 136
 137 sub oggThumb {
 138         my $video = shift;
 139         my $file  = shift;
 140         my $t = join(',', @_);
 141         system "oggThumb -t $t -o jpg -n $file $video";
 142 }
 143
 144 sub fmt_mmss {
 145         my $t = shift;
 146         return sprintf('%02d:%02d', int($t/60), int($t%60));
 147 }
 148
 149 sub html5tv {
 150
 151         if ( ! $prop->{width} || ! $prop->{height} ) {
 152                 warn "SKIP no size yet\n";
 153                 return;
 154         }
 155
 156         if ( ! @subtitles ) {
 157                 warn "SKIP no subtitles yet\n";
 158                 return;
 159         }
 160
 161
 162         my $sync;
 163
 164         my @slide_t;
 165
 166         my @videos;
 167         my @frames;
 168
 169         foreach my $s ( @subtitles ) {
 170                 push @{ $sync->{htmlEvents}->{'#subtitle'} }, {
 171                         startTime => $s->[0],
 172                         endTime   => $s->[1],
 173                         html      => $s->[2],
 174                 };
 175
 176                 if ( $s->[2] =~ m{video:(.+)} ) {
 177                         my $video = $1;
 178                         my $path = "$media_dir/$video";
 179                         if ( ! -e $path ) {
 180                                 warn "MISSING $path: $!\n";
 181                         } else {
 182                                 my $frame_dir = "$media_dir/s/$video";
 183                                 system "mplayer -vo jpeg:outdir=$frame_dir,quality=95 -frames 1 -ss 0 -ao null -really-quiet $media_dir/$video"
 184                                         if ! -e $frame_dir;
 185                                 push @videos, [ @$s, $video ];
 186                         }
 187                 } elsif ( $s->[2] =~ m{slide:(\d+)\s+shot:(\d+\.\d+)} ) {
 188                         push @frames, [ $2, $1 ];
 189                         next;
 190                 }
 191
 192                 next unless $s->[2] =~ m{\[(\d+)\]};
 193
 194
 195                 push @{ $sync->{customEvents} }, {
 196                         startTime => $s->[0],
 197                         endTime   => $s->[1],
 198                         action    => 'chapterChange',
 199                         args => {
 200                                 carousel => 'theCarousel',
 201                                 id => "chapter$1",
 202                                 title => $s->[2],
 203                                 description => $s->[2],
 204                                 src => slide_jpg( 4 => $1 ),
 205                                 href => '',
 206                         },
 207                 };
 208
 209                 push @slide_t, $s->[0];
 210         }
 211
 212         if ( @frames ) {
 213                 my $hires = "$media_dir/s/hires";
 214                 mkdir $hires unless -e $hires;
 215                 oggThumb $movie, "$hires/.f%.jpg", map { $_->[0] } @frames;
 216
 217                 foreach my $i ( 0 .. $#frames ) {
 218                         my $from = "$hires/.f$i.jpg";
 219                         my $to   = "$hires/f" . $frames[$i]->[1] . '.jpg';
 220                         rename $from, $to || warn "can't rename $from -> $to: $!";
 221                 }
 222         }
 223
 224         foreach ( 0 .. $#slide_t ) {
 225                 my $slide_nr = $_ + 1;
 226                 push @{ $sync->{htmlEvents}->{'#slide'} }, {
 227                         startTime => $slide_t[$_],
 228                         endTime   => $slide_t[$_ + 1] || $prop->{length},
 229                         html      => '<img src=' . slide_jpg( 1 => $slide_nr ) . '>',
 230                 };
 231         }
 232
 233         my @slides_hires = glob "$media_dir/s/hires/*";
 234
 235         my $path = "$media_dir/s";
 236
 237         if ( ! -d $path ) {
 238                 warn "create slides images in $path";
 239                 mkdir $path;
 240         }
 241
 242         foreach my $hires ( @slides_hires ) {
 243
 244                 my $im = Graphics::Magick->new;
 245                 $im->ReadImage( $hires );
 246
 247                 my ($slide_width, $slide_height) = Graphics::Magick->new->Ping( $hires );
 248                 my $slide_aspect = $slide_width / $slide_height;
 249
 250                 my $nr = $1 if $hires =~ m{(\d+)\.\w+$} || warn "can't find number in $hires";
 251                 next unless $nr;
 252
 253                 foreach my $factor ( 1, 2, 4 ) {
 254
 255                         mkdir "$path/$factor" unless -e "$path/$factor";
 256
 257                         my $file = slide_jpg( $factor => $nr );
 258                         next if -e $file;
 259
 260                         my $w = $prop->{height} / $factor * $slide_aspect;
 261                         my $h = $prop->{height} / $factor;
 262
 263                         warn "slide [$nr] $hires -> ${w}x${h} $file\n";
 264
 265                         $im->Resize( width => $w, height => $h, filter => 13, blur => 0.9 );
 266
 267                         my $c = $h / 10;
 268                         my %info = (
 269                                 font => 'Sans', pointsize => $h / 10,
 270                                 #text => "$factor = $w*$h",
 271                                 text => " $nr ",
 272                                 y => $c,
 273                                 x => $c,
 274                         );
 275                         #warn "# info ", dump %info;
 276                         #warn dump $im->QueryFontMetrics( %info );
 277                         my ($x_ppem, $y_ppem, $ascender, $descender, $width, $height, $max_advance) = $im->QueryFontMetrics( %info );
 278                         my $background = Graphics::Magick->new( size => $width . 'x' . $height );
 279                         $background->ReadImage( 'xc:black' );
 280                         $im->Composite( image => $background, compose => 'Over', x => $c, y => $c, opacity => 75 );
 281                         $info{y} += $ascender;
 282                         $im->Annotate( fill => 'yellow', %info );
 283                         $im->Write( filename => $file );
 284                 }
 285
 286         }
 287
 288         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( slide_jpg( $slide_factor => 1 ) );
 289
 290         my $html5tv = {
 291                 sync => $sync,
 292                 video => $prop,
 293                 slide => {
 294                         width => $slide_width,
 295                         height => $slide_height,
 296                 },
 297         };
 298
 299         $html5tv->{html}->{video_tags} =
 300                 join("\n",
 301                         map {
 302                                 my $s = $_;
 303                                 my $id = $s->[3];
 304                                 $id =~ s{\W+}{_}g;
 305
 306                                 push @{ $html5tv->{sync}->{customEvents} }, {
 307                                         startTime => $s->[0],
 308                                         endTime   => $s->[1],
 309                                         action    => 'additional_video',
 310                                         args => {
 311                                                 id => $id,
 312                                                 title => $s->[2],
 313                                                 description => $s->[2],
 314                                                 src => "$media_dir/s/1/00000001.jpg",
 315                                                 href => '',
 316                                         },
 317                                 };
 318
 319                                 qq|
 320                                         <video id="$id" style="display: none" controls="controls" width="$html5tv->{video}->{width}px" height="$html5tv->{video}->{height}px">
 321                                         <source src="$media_dir/$_->[3]" />
 322                                         </video>
 323                                 |
 324                         } @videos
 325                 )
 326         ;
 327
 328         sub customEvents_sorted {
 329
 330                 if ( ref $html5tv->{sync}->{customEvents} ne 'ARRAY' ) {
 331                         my $max =
 332                         warn "ERROR: no slide markers [1] .. [", scalar @slides_hires, "] in subtitles\n";
 333                         return;
 334                 }
 335
 336                 sort { $a->{startTime} <=> $b->{startTime} }
 337                 @{ $html5tv->{sync}->{customEvents} }
 338         }
 339
 340         my $index = 1;
 341
 342         $_->{args}->{index} = $index++ foreach customEvents_sorted;
 343
 344         warn "last customEvent $index\n";
 345
 346         $html5tv->{html}->{subtitles_table}
 347                 = qq|<table id="subtitles">|
 348                 . join("\n",
 349                         map {
 350                                 my $s = fmt_mmss( $_->{startTime} );
 351                                 my $e = fmt_mmss( $_->{endTime} );
 352                                 qq|
 353                                 <tr id="sub_$_->{index}">
 354                                         <td class="seek_video"><a href="#$_->{startTime}">$s</a></td>
 355                                         <td class="seek_video"><a href="#$_->{endTime}">$e</a></td>
 356                                         <td>$_->{args}->{title}</td>
 357                                 </tr>
 358                                 |
 359                         }
 360                         customEvents_sorted
 361                 )
 362                 . qq|</table><a href="$media_dir/video.srt">download subtitles</a>|
 363                 ;
 364
 365         my $hCalendar = '<div style="color: red">Create <tt>hCalendar.html</tt> to fill this space</div>';
 366         my $hcal_path = "$media_dir/hCalendar.html";
 367         if ( -e $hcal_path ) {
 368                 $html5tv->{hCalendar} = read_file $hcal_path;
 369                 my $tree = HTML::TreeBuilder->new;
 370                 $tree->parse_file($hcal_path);
 371                 if ( my $vevent = $tree->look_down( class => 'vevent' ) ) {
 372                         $html5tv->{title} = $vevent->look_down( class=> 'summary' )->as_trimmed_text;
 373                 }
 374         }
 375
 376         warn "# html5tv ", dump $html5tv if $debug;
 377
 378         my $sync_path = "$media_dir/video.js";
 379         write_file $sync_path, "var html5tv = " . to_json($html5tv) . " ;\n";
 380         warn "sync $sync_path ", -s $sync_path, " bytes\n";
 381
 382         my $html = read_file 'www/tv.html';
 383         $html =~ s|{([^}]+)}|my $n = $1; $n =~ s(\.)(}->{)g; eval "\$html5tv->{$n}"|egs ||
 384                 warn "no interpolation in template!";
 385
 386         write_file "www/_editing.html", $html;
 387         $html =~ s{media/_editing}{media/$media_part}gs;
 388         write_file "www/$media_part.html", $html;
 389
 390         my $carousel_width = $prop->{width} + $slide_width - 80;
 391         $carousel_width -= $carousel_width % ( $slide_width + 6 ); # round to full slide
 392         my $carousel_height =   $slide_height + 2;
 393
 394         write_file "$media_dir/video.css", qq|
 395
 396 .jcarousel-skin-ie7 .jcarousel-container-horizontal,
 397 .jcarousel-skin-ie7 .jcarousel-clip-horizontal {
 398         width: ${carousel_width}px;
 399         height: ${carousel_height}px;
 400 }
 401
 402 .jcarousel-skin-ie7 .jcarousel-item {
 403         width: ${slide_width}px;
 404         height: ${slide_height}px;
 405         margin: 0 2px 0 2px;
 406 }
 407
 408 .active {
 409         background-color: #ffc;
 410 }
 411
 412 div#videoContainer {
 413         width: $prop->{width}px;
 414         height: $prop->{height}px;
 415         font-family: Arial, Helvetica, sans-serif;
 416         margin: 0 10px 0px 0;
 417         position: relative;
 418         display: inline;
 419 }
 420
 421
 422 div#subtitle {
 423         bottom: 24px;
 424         color: white;
 425         font-size: 100%;
 426         font-weight: bold;
 427         height: 22px;
 428         line-height: 1em;
 429         margin: 0  0 0 0;
 430         padding: 1px 10px 5px 10px ;
 431         position: absolute;
 432         text-align: center;
 433         width: $html5tv->{video}->{width}px;
 434 }
 435
 436
 437
 438 .jcarousel-skin-ie7 .jcarousel-item img:hover {
 439 //      border-color: #555 !important;
 440 }
 441
 442 .jcarousel-skin-ie7 .jcarousel-item:hover div.thumbnailOverlay {
 443         visibility: visible !important;
 444 }
 445
 446 .jcarousel-skin-ie7 .jcarousel-item div.thumbnailOverlay {
 447         background: black;
 448         bottom: 1px;
 449         color: #00EEFF;
 450         visibility: hidden;
 451         font-size: 10px;
 452         font-family: Arial, Verdana;
 453         font-weight: bold;
 454         line-height: 0.9em;
 455         opacity: 0.5;
 456         position: absolute;
 457         text-align: center;
 458         z-index: 10;
 459         padding: 2px 0 2px 0;
 460         width: ${slide_width}px;
 461 }
 462
 463 .seek_video {
 464         text-align: right;
 465         font-family: monospace;
 466 }
 467
 468         |;
 469
 470         return 1;
 471 }
 472
 473
 474 sub t_srt {
 475         my $t = shift;
 476         my $hh = int( $t / 3600 );
 477         $t -= $hh * 3600;
 478         my $mm = int( $t / 60 );
 479         $t -= $mm * 60;
 480         my $srt = sprintf "%02d:%02d:%04.1f", $hh, $mm, $t;
 481         $srt =~ s{\.}{,};
 482         return $srt;
 483 }
 484
 485 sub save_subtitles {
 486
 487         html5tv || return;
 488
 489         my $nr = 0;
 490         my $srt = "\n";
 491         foreach my $s ( @subtitles ) {
 492                 $srt .= $nr++ . "\n"
 493                         . t_srt( $s->[0] ) . " --> " . t_srt( $s->[1] ) . "\n"
 494                         . $s->[2] . "\n\n"
 495                         ;
 496         }
 497         warn $srt;
 498
 499         write_file $subtitles, $srt;
 500         YAML::DumpFile "$subtitles.yaml", sort { $a->[0] <=> $b->[0] } @subtitles;
 501
 502         print $to_mplayer "sub_remove\n";
 503         print $to_mplayer qq|sub_load "$subtitles"\n|;
 504         print $to_mplayer "sub_select 1\n";
 505 }
 506
 507 sub load_subtitles {
 508         if ( ! -e "$subtitles.yaml" ) {
 509                 warn "no subtitles $subtitles to load\n";
 510                 return;
 511         }
 512         @subtitles = YAML::LoadFile "$subtitles.yaml";
 513         warn "subtitles ", dump @subtitles;
 514         save_subtitles;
 515 }
 516
 517 sub edit_subtitles {
 518         print $to_mplayer qq|pause\n|;
 519         focus_term;
 520         system( qq|vi "$subtitles.yaml"| ) == 0 and load_subtitles;
 521         focus_mplayer;
 522 }
 523
 524 sub add_subtitle {
 525         print $to_mplayer qq|pause\n|;
 526
 527         focus_term;
 528
 529         warn "subtitles ", dump( @subtitles );
 530         print "## ";
 531         my $line = <STDIN>;
 532         $subtitles[ $#subtitles ]->[2] = $line if defined $line;
 533
 534         save_subtitles;
 535
 536         focus_mplayer;
 537
 538         preroll $subtitles[ $#subtitles ]->[0], $line;
 539 }
 540
 541 sub time_pos {
 542         print $to_mplayer qq|get_property time_pos\n|;
 543         my $pos = <$from_mplayer>;
 544         if ( $pos =~ m{^ANS_time_pos=(\d+\.\d+)} ) {
 545                 warn "# time_pos $1\n";
 546                 return $1;
 547         }
 548 }
 549
 550 sub sub_fmt {
 551         my $s = shift;
 552         sprintf "%1.5f - %1.5f %s %s\n", @$s, join(' | ',@_);
 553 }
 554
 555 sub prev_subtitle {
 556         my $pos = time_pos;
 557         my $s = ( grep { $_->[0] < $pos } @subtitles )[-1] || return;
 558         warn "<<<< subtitle ", sub_fmt $s;
 559         preroll $s->[0], $s->[2];
 560 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 561 }
 562
 563 sub next_subtitle {
 564         my $pos = time_pos;
 565         my $s = ( grep { $_->[0] > $pos } @subtitles )[0] || return;
 566         warn ">>>> subtitle ", sub_fmt $s;
 567         preroll $s->[0], $s->[2];
 568 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 569 }
 570
 571 sub current_subtitle {
 572         my $callback = shift;
 573         my $pos = time_pos;
 574         my $visible;
 575         foreach my $nr ( 0 .. $#subtitles ) {
 576                 my $s = $subtitles[$nr];
 577                 if ( $s->[0] <= $pos && $s->[1] >= $pos ) {
 578                         warn sub_fmt $s, $pos;
 579                         $visible = $nr;
 580                         $callback->( $visible, $pos ) if $callback;
 581                         return ( $visible, $pos );
 582                 }
 583         }
 584         warn "# $pos no visible subtitle\n";
 585 }
 586
 587 sub move_subtitle {
 588         my $offset = shift;
 589         current_subtitle( sub {
 590                 my ( $nr, $pos ) = @_;
 591                 my $new_start = $subtitles[$nr]->[0] += $offset;
 592                 warn "subtitle $nr $pos $offset $new_start\n";
 593                 save_subtitles;
 594                 preroll $new_start, "$pos $offset $new_start";
 595         } );
 596 }
 597
 598
 599
 600 # XXX main epool loop
 601
 602 load_movie;
 603
 604 my $slides = HTML5TV::Slides->new(
 605         sub {
 606                 my $t = shift;
 607                 my $nr = 0;
 608                 foreach my $s ( @subtitles ) {
 609                         $nr = $1 if $s->[2] =~ m{\[(\d+)\]} && $s->[0] < $t;
 610                 }
 611                 return $nr;
 612         }
 613 );
 614
 615 print $to_mplayer "get_property $_\n" foreach grep { ! $prop->{$_} } ( qw/metadata video_codec video_bitrate width height fps length/ );
 616
 617 my $t = time;
 618
 619 while ( 1 ) {
 620         my @fd_selected = $select->can_read(0.3);
 621
 622         my $dt = time - $t;
 623 warn "dt $dt\n";
 624         if ( ! @fd_selected && $dt > 1.5 ) {
 625                 my $pos = time_pos - $dt;
 626                 $slides->show( $pos );
 627                 $t = time;
 628         }
 629
 630         foreach my $fileno ( @fd_selected ) {
 631
 632                 if ( $fileno == $from_mplayer ) {
 633
 634                         my $line = <$from_mplayer>;
 635
 636 warn "# $line\n";
 637
 638                         exit if $line =~ m{Exiting};
 639
 640                         if ( $line =~ m{ANS_(\w+)=(\S+)} ) {
 641                                 $prop->{$1} = $2;
 642                                 warn "prop $1 = $2\n";
 643                         } elsif ( $line =~ m{No bind found for key '(.+)'} ) {
 644
 645                                 # XXX keyboard shortcuts
 646
 647                                   $1 eq 'c'  ? repl
 648                                 : $1 eq ','  ? add_subtitle
 649                                 : $1 eq 'F1' ? prev_subtitle
 650                                 : $1 eq 'F2' ? move_subtitle( -0.3 )
 651                                 : $1 eq 'F3' ? move_subtitle( +0.3 )
 652                                 : $1 eq 'F4' ? next_subtitle
 653                                 : $1 eq 'F5' ? save_subtitles
 654                                 : $1 eq 'F9' ? add_subtitle
 655                                 : $1 eq 'F12' ? edit_subtitles
 656                                 : warn "CUSTOM $1\n"
 657                                 ;
 658
 659                         } elsif ( $line =~ m{EDL}i ) {
 660
 661                                 print $to_mplayer qq|osd_show_text "$line"\n|;
 662
 663                                 if ( my $pos = time_pos ) {
 664                                         if ( $line =~ m{start}i ) {
 665                                                 push @subtitles, [ $pos, $pos, '-' ];
 666                                         } else {
 667                                                 $subtitles[ $#subtitles ]->[1] = $pos;
 668                                         }
 669                                 }
 670                         } elsif ( $line =~ m{(shot\d+.png)} ) {
 671                                 my $shot = $1;
 672                                 my $t = time_pos;
 673                                 warn "shot $t $shot\n";
 674
 675                                 my @existing_slides = glob("$media_dir/s/hires/*");
 676                                 my $nr = $#existing_slides + 2;
 677
 678                                 push @subtitles, [ $t, $t, "slide:$nr shot:$t" ];
 679
 680                                 warn "slide $nr from video $t file $shot\n";
 681                                 save_subtitles;
 682                         }
 683
 684                         $line = '';
 685
 686                 } else {
 687                         die "invalid fileno $fileno";
 688                 }
 689
 690         }
 691
 692 }
 693