bin/mplayer.pl

   1 #!/usr/bin/perl
   2
   3 use warnings;
   4 use strict;
   5
   6 use IPC::Open3 qw(open3);
   7 use IO::Select;
   8 use Data::Dump qw(dump);
   9 use File::Slurp;
  10 use YAML;
  11 use JSON;
  12 use HTML::TreeBuilder;
  13 use Graphics::Magick;
  14 use Time::HiRes qw(time);
  15 use File::Path qw(rmtree);
  16
  17 use lib 'lib';
  18 use HTML5TV::Slides;
  19
  20 my $debug = $ENV{DEBUG} || 0;
  21
  22 my $movie = shift @ARGV;
  23
  24 sub base_dir  { $1 if $_[0] =~ m{^(.+)/[^/]+$} }
  25 sub base_name { $1 if $_[0] =~ m{^.+/([^/]+)$} }
  26
  27 if ( ! $movie && -e 'media/_editing' ) {
  28         $movie = 'media/' . readlink('media/_editing') . '/video.ogv';
  29         warn "using media/_editing -> $movie\n";
  30 } elsif ( -d $movie && $movie =~ m{media/} ) {
  31         $movie .= '/video.ogv';
  32 } elsif ( -f $movie && $movie !~ m{video\.ogv} ) {
  33         my $movie_master = $movie;
  34         $movie = base_dir($movie) . '/video.ogv';
  35         if ( ! -e $movie ) {
  36                 symlink base_name($movie_master), $movie;
  37                 warn "symlink video.ogv -> $movie_master";
  38         } else {
  39                 warn "using symlink video.ogv -> ", readlink $movie;
  40         }
  41 } elsif ( -f $movie ) {
  42         warn "using video $movie";
  43 } else {
  44         die "Usage: $0 media/conference-Title_of_talk[/video.ogv'\n";
  45 }
  46
  47 my $media_part = my $media_dir = base_dir($movie);
  48 $media_part =~ s{media/}{};
  49 $media_part =~ s{/$}{};
  50
  51 unlink 'media/_editing';
  52 symlink $media_part, 'media/_editing';
  53
  54 warn "# media_part $media_part\n";
  55
  56 my $edl = "/dev/shm/edl";
  57 my $subtitles = $movie;
  58 $subtitles =~ s{\.\w+$}{.srt};
  59
  60 my $preroll = 3;
  61
  62 my $slide_factor = 4; # 1/4 size of video
  63
  64 our $to_mplayer;
  65 our $from_mplayer;
  66 our $err_mplayer;
  67 our $prop = {};
  68
  69 my $pid = open3( $to_mplayer, $from_mplayer, $err_mplayer,
  70          'mplayer',
  71                 '-slave', '-idle',
  72                 '-quiet',
  73                 '-msglevel', 'demux=9', '-msgmodule',
  74                 '-edlout', $edl,
  75                 '-osdlevel', 3,
  76                 '-vf' => 'screenshot',
  77 );
  78
  79 my $select = IO::Select->new();
  80 #$select->add( \*STDIN );
  81 $select->add( $from_mplayer );
  82 $select->add( $err_mplayer );
  83
  84 sub load_subtitles;
  85
  86 sub load_movie {
  87         warn "$movie ", -s $movie, " bytes $edl\n";
  88         print $to_mplayer qq|loadfile "$movie"\n|;
  89         load_subtitles;
  90 }
  91
  92
  93 my $term_id = `xdotool getwindowfocus`;
  94 our $mplayer_id;
  95
  96
  97 sub focus_mplayer {
  98         $mplayer_id ||= `xdotool search mplayer`;
  99         warn "focus_mplayer $mplayer_id\n";
 100         system "xdotool windowactivate $mplayer_id"
 101 }
 102
 103 sub focus_term {
 104         warn "focus_term $term_id\n";
 105         system "xdotool windowactivate $term_id";
 106 }
 107
 108 sub preroll {
 109         my ( $pos, $osd ) = @_;
 110         $osd =~ s{\W+}{ }gs;
 111         warn "PREROLL $pos $osd\n";
 112         print $to_mplayer "osd_show_text \"PREROLL $osd\" ", $preroll * 1000, "\n";
 113         my $to = $pos - $preroll;
 114         $to = 0 if $to < 0;
 115         print $to_mplayer "set_property time_pos $to\n";
 116         print $to_mplayer "get_property time_pos\n";
 117         print $to_mplayer "play\n";
 118 }
 119
 120
 121 $|=1;
 122
 123 my $line;
 124 my $repl;
 125
 126 sub repl {
 127         print "> ";
 128         my $cmd = <STDIN>;
 129         warn ">>> $cmd\n";
 130         print $to_mplayer $cmd;
 131 }
 132
 133
 134 our @subtitles;
 135
 136 sub slide_jpg {
 137         sprintf "%s/s/%d/%03d.jpg", $media_dir, @_;
 138 }
 139
 140 sub oggThumb {
 141         my $video = shift;
 142         my $file  = shift;
 143         my $t = join(',', @_);
 144         system "oggThumb -t $t -o jpg -n $file $video";
 145 }
 146
 147 sub fmt_mmss {
 148         my $t = shift;
 149         return sprintf('%02d:%02d', int($t/60), int($t%60));
 150 }
 151
 152 sub html5tv {
 153
 154         if ( ! $prop->{width} || ! $prop->{height} ) {
 155                 warn "SKIP no size yet\n";
 156                 return;
 157         }
 158
 159         if ( ! @subtitles ) {
 160                 warn "SKIP no subtitles yet\n";
 161                 return;
 162         }
 163
 164
 165         my $sync;
 166
 167         my @slide_t;
 168
 169         my @videos;
 170         my @frames;
 171
 172         foreach my $s ( @subtitles ) {
 173                 push @{ $sync->{htmlEvents}->{'#subtitle'} }, {
 174                         startTime => $s->[0],
 175                         endTime   => $s->[1],
 176                         html      => $s->[2],
 177                 };
 178
 179                 if ( $s->[2] =~ m{video:(.+)} ) {
 180                         my $video = $1;
 181                         my $path = "$media_dir/$video";
 182                         if ( ! -e $path ) {
 183                                 warn "MISSING $path: $!\n";
 184                         } else {
 185                                 my $frame_dir = "$media_dir/s/$video";
 186                                 system "mplayer -vo jpeg:outdir=$frame_dir,quality=95 -frames 1 -ss 0 -ao null -really-quiet $media_dir/$video"
 187                                         if ! -e $frame_dir;
 188                                 push @videos, [ @$s, $video ];
 189                         }
 190                 } elsif ( $s->[2] =~ m{slide:(\d+)\s+shot:(\d+\.\d+)} ) {
 191                         push @frames, [ $2, $1 ];
 192                         next;
 193                 }
 194
 195                 next unless $s->[2] =~ m{\[(\d+)\]};
 196
 197
 198                 push @{ $sync->{customEvents} }, {
 199                         startTime => $s->[0],
 200                         endTime   => $s->[1],
 201                         action    => 'chapterChange',
 202                         args => {
 203                                 carousel => 'theCarousel',
 204                                 id => "chapter$1",
 205                                 title => $s->[2],
 206                                 description => $s->[2],
 207                                 src => slide_jpg( 4 => $1 ),
 208                                 href => '',
 209                         },
 210                 };
 211
 212                 push @slide_t, $s->[0];
 213         }
 214
 215         if ( @frames ) {
 216                 rmdir $_ foreach glob "$media_dir/s/[124]";
 217                 my $hires = "$media_dir/s/hires";
 218                 mkdir $hires unless -e $hires;
 219
 220                 oggThumb $movie, "$hires/.f%.jpg", map { $_->[0] } @frames;
 221
 222                 foreach my $i ( 0 .. $#frames ) {
 223                         my $from = "$hires/.f$i.jpg";
 224                         my $to   = "$hires/f" . $frames[$i]->[1] . '.jpg';
 225                         rename $from, $to || warn "can't rename $from -> $to: $!";
 226                 }
 227
 228         }
 229
 230         foreach ( 0 .. $#slide_t ) {
 231                 my $slide_nr = $_ + 1;
 232                 push @{ $sync->{htmlEvents}->{'#slide'} }, {
 233                         startTime => $slide_t[$_],
 234                         endTime   => $slide_t[$_ + 1] || $prop->{length},
 235                         html      => '<img src=' . slide_jpg( 1 => $slide_nr ) . '>',
 236                 };
 237         }
 238
 239         my @slides_hires = glob "$media_dir/s/hires/*";
 240
 241         my $path = "$media_dir/s";
 242
 243         if ( ! -d $path ) {
 244                 warn "create slides images in $path";
 245                 mkdir $path;
 246         }
 247
 248         foreach my $hires ( @slides_hires ) {
 249
 250                 my $im = Graphics::Magick->new;
 251                 $im->ReadImage( $hires );
 252
 253                 my ($slide_width, $slide_height) = Graphics::Magick->new->Ping( $hires );
 254                 my $slide_aspect = $slide_width / $slide_height;
 255
 256                 my $nr = $1 if $hires =~ m{(\d+)\.\w+$} || warn "can't find number in $hires";
 257                 next unless $nr;
 258
 259                 foreach my $factor ( 1, 2, 4 ) {
 260
 261                         mkdir "$path/$factor" unless -e "$path/$factor";
 262
 263                         my $file = slide_jpg( $factor => $nr );
 264                         next if -e $file;
 265
 266                         my $w = $prop->{height} / $factor * $slide_aspect;
 267                         my $h = $prop->{height} / $factor;
 268
 269                         warn "slide [$nr] $hires -> ${w}x${h} $file\n";
 270
 271                         $im->Resize( width => $w, height => $h, filter => 13, blur => 0.9 );
 272
 273                         my $c = $h / 10;
 274                         my %info = (
 275                                 font => 'Sans', pointsize => $h / 10,
 276                                 #text => "$factor = $w*$h",
 277                                 text => " $nr ",
 278                                 y => $c,
 279                                 x => $c,
 280                         );
 281                         #warn "# info ", dump %info;
 282                         #warn dump $im->QueryFontMetrics( %info );
 283                         my ($x_ppem, $y_ppem, $ascender, $descender, $width, $height, $max_advance) = $im->QueryFontMetrics( %info );
 284                         my $background = Graphics::Magick->new( size => $width . 'x' . $height );
 285                         $background->ReadImage( 'xc:black' );
 286                         $im->Composite( image => $background, compose => 'Over', x => $c, y => $c, opacity => 75 );
 287                         $info{y} += $ascender;
 288                         $im->Annotate( fill => 'yellow', %info );
 289                         $im->Write( filename => $file );
 290                 }
 291
 292         }
 293
 294         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( slide_jpg( $slide_factor => 1 ) );
 295
 296         my $html5tv = {
 297                 sync => $sync,
 298                 video => $prop,
 299                 slide => {
 300                         width => $slide_width,
 301                         height => $slide_height,
 302                 },
 303         };
 304
 305         $html5tv->{html}->{video_tags} =
 306                 join("\n",
 307                         map {
 308                                 my $s = $_;
 309                                 my $id = $s->[3];
 310                                 $id =~ s{\W+}{_}g;
 311
 312                                 push @{ $html5tv->{sync}->{customEvents} }, {
 313                                         startTime => $s->[0],
 314                                         endTime   => $s->[1],
 315                                         action    => 'additional_video',
 316                                         args => {
 317                                                 id => $id,
 318                                                 title => $s->[2],
 319                                                 description => $s->[2],
 320                                                 src => "$media_dir/s/1/00000001.jpg",
 321                                                 href => '',
 322                                         },
 323                                 };
 324
 325                                 qq|
 326                                         <video id="$id" style="display: none" controls="controls" width="$html5tv->{video}->{width}px" height="$html5tv->{video}->{height}px">
 327                                         <source src="$media_dir/$_->[3]" />
 328                                         </video>
 329                                 |
 330                         } @videos
 331                 )
 332         ;
 333
 334         sub customEvents_sorted {
 335
 336                 if ( ref $html5tv->{sync}->{customEvents} ne 'ARRAY' ) {
 337                         my $max =
 338                         warn "ERROR: no slide markers [1] .. [", scalar @slides_hires, "] in subtitles\n";
 339                         return;
 340                 }
 341
 342                 sort { $a->{startTime} <=> $b->{startTime} }
 343                 @{ $html5tv->{sync}->{customEvents} }
 344         }
 345
 346         my $index = 1;
 347
 348         $_->{args}->{index} = $index++ foreach customEvents_sorted;
 349
 350         warn "last customEvent $index\n";
 351
 352         $html5tv->{html}->{subtitles_table}
 353                 = qq|<table id="subtitles">|
 354                 . join("\n",
 355                         map {
 356                                 my $s = fmt_mmss( $_->{startTime} );
 357                                 my $e = fmt_mmss( $_->{endTime} );
 358                                 qq|
 359                                 <tr id="sub_$_->{index}">
 360                                         <td class="seek_video"><a href="#$_->{startTime}">$s</a></td>
 361                                         <td class="seek_video"><a href="#$_->{endTime}">$e</a></td>
 362                                         <td>$_->{args}->{title}</td>
 363                                 </tr>
 364                                 |
 365                         }
 366                         customEvents_sorted
 367                 )
 368                 . qq|</table><a href="$media_dir/video.srt">download subtitles</a>|
 369                 ;
 370
 371         my $hCalendar = '<div style="color: red">Create <tt>hCalendar.html</tt> to fill this space</div>';
 372         my $hcal_path = "$media_dir/hCalendar.html";
 373         if ( -e $hcal_path ) {
 374                 $html5tv->{hCalendar} = read_file $hcal_path;
 375                 my $tree = HTML::TreeBuilder->new;
 376                 $tree->parse_file($hcal_path);
 377                 if ( my $vevent = $tree->look_down( class => 'vevent' ) ) {
 378                         $html5tv->{title} = $vevent->look_down( class=> 'summary' )->as_trimmed_text;
 379                 }
 380         }
 381
 382         warn "# html5tv ", dump $html5tv if $debug;
 383
 384         my $sync_path = "$media_dir/video.js";
 385         write_file $sync_path, "var html5tv = " . to_json($html5tv) . " ;\n";
 386         warn "sync $sync_path ", -s $sync_path, " bytes\n";
 387
 388         my $html = read_file 'www/tv.html';
 389         $html =~ s|{([^}]+)}|my $n = $1; $n =~ s(\.)(}->{)g; eval "\$html5tv->{$n}"|egs ||
 390                 warn "no interpolation in template!";
 391
 392         write_file "www/_editing.html", $html;
 393         $html =~ s{media/_editing}{media/$media_part}gs;
 394         write_file "www/$media_part.html", $html;
 395
 396         my $carousel_width = $prop->{width} + $slide_width - 80;
 397         $carousel_width -= $carousel_width % ( $slide_width + 6 ); # round to full slide
 398         my $carousel_height =   $slide_height + 2;
 399
 400         write_file "$media_dir/video.css", qq|
 401
 402 .jcarousel-skin-ie7 .jcarousel-container-horizontal,
 403 .jcarousel-skin-ie7 .jcarousel-clip-horizontal {
 404         width: ${carousel_width}px;
 405         height: ${carousel_height}px;
 406 }
 407
 408 .jcarousel-skin-ie7 .jcarousel-item {
 409         width: ${slide_width}px;
 410         height: ${slide_height}px;
 411         margin: 0 2px 0 2px;
 412 }
 413
 414 .active {
 415         background-color: #ffc;
 416 }
 417
 418 div#videoContainer {
 419         width: $prop->{width}px;
 420         height: $prop->{height}px;
 421         font-family: Arial, Helvetica, sans-serif;
 422         margin: 0 10px 0px 0;
 423         position: relative;
 424         display: inline;
 425 }
 426
 427
 428 div#subtitle {
 429         bottom: 24px;
 430         color: white;
 431         font-size: 100%;
 432         font-weight: bold;
 433         height: 22px;
 434         line-height: 1em;
 435         margin: 0  0 0 0;
 436         padding: 1px 10px 5px 10px ;
 437         position: absolute;
 438         text-align: center;
 439         width: $html5tv->{video}->{width}px;
 440 }
 441
 442
 443
 444 .jcarousel-skin-ie7 .jcarousel-item img:hover {
 445 //      border-color: #555 !important;
 446 }
 447
 448 .jcarousel-skin-ie7 .jcarousel-item:hover div.thumbnailOverlay {
 449         visibility: visible !important;
 450 }
 451
 452 .jcarousel-skin-ie7 .jcarousel-item div.thumbnailOverlay {
 453         background: black;
 454         bottom: 1px;
 455         color: #00EEFF;
 456         visibility: hidden;
 457         font-size: 10px;
 458         font-family: Arial, Verdana;
 459         font-weight: bold;
 460         line-height: 0.9em;
 461         opacity: 0.5;
 462         position: absolute;
 463         text-align: center;
 464         z-index: 10;
 465         padding: 2px 0 2px 0;
 466         width: ${slide_width}px;
 467 }
 468
 469 .seek_video {
 470         text-align: right;
 471         font-family: monospace;
 472 }
 473
 474         |;
 475
 476         return 1;
 477 }
 478
 479
 480 sub t_srt {
 481         my $t = shift;
 482         my $hh = int( $t / 3600 );
 483         $t -= $hh * 3600;
 484         my $mm = int( $t / 60 );
 485         $t -= $mm * 60;
 486         my $srt = sprintf "%02d:%02d:%04.1f", $hh, $mm, $t;
 487         $srt =~ s{\.}{,};
 488         return $srt;
 489 }
 490
 491 sub save_subtitles {
 492
 493         html5tv || return;
 494
 495         my $nr = 0;
 496         my $srt = "\n";
 497         foreach my $s ( @subtitles ) {
 498                 $srt .= $nr++ . "\n"
 499                         . t_srt( $s->[0] ) . " --> " . t_srt( $s->[1] ) . "\n"
 500                         . $s->[2] . "\n\n"
 501                         ;
 502         }
 503         warn $srt;
 504
 505         write_file $subtitles, $srt;
 506         YAML::DumpFile "$subtitles.yaml", sort { $a->[0] <=> $b->[0] } @subtitles;
 507
 508         print $to_mplayer "sub_remove\n";
 509         print $to_mplayer qq|sub_load "$subtitles"\n|;
 510         print $to_mplayer "sub_select 1\n";
 511 }
 512
 513 sub load_subtitles {
 514         if ( ! -e "$subtitles.yaml" ) {
 515                 warn "no subtitles $subtitles to load\n";
 516                 return;
 517         }
 518         @subtitles = YAML::LoadFile "$subtitles.yaml";
 519         warn "subtitles ", dump @subtitles;
 520         save_subtitles;
 521 }
 522
 523 sub edit_subtitles {
 524         print $to_mplayer qq|pause\n|;
 525         focus_term;
 526         system( qq|vi "$subtitles.yaml"| ) == 0 and load_subtitles;
 527         focus_mplayer;
 528 }
 529
 530 sub add_subtitle {
 531         print $to_mplayer qq|pause\n|;
 532
 533         focus_term;
 534
 535         warn "subtitles ", dump( @subtitles );
 536         print "## ";
 537         my $line = <STDIN>;
 538         $subtitles[ $#subtitles ]->[2] = $line if defined $line;
 539
 540         save_subtitles;
 541
 542         focus_mplayer;
 543
 544         preroll $subtitles[ $#subtitles ]->[0], $line;
 545 }
 546
 547 our $pos;
 548
 549 sub time_pos {
 550         print $to_mplayer qq|get_property time_pos\n|;
 551         my $pos = <$from_mplayer>;
 552         if ( $pos =~ m{^ANS_time_pos=(\d+\.\d+)} ) {
 553                 warn "# time_pos $1\n";
 554                 return $1;
 555         }
 556 }
 557
 558 sub sub_fmt {
 559         my $s = shift;
 560         sprintf "%1.5f - %1.5f %s %s\n", @$s, join(' | ',@_);
 561 }
 562
 563 sub prev_subtitle {
 564         my $s = ( grep { $_->[0] < $pos } @subtitles )[-1] || return;
 565         warn "<<<< subtitle ", sub_fmt $s;
 566         preroll $s->[0], $s->[2];
 567 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 568 }
 569
 570 sub next_subtitle {
 571         my $s = ( grep { $_->[0] > $pos } @subtitles )[0] || return;
 572         warn ">>>> subtitle ", sub_fmt $s;
 573         preroll $s->[0], $s->[2];
 574 #       print $to_mplayer "set_property time_pos $s->[0]\n";
 575 }
 576
 577 sub current_subtitle {
 578         my $callback = shift;
 579         my $visible;
 580         foreach my $nr ( 0 .. $#subtitles ) {
 581                 my $s = $subtitles[$nr];
 582                 if ( $s->[0] <= $pos && $s->[1] >= $pos ) {
 583                         warn sub_fmt $s, $pos;
 584                         $visible = $nr;
 585                         $callback->( $visible, $pos ) if $callback;
 586                         return ( $visible, $pos );
 587                 }
 588         }
 589         warn "# $pos no visible subtitle\n";
 590 }
 591
 592 sub move_subtitle {
 593         my $offset = shift;
 594         current_subtitle( sub {
 595                 my ( $nr, $pos ) = @_;
 596                 my $new_start = $subtitles[$nr]->[0] += $offset;
 597                 warn "subtitle $nr $pos $offset $new_start\n";
 598                 save_subtitles;
 599                 preroll $new_start, "$pos $offset $new_start";
 600         } );
 601 }
 602
 603
 604
 605 # XXX main epool loop
 606
 607 load_movie;
 608
 609 my $slides = HTML5TV::Slides->new(
 610         sub {
 611                 my $t = shift;
 612                 my $nr = 0;
 613                 foreach my $s ( @subtitles ) {
 614                         $nr = $1 if $s->[2] =~ m{\[(\d+)\]} && $s->[0] < $t;
 615                 }
 616                 return $nr;
 617         }
 618 );
 619
 620 print $to_mplayer "get_property $_\n" foreach grep { ! $prop->{$_} } ( qw/metadata video_codec video_bitrate width height fps length/ );
 621
 622 my $t = time;
 623
 624 while ( my $line = <$from_mplayer> ) {
 625
 626 #warn "### $line\n";
 627
 628         my $dt = time - $t;
 629 #warn "dt $dt\n";
 630         if ( abs($dt) > 0.7 ) {
 631                 $slides->show( $pos );
 632                 $t = time;
 633         }
 634
 635         if ( $line =~ m{DEMUX} ) {
 636                 $pos = $1 if $line =~ m{pts=(\d+\.\d+)};
 637         } elsif ( $line =~ m{Exiting} ) {
 638                 exit;
 639         } elsif ( $line =~ m{ANS_(\w+)=(\S+)} ) {
 640                 $prop->{$1} = $2;
 641                 warn "prop $1 = $2\n";
 642         } elsif ( $line =~ m{No bind found for key '(.+)'} ) {
 643
 644                 # XXX keyboard shortcuts
 645
 646                   $1 eq 'c'  ? repl
 647                 : $1 eq ','  ? add_subtitle
 648                 : $1 eq 'F1' ? prev_subtitle
 649                 : $1 eq 'F2' ? move_subtitle( -0.3 )
 650                 : $1 eq 'F3' ? move_subtitle( +0.3 )
 651                 : $1 eq 'F4' ? next_subtitle
 652                 : $1 eq 'F5' ? save_subtitles
 653                 : $1 eq 'F9' ? add_subtitle
 654                 : $1 eq 'F12' ? edit_subtitles
 655                 : warn "CUSTOM $1\n"
 656                 ;
 657
 658         } elsif ( $line =~ m{EDL}i ) {
 659
 660                 print $to_mplayer qq|osd_show_text "$line"\n|;
 661
 662                 if ( $line =~ m{start}i ) {
 663                         push @subtitles, [ $pos, $pos, '-' ];
 664                 } else {
 665                         $subtitles[ $#subtitles ]->[1] = $pos;
 666                 }
 667         } elsif ( $line =~ m{(shot\d+.png)} ) {
 668                 my $shot = $1;
 669                 warn "shot $pos $shot\n";
 670
 671                 my @existing_slides = glob("$media_dir/s/hires/*");
 672                 my $nr = $#existing_slides + 2;
 673
 674                 push @subtitles, [ $pos, $pos, "slide:$nr shot:$pos" ];
 675
 676                 warn "slide $nr from video $pos file $shot\n";
 677                 save_subtitles;
 678         } else {
 679                 warn "IGNORE $line";
 680         }
 681
 682 }
 683