calculate exact pre-roll timeout for OSD
[HTML5TV.git] / bin / mplayer.pl
1 #!/usr/bin/perl
2
3 use warnings;
4 use strict;
5
6 use IPC::Open3 qw(open3);
7 use IO::Select;
8 use Data::Dump qw(dump);
9 use File::Slurp;
10 use YAML;
11 use JSON;
12 use HTML::TreeBuilder;
13 use Graphics::Magick;
14 use Time::HiRes qw(time);
15 use File::Path qw(rmtree);
16
17 use lib 'lib';
18 use HTML5TV::Slides;
19
20 my $debug = $ENV{DEBUG} || 0;
21
22 my $movie = shift @ARGV;
23
24 sub base_dir  { $1 if $_[0] =~ m{^(.+)/[^/]+$} }
25 sub base_name { $1 if $_[0] =~ m{^.+/([^/]+)$} }
26
27 if ( ! $movie && -e 'media/_editing' ) {
28         $movie = 'media/' . readlink('media/_editing') . '/video.ogv';
29         warn "using media/_editing -> $movie\n";
30 } elsif ( -d $movie && $movie =~ m{media/} ) {
31         $movie .= '/video.ogv';
32 } elsif ( -f $movie && $movie !~ m{video\.ogv} ) {
33         my $movie_master = $movie;
34         $movie = base_dir($movie) . '/video.ogv';
35         if ( ! -e $movie ) {
36                 symlink base_name($movie_master), $movie;
37                 warn "symlink video.ogv -> $movie_master";
38         } else {
39                 warn "using symlink video.ogv -> ", readlink $movie;
40         }
41 } elsif ( -f $movie ) {
42         warn "using video $movie";
43 } else {
44         die "Usage: $0 media/conference-Title_of_talk[/video.ogv'\n";
45 }
46
47 my $media_part = my $media_dir = base_dir($movie);
48 $media_part =~ s{media/}{};
49 $media_part =~ s{/$}{};
50
51 unlink 'media/_editing';
52 symlink $media_part, 'media/_editing';
53
54 warn "# media_part $media_part\n";
55
56 my $edl = "/dev/shm/edl";
57 my $subtitles = $movie;
58 $subtitles =~ s{\.\w+$}{.srt};
59
60 my $preroll = 3;
61
62 my $slide_factor = 4; # 1/4 size of video
63
64 my $min_slide_height = 480;
65
66 our $to_mplayer;
67 our $from_mplayer;
68 our $err_mplayer;
69 our $prop = {};
70
71 my $pid = open3( $to_mplayer, $from_mplayer, $err_mplayer,
72          'mplayer',
73                 '-slave', '-idle',
74 #               '-quiet',
75 #               '-msglevel', 'demux=9', '-msgmodule',
76                 '-edlout', $edl,
77                 '-osdlevel', 3,
78                 '-vf' => 'screenshot',
79 );
80
81 my $select = IO::Select->new();
82 #$select->add( \*STDIN );
83 $select->add( $from_mplayer );
84 #$select->add( $err_mplayer );
85
86 sub load_subtitles;
87
88 sub load_movie {
89         warn "$movie ", -s $movie, " bytes $edl\n";
90         print $to_mplayer qq|loadfile "$movie"\n|;
91         load_subtitles;
92 }
93
94
95 my $term_id = `xdotool getwindowfocus`;
96 our $mplayer_id;
97
98
99 sub focus_mplayer {
100         $mplayer_id ||= `xdotool search mplayer`;
101         warn "focus_mplayer $mplayer_id\n";
102         system "xdotool windowactivate $mplayer_id"
103 }
104
105 sub focus_term {
106         warn "focus_term $term_id\n";
107         system "xdotool windowactivate $term_id";
108 }
109
110 sub preroll {
111         my ( $pos, $osd ) = @_;
112         $osd =~ s{\W+}{ }gs;
113         warn "PREROLL $pos $osd\n";
114         my $to = $pos - $preroll;
115         $to = 0 if $to < 0;
116         print $to_mplayer "set_property time_pos $to\n";
117         my $preroll_len = $pos - time_pos();
118         print $to_mplayer "get_property time_pos\n";
119         print $to_mplayer "osd_show_text \"PREROLL $osd\" ", $preroll_len * 1000, "\n";
120         print $to_mplayer "play\n";
121 }
122
123
124 $|=1;
125
126 my $line;
127 my $repl;
128
129 sub repl {
130         print "> ";
131         my $cmd = <STDIN>;
132         warn ">>> $cmd\n";
133         print $to_mplayer $cmd;
134 }
135
136
137 our @subtitles;
138
139 sub slide_jpg {
140         sprintf "%s/s/%d/%03d.jpg", $media_dir, @_;
141 }
142
143 sub oggThumb {
144         my $video = shift;
145         my $file  = shift;
146         my $t = join(',', @_);
147         system "oggThumb -t $t -o jpg -n $file $video";
148 }
149
150 sub fmt_mmss {
151         my $t = shift;
152         return sprintf('%02d:%02d', int($t/60), int($t%60));
153 }
154
155 sub html5tv {
156
157         if ( ! $prop->{width} || ! $prop->{height} ) {
158                 warn "SKIP no size yet\n";
159                 return;
160         }
161
162         if ( ! @subtitles ) {
163                 warn "SKIP no subtitles yet\n";
164                 return;
165         }
166
167         warn "html5tv";
168
169         my $sync;
170
171         my @slide_t;
172
173         my @videos;
174         my @frames;
175
176         foreach my $s ( @subtitles ) {
177                 push @{ $sync->{htmlEvents}->{'#subtitle'} }, {
178                         startTime => $s->[0],
179                         endTime   => $s->[1],
180                         html      => $s->[2],
181                 };
182
183                 if ( $s->[2] =~ m{video:(.+)} ) {
184                         my $video = $1;
185                         my $path = "$media_dir/$video";
186                         if ( ! -e $path ) {
187                                 warn "MISSING $path: $!\n";
188                         } else {
189                                 my $frame_dir = "$media_dir/s/$video";
190                                 system "mplayer -vo jpeg:outdir=$frame_dir,quality=95 -frames 1 -ss 0 -ao null -really-quiet $media_dir/$video"
191                                         if ! -e $frame_dir;
192                                 push @videos, [ @$s, $video ];
193                         }
194                 } elsif ( $s->[2] =~ m{slide:(\d+)\s+shot:(\d+\.\d+)} ) {
195                         push @frames, [ $2, $1 ];
196                         next;
197                 }
198
199                 next unless $s->[2] =~ m{\[(\d+)\]};
200
201
202                 push @{ $sync->{customEvents} }, {
203                         startTime => $s->[0],
204                         endTime   => $s->[1],
205                         action    => 'chapterChange',
206                         args => {
207                                 carousel => 'theCarousel',
208                                 id => "chapter$1",
209                                 title => $s->[2],
210                                 description => $s->[2],
211                                 src => slide_jpg( 4 => $1 ),
212                                 href => '',
213                         },
214                 };
215
216                 push @slide_t, $s->[0];
217         }
218
219         if ( @frames ) {
220                 rmdir $_ foreach glob "$media_dir/s/[124]";
221                 my $hires = "$media_dir/s/hires";
222                 mkdir $hires unless -e $hires;
223
224                 oggThumb $movie, "$hires/.f%.jpg", map { $_->[0] } @frames;
225
226                 foreach my $i ( 0 .. $#frames ) {
227                         my $from = "$hires/.f$i.jpg";
228                         my $to   = "$hires/f" . $frames[$i]->[1] . '.jpg';
229                         rename $from, $to || warn "can't rename $from -> $to: $!";
230                 }
231
232         }
233
234         foreach ( 0 .. $#slide_t ) {
235                 my $slide_nr = $_ + 1;
236                 push @{ $sync->{htmlEvents}->{'#slide'} }, {
237                         startTime => $slide_t[$_],
238                         endTime   => $slide_t[$_ + 1] || $prop->{length},
239                         html      => '<img src=' . slide_jpg( 1 => $slide_nr ) . '>',
240                 };
241         }
242
243         my @slides_hires = glob "$media_dir/s/hires/*";
244
245         my $path = "$media_dir/s";
246
247         if ( ! -d $path ) {
248                 warn "create slides images in $path";
249                 mkdir $path;
250         }
251
252         foreach my $hires ( @slides_hires ) {
253
254                 my ($slide_width, $slide_height) = Graphics::Magick->new->Ping( $hires );
255                 my $slide_aspect = $slide_width / $slide_height;
256
257                 my $nr = $1 if $hires =~ m{(\d+)\.\w+$} || warn "can't find number in $hires";
258                 next unless $nr;
259
260                 my $im;
261
262                 foreach my $factor ( 1, 2, 4 ) {
263
264                         mkdir "$path/$factor" unless -e "$path/$factor";
265
266                         my $file = slide_jpg( $factor => $nr );
267                         next if -e $file;
268
269                         $min_slide_height = $prop->{height} if $prop->{height} > $min_slide_height;
270
271                         my $w = $min_slide_height / $factor * $slide_aspect;
272                         my $h = $min_slide_height / $factor;
273
274                         warn "slide [$nr] $hires -> ${w}x${h} $file\n";
275
276                         if ( ! $im ) {
277                                 warn "loading $hires ", -s $hires, " bytes\n";
278                                 $im = Graphics::Magick->new;
279                                 $im->ReadImage( $hires );
280                         }
281                         $im->Resize( width => $w, height => $h, filter => 13, blur => 0.9 );
282
283                         my $c = 1; # $h / 10;
284                         my %info = (
285                                 font => 'Sans', pointsize => $h / 10,
286                                 #text => "$factor = $w*$h",
287                                 text => " $nr ",
288                                 y => $c,
289                                 x => $c,
290                         );
291                         #warn "# info ", dump %info;
292                         #warn dump $im->QueryFontMetrics( %info );
293                         my ($x_ppem, $y_ppem, $ascender, $descender, $width, $height, $max_advance) = $im->QueryFontMetrics( %info );
294                         my $background = Graphics::Magick->new( size => $width . 'x' . $height );
295                         $background->ReadImage( 'xc:black' );
296                         $im->Composite( image => $background, compose => 'Over', x => $c, y => $c, opacity => 75 );
297                         $info{y} += $ascender;
298                         $im->Annotate( fill => 'yellow', %info );
299                         $im->Write( filename => $file );
300                 }
301
302         }
303
304         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( slide_jpg( $slide_factor => 1 ) );
305
306         my $html5tv = {
307                 sync => $sync,
308                 video => $prop,
309                 slide => {
310                         width => $slide_width,
311                         height => $slide_height,
312                 },
313         };
314
315         $html5tv->{html}->{video_tags} =
316                 join("\n",
317                         map {
318                                 my $s = $_;
319                                 my $id = $s->[3];
320                                 $id =~ s{\W+}{_}g;
321
322                                 push @{ $html5tv->{sync}->{customEvents} }, {
323                                         startTime => $s->[0],
324                                         endTime   => $s->[1],
325                                         action    => 'additional_video',
326                                         args => {
327                                                 id => $id,
328                                                 title => $s->[2],
329                                                 description => $s->[2],
330                                                 src => "$media_dir/s/1/00000001.jpg",
331                                                 href => '',
332                                         },
333                                 };
334
335                                 qq|
336                                         <video id="$id" style="display: none" controls="controls" width="$html5tv->{video}->{width}px" height="$html5tv->{video}->{height}px">
337                                         <source src="$media_dir/$_->[3]" />
338                                         </video>
339                                 |
340                         } @videos
341                 )
342         ;
343
344         my @customEvents_sorted;
345
346         if ( ref $html5tv->{sync}->{customEvents} ne 'ARRAY' ) {
347                 my $max = 
348                 warn "ERROR: no slide markers [1] .. [", scalar @slides_hires, "] in subtitles\n";
349                 return;
350         } else {
351                 @customEvents_sorted =
352                 sort { $a->{startTime} <=> $b->{startTime} }
353                 @{ $html5tv->{sync}->{customEvents} }
354                 ;
355         }
356
357         my $index = 1;
358
359         $_->{args}->{index} = $index++ foreach @customEvents_sorted;
360
361         warn "last customEvent $index\n";
362
363         $html5tv->{html}->{subtitles_table}
364                 = qq|<table id="subtitles">|
365                 . join("\n",
366                         map {
367                                 my $s = fmt_mmss( $_->{startTime} );
368                                 my $e = fmt_mmss( $_->{endTime} );
369                                 qq|
370                                 <tr id="sub_$_->{index}">
371                                         <td class="seek_video"><a href="#$_->{startTime}">$s</a></td>
372                                         <td class="seek_video"><a href="#$_->{endTime}">$e</a></td>
373                                         <td>$_->{args}->{title}</td>
374                                 </tr>
375                                 |
376                         }
377                         @customEvents_sorted
378                 )
379                 . qq|</table><a href="$media_dir/video.srt">download subtitles</a>|
380                 ;
381
382         my $hCalendar = '<div style="color: red">Create <tt>hCalendar.html</tt> to fill this space</div>';
383         my $hcal_path = "$media_dir/hCalendar.html";
384         if ( -e $hcal_path ) {
385                 $html5tv->{hCalendar} = read_file $hcal_path;
386                 my $tree = HTML::TreeBuilder->new;
387                 $tree->parse_file($hcal_path);
388                 if ( my $vevent = $tree->look_down( class => 'vevent' ) ) {
389                         $html5tv->{title} = $vevent->look_down( class=> 'summary' )->as_trimmed_text;
390                 }
391         }
392
393         warn "# html5tv ", dump $html5tv if $debug;
394
395         my $sync_path = "$media_dir/video.js";
396         write_file $sync_path, "var html5tv = " . to_json($html5tv) . " ;\n";
397         warn "sync $sync_path ", -s $sync_path, " bytes\n";
398
399         my $html = read_file 'www/tv.html';
400         $html =~ s|{([^}]+)}|my $n = $1; $n =~ s(\.)(}->{)g; eval "\$html5tv->{$n}"|egs ||
401                 warn "no interpolation in template!";
402
403         write_file "www/_editing.html", $html;
404         $html =~ s{media/_editing}{media/$media_part}gs;
405         write_file "www/$media_part.html", $html;
406
407         my $carousel_width = $prop->{width} + $slide_width - 80;
408         $carousel_width -= $carousel_width % ( $slide_width + 6 ); # round to full slide
409         my $carousel_height =   $slide_height + 2;
410
411         write_file "$media_dir/video.css", qq|
412
413 .jcarousel-skin-ie7 .jcarousel-container-horizontal,
414 .jcarousel-skin-ie7 .jcarousel-clip-horizontal {
415         width: ${carousel_width}px;
416         height: ${carousel_height}px;
417 }
418
419 .jcarousel-skin-ie7 .jcarousel-item {
420         width: ${slide_width}px;
421         height: ${slide_height}px;
422         margin: 0 2px 0 2px;
423 }
424
425 .active {
426         background-color: #ffc;
427 }
428
429 div#videoContainer {
430         width: $prop->{width}px;
431         height: $prop->{height}px;
432         font-family: Arial, Helvetica, sans-serif;
433         margin: 0 10px 0px 0;
434         position: relative;
435         display: inline;
436 }
437
438
439 div#subtitle {
440         bottom: 24px;
441         color: white;
442         font-size: 100%;
443         font-weight: bold;
444         height: 22px;
445         line-height: 1em;
446         margin: 0  0 0 0;
447         padding: 1px 10px 5px 10px ;
448         position: absolute;
449         text-align: center;
450         width: $html5tv->{video}->{width}px;
451 }
452
453
454
455 .jcarousel-skin-ie7 .jcarousel-item img:hover {
456 //      border-color: #555 !important;
457 }
458
459 .jcarousel-skin-ie7 .jcarousel-item:hover div.thumbnailOverlay {
460         visibility: visible !important;
461 }
462
463 .jcarousel-skin-ie7 .jcarousel-item div.thumbnailOverlay {
464         background: black;
465         bottom: 1px;
466         color: #00EEFF;
467         visibility: hidden;
468         font-size: 10px;
469         font-family: Arial, Verdana;
470         font-weight: bold;
471         line-height: 0.9em;
472         opacity: 0.5;
473         position: absolute;
474         text-align: center;
475         z-index: 10;
476         padding: 2px 0 2px 0;
477         width: ${slide_width}px;
478 }
479
480 .seek_video {
481         text-align: right;
482         font-family: monospace;
483 }
484
485         |;
486
487         return 1;
488 }
489
490
491 sub t_srt {
492         my $t = shift;
493         my $hh = int( $t / 3600 );
494         $t -= $hh * 3600;
495         my $mm = int( $t / 60 );
496         $t -= $mm * 60;
497         my $srt = sprintf "%02d:%02d:%04.1f", $hh, $mm, $t;
498         $srt =~ s{\.}{,};
499         return $srt;
500 }
501
502 my @to_mplayer;
503
504 sub save_subtitles {
505
506         html5tv || return;
507
508         my $nr = 0;
509         my $srt = "\n";
510         foreach my $s ( @subtitles ) {
511                 $srt .= $nr++ . "\n"
512                         . t_srt( $s->[0] ) . " --> " . t_srt( $s->[1] ) . "\n"
513                         . $s->[2] . "\n\n"
514                         ;
515         }
516         warn $srt;
517
518         write_file $subtitles, $srt;
519         YAML::DumpFile "$subtitles.yaml", sort { $a->[0] <=> $b->[0] } @subtitles;
520
521         push @to_mplayer
522                 , "sub_remove\n"
523                 , qq|sub_load "$subtitles"\n|
524                 , "sub_select 1\n"
525                 ;
526 }
527
528 sub load_subtitles {
529         if ( ! -e "$subtitles.yaml" ) {
530                 warn "no subtitles $subtitles to load\n";
531                 return;
532         }
533         @subtitles = YAML::LoadFile "$subtitles.yaml";
534         warn "subtitles ", dump @subtitles;
535         save_subtitles;
536 }
537
538 sub edit_subtitles {
539         print $to_mplayer qq|pause\n|;
540         focus_term;
541         system( qq|vi "$subtitles.yaml"| ) == 0 and load_subtitles;
542         focus_mplayer;
543 }
544
545 sub add_subtitle {
546         print $to_mplayer qq|pause\n|;
547
548         focus_term;
549
550         warn "subtitles ", dump( @subtitles );
551         print "## ";
552         my $line = <STDIN>;
553         $subtitles[ $#subtitles ]->[2] = $line if defined $line;
554
555         save_subtitles;
556
557         focus_mplayer;
558
559         preroll $subtitles[ $#subtitles ]->[0], $line;
560 }
561
562 our $pos;
563
564 sub time_pos {
565         print $to_mplayer qq|get_property time_pos\n|;
566         my $pos = <$from_mplayer>;
567         if ( $pos =~ m{^ANS_time_pos=(\d+\.\d+)} ) {
568                 warn "# time_pos $1\n";
569                 return $1;
570         }
571 }
572
573 sub sub_fmt {
574         my $s = shift;
575         sprintf "%1.5f - %1.5f %s %s\n", @$s, join(' | ',@_);
576 }
577
578 sub prev_subtitle {
579         my $s = ( grep { $_->[0] < $pos } @subtitles )[-1] || return;
580         warn "<<<< subtitle ", sub_fmt $s;
581         preroll $s->[0], $s->[2];
582 #       print $to_mplayer "set_property time_pos $s->[0]\n";
583 }
584
585 sub next_subtitle {
586         my $s = ( grep { $_->[0] > $pos } @subtitles )[0] || return;
587         warn ">>>> subtitle ", sub_fmt $s;
588         preroll $s->[0], $s->[2];
589 #       print $to_mplayer "set_property time_pos $s->[0]\n";
590 }
591
592 sub current_subtitle {
593         my $callback = shift;
594         my $visible;
595         foreach my $nr ( 0 .. $#subtitles ) {
596                 my $s = $subtitles[$nr];
597                 if ( $s->[0] <= $pos && $s->[1] >= $pos ) {
598                         warn sub_fmt $s, $pos;
599                         $visible = $nr;
600                         $callback->( $visible, $pos ) if $callback;
601                         return ( $visible, $pos );
602                 }
603         }
604         warn "# $pos no visible subtitle\n";
605 }
606
607 sub move_subtitle {
608         my $offset = shift;
609         current_subtitle( sub {
610                 my ( $nr, $pos ) = @_;
611                 my $new_start = $subtitles[$nr]->[0] += $offset;
612                 warn "subtitle $nr $pos $offset $new_start\n";
613                 save_subtitles;
614                 preroll $new_start, "$pos $offset $new_start";
615         } );
616 }
617
618
619
620 # XXX main epool loop
621
622 load_movie;
623
624 my $slides = HTML5TV::Slides->new(
625         sub {
626                 my $t = shift;
627                 my $nr = 0;
628                 foreach my $s ( @subtitles ) {
629                         $nr = $1 if $s->[2] =~ m{\[(\d+)\]} && $s->[0] < $t;
630                 }
631                 return $nr;
632         }
633 );
634
635
636 sub from_mplayer {
637         my $line = shift;
638
639         if ( $line =~ m{V:\s+(\d+\.\d+)\s+} ) {
640                 $pos = $1;
641                 print "$pos\r";
642 #               $pos = $1 if $1 > 0.2; # mplayer demuxer report fake position while seeking
643         } elsif ( $line =~ m{Exiting} ) {
644                 exit;
645         } elsif ( $line =~ m{ANS_(\w+)=(\S+)} ) {
646                 $prop->{$1} = $2;
647                 warn "prop $1 = $2\n";
648         } elsif ( $line =~ m{No bind found for key '(.+)'} ) {
649
650                 # XXX keyboard shortcuts
651
652                   $1 eq 'c'  ? repl
653                 : $1 eq ','  ? add_subtitle
654                 : $1 eq 'F1' ? prev_subtitle
655                 : $1 eq 'F2' ? move_subtitle( -0.3 )
656                 : $1 eq 'F3' ? move_subtitle( +0.3 )
657                 : $1 eq 'F4' ? next_subtitle
658                 : $1 eq 'F5' ? save_subtitles
659                 : $1 eq 'F9' ? add_subtitle
660                 : $1 eq 'F12' ? edit_subtitles
661                 : warn "CUSTOM $1\n"
662                 ;
663
664         } elsif ( $line =~ m{EDL}i ) {
665
666                 print $to_mplayer qq|osd_show_text "$line"\n|;
667
668                 if ( $line =~ m{start}i ) {
669                         push @subtitles, [ $pos, $pos, '-' ];
670                 } else {
671                         $subtitles[ $#subtitles ]->[1] = $pos;
672                 }
673         } elsif ( $line =~ m{(shot\d+.png)} ) {
674                 my $shot = $1;
675                 warn "shot $pos $shot\n";
676
677                 my @existing_slides = glob("$media_dir/s/hires/*");
678                 my $nr = $#existing_slides + 2;
679
680                 push @subtitles, [ $pos, $pos, "slide:$nr shot:$pos" ];
681
682                 warn "slide $nr from video $pos file $shot\n";
683                 save_subtitles;
684         } else {
685                 warn "IGNORE $line";
686         }
687
688 }
689
690 push @to_mplayer, "get_property $_\n" foreach grep { ! $prop->{$_} } ( qw/metadata video_codec video_bitrate width height fps length/ );
691
692 my $t = time;
693 my $line;
694
695 while ( 1 ) {
696
697         my $dt = time - $t;
698         if ( abs($dt) > 0.7 ) {
699 warn "dt $dt\n";
700                 $slides->show( $pos );
701                 $t = time;
702         }
703
704         foreach my $fd ( $select->can_read(0.1) ) {
705                 if ( $fd == $from_mplayer ) {
706                         my $ch;
707                         sysread $from_mplayer, $ch, 1;
708                         if ( $ch =~ m{[\n\r]} ) {
709                                 from_mplayer $line;
710                                 $line = '';
711                         } else {
712                                 $line .= $ch;
713                         }
714                 } else {
715                         warn "unknown fd $fd";
716                 }
717         }
718
719         if ( my $cmd = shift @to_mplayer ) {
720                 warn ">>>> $cmd\n";
721                 print $to_mplayer $cmd;
722         }
723
724 }
725