read lines from mplayer
[HTML5TV.git] / bin / mplayer.pl
1 #!/usr/bin/perl
2
3 use warnings;
4 use strict;
5
6 use IPC::Open3 qw(open3);
7 use IO::Select;
8 use Data::Dump qw(dump);
9 use File::Slurp;
10 use YAML;
11 use JSON;
12 use HTML::TreeBuilder;
13 use Graphics::Magick;
14
15 my $debug = $ENV{DEBUG} || 0;
16
17 my $movie = shift @ARGV;
18
19 sub base_dir  { $1 if $_[0] =~ m{^(.+)/[^/]+$} }
20 sub base_name { $1 if $_[0] =~ m{^.+/([^/]+)$} }
21
22 if ( ! $movie && -e 'media/_editing' ) {
23         $movie = 'media/' . readlink('media/_editing') . '/video.ogv';
24         warn "using media/_editing -> $movie\n";
25 } elsif ( -d $movie && $movie =~ m{media/} ) {
26         $movie .= '/video.ogv';
27 } elsif ( -f $movie && $movie !~ m{video\.ogv} ) {
28         my $movie_master = $movie;
29         $movie = base_dir($movie) . '/video.ogv';
30         if ( ! -e $movie ) {
31                 symlink base_name($movie_master), $movie;
32                 warn "symlink video.ogv -> $movie_master";
33         } else {
34                 warn "using symlink video.ogv -> ", readlink $movie;
35         }
36 } elsif ( -f $movie ) {
37         warn "using video $movie";
38 } else {
39         die "Usage: $0 media/conference-Title_of_talk[/video.ogv'\n";
40 }
41
42 my $media_part = my $media_dir = base_dir($movie);
43 $media_part =~ s{media/}{};
44 $media_part =~ s{/$}{};
45
46 unlink 'media/_editing';
47 symlink $media_part, 'media/_editing';
48
49 warn "# media_part $media_part\n";
50
51 my $edl = "/dev/shm/edl";
52 my $subtitles = $movie;
53 $subtitles =~ s{\.\w+$}{.srt};
54
55 my $preroll = 3;
56
57 my $slide_factor = 4; # 1/4 size of video
58
59 our $to_mplayer;
60 our $from_mplayer;
61 our $err_mplayer;
62 our $prop = {};
63
64 my $pid = open3( $to_mplayer, $from_mplayer, $err_mplayer,
65          'mplayer',
66                 '-slave', '-idle',
67                 '-quiet',
68                 '-edlout', $edl,
69                 '-osdlevel', 3,
70                 '-vf' => 'screenshot',
71 );
72
73 my $select = IO::Select->new();
74 #$select->add( \*STDIN );
75 $select->add( $from_mplayer );
76
77 sub load_subtitles;
78
79 sub load_movie {
80         warn "$movie ", -s $movie, " bytes $edl\n";
81         print $to_mplayer qq|loadfile "$movie"\n|;
82         print $to_mplayer "get_property $_\n" foreach ( qw/metadata video_codec video_bitrate width height fps length/ );
83         load_subtitles;
84 }
85
86
87 my $term_id = `xdotool getwindowfocus`;
88 our $mplayer_id;
89
90
91 sub focus_mplayer {
92         $mplayer_id ||= `xdotool search mplayer`;
93         warn "focus_mplayer $mplayer_id\n";
94         system "xdotool windowactivate $mplayer_id"
95 }
96
97 sub focus_term {
98         warn "focus_term $term_id\n";
99         system "xdotool windowactivate $term_id";
100 }
101
102 sub preroll {
103         my ( $pos, $osd ) = @_;
104         $osd =~ s{\W+}{ }gs;
105         warn "PREROLL $pos $osd\n";
106         print $to_mplayer "osd_show_text \"PREROLL $osd\" ", $preroll * 1000, "\n";
107         my $to = $pos - $preroll;
108         $to = 0 if $to < 0;
109         print $to_mplayer "set_property time_pos $to\n";
110         print $to_mplayer "get_property time_pos\n";
111         print $to_mplayer "play\n";
112 }
113
114
115 $|=1;
116
117 my $line;
118 my $repl;
119
120 sub repl {
121         print "> ";
122         my $cmd = <STDIN>;
123         warn ">>> $cmd\n";
124         print $to_mplayer $cmd;
125 }
126
127
128 our @subtitles;
129
130 sub slide_jpg {
131         sprintf "%s/s/%d/%03d.jpg", $media_dir, @_;
132 }
133
134 sub oggThumb {
135         my $video = shift;
136         my $file  = shift;
137         my $t = join(',', @_);
138         system "oggThumb -t $t -o jpg -n $file $video";
139 }
140
141 sub fmt_mmss {
142         my $t = shift;
143         return sprintf('%02d:%02d', int($t/60), int($t%60));
144 }
145
146 sub html5tv {
147
148         if ( ! $prop->{width} || ! $prop->{height} ) {
149                 warn "SKIP no size yet\n";
150                 return;
151         }
152
153         if ( ! @subtitles ) {
154                 warn "SKIP no subtitles yet\n";
155                 return;
156         }
157
158
159         my $sync;
160
161         my @slide_t;
162
163         my @videos;
164         my @frames;
165
166         foreach my $s ( @subtitles ) {
167                 push @{ $sync->{htmlEvents}->{'#subtitle'} }, {
168                         startTime => $s->[0],
169                         endTime   => $s->[1],
170                         html      => $s->[2],
171                 };
172
173                 if ( $s->[2] =~ m{video:(.+)} ) {
174                         my $video = $1;
175                         my $path = "$media_dir/$video";
176                         if ( ! -e $path ) {
177                                 warn "MISSING $path: $!\n";
178                         } else {
179                                 my $frame_dir = "$media_dir/s/$video";
180                                 system "mplayer -vo jpeg:outdir=$frame_dir,quality=95 -frames 1 -ss 0 -ao null -really-quiet $media_dir/$video"
181                                         if ! -e $frame_dir;
182                                 push @videos, [ @$s, $video ];
183                         }
184                 } elsif ( $s->[2] =~ m{slide:(\d+)\s+shot:(\d+\.\d+)} ) {
185                         push @frames, [ $2, $1 ];
186                         next;
187                 }
188
189                 next unless $s->[2] =~ m{\[(\d+)\]};
190
191
192                 push @{ $sync->{customEvents} }, {
193                         startTime => $s->[0],
194                         endTime   => $s->[1],
195                         action    => 'chapterChange',
196                         args => {
197                                 carousel => 'theCarousel',
198                                 id => "chapter$1",
199                                 title => $s->[2],
200                                 description => $s->[2],
201                                 src => slide_jpg( 4 => $1 ),
202                                 href => '',
203                         },
204                 };
205
206                 push @slide_t, $s->[0];
207         }
208
209         if ( @frames ) {
210                 my $hires = "$media_dir/s/hires";
211                 mkdir $hires unless -e $hires;
212                 oggThumb $movie, "$hires/.f%.jpg", map { $_->[0] } @frames;
213
214                 foreach my $i ( 0 .. $#frames ) {
215                         my $from = "$hires/.f$i.jpg";
216                         my $to   = "$hires/f" . $frames[$i]->[1] . '.jpg';
217                         rename $from, $to || warn "can't rename $from -> $to: $!";
218                 }
219         }
220
221         foreach ( 0 .. $#slide_t ) {
222                 my $slide_nr = $_ + 1;
223                 push @{ $sync->{htmlEvents}->{'#slide'} }, {
224                         startTime => $slide_t[$_],
225                         endTime   => $slide_t[$_ + 1] || $prop->{length},
226                         html      => '<img src=' . slide_jpg( 1 => $slide_nr ) . '>',
227                 };
228         }
229
230         my @slides_hires = glob "$media_dir/s/hires/*";
231
232         my $path = "$media_dir/s";
233
234         if ( ! -d $path ) {
235                 warn "create slides images in $path";
236                 mkdir $path;
237         }
238
239         foreach my $hires ( @slides_hires ) {
240
241                 my $im = Graphics::Magick->new;
242                 $im->ReadImage( $hires );
243
244                 my ($slide_width, $slide_height) = Graphics::Magick->new->Ping( $hires );
245                 my $slide_aspect = $slide_width / $slide_height;
246
247                 my $nr = $1 if $hires =~ m{(\d+)\.\w+$} || warn "can't find number in $hires";
248                 next unless $nr;
249
250                 foreach my $factor ( 1, 2, 4 ) {
251
252                         mkdir "$path/$factor" unless -e "$path/$factor";
253
254                         my $file = slide_jpg( $factor => $nr );
255                         next if -e $file;
256
257                         my $w = $prop->{height} / $factor * $slide_aspect;
258                         my $h = $prop->{height} / $factor;
259
260                         warn "slide [$nr] $hires -> ${w}x${h} $file\n";
261
262                         $im->Resize( width => $w, height => $h, filter => 13, blur => 0.9 );
263
264                         my $c = $h / 10;
265                         my %info = (
266                                 font => 'Sans', pointsize => $h / 10,
267                                 #text => "$factor = $w*$h",
268                                 text => " $nr ",
269                                 y => $c,
270                                 x => $c,
271                         );
272                         #warn "# info ", dump %info;
273                         #warn dump $im->QueryFontMetrics( %info );
274                         my ($x_ppem, $y_ppem, $ascender, $descender, $width, $height, $max_advance) = $im->QueryFontMetrics( %info );
275                         my $background = Graphics::Magick->new( size => $width . 'x' . $height );
276                         $background->ReadImage( 'xc:black' );
277                         $im->Composite( image => $background, compose => 'Over', x => $c, y => $c, opacity => 75 );
278                         $info{y} += $ascender;
279                         $im->Annotate( fill => 'yellow', %info );
280                         $im->Write( filename => $file );
281                 }
282
283         }
284
285         my $slide_overview = Graphics::Magick->new;
286
287         foreach my $slide (
288                 sort {
289                         my $n_a = $1 if $a =~ m{(\d+)};
290                         my $n_b = $1 if $b =~ m{(\d+)};
291                         $n_a <=> $n_b || $a cmp $b
292                 } glob("$media_dir/s/2/*")
293         ) {
294                         my $s = Graphics::Magick->new;
295                         $s->ReadImage( $slide );
296                         push @$slide_overview, $s;
297         }
298
299         my $montage = $slide_overview->Montage(
300                 geometry => "320x200+5+5>",
301                 tile => '3x+10+10',
302                 compose => 'over',
303                 background => '#ffffff',
304                 font => 'Sans', pointsize => 18, fill => '#ff0', stroke => 'none',
305                 shadow => 'true',
306         );
307         $montage->Set( matte => 'false' );
308         $montage->Write( filename => "$media_dir/s/overview.jpg" );
309 #       $montage->Write('win:'); # blocks
310
311         my ($slide_width, $slide_height, $size, $format) = Graphics::Magick->new->Ping( slide_jpg( $slide_factor => 1 ) );
312
313         my $html5tv = {
314                 sync => $sync,
315                 video => $prop,
316                 slide => {
317                         width => $slide_width,
318                         height => $slide_height,
319                 },
320         };
321
322         $html5tv->{html}->{video_tags} =
323                 join("\n",
324                         map {
325                                 my $s = $_;
326                                 my $id = $s->[3];
327                                 $id =~ s{\W+}{_}g;
328
329                                 push @{ $html5tv->{sync}->{customEvents} }, {
330                                         startTime => $s->[0],
331                                         endTime   => $s->[1],
332                                         action    => 'additional_video',
333                                         args => {
334                                                 id => $id,
335                                                 title => $s->[2],
336                                                 description => $s->[2],
337                                                 src => "$media_dir/s/1/00000001.jpg",
338                                                 href => '',
339                                         },
340                                 };
341
342                                 qq|
343                                         <video id="$id" style="display: none" controls="controls" width="$html5tv->{video}->{width}px" height="$html5tv->{video}->{height}px">
344                                         <source src="$media_dir/$_->[3]" />
345                                         </video>
346                                 |
347                         } @videos
348                 )
349         ;
350
351         sub customEvents_sorted {
352
353                 if ( ref $html5tv->{sync}->{customEvents} ne 'ARRAY' ) {
354                         my $max = 
355                         warn "ERROR: no slide markers [1] .. [", scalar @slides_hires, "] in subtitles\n";
356                         return;
357                 }
358
359                 sort { $a->{startTime} <=> $b->{startTime} }
360                 @{ $html5tv->{sync}->{customEvents} }
361         }
362
363         my $index = 1;
364
365         $_->{args}->{index} = $index++ foreach customEvents_sorted;
366
367         warn "last customEvent $index\n";
368
369         $html5tv->{html}->{subtitles_table}
370                 = qq|<table id="subtitles">|
371                 . join("\n",
372                         map {
373                                 my $s = fmt_mmss( $_->{startTime} );
374                                 my $e = fmt_mmss( $_->{endTime} );
375                                 qq|
376                                 <tr id="sub_$_->{index}">
377                                         <td class="seek_video"><a href="#$_->{startTime}">$s</a></td>
378                                         <td class="seek_video"><a href="#$_->{endTime}">$e</a></td>
379                                         <td>$_->{args}->{title}</td>
380                                 </tr>
381                                 |
382                         }
383                         customEvents_sorted
384                 )
385                 . qq|</table><a href="$media_dir/video.srt">download subtitles</a>|
386                 ;
387
388         my $hCalendar = '<div style="color: red">Create <tt>hCalendar.html</tt> to fill this space</div>';
389         my $hcal_path = "$media_dir/hCalendar.html";
390         if ( -e $hcal_path ) {
391                 $html5tv->{hCalendar} = read_file $hcal_path;
392                 my $tree = HTML::TreeBuilder->new;
393                 $tree->parse_file($hcal_path);
394                 if ( my $vevent = $tree->look_down( class => 'vevent' ) ) {
395                         $html5tv->{title} = $vevent->look_down( class=> 'summary' )->as_trimmed_text;
396                 }
397         }
398
399         warn "# html5tv ", dump $html5tv if $debug;
400
401         my $sync_path = "$media_dir/video.js";
402         write_file $sync_path, "var html5tv = " . to_json($html5tv) . " ;\n";
403         warn "sync $sync_path ", -s $sync_path, " bytes\n";
404
405         my $html = read_file 'www/tv.html';
406         $html =~ s|{([^}]+)}|my $n = $1; $n =~ s(\.)(}->{)g; eval "\$html5tv->{$n}"|egs ||
407                 warn "no interpolation in template!";
408
409         write_file "www/_editing.html", $html;
410         $html =~ s{media/_editing}{media/$media_part}gs;
411         write_file "www/$media_part.html", $html;
412
413         my $carousel_width = $prop->{width} + $slide_width - 80;
414         $carousel_width -= $carousel_width % ( $slide_width + 6 ); # round to full slide
415         my $carousel_height =   $slide_height + 2;
416
417         write_file "$media_dir/video.css", qq|
418
419 .jcarousel-skin-ie7 .jcarousel-container-horizontal,
420 .jcarousel-skin-ie7 .jcarousel-clip-horizontal {
421         width: ${carousel_width}px;
422         height: ${carousel_height}px;
423 }
424
425 .jcarousel-skin-ie7 .jcarousel-item {
426         width: ${slide_width}px;
427         height: ${slide_height}px;
428         margin: 0 2px 0 2px;
429 }
430
431 .active {
432         background-color: #ffc;
433 }
434
435 div#videoContainer {
436         width: $prop->{width}px;
437         height: $prop->{height}px;
438         font-family: Arial, Helvetica, sans-serif;
439         margin: 0 10px 0px 0;
440         position: relative;
441         display: inline;
442 }
443
444
445 div#subtitle {
446         bottom: 24px;
447         color: white;
448         font-size: 100%;
449         font-weight: bold;
450         height: 22px;
451         line-height: 1em;
452         margin: 0  0 0 0;
453         padding: 1px 10px 5px 10px ;
454         position: absolute;
455         text-align: center;
456         width: $html5tv->{video}->{width}px;
457 }
458
459
460
461 .jcarousel-skin-ie7 .jcarousel-item img:hover {
462 //      border-color: #555 !important;
463 }
464
465 .jcarousel-skin-ie7 .jcarousel-item:hover div.thumbnailOverlay {
466         visibility: visible !important;
467 }
468
469 .jcarousel-skin-ie7 .jcarousel-item div.thumbnailOverlay {
470         background: black;
471         bottom: 1px;
472         color: #00EEFF;
473         visibility: hidden;
474         font-size: 10px;
475         font-family: Arial, Verdana;
476         font-weight: bold;
477         line-height: 0.9em;
478         opacity: 0.5;
479         position: absolute;
480         text-align: center;
481         z-index: 10;
482         padding: 2px 0 2px 0;
483         width: ${slide_width}px;
484 }
485
486 .seek_video {
487         text-align: right;
488         font-family: monospace;
489 }
490
491         |;
492
493         return 1;
494 }
495
496
497 sub t_srt {
498         my $t = shift;
499         my $hh = int( $t / 3600 );
500         $t -= $hh * 3600;
501         my $mm = int( $t / 60 );
502         $t -= $mm * 60;
503         my $srt = sprintf "%02d:%02d:%04.1f", $hh, $mm, $t;
504         $srt =~ s{\.}{,};
505         return $srt;
506 }
507
508 sub save_subtitles {
509
510         html5tv || return;
511
512         my $nr = 0;
513         my $srt = "\n";
514         foreach my $s ( @subtitles ) {
515                 $srt .= $nr++ . "\n"
516                         . t_srt( $s->[0] ) . " --> " . t_srt( $s->[1] ) . "\n"
517                         . $s->[2] . "\n\n"
518                         ;
519         }
520         warn $srt;
521
522         write_file $subtitles, $srt;
523         YAML::DumpFile "$subtitles.yaml", sort { $a->[0] <=> $b->[0] } @subtitles;
524
525         print $to_mplayer "sub_remove\n";
526         print $to_mplayer qq|sub_load "$subtitles"\n|;
527         print $to_mplayer "sub_select 1\n";
528 }
529
530 sub load_subtitles {
531         if ( ! -e "$subtitles.yaml" ) {
532                 warn "no subtitles $subtitles to load\n";
533                 return;
534         }
535         @subtitles = YAML::LoadFile "$subtitles.yaml";
536         warn "subtitles ", dump @subtitles;
537         save_subtitles;
538 }
539
540 sub edit_subtitles {
541         print $to_mplayer qq|pause\n|;
542         focus_term;
543         system( qq|vi "$subtitles.yaml"| ) == 0 and load_subtitles;
544         focus_mplayer;
545 }
546
547 sub add_subtitle {
548         print $to_mplayer qq|pause\n|;
549
550         focus_term;
551
552         warn "subtitles ", dump( @subtitles );
553         print "## ";
554         my $line = <STDIN>;
555         $subtitles[ $#subtitles ]->[2] = $line if defined $line;
556
557         save_subtitles;
558
559         focus_mplayer;
560
561         preroll $subtitles[ $#subtitles ]->[0], $line;
562 }
563
564 sub time_pos {
565         print $to_mplayer qq|get_property time_pos\n|;
566         my $pos = <$from_mplayer>;
567         if ( $pos =~ m{^ANS_time_pos=(\d+\.\d+)} ) {
568                 warn "# time_pos $1\n";
569                 return $1;
570         }
571 }
572
573 sub sub_fmt {
574         my $s = shift;
575         sprintf "%1.5f - %1.5f %s %s\n", @$s, join(' | ',@_);
576 }
577
578 sub prev_subtitle {
579         my $pos = time_pos;
580         my $s = ( grep { $_->[0] < $pos } @subtitles )[-1] || return;
581         warn "<<<< subtitle ", sub_fmt $s;
582         preroll $s->[0], $s->[2];
583 #       print $to_mplayer "set_property time_pos $s->[0]\n";
584 }
585
586 sub next_subtitle {
587         my $pos = time_pos;
588         my $s = ( grep { $_->[0] > $pos } @subtitles )[0] || return;
589         warn ">>>> subtitle ", sub_fmt $s;
590         preroll $s->[0], $s->[2];
591 #       print $to_mplayer "set_property time_pos $s->[0]\n";
592 }
593
594 sub current_subtitle {
595         my $callback = shift;
596         my $pos = time_pos;
597         my $visible;
598         foreach my $nr ( 0 .. $#subtitles ) {
599                 my $s = $subtitles[$nr];
600                 if ( $s->[0] <= $pos && $s->[1] >= $pos ) {
601                         warn sub_fmt $s, $pos;
602                         $visible = $nr;
603                         $callback->( $visible, $pos ) if $callback;
604                         return ( $visible, $pos );
605                 }
606         }
607         warn "# $pos no visible subtitle\n";
608 }
609
610 sub move_subtitle {
611         my $offset = shift;
612         current_subtitle( sub {
613                 my ( $nr, $pos ) = @_;
614                 my $new_start = $subtitles[$nr]->[0] += $offset;
615                 warn "subtitle $nr $pos $offset $new_start\n";
616                 save_subtitles;
617                 preroll $new_start, "$pos $offset $new_start";
618         } );
619 }
620
621
622
623 # XXX main epool loop
624
625 load_movie;
626
627 while ( 1 ) {
628         my @fd_selected = $select->can_read(1);
629
630         foreach my $fileno ( @fd_selected ) {
631
632                 if ( $fileno == $from_mplayer ) {
633
634                         my $line = <$from_mplayer>;
635
636                         exit if $line =~ m{Exiting};
637
638                         if ( $line =~ m{ANS_(\w+)=(\S+)} ) {
639                                 $prop->{$1} = $2;
640                                 warn "prop $1 = $2\n";
641                         } elsif ( $line =~ m{No bind found for key '(.+)'} ) {
642
643                                 # XXX keyboard shortcuts
644
645                                   $1 eq 'c'  ? repl
646                                 : $1 eq ','  ? add_subtitle
647                                 : $1 eq 'F1' ? prev_subtitle
648                                 : $1 eq 'F2' ? move_subtitle( -0.3 )
649                                 : $1 eq 'F3' ? move_subtitle( +0.3 )
650                                 : $1 eq 'F4' ? next_subtitle
651                                 : $1 eq 'F5' ? save_subtitles
652                                 : $1 eq 'F9' ? add_subtitle
653                                 : $1 eq 'F12' ? edit_subtitles
654                                 : warn "CUSTOM $1\n"
655                                 ;
656
657                         } elsif ( $line =~ m{EDL}i ) {
658
659                                 print $to_mplayer qq|osd_show_text "$line"\n|;
660
661                                 if ( my $pos = time_pos ) {
662                                         if ( $line =~ m{start}i ) {
663                                                 push @subtitles, [ $pos, $pos, '-' ];
664                                         } else {
665                                                 $subtitles[ $#subtitles ]->[1] = $pos;
666                                         }
667                                 }
668                         } elsif ( $line =~ m{(shot\d+.png)} ) {
669                                 my $shot = $1;
670                                 my $t = time_pos;
671                                 warn "shot $t $shot\n";
672
673                                 my @existing_slides = glob("$media_dir/s/hires/*");
674                                 my $nr = $#existing_slides + 2;
675
676                                 push @subtitles, [ $t, $t, "slide:$nr shot:$t" ];
677
678                                 warn "slide $nr from video $t file $shot\n";
679                                 save_subtitles;
680                         }
681
682                         $line = '';
683
684                 } else {
685                         die "invalid fileno $fileno";
686                 }
687         
688         }
689
690 }
691