misc/translator/tmpl_process3.pl

   1 #!/usr/bin/perl
   2 # This file is part of Koha
   3 # Parts copyright 2003-2004 Paul Poulain
   4 # Parts copyright 2003-2004 Jerome Vizcaino
   5 # Parts copyright 2004 Ambrose Li
   6
   7 =head1 NAME
   8
   9 tmpl_process3.pl - Experimental version of tmpl_process.pl
  10 using gettext-compatible translation files
  11
  12 =cut
  13
  14 use strict;
  15 use Getopt::Long;
  16 use Locale::PO;
  17 use File::Temp qw( :POSIX );
  18 use TmplTokenizer;
  19 use VerboseWarnings qw( error_normal warn_normal );
  20
  21 ###############################################################################
  22
  23 use vars qw( @in_files $in_dir $str_file $out_dir );
  24 use vars qw( @excludes $exclude_regex );
  25 use vars qw( $recursive_p );
  26 use vars qw( $pedantic_p );
  27 use vars qw( $href );
  28 use vars qw( $type );   # file extension (DOS form without the dot) to match
  29 use vars qw( $charset_in $charset_out );
  30
  31 ###############################################################################
  32
  33 sub find_translation ($) {
  34     my($s) = @_;
  35     my $key = $s;
  36     if ($s =~ /\S/s) {
  37         $key = TmplTokenizer::string_canon($key);
  38         $key = TmplTokenizer::charset_convert($key, $charset_in, $charset_out);
  39         $key = TmplTokenizer::quote_po($key);
  40     }
  41     return defined $href->{$key}
  42                 && !$href->{$key}->fuzzy
  43                 && length Locale::PO->dequote($href->{$key}->msgstr)?
  44            Locale::PO->dequote($href->{$key}->msgstr): $s;
  45 }
  46
  47 sub text_replace_tag ($$) {
  48     my($t, $attr) = @_;
  49     my $it;
  50     # value [tag=input], meta
  51     my $tag = lc($1) if $t =~ /^<(\S+)/s;
  52     my $translated_p = 0;
  53     for my $a ('alt', 'content', 'title', 'value') {
  54         if ($attr->{$a}) {
  55             next if $a eq 'content' && $tag ne 'meta';
  56             next if $a eq 'value' && ($tag ne 'input'
  57                 || (ref $attr->{'type'} && $attr->{'type'}->[1] =~ /^(?:hidden|radio)$/)); # FIXME
  58             my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
  59             if ($val =~ /\S/s) {
  60                 my $s = find_translation($val);
  61                 if ($attr->{$a}->[1] ne $s) { #FIXME
  62                     $attr->{$a}->[1] = $s; # FIXME
  63                     $attr->{$a}->[2] = ($s =~ /"/s)? "'$s'": "\"$s\""; #FIXME
  64                     $translated_p = 1;
  65                 }
  66             }
  67         }
  68     }
  69     if ($translated_p) {
  70         $it = "<$tag"
  71             . join('', map {
  72                     sprintf(' %s=%s', $_, $attr->{$_}->[2]) #FIXME
  73                 } sort {
  74                     $attr->{$a}->[3] <=> $attr->{$b}->[3] #FIXME
  75                 } keys %$attr)
  76             . '>';
  77     } else {
  78         $it = $t;
  79     }
  80     return $it;
  81 }
  82
  83 sub text_replace (**) {
  84     my($h, $output) = @_;
  85     for (;;) {
  86         my $s = TmplTokenizer::next_token $h;
  87     last unless defined $s;
  88         my($kind, $t, $attr) = ($s->type, $s->string, $s->attributes);
  89         if ($kind eq TmplTokenType::TEXT) {
  90             print $output find_translation($t);
  91         } elsif ($kind eq TmplTokenType::TEXT_PARAMETRIZED) {
  92             my $fmt = find_translation($s->form);
  93             print $output TmplTokenizer::parametrize($fmt, [ map {
  94                 my($kind, $t, $attr) = ($_->type, $_->string, $_->attributes);
  95                 $kind == TmplTokenType::TAG && %$attr?
  96                     text_replace_tag($t, $attr): $t } $s->parameters ], [ $s->anchors ]);
  97         } elsif ($kind eq TmplTokenType::TAG && %$attr) {
  98             print $output text_replace_tag($t, $attr);
  99         } elsif (defined $t) {
 100             print $output $t;
 101         }
 102     }
 103 }
 104
 105 sub listfiles ($$) {
 106     my($dir, $type) = @_;
 107     my @it = ();
 108     if (opendir(DIR, $dir)) {
 109         my @dirent = readdir DIR;       # because DIR is shared when recursing
 110         closedir DIR;
 111         for my $dirent (@dirent) {
 112             my $path = "$dir/$dirent";
 113             if ($dirent =~ /^\./ || $dirent eq 'CVS' || $dirent eq 'RCS'
 114             || (defined $exclude_regex && $dirent =~ /^(?:$exclude_regex)$/)) {
 115                 ;
 116             } elsif (-f $path) {
 117                 push @it, $path if !defined $type || $dirent =~ /\.(?:$type)$/;
 118             } elsif (-d $path && $recursive_p) {
 119                 push @it, listfiles($path, $type);
 120             }
 121         }
 122     } else {
 123         warn_normal "$dir: $!", undef;
 124     }
 125     return @it;
 126 }
 127
 128 ###############################################################################
 129
 130 sub usage_error (;$) {
 131     for my $msg (split(/\n/, $_[0])) {
 132         print STDERR "$msg\n";
 133     }
 134     print STDERR "Try `$0 --help' for more information.\n";
 135     exit(-1);
 136 }
 137
 138 ###############################################################################
 139
 140 GetOptions(
 141     'input|i=s'                         => \@in_files,
 142     'outputdir|o=s'                     => \$out_dir,
 143     'recursive|r'                       => \$recursive_p,
 144     'str-file|s=s'                      => \$str_file,
 145     'exclude|x=s'                       => \@excludes,
 146     'pedantic-warnings|pedantic'        => sub { $pedantic_p = 1 },
 147 ) || usage_error;
 148
 149 VerboseWarnings::set_application_name $0;
 150 VerboseWarnings::set_pedantic_mode $pedantic_p;
 151
 152 # try to make sure .po files are backed up (see BUGS)
 153 $ENV{VERSION_CONTROL} = 't';
 154
 155 # keep the buggy Locale::PO quiet if it says stupid things
 156 $SIG{__WARN__} = sub {
 157         my($s) = @_;
 158         print STDERR $s unless $s =~ /^Strange line in [^:]+: #~/s
 159     };
 160
 161 my $action = shift or usage_error('You must specify an ACTION.');
 162 usage_error('You must at least specify input and string list filenames.')
 163     if !@in_files || !defined $str_file;
 164
 165 # Type match defaults to *.tmpl plus *.inc if not specified
 166 $type = "tmpl|inc" if !defined($type);
 167
 168 # Check the inputs for being files or directories
 169 for my $input (@in_files) {
 170     usage_error("$input: Input must be a file or directory.\n"
 171             . "(Symbolic links are not supported at the moment)")
 172         unless -d $input || -f $input;;
 173 }
 174
 175 # Generates the global exclude regular expression
 176 $exclude_regex =  '(?:'.join('|', @excludes).')' if @excludes;
 177
 178 # Generate the list of input files if a directory is specified
 179 if (-d $in_files[0]) {
 180     die "If you specify a directory as input, you must specify only it.\n"
 181             if @in_files > 1;
 182
 183     # input is a directory, generates list of files to process
 184     $in_dir = $in_files[0];
 185     $in_dir =~ s/\/$//; # strips the trailing / if any
 186     @in_files = listfiles($in_dir, $type);
 187 } else {
 188     for my $input (@in_files) {
 189         die "You cannot specify input files and directories at the same time.\n"
 190                 unless -f $input;
 191     }
 192 }
 193
 194 # restores the string list from file
 195 $href = Locale::PO->load_file_ashash($str_file);
 196
 197 # guess the charsets. HTML::Templates defaults to iso-8859-1
 198 if (defined $href) {
 199     $charset_out = TmplTokenizer::charset_canon $2
 200             if $href->{'""'}->msgstr =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/;
 201     for my $msgid (keys %$href) {
 202         if ($msgid =~ /\bcharset=(["']?)([^;\s"'\\]+)\1/) {
 203             my $candidate = TmplTokenizer::charset_canon $2;
 204             die "Conflicting charsets in msgid: $charset_in vs $candidate\n"
 205                     if defined $charset_in && $charset_in ne $candidate;
 206             $charset_in = $candidate;
 207         }
 208     }
 209 }
 210 if (!defined $charset_in) {
 211     $charset_in = TmplTokenizer::charset_canon 'iso8859-1';
 212     warn "Warning: Can't determine original templates' charset, defaulting to $charset_in\n";
 213 }
 214
 215 my $xgettext = './xgettext.pl'; # actual text extractor script
 216
 217 if ($action eq 'create')  {
 218     # updates the list. As the list is empty, every entry will be added
 219     die "$str_file: Output file already exists" if -f $str_file;
 220     my($tmph, $tmpfile) = tmpnam();
 221     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 222     for my $input (@in_files) {
 223         print $tmph "$input\n";
 224     }
 225     close $tmph;
 226     # Generate the specified po file ($str_file)
 227     my $st = system ($xgettext, '-s', '-f', $tmpfile, '-o', $str_file);
 228     warn_normal "Text extraction failed: $xgettext: $!\n", undef if $st != 0;
 229     unlink $tmpfile || warn_normal "$tmpfile: unlink failed: $!\n", undef;
 230
 231 } elsif ($action eq 'update') {
 232     my($tmph1, $tmpfile1) = tmpnam();
 233     my($tmph2, $tmpfile2) = tmpnam();
 234     close $tmph2; # We just want a name
 235     # Generate the temporary file that acts as <MODULE>/POTFILES.in
 236     for my $input (@in_files) {
 237         print $tmph1 "$input\n";
 238     }
 239     close $tmph1;
 240     # Generate the temporary file that acts as <MODULE>/<LANG>.pot
 241     my $st = system($xgettext, '-s', '-f', $tmpfile1, '-o', $tmpfile2,
 242             '--po-mode',
 243             (defined $charset_in? ('-I', $charset_in): ()),
 244             (defined $charset_out? ('-O', $charset_out): ()));
 245     if ($st == 0) {
 246         # Merge the temporary "pot file" with the specified po file ($str_file)
 247         # FIXME: msgmerge(1) is a Unix dependency
 248         # FIXME: need to check the return value
 249         system('msgmerge', '-U', '-s', $str_file, $tmpfile2);
 250     } else {
 251         warn_normal "Text extraction failed: $xgettext: $!\n", undef;
 252         warn_normal "Will not run msgmerge\n", undef;
 253     }
 254     unlink $tmpfile1 || warn_normal "$tmpfile1: unlink failed: $!\n", undef;
 255     unlink $tmpfile2 || warn_normal "$tmpfile2: unlink failed: $!\n", undef;
 256
 257 } elsif ($action eq 'install') {
 258     if(!defined($out_dir)) {
 259         usage_error("You must specify an output directory when using the install method.");
 260     }
 261
 262     if ($in_dir eq $out_dir) {
 263         warn "You must specify a different input and output directory.\n";
 264         exit -1;
 265     }
 266
 267     # Make sure the output directory exists
 268     # (It will auto-create it, but for compatibility we should not)
 269     -d $out_dir || die "$out_dir: The directory does not exist\n";
 270
 271     # Try to open the file, because Locale::PO doesn't check :-/
 272     open(INPUT, "<$str_file") || die "$str_file: $!\n";
 273     close INPUT;
 274
 275     # creates the new tmpl file using the new translation
 276     for my $input (@in_files) {
 277         die "Assertion failed"
 278                 unless substr($input, 0, length($in_dir) + 1) eq "$in_dir/";
 279
 280         my $h = TmplTokenizer->new( $input );
 281         $h->set_allow_cformat( 1 );
 282         VerboseWarnings::set_input_file_name $input;
 283
 284         my $target = $out_dir . substr($input, length($in_dir));
 285         my $targetdir = $` if $target =~ /[^\/]+$/s;
 286         if (!-d $targetdir) {
 287             print STDERR "Making directory $targetdir...";
 288             # creates with rwxrwxr-x permissions
 289             mkdir($targetdir, 0775) || warn_normal "$targetdir: $!", undef;
 290         }
 291         print STDERR "Creating $target...\n";
 292         open( OUTPUT, ">$target" ) || die "$target: $!\n";
 293         text_replace( $h, *OUTPUT );
 294         close OUTPUT;
 295     }
 296
 297 } else {
 298     usage_error('Unknown action specified.');
 299 }
 300 exit 0;
 301
 302 ###############################################################################
 303
 304 =head1 SYNOPSIS
 305
 306 ./tmpl_process3.pl [ I<tmpl_process.pl options> ]
 307
 308 =head1 DESCRIPTION
 309
 310 This is an experimental version of the tmpl_process.pl script,
 311 using standard gettext-style PO files.  Note that the behaviour
 312 of this script should still be considered unstable.
 313
 314 Currently, the create, update, and install actions have all been
 315 reimplemented and seem to work.
 316
 317 The create action calls xgettext.pl to do the actual work;
 318 the update action calls xgettext.pl and msgmerge(1) to do the
 319 actual work.
 320
 321 The script can detect <TMPL_VAR> directives embedded inside what
 322 appears to be a full sentence (this actual work being done by
 323 TmplTokenizer(3)); these larger patterns appear in the translation
 324 file as c-format strings with %s.
 325
 326 Whitespace in extracted strings are folded to single blanks, in
 327 order to prevent new strings from appearing when minor changes in
 328 the original templates occur, and to prevent overly difficult to
 329 read strings in the PO file.
 330
 331 =head1 BUGS
 332
 333 The --help option has not been implemented yet.
 334
 335 xgettext.pl must be present in the current directory; the
 336 msgmerge(1) command must also be present in the search path.
 337 The script currently does not check carefully whether these
 338 dependent commands are present.
 339
 340 If xgettext.pl is interrupted by the user, a corrupted po file
 341 will result. This is very seriously wrong.
 342
 343 Locale::PO(3) has a lot of bugs. It can neither parse nor
 344 generate GNU PO files properly; a couple of workarounds have
 345 been written in TmplTokenizer and more is likely to be needed
 346 (e.g., to get rid of the "Strange line" warning for #~).
 347
 348 There are probably some other bugs too, since this has not been
 349 tested very much.
 350
 351 =head1 SEE ALSO
 352
 353 xgettext.pl,
 354 msgmerge(1),
 355 Locale::PO(3),
 356 translator_doc.txt
 357
 358 =cut