Bug 4248: Fixes zip code in cities town pull down list.
[koha.git] / misc / translator / xgettext.pl
index 18d75e8..031f9ba 100755 (executable)
@@ -7,6 +7,7 @@ xgettext.pl - xgettext(1)-like interface for .tmpl strings extraction
 =cut
 
 use strict;
+use warnings;
 use Getopt::Long;
 use POSIX;
 use Locale::PO;
@@ -19,6 +20,7 @@ use vars qw( $extract_all_p );
 use vars qw( $pedantic_p );
 use vars qw( %text %translation );
 use vars qw( $charset_in $charset_out );
+use vars qw( $disable_fuzzy_p );
 use vars qw( $verbose_p );
 use vars qw( $po_mode_p );
 
@@ -96,16 +98,21 @@ sub text_extract (*) {
        } elsif ($kind eq TmplTokenType::TAG && %$attr) {
            # value [tag=input], meta
            my $tag = lc($1) if $t =~ /^<(\S+)/s;
-           for my $a ('alt', 'content', 'title', 'value') {
+           for my $a ('alt', 'content', 'title', 'value','label') {
                if ($attr->{$a}) {
+            next if $a eq 'label' && $tag ne 'optgroup';
                    next if $a eq 'content' && $tag ne 'meta';
                    next if $a eq 'value' && ($tag ne 'input'
-                       || (ref $attr->{'type'} && $attr->{'type'}->[1] =~ /^(?:hidden|radio)$/)); # FIXME
+                       || (ref $attr->{'type'} && $attr->{'type'}->[1] =~ /^(?:hidden|radio|checkbox)$/)); # FIXME
                    my($key, $val, $val_orig, $order) = @{$attr->{$a}}; #FIXME
                    $val = TmplTokenizer::trim $val;
                    remember( $s, $val ) if $val =~ /\S/s;
                }
            }
+       } elsif ($s->has_js_data) {
+           for my $t (@{$s->js_data}) {
+               remember( $s, $t->[3] ) if $t->[0]; # FIXME
+           }
        }
     }
 }
@@ -115,7 +122,7 @@ sub text_extract (*) {
 sub generate_strings_list () {
     # Emit all extracted strings.
     for my $t (string_list) {
-       printf OUTPUT "%s\n", $t # unless negligible_p($t);
+       printf OUTPUT "%s\n", $t;
     }
 }
 
@@ -135,7 +142,11 @@ sub generate_po_file () {
 # This file is distributed under the same license as the PACKAGE package.
 # FIRST AUTHOR <EMAIL\@ADDRESS>, YEAR.
 #
+EOF
+    print OUTPUT <<EOF unless $disable_fuzzy_p;
 #, fuzzy
+EOF
+    print OUTPUT <<EOF;
 msgid ""
 msgstr ""
 "Project-Id-Version: PACKAGE VERSION\\n"
@@ -150,7 +161,53 @@ msgstr ""
 EOF
     my $directory_re = quotemeta("$directory/");
     for my $t (string_list) {
-       #next if negligible_p($t);
+       if ($text{$t}->[0]->type == TmplTokenType::TEXT_PARAMETRIZED) {
+           my($token, $n) = ($text{$t}->[0], 0);
+           printf OUTPUT "#. For the first occurrence,\n"
+                   if @{$text{$t}} > 1 && $token->parameters_and_fields > 0;
+           for my $param ($token->parameters_and_fields) {
+               $n += 1;
+               my $type = $param->type;
+               my $subtype = ($type == TmplTokenType::TAG
+                       && $param->string =~ /^<input\b/is?
+                               $param->attributes->{'type'}->[1]: undef);
+               my $fmt = TmplTokenizer::_formalize( $param );
+               $fmt =~ s/^%/%$n\$/;
+               if ($type == TmplTokenType::DIRECTIVE) {
+                   $type = $param->string =~ /(TMPL_[A-Z]+)+/is? $1: 'ERROR';
+                   my $name = $param->string =~ /\bname=(["']?)([^\s"']+)\1/is?
+                           $2: undef;
+                   printf OUTPUT "#. %s: %s\n", $fmt,
+                       "$type" . (defined $name? " name=$name": '');
+               } else {
+                   my $name = $param->attributes->{'name'};
+                   my $value = $param->attributes->{'value'}
+                           unless $subtype =~ /^(?:text)$/;
+                   printf OUTPUT "#. %s: %s\n", $fmt, "type=$subtype"
+                           . (defined $name?  " name=$name->[1]": '')
+                           . (defined $value? " value=$value->[1]": '');
+               }
+           }
+       } elsif ($text{$t}->[0]->type == TmplTokenType::TAG) {
+           my($token) = ($text{$t}->[0]);
+           printf OUTPUT "#. For the first occurrence,\n"
+                   if @{$text{$t}} > 1 && $token->parameters_and_fields > 0;
+           if ($token->string =~ /^<meta\b/is) {
+               my $type = $token->attributes->{'http-equiv'}->[1];
+               print OUTPUT "#. META http-equiv=$type\n" if defined $type;
+           } elsif ($token->string =~ /^<([a-z0-9]+)/is) {
+               my $tag = uc($1);
+               my $type = (lc($tag) eq 'input'?
+                       $token->attributes->{'type'}: undef);
+               my $name = $token->attributes->{'name'};
+               printf OUTPUT "#. %s\n", $tag
+                   . (defined $type? " type=$type->[1]": '')
+                   . (defined $name? " name=$name->[1]": '');
+           }
+       } elsif ($text{$t}->[0]->has_js_data) {
+           printf OUTPUT "#. For the first occurrence,\n" if @{$text{$t}} > 1;
+           printf OUTPUT "#. SCRIPT\n";
+       }
        my $cformat_p;
        for my $token (@{$text{$t}}) {
            my $pathname = $token->pathname;
@@ -203,7 +260,7 @@ sub convert_translation_file () {
     }
     # The following assumption is correct; that's what HTML::Template assumes
     if (!defined $charset_in) {
-       $charset_in = $charset_out = TmplTokenizer::charset_canon 'iso8859-1';
+       $charset_in = $charset_out = TmplTokenizer::charset_canon 'utf-8';
        warn "Warning: Can't determine original templates' charset, defaulting to $charset_in\n";
     }
 }
@@ -236,6 +293,8 @@ Output details:
 
 Informative output:
       --help                     Display this help and exit
+
+Try `perldoc $0' for perhaps more information.
 EOF
     exit($exitcode);
 }
@@ -256,6 +315,7 @@ GetOptions(
     'charset=s'        => sub { $charset_in = $charset_out = $_[1] },  # INTERNAL
     'convert-from=s'                   => \$convert_from,
     'D|directory=s'                    => \$directory,
+    'disable-fuzzy'                    => \$disable_fuzzy_p,   # INTERNAL
     'f|files-from=s'                   => \$files_from,
     'I|input-charset=s'                        => \$charset_in,        # INTERNAL
     'pedantic-warnings|pedantic'       => sub { $pedantic_p = 1 },
@@ -325,7 +385,6 @@ A gettext-like format provides the following advantages:
 
 =item -
 
-(Future goal)
 Translation to non-English-like languages with different word
 order:  gettext's c-format strings can theoretically be
 emulated if we are able to do some analysis on the .tmpl input
@@ -349,8 +408,9 @@ the gettext format.
 
 =back
 
-Note that this script is experimental and should still be
-considered unstable.
+This script has already been in use for over a year and should
+be reasonable stable. Nevertheless, it is still somewhat
+experimental and there are still some issues.
 
 Please refer to the explanation in tmpl_process3 for further
 details.
@@ -358,17 +418,31 @@ details.
 If you want to generate GNOME-style POTFILES.in files, such
 files (passed to -f) can be generated thus:
 
-       (cd ../.. && find koha-tmpl/opac-tmpl/default/en
+       (cd ../.. && find koha-tmpl/opac-tmpl/default/en \
                -name \*.inc -o -name \*.tmpl) > opac/POTFILES.in
-       (cd ../.. && find koha-tmpl/intranet-tmpl/default/en
+       (cd ../.. && find koha-tmpl/intranet-tmpl/default/en \
                -name \*.inc -o -name \*.tmpl) > intranet/POTFILES.in
 
 This is, however, quite pointless, because the "create" and
 "update" actions have already been implemented in tmpl_process3.pl.
 
+=head2 Strings inside JavaScript
+
+In the SCRIPT elements, the script will attempt to scan for
+_("I<string literal>") patterns, and extract the I<string literal>
+as a translatable string.
+
+Note that the C-like _(...) notation is required.
+
+The JavaScript must actually define a _ function
+so that the code remains correct JavaScript.
+A suitable definition of such a function can be
+
+       function _(s) { return s } // dummy function for gettext
+
 =head1 SEE ALSO
 
-tmpl_process.pl,
+tmpl_process3.pl,
 xgettext(1),
 Locale::PO(3),
 translator_doc.txt
@@ -389,4 +463,9 @@ xgettext(1)'s sort option. This will result in translation
 strings inside the generated PO file spuriously moving about
 when tmpl_process3.pl calls msgmerge(1) to update the PO file.
 
+If a Javascript string has leading spaces, it will
+generate strings with spurious leading spaces,
+leading to failure to match the strings when actually generating
+translated files.
+
 =cut