misc/translator/LangInstaller.pm

   1 package LangInstaller;
   2
   3 # Copyright (C) 2010 Tamil s.a.r.l.
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it
   8 # under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with Koha; if not, see <http://www.gnu.org/licenses>.
  19
  20 use Modern::Perl;
  21
  22 use C4::Context;
  23 # WARNING: Any other tested YAML library fails to work properly in this
  24 # script content
  25 use YAML::Syck qw( Dump LoadFile );
  26 use Locale::PO;
  27 use FindBin qw( $Bin );
  28
  29 $YAML::Syck::ImplicitTyping = 1;
  30
  31
  32 # Default file header for .po syspref files
  33 my $default_pref_po_header = Locale::PO->new(-msgid => '', -msgstr =>
  34     "Project-Id-Version: PACKAGE VERSION\\n" .
  35     "PO-Revision-Date: YEAR-MO-DA HO:MI +ZONE\\n" .
  36     "Last-Translator: FULL NAME <EMAIL\@ADDRESS>\\n" .
  37     "Language-Team: Koha Translate List <koha-translate\@lists.koha-community.org>\\n" .
  38     "MIME-Version: 1.0\\n" .
  39     "Content-Type: text/plain; charset=UTF-8\\n" .
  40     "Content-Transfer-Encoding: 8bit\\n" .
  41     "Plural-Forms: nplurals=2; plural=(n > 1);\\n"
  42 );
  43
  44
  45 sub set_lang {
  46     my ($self, $lang) = @_;
  47
  48     $self->{lang} = $lang;
  49     $self->{po_path_lang} = $self->{context}->config('intrahtdocs') .
  50                             "/prog/$lang/modules/admin/preferences";
  51 }
  52
  53
  54 sub new {
  55     my ($class, $lang, $pref_only, $verbose) = @_;
  56
  57     my $self                 = { };
  58
  59     my $context              = C4::Context->new();
  60     $self->{context}         = $context;
  61     $self->{path_pref_en}    = $context->config('intrahtdocs') .
  62                                '/prog/en/modules/admin/preferences';
  63     set_lang( $self, $lang ) if $lang;
  64     $self->{pref_only}       = $pref_only;
  65     $self->{verbose}         = $verbose;
  66     $self->{process}         = "$Bin/tmpl_process3.pl " . ($verbose ? '' : '-q');
  67     $self->{path_po}         = "$Bin/po";
  68     $self->{po}              = { '' => $default_pref_po_header };
  69     $self->{domain}          = 'messages';
  70     $self->{cp}              = `which cp`;
  71     $self->{msgmerge}        = `which msgmerge`;
  72     $self->{xgettext}        = `which xgettext`;
  73     $self->{sed}             = `which sed`;
  74     chomp $self->{cp};
  75     chomp $self->{msgmerge};
  76     chomp $self->{xgettext};
  77     chomp $self->{sed};
  78
  79     unless ($self->{xgettext}) {
  80         die "Missing 'xgettext' executable. Have you installed the gettext package?\n";
  81     }
  82
  83     # Get all .pref file names
  84     opendir my $fh, $self->{path_pref_en};
  85     my @pref_files = grep { /\.pref$/ } readdir($fh);
  86     close $fh;
  87     $self->{pref_files} = \@pref_files;
  88
  89     # Get all available language codes
  90     opendir $fh, $self->{path_po};
  91     my @langs =  map { ($_) =~ /(.*)-pref/ }
  92         grep { $_ =~ /.*-pref/ } readdir($fh);
  93     closedir $fh;
  94     $self->{langs} = \@langs;
  95
  96     # Map for both interfaces opac/intranet
  97     my $opachtdocs = $context->config('opachtdocs');
  98     $self->{interface} = [
  99         {
 100             name   => 'Intranet prog UI',
 101             dir    => $context->config('intrahtdocs') . '/prog',
 102             suffix => '-staff-prog.po',
 103         },
 104     ];
 105
 106     # OPAC themes
 107     opendir my $dh, $context->config('opachtdocs');
 108     for my $theme ( grep { not /^\.|lib|xslt/ } readdir($dh) ) {
 109         push @{$self->{interface}}, {
 110             name   => "OPAC $theme",
 111             dir    => "$opachtdocs/$theme",
 112             suffix => "-opac-$theme.po",
 113         };
 114     }
 115
 116     # MARC flavours (hardcoded list)
 117     for ( "MARC21", "UNIMARC", "NORMARC" ) {
 118         # search for strings on staff & opac marc files
 119         my $dirs = $context->config('intrahtdocs') . '/prog';
 120         opendir $fh, $context->config('opachtdocs');
 121         for ( grep { not /^\.|\.\.|lib$|xslt/ } readdir($fh) ) {
 122             $dirs .= ' ' . "$opachtdocs/$_";
 123         }
 124         push @{$self->{interface}}, {
 125             name   => "$_",
 126             dir    => $dirs,
 127             suffix => "-marc-$_.po",
 128         };
 129     }
 130
 131     bless $self, $class;
 132 }
 133
 134
 135 sub po_filename {
 136     my $self = shift;
 137
 138     my $context    = C4::Context->new;
 139     my $trans_path = $Bin . '/po';
 140     my $trans_file = "$trans_path/" . $self->{lang} . "-pref.po";
 141     return $trans_file;
 142 }
 143
 144
 145 sub po_append {
 146     my ($self, $id, $comment) = @_;
 147     my $po = $self->{po};
 148     my $p = $po->{$id};
 149     if ( $p ) {
 150         $p->comment( $p->comment . "\n" . $comment );
 151     }
 152     else {
 153         $po->{$id} = Locale::PO->new(
 154             -comment => $comment,
 155             -msgid   => $id,
 156             -msgstr  => ''
 157         );
 158     }
 159 }
 160
 161
 162 sub add_prefs {
 163     my ($self, $comment, $prefs) = @_;
 164
 165     for my $pref ( @$prefs ) {
 166         my $pref_name = '';
 167         for my $element ( @$pref ) {
 168             if ( ref( $element) eq 'HASH' ) {
 169                 $pref_name = $element->{pref};
 170                 last;
 171             }
 172         }
 173         for my $element ( @$pref ) {
 174             if ( ref( $element) eq 'HASH' ) {
 175                 while ( my ($key, $value) = each(%$element) ) {
 176                     next unless $key eq 'choices';
 177                     next unless ref($value) eq 'HASH';
 178                     for my $ckey ( keys %$value ) {
 179                         my $id = $self->{file} . "#$pref_name# " . $value->{$ckey};
 180                         $self->po_append( $id, $comment );
 181                     }
 182                 }
 183             }
 184             elsif ( $element ) {
 185                 $self->po_append( $self->{file} . "#$pref_name# $element", $comment );
 186             }
 187         }
 188     }
 189 }
 190
 191
 192 sub get_trans_text {
 193     my ($self, $id) = @_;
 194
 195     my $po = $self->{po}->{$id};
 196     return unless $po;
 197     return Locale::PO->dequote($po->msgstr);
 198 }
 199
 200
 201 sub update_tab_prefs {
 202     my ($self, $pref, $prefs) = @_;
 203
 204     for my $p ( @$prefs ) {
 205         my $pref_name = '';
 206         next unless $p;
 207         for my $element ( @$p ) {
 208             if ( ref( $element) eq 'HASH' ) {
 209                 $pref_name = $element->{pref};
 210                 last;
 211             }
 212         }
 213         for my $i ( 0..@$p-1 ) {
 214             my $element = $p->[$i];
 215             if ( ref( $element) eq 'HASH' ) {
 216                 while ( my ($key, $value) = each(%$element) ) {
 217                     next unless $key eq 'choices';
 218                     next unless ref($value) eq 'HASH';
 219                     for my $ckey ( keys %$value ) {
 220                         my $id = $self->{file} . "#$pref_name# " . $value->{$ckey};
 221                         my $text = $self->get_trans_text( $id );
 222                         $value->{$ckey} = $text if $text;
 223                     }
 224                 }
 225             }
 226             elsif ( $element ) {
 227                 my $id = $self->{file} . "#$pref_name# $element";
 228                 my $text = $self->get_trans_text( $id );
 229                 $p->[$i] = $text if $text;
 230             }
 231         }
 232     }
 233 }
 234
 235
 236 sub get_po_from_prefs {
 237     my $self = shift;
 238
 239     for my $file ( @{$self->{pref_files}} ) {
 240         my $pref = LoadFile( $self->{path_pref_en} . "/$file" );
 241         $self->{file} = $file;
 242         # Entries for tab titles
 243         $self->po_append( $self->{file}, $_ ) for keys %$pref;
 244         while ( my ($tab, $tab_content) = each %$pref ) {
 245             if ( ref($tab_content) eq 'ARRAY' ) {
 246                 $self->add_prefs( $tab, $tab_content );
 247                 next;
 248             }
 249             while ( my ($section, $sysprefs) = each %$tab_content ) {
 250                 my $comment = "$tab > $section";
 251                 $self->po_append( $self->{file} . " " . $section, $comment );
 252                 $self->add_prefs( $comment, $sysprefs );
 253             }
 254         }
 255     }
 256 }
 257
 258
 259 sub save_po {
 260     my $self = shift;
 261
 262     # Create file header if it doesn't already exist
 263     my $po = $self->{po};
 264     $po->{''} ||= $default_pref_po_header;
 265
 266     # Write .po entries into a file put in Koha standard po directory
 267     Locale::PO->save_file_fromhash( $self->po_filename, $po );
 268     say "Saved in file: ", $self->po_filename if $self->{verbose};
 269 }
 270
 271
 272 sub get_po_merged_with_en {
 273     my $self = shift;
 274
 275     # Get po from current 'en' .pref files
 276     $self->get_po_from_prefs();
 277     my $po_current = $self->{po};
 278
 279     # Get po from previous generation
 280     my $po_previous = Locale::PO->load_file_ashash( $self->po_filename );
 281
 282     for my $id ( keys %$po_current ) {
 283         my $po =  $po_previous->{Locale::PO->quote($id)};
 284         next unless $po;
 285         my $text = Locale::PO->dequote( $po->msgstr );
 286         $po_current->{$id}->msgstr( $text );
 287     }
 288 }
 289
 290
 291 sub update_prefs {
 292     my $self = shift;
 293     print "Update '", $self->{lang},
 294           "' preferences .po file from 'en' .pref files\n" if $self->{verbose};
 295     $self->get_po_merged_with_en();
 296     $self->save_po();
 297 }
 298
 299
 300 sub install_prefs {
 301     my $self = shift;
 302
 303     unless ( -r $self->{po_path_lang} ) {
 304         print "Koha directories hierarchy for ", $self->{lang}, " must be created first\n";
 305         exit;
 306     }
 307
 308     # Get the language .po file merged with last modified 'en' preferences
 309     $self->get_po_merged_with_en();
 310
 311     for my $file ( @{$self->{pref_files}} ) {
 312         my $pref = LoadFile( $self->{path_pref_en} . "/$file" );
 313         $self->{file} = $file;
 314         # First, keys are replaced (tab titles)
 315         $pref = do {
 316             my %pref = map {
 317                 $self->get_trans_text( $self->{file} ) || $_ => $pref->{$_}
 318             } keys %$pref;
 319             \%pref;
 320         };
 321         while ( my ($tab, $tab_content) = each %$pref ) {
 322             if ( ref($tab_content) eq 'ARRAY' ) {
 323                 $self->update_tab_prefs( $pref, $tab_content );
 324                 next;
 325             }
 326             while ( my ($section, $sysprefs) = each %$tab_content ) {
 327                 $self->update_tab_prefs( $pref, $sysprefs );
 328             }
 329             my $ntab = {};
 330             for my $section ( keys %$tab_content ) {
 331                 my $id = $self->{file} . " $section";
 332                 my $text = $self->get_trans_text($id);
 333                 my $nsection = $text ? $text : $section;
 334                 if( exists $ntab->{$nsection} ) {
 335                     # When translations collide (see BZ 18634)
 336                     push @{$ntab->{$nsection}}, @{$tab_content->{$section}};
 337                 } else {
 338                     $ntab->{$nsection} = $tab_content->{$section};
 339                 }
 340             }
 341             $pref->{$tab} = $ntab;
 342         }
 343         my $file_trans = $self->{po_path_lang} . "/$file";
 344         print "Write $file\n" if $self->{verbose};
 345         open my $fh, ">", $file_trans;
 346         print $fh Dump($pref);
 347     }
 348 }
 349
 350
 351 sub install_tmpl {
 352     my ($self, $files) = @_;
 353     say "Install templates" if $self->{verbose};
 354     for my $trans ( @{$self->{interface}} ) {
 355         my @t_dirs = split(" ", $trans->{dir});
 356         for my $t_dir ( @t_dirs ) {
 357             my @files   = @$files;
 358             my @nomarc = ();
 359             print
 360                 "  Install templates '$trans->{name}'\n",
 361                 "    From: $t_dir/en/\n",
 362                 "    To  : $t_dir/$self->{lang}\n",
 363                 "    With: $self->{path_po}/$self->{lang}$trans->{suffix}\n"
 364                 if $self->{verbose};
 365
 366             my $trans_dir = "$t_dir/en/";
 367             my $lang_dir  = "$t_dir/$self->{lang}";
 368             $lang_dir =~ s|/en/|/$self->{lang}/|;
 369             mkdir $lang_dir unless -d $lang_dir;
 370             # if installing MARC po file, only touch corresponding files
 371             my $marc     = ( $trans->{name} =~ /MARC/ )?"-m \"$trans->{name}\"":"";            # for MARC translations
 372             # if not installing MARC po file, ignore all MARC files
 373             @nomarc      = ( 'marc21', 'unimarc', 'normarc' ) if ( $trans->{name} !~ /MARC/ ); # hardcoded MARC variants
 374
 375             system
 376                 "$self->{process} install " .
 377                 "-i $trans_dir " .
 378                 "-o $lang_dir  ".
 379                 "-s $self->{path_po}/$self->{lang}$trans->{suffix} -r " .
 380                 "$marc " .
 381                 ( @files   ? ' -f ' . join ' -f ', @files : '') .
 382                 ( @nomarc  ? ' -n ' . join ' -n ', @nomarc : '');
 383         }
 384     }
 385 }
 386
 387
 388 sub update_tmpl {
 389     my ($self, $files) = @_;
 390
 391     say "Update templates" if $self->{verbose};
 392     for my $trans ( @{$self->{interface}} ) {
 393         my @files   = @$files;
 394         my @nomarc = ();
 395         print
 396             "  Update templates '$trans->{name}'\n",
 397             "    From: $trans->{dir}/en/\n",
 398             "    To  : $self->{path_po}/$self->{lang}$trans->{suffix}\n"
 399                 if $self->{verbose};
 400
 401         my $trans_dir = join("/en/ -i ",split(" ",$trans->{dir}))."/en/"; # multiple source dirs
 402         # if processing MARC po file, only use corresponding files
 403         my $marc      = ( $trans->{name} =~ /MARC/ )?"-m \"$trans->{name}\"":"";            # for MARC translations
 404         # if not processing MARC po file, ignore all MARC files
 405         @nomarc       = ( 'marc21', 'unimarc', 'normarc' ) if ( $trans->{name} !~ /MARC/ );      # hardcoded MARC variants
 406
 407         system
 408             "$self->{process} update " .
 409             "-i $trans_dir " .
 410             "-s $self->{path_po}/$self->{lang}$trans->{suffix} -r " .
 411             "$marc "     .
 412             ( @files   ? ' -f ' . join ' -f ', @files : '') .
 413             ( @nomarc  ? ' -n ' . join ' -n ', @nomarc : '');
 414     }
 415 }
 416
 417
 418 sub create_prefs {
 419     my $self = shift;
 420
 421     if ( -e $self->po_filename ) {
 422         say "Preferences .po file already exists. Delete it if you want to recreate it.";
 423         return;
 424     }
 425     $self->get_po_from_prefs();
 426     $self->save_po();
 427 }
 428
 429
 430 sub create_tmpl {
 431     my ($self, $files) = @_;
 432
 433     say "Create templates\n" if $self->{verbose};
 434     for my $trans ( @{$self->{interface}} ) {
 435         my @files   = @$files;
 436         my @nomarc = ();
 437         print
 438             "  Create templates .po files for '$trans->{name}'\n",
 439             "    From: $trans->{dir}/en/\n",
 440             "    To  : $self->{path_po}/$self->{lang}$trans->{suffix}\n"
 441                 if $self->{verbose};
 442
 443         my $trans_dir = join("/en/ -i ",split(" ",$trans->{dir}))."/en/"; # multiple source dirs
 444         # if processing MARC po file, only use corresponding files
 445         my $marc      = ( $trans->{name} =~ /MARC/ )?"-m \"$trans->{name}\"":"";            # for MARC translations
 446         # if not processing MARC po file, ignore all MARC files
 447         @nomarc       = ( 'marc21', 'unimarc', 'normarc' ) if ( $trans->{name} !~ /MARC/ ); # hardcoded MARC variants
 448
 449         system
 450             "$self->{process} create " .
 451             "-i $trans_dir " .
 452             "-s $self->{path_po}/$self->{lang}$trans->{suffix} -r " .
 453             "$marc " .
 454             ( @files  ? ' -f ' . join ' -f ', @files   : '') .
 455             ( @nomarc ? ' -n ' . join ' -n ', @nomarc : '');
 456     }
 457 }
 458
 459 sub create_messages {
 460     my $self = shift;
 461
 462     print "Create messages ($self->{lang})\n" if $self->{verbose};
 463     system
 464         "$self->{cp} $self->{domain}.pot " .
 465         "$self->{path_po}/$self->{lang}-$self->{domain}.po";
 466 }
 467
 468 sub update_messages {
 469     my $self = shift;
 470
 471     my $pofile = "$self->{path_po}/$self->{lang}-$self->{domain}.po";
 472     print "Update messages ($self->{lang})\n" if $self->{verbose};
 473     if ( not -f $pofile ) {
 474         print "File $pofile does not exist\n" if $self->{verbose};
 475         $self->create_messages();
 476     }
 477     system "$self->{msgmerge} -U $pofile $self->{domain}.pot";
 478 }
 479
 480 sub extract_messages {
 481     my $self = shift;
 482
 483     my $intranetdir = $self->{context}->config('intranetdir');
 484     my @files_to_scan;
 485     my @directories_to_scan = ('.');
 486     my @blacklist = qw(blib koha-tmpl skel tmp t);
 487     while (@directories_to_scan) {
 488         my $dir = shift @directories_to_scan;
 489         opendir DIR, "$intranetdir/$dir" or die "Unable to open $dir: $!";
 490         foreach my $entry (readdir DIR) {
 491             next if $entry =~ /^\./;
 492             my $relentry = "$dir/$entry";
 493             $relentry =~ s|^\./||;
 494             if (-d "$intranetdir/$relentry" and not grep /^$relentry$/, @blacklist) {
 495                 push @directories_to_scan, "$relentry";
 496             } elsif (-f "$intranetdir/$relentry" and $relentry =~ /(pl|pm)$/) {
 497                 push @files_to_scan, "$relentry";
 498             }
 499         }
 500     }
 501
 502     my $xgettext_cmd = "$self->{xgettext} -L Perl --from-code=UTF-8 " .
 503         "-o $Bin/$self->{domain}.pot -D $intranetdir";
 504     $xgettext_cmd .= " $_" foreach (@files_to_scan);
 505
 506     if (system($xgettext_cmd) != 0) {
 507         die "system call failed: $xgettext_cmd";
 508     }
 509
 510     if ( -f "$Bin/$self->{domain}.pot" ) {
 511         my $replace_charset_cmd = "$self->{sed} --in-place " .
 512             "$Bin/$self->{domain}.pot " .
 513             "--expression='s/charset=CHARSET/charset=UTF-8/'";
 514         if (system($replace_charset_cmd) != 0) {
 515             die "system call failed: $replace_charset_cmd";
 516         }
 517     } else {
 518         print "No messages found\n" if $self->{verbose};
 519         return;
 520     }
 521     return 1;
 522 }
 523
 524 sub remove_pot {
 525     my $self = shift;
 526
 527     unlink "$Bin/$self->{domain}.pot";
 528 }
 529
 530 sub install {
 531     my ($self, $files) = @_;
 532     return unless $self->{lang};
 533     $self->install_tmpl($files) unless $self->{pref_only};
 534     $self->install_prefs();
 535 }
 536
 537
 538 sub get_all_langs {
 539     my $self = shift;
 540     opendir( my $dh, $self->{path_po} );
 541     my @files = grep { $_ =~ /-pref.po$/ }
 542         readdir $dh;
 543     @files = map { $_ =~ s/-pref.po$//; $_ } @files;
 544 }
 545
 546
 547 sub update {
 548     my ($self, $files) = @_;
 549     my @langs = $self->{lang} ? ($self->{lang}) : $self->get_all_langs();
 550     my $extract_ok = $self->extract_messages();
 551     for my $lang ( @langs ) {
 552         $self->set_lang( $lang );
 553         $self->update_tmpl($files) unless $self->{pref_only};
 554         $self->update_prefs();
 555         $self->update_messages() if $extract_ok;
 556     }
 557     $self->remove_pot() if $extract_ok;
 558 }
 559
 560
 561 sub create {
 562     my ($self, $files) = @_;
 563     return unless $self->{lang};
 564     $self->create_tmpl($files) unless $self->{pref_only};
 565     $self->create_prefs();
 566     if ($self->extract_messages()) {
 567         $self->create_messages();
 568         $self->remove_pot();
 569     }
 570 }
 571
 572
 573
 574 1;
 575
 576
 577 =head1 NAME
 578
 579 LangInstaller.pm - Handle templates and preferences translation
 580
 581 =head1 SYNOPSYS
 582
 583   my $installer = LangInstaller->new( 'fr-FR' );
 584   $installer->create();
 585   $installer->update();
 586   $installer->install();
 587   for my $lang ( @{$installer->{langs} ) {
 588     $installer->set_lang( $lan );
 589     $installer->install();
 590   }
 591
 592 =head1 METHODS
 593
 594 =head2 new
 595
 596 Create a new instance of the installer object.
 597
 598 =head2 create
 599
 600 For the current language, create .po files for templates and preferences based
 601 of the english ('en') version.
 602
 603 =head2 update
 604
 605 For the current language, update .po files.
 606
 607 =head2 install
 608
 609 For the current langage C<$self->{lang}, use .po files to translate the english
 610 version of templates and preferences files and copy those files in the
 611 appropriate directory.
 612
 613 =over
 614
 615 =item translate create F<lang>
 616
 617 Create 4 kinds of .po files in F<po> subdirectory:
 618 (1) one from each theme on opac pages templates,
 619 (2) intranet templates,
 620 (3) preferences, and
 621 (4) one for each MARC dialect.
 622
 623
 624 =over
 625
 626 =item F<lang>-opac-{theme}.po
 627
 628 Contains extracted text from english (en) OPAC templates found in
 629 <KOHA_ROOT>/koha-tmpl/opac-tmpl/{theme}/en/ directory.
 630
 631 =item F<lang>-staff-prog.po
 632
 633 Contains extracted text from english (en) intranet templates found in
 634 <KOHA_ROOT>/koha-tmpl/intranet-tmpl/prog/en/ directory.
 635
 636 =item F<lang>-pref.po
 637
 638 Contains extracted text from english (en) preferences. They are found in files
 639 located in <KOHA_ROOT>/koha-tmpl/intranet-tmpl/prog/en/admin/preferences
 640 directory.
 641
 642 =item F<lang>-marc-{MARC}.po
 643
 644 Contains extracted text from english (en) files from opac and intranet,
 645 related with MARC dialects.
 646
 647 =back
 648
 649 =item pref-trans update F<lang>
 650
 651 Update .po files in F<po> directory, named F<lang>-*.po.
 652
 653 =item pref-trans install F<lang>
 654
 655 =back
 656
 657 =cut
 658