makeDist

   1 #!/usr/bin/env perl
   2 #
   3 # makeDist: Build a BackupPC distribution
   4 #
   5 # DESCRIPTION
   6 #
   7 #   This script should be run with no arguments to build a
   8 #   distribution.  The $Version and $ReleaseDate should be
   9 #   edited below to specify the version name and the release
  10 #   date.  The distribution is createede in the sub-directory
  11 #   dist.  The dsitribution is in the file name:
  12 #
  13 #           dist/BackupPC-$Version.tar.gz.
  14 #
  15 #   Often the language files are not up to date, and makeDist
  16 #   exits after complaining about the lang files being inconsistent.
  17 #   Use the -l option to turn off that behavior.
  18 #
  19 # AUTHOR
  20 #   Craig Barratt <cbarratt@users.sourceforge.net>
  21 #
  22 # COPYRIGHT
  23 #   Copyright (C) 2001-2007  Craig Barratt
  24 #
  25 #   This program is free software; you can redistribute it and/or modify
  26 #   it under the terms of the GNU General Public License as published by
  27 #   the Free Software Foundation; either version 2 of the License, or
  28 #   (at your option) any later version.
  29 #
  30 #   This program is distributed in the hope that it will be useful,
  31 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
  32 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  33 #   GNU General Public License for more details.
  34 #
  35 #   You should have received a copy of the GNU General Public License
  36 #   along with this program; if not, write to the Free Software
  37 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  38 #
  39 #========================================================================
  40 #
  41
  42 use strict;
  43 use File::Path;
  44 use File::Copy;
  45 use Getopt::Std;
  46 use lib "./lib";
  47 use BackupPC::Lib;
  48 use BackupPC::Config::Meta qw(:all);
  49
  50 my $bpc;
  51 die("BackupPC::Lib->new failed\n")
  52         if ( !($bpc = BackupPC::Lib->new(".", ".", "./conf", 1)) );
  53
  54 umask(0022);
  55
  56 my $Version     = "3.2.0";
  57 my $ReleaseDate = "31 Dec 2008";
  58 my $DistDir     = "dist/BackupPC-$Version";
  59
  60 my @PerlSrc = qw(
  61     bin/BackupPC
  62     bin/BackupPC_archive
  63     bin/BackupPC_archiveHost
  64     bin/BackupPC_archiveStart
  65     bin/BackupPC_attribPrint
  66     bin/BackupPC_dump
  67     bin/BackupPC_fixupBackupSummary
  68     bin/BackupPC_link
  69     bin/BackupPC_nightly
  70     bin/BackupPC_restore
  71     bin/BackupPC_sendEmail
  72     bin/BackupPC_serverMesg
  73     bin/BackupPC_trashClean
  74     bin/BackupPC_tarExtract
  75     bin/BackupPC_tarCreate
  76     bin/BackupPC_tarPCCopy
  77     bin/BackupPC_compressPool
  78     bin/BackupPC_zipCreate
  79     bin/BackupPC_zcat
  80     lib/BackupPC/Attrib.pm
  81     lib/BackupPC/Config.pm
  82     lib/BackupPC/FileZIO.pm
  83     lib/BackupPC/Lib.pm
  84     lib/BackupPC/PoolWrite.pm
  85     lib/BackupPC/Storage.pm
  86     lib/BackupPC/View.pm
  87     lib/BackupPC/CGI/AdminOptions.pm
  88     lib/BackupPC/CGI/Archive.pm
  89     lib/BackupPC/CGI/ArchiveInfo.pm
  90     lib/BackupPC/CGI/Browse.pm
  91     lib/BackupPC/CGI/DirHistory.pm
  92     lib/BackupPC/CGI/EditConfig.pm
  93     lib/BackupPC/CGI/EmailSummary.pm
  94     lib/BackupPC/CGI/GeneralInfo.pm
  95     lib/BackupPC/CGI/HostInfo.pm
  96     lib/BackupPC/CGI/Lib.pm
  97     lib/BackupPC/CGI/LOGlist.pm
  98     lib/BackupPC/CGI/Queue.pm
  99     lib/BackupPC/CGI/ReloadServer.pm
 100     lib/BackupPC/CGI/RestoreFile.pm
 101     lib/BackupPC/CGI/RestoreInfo.pm
 102     lib/BackupPC/CGI/Restore.pm
 103     lib/BackupPC/CGI/RSS.pm
 104     lib/BackupPC/CGI/StartServer.pm
 105     lib/BackupPC/CGI/StartStopBackup.pm
 106     lib/BackupPC/CGI/StopServer.pm
 107     lib/BackupPC/CGI/Summary.pm
 108     lib/BackupPC/CGI/View.pm
 109     lib/BackupPC/Config/Meta.pm
 110     lib/BackupPC/Lang/de.pm
 111     lib/BackupPC/Lang/en.pm
 112     lib/BackupPC/Lang/es.pm
 113     lib/BackupPC/Lang/fr.pm
 114     lib/BackupPC/Lang/it.pm
 115     lib/BackupPC/Lang/nl.pm
 116     lib/BackupPC/Lang/pl.pm
 117     lib/BackupPC/Lang/pt_br.pm
 118     lib/BackupPC/Lang/zh_CN.pm
 119     lib/BackupPC/Storage/Text.pm
 120     lib/BackupPC/Xfer.pm
 121     lib/BackupPC/Xfer/Archive.pm
 122     lib/BackupPC/Xfer/BackupPCd.pm
 123     lib/BackupPC/Xfer/Ftp.pm
 124     lib/BackupPC/Xfer/Protocol.pm
 125     lib/BackupPC/Xfer/Rsync.pm
 126     lib/BackupPC/Xfer/RsyncDigest.pm
 127     lib/BackupPC/Xfer/RsyncFileIO.pm
 128     lib/BackupPC/Xfer/Smb.pm
 129     lib/BackupPC/Xfer/Tar.pm
 130     lib/BackupPC/Zip/FileMember.pm
 131     lib/Net/FTP/AutoReconnect.pm
 132     lib/Net/FTP/RetrHandle.pm
 133     cgi-bin/BackupPC_Admin
 134 );
 135
 136 my %opts;
 137 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
 138     print("usage: $0 [-l]\n");
 139     exit(1);
 140 }
 141
 142 #
 143 # Check config parameters
 144 #
 145 my $ConfVars = {};
 146 my $errCnt;
 147
 148 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
 149
 150 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
 151
 152 $errCnt += CheckMetaDataVsConfig($ConfVars, "lib/BackupPC/Config/Meta.pm");
 153
 154 $errCnt += CheckEditorVsConfig($ConfVars, "lib/BackupPC/CGI/EditConfig.pm");
 155
 156 #
 157 # These config parameters are not used in the code, so ignore them.
 158 #
 159 $ConfVars->{BackupPCUser} = 2;
 160 $ConfVars->{CgiDir}       = 2;
 161 $ConfVars->{TopDir}       = 2;
 162 $ConfVars->{LogDir}       = 2;
 163 $ConfVars->{ConfDir}      = 2;
 164 $ConfVars->{InstallDir}   = 2;
 165 $ConfVars->{CgiImageDir}  = 2;
 166 $ConfVars->{ClientCharsetLegacy}  = 2;      # actually used
 167
 168 #
 169 # These config parameters are used in the code to be backward compatible,
 170 # but are not present in the current config file, so ignore them.
 171 #
 172 $ConfVars->{BlackoutHourBegin} = 2;
 173 $ConfVars->{BlackoutHourEnd}   = 2;
 174 $ConfVars->{BlackoutWeekDays}  = 2;
 175 $ConfVars->{RsyncLogLevel}     = 2;
 176
 177 system("perl -Ilib -c conf/config.pl >& /dev/null")
 178                 && die("$0: conf/config.pl contains a syntax error\n");
 179 foreach my $file ( @PerlSrc ) {
 180     system("perl -Ilib -c $file >& /dev/null")
 181                 && die("$0: $file contains a syntax error\n");
 182     $errCnt += CheckConfigParams($file, $ConfVars, 1);
 183 }
 184 if ( !$opts{l} ) {
 185     $errCnt += CheckLangUsage();
 186     $errCnt += CheckLangTags();
 187 }
 188 if ( $errCnt ) {
 189     print("Exiting because of errors\n");
 190     exit(1)
 191 }
 192
 193 $errCnt = 0;
 194 foreach my $var ( sort(keys(%$ConfVars) ) ) {
 195     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
 196     printf("Unused config parameter $var\n");
 197     $errCnt++;
 198 }
 199 if ( $errCnt ) {
 200     print("Exiting because of errors\n");
 201     exit(1)
 202 }
 203
 204 rmtree($DistDir, 0, 0);
 205 mkpath($DistDir, 0, 0777);
 206
 207 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin httpd/src
 208                      lib/BackupPC/CGI
 209                      lib/BackupPC/Config
 210                      lib/BackupPC/Lang
 211                      lib/BackupPC/Storage
 212                      lib/BackupPC/Xfer
 213                      lib/BackupPC/Zip
 214                      lib/Net/FTP
 215                 ) ) {
 216     mkpath("$DistDir/$dir", 0, 0777);
 217 }
 218
 219 my %ConfName;
 220 my $ConfPod = config2pod();
 221 rmtree("doc", 0, 0);
 222 mkpath("doc", 0, 0777);
 223 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
 224
 225 use Pod::Html;
 226 pod2html("doc/BackupPC.pod",
 227         "--backlink=Back to Top",
 228         "--header",
 229         "--title=BackupPC",
 230         "--outfile=doc/BackupPC.html");
 231
 232 foreach my $file ( (@PerlSrc,
 233             <images/*.gif>,
 234             <images/*.png>,
 235             qw(
 236                 conf/config.pl
 237                 conf/hosts
 238                 conf/BackupPC_stnd.css
 239                 conf/BackupPC_stnd_orig.css
 240                 conf/sorttable.js
 241                 init.d/README
 242                 init.d/src/debian-backuppc
 243                 init.d/src/freebsd-backuppc
 244                 init.d/src/gentoo-backuppc
 245                 init.d/src/gentoo-backuppc.conf
 246                 init.d/src/linux-backuppc
 247                 init.d/src/slackware-backuppc
 248                 init.d/src/solaris-backuppc
 249                 init.d/src/suse-backuppc
 250                 httpd/src/BackupPC.conf
 251                 doc/BackupPC.pod
 252                 doc/BackupPC.html
 253                 README
 254                 LICENSE
 255                 ChangeLog
 256                 configure.pl
 257         )) ) {
 258     InstallFile("$file", "$DistDir/$file");
 259 }
 260 rmtree("doc", 0, 0);
 261 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
 262 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
 263 unlink("pod2htmd.x~~");
 264 unlink("pod2htmi.x~~");
 265 unlink("pod2htmd.tmp");
 266 unlink("pod2htmi.tmp");
 267
 268 ###########################################################################
 269 # Subroutines
 270 ###########################################################################
 271
 272 sub InstallFile
 273 {
 274     my($file, $dest) = @_;
 275
 276     unlink($dest) if ( -d $dest );
 277     if ( $file =~ /\.gif/ || $file =~ /\.png/ ) {
 278         die("can't copy($file, $dest)\n") unless copy($file, $dest);
 279     } else {
 280         open(FILE, $file)   || die("can't open $file for reading\n");
 281         open(OUT, ">$dest") || die("can't open $dest for writing\n");
 282         binmode(FILE);
 283         binmode(OUT);
 284         while ( <FILE> ) {
 285             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
 286             s/__VERSION__/$Version/g;
 287             s/__RELEASEDATE__/$ReleaseDate/g;
 288             if ( $file =~ /BackupPC\.html$/ ) {
 289                 #
 290                 # fixup for conf links
 291                 #
 292                 if ( !/A NAME="item_(%|_)conf/i ) {
 293                     s/\$Conf{([^}]*)}/
 294                         defined($ConfName{$1})
 295                             ? "\L<a href=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
 296                             : "\$Conf{$1}"/eg;
 297                 }
 298                 s/^<DD>/<DD><P>/;
 299                 s/^<li><\/li>/<li>/;
 300             }
 301             if ( /__CONFIGPOD__/ ) {
 302                 print OUT $ConfPod;
 303             } elsif ( /^use lib ".*BackupPC\/lib";/
 304                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
 305                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
 306             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$topDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
 307                 print OUT "$1'__TOPDIR__'$2\n";
 308             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$installDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
 309                 print OUT "$1'__INSTALLDIR__'$2\n";
 310             } elsif ( $file =~ /Lib.pm/ && /^(\s*ConfDir\s*=\>\s*\$confDir eq.*)'.*'(.*)/ ) {
 311                 print OUT "$1'__CONFDIR__'$2\n";
 312             } elsif ( $file =~ /Lib.pm/ && /^(\s*my \$useFHS\s*=\s*)\d;/ ) {
 313                 print OUT "${1}0;\n";
 314             } elsif ( $file =~ /Lib.pm/ && /(.*Version *=> .*)'[\w\d\.]+',/ ) {
 315                 print OUT "$1'$Version',\n";
 316             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_BIN_LIST__/ ) {
 317                 print OUT "        ", join("\n        ", grep(/^bin\//, @PerlSrc)), "\n";
 318             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_LIB_LIST__/ ) {
 319                 print OUT "        ", join("\n        ", grep(/^lib\//, @PerlSrc)), "\n";
 320             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
 321                 print OUT "$1'__INSTALLDIR__/lib';\n";
 322             } else {
 323                 print OUT;
 324             }
 325         }
 326         close(FILE);
 327         close(OUT);
 328     }
 329     if ( -x $file ) {
 330         chmod(0555, $dest);
 331     } else {
 332         chmod(0444, $dest);
 333     }
 334 }
 335
 336 sub config2pod
 337 {
 338     open(C, "conf/config.pl") || die("can't open conf/config.pl");
 339     binmode(C);
 340     my($str, $out, $getHdr, @conf);
 341     my $first = 1;
 342     while ( <C> ) {
 343         chomp;
 344         s/ +$//;
 345         if ( /^#########################/ ) {
 346             if ( $getHdr ) {
 347                 $str =~ s/\n.*//sg;
 348                 $out .= "=back\n\n" if ( !$first );
 349                 $out .= "=head2 $str\n\n=over 4\n\n";
 350                 $str = "";
 351                 $first = 0;
 352             }
 353             $getHdr = !$getHdr;
 354             next;
 355         }
 356         if ( /^#/ ) {
 357             s/# ?//;
 358             next if ( $str eq "" && /^$/ );
 359             $str .= $_ . "\n";
 360             $str .= "\n" if ( $str =~ /examples?:\n$/i );
 361         } elsif ( /^\$Conf{([^}]*)/ ) {
 362             my $var = $1;
 363             s/  +/ /g;
 364             s/;\s*#.*/;/;
 365             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
 366                 s/([^;])\s*$/$1 .../;
 367             }
 368             push(@conf, $_);
 369             my $text = "_conf_${var}_";
 370             $text =~ s{[\W\s]}{_}g;
 371             $ConfName{$var} = "item_$text";
 372         } elsif ( /^$/ ) {
 373             if ( $str ne "" && @conf ) {
 374                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 375                 $out .= $str;
 376                 $out .= "\n" if ( $str !~ /\n$/ );
 377             }
 378             $str = "";
 379             @conf = ();
 380         }
 381     }
 382     if ( $str ne "" && @conf ) {
 383         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 384         $out .= $str;
 385         $out .= "\n" if ( $str !~ /\n$/ );
 386     }
 387     $out .= "=back\n\n" if ( !$first );
 388     return $out;
 389 }
 390
 391 sub CheckConfigParams
 392 {
 393     my($file, $vars, $check) = @_;
 394     my $errors;
 395
 396     open(F, $file) || die("can't open $file\n");
 397     binmode(F);
 398     if ( $check ) {
 399         while ( <F> ) {
 400             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
 401                     print("Unexpected Conf var $2 in $file\n");
 402                     $errors++;
 403                 } else {
 404                     $vars->{$2}++;
 405                 }/eg;
 406             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
 407                     print("Unexpected Conf var $1 in $file\n");
 408                     $errors++;
 409                 } else {
 410                     $vars->{$1}++;
 411                 }/eg;
 412             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
 413                     print("Unexpected Conf var $1 in $file\n");
 414                     $errors++;
 415                 } else {
 416                     $vars->{$1}++;
 417                 }/eg;
 418         }
 419     } else {
 420         while ( <F> ) {
 421             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
 422             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
 423         }
 424     }
 425     close(F);
 426     return $errors;
 427 }
 428
 429 sub CheckMetaDataVsConfig
 430 {
 431     my($confVars, $file) = @_;
 432     my $done = {};
 433     my $errors;
 434
 435     #
 436     # Check that the meta file mentions all the config
 437     # parameters
 438     #
 439     open(F, $file) || die("can't open $file");
 440
 441     while ( <F> ) {
 442         next if ( !/^\s{4}(\w+)\s+=>/ );
 443         if ( $confVars->{$1} ) {
 444             $done->{$1} = 1;
 445             next;
 446         }
 447         next if ( $1 eq "Hosts" );
 448         print("$file has $1 but missing from conf/config.pl\n");
 449         $errors++;
 450     }
 451     close(F);
 452     foreach my $v ( keys(%$confVars) ) {
 453         next if ( $done->{$v} );
 454         print("$file missing $v from conf/config.pl\n");
 455         $errors++;
 456     }
 457
 458     #
 459     # Do extra checks that the CgiUserConfigEdit hash in the Meta
 460     # file matches the config file
 461     #
 462     foreach my $p ( keys(%{$ConfigMeta{CgiUserConfigEdit}{child}}) ) {
 463         if ( !defined($bpc->{Conf}{CgiUserConfigEdit}{$p}) ) {
 464             print("lib/BackupPC/Config/Meta.pm has $p in CgiUserConfigEdit,"
 465                 . " but conf/config.pl CgiUserConfigEdit does not\n");
 466             $errors++;
 467         }
 468     }
 469     foreach my $p ( keys(%{$bpc->{Conf}{CgiUserConfigEdit}}) ) {
 470         if ( !defined($ConfigMeta{CgiUserConfigEdit}{child}{$p}) ) {
 471             print("conf/config.pl CgiUserConfigEdit has $p, but"
 472                 . " lib/BackupPC/Config/Meta.pm does not\n");
 473             $errors++;
 474         }
 475     }
 476     return $errors;
 477 }
 478
 479 sub CheckEditorVsConfig
 480 {
 481     my($confVars, $file) = @_;
 482     my $done = {};
 483     my $errors;
 484
 485     #
 486     # Check that the config editor file mentions all the config
 487     # parameters
 488     #
 489     open(F, $file) || die("can't open $file");
 490
 491     while ( <F> ) {
 492         next if ( !/name\s*=>\s*"(\w+)"/ );
 493         if ( $confVars->{$1} ) {
 494             $done->{$1} = 1;
 495             next;
 496         }
 497         next if ( $1 eq "Hosts" );
 498         print("$file has $1 but missing from conf/config.pl\n");
 499         $errors++;
 500     }
 501     close(F);
 502     foreach my $v ( keys(%$confVars) ) {
 503         next if ( $done->{$v} );
 504         print("$file missing $v from conf/config.pl\n");
 505         $errors++;
 506     }
 507     return $errors;
 508 }
 509
 510 #
 511 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
 512 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
 513 # we didn't miss any translations in any of the languages.
 514 #
 515 sub CheckLangUsage
 516 {
 517     my $errors;
 518     my $vars = {};
 519
 520     foreach my $file ( (
 521                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
 522                 <lib/BackupPC/CGI/*pm>,
 523                 <lib/BackupPC/Lang/en.pm>,
 524             ) ) {
 525         open(F, $file) || die("can't open $file");
 526         binmode(F);
 527         while ( <F> ) {
 528             next if ( /^\s*#/ );
 529             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
 530             s/(text|comment)\s*=>\s*"(CfgEdit_.*)"/$vars->{$2} = 1;/eg;
 531         }
 532         close(F);
 533     }
 534
 535     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
 536         my $done = {};
 537         open(F, $f) || die("can't open $f\n");
 538         binmode(F);
 539         while ( <F> ) {
 540             s/#.*//g;
 541             s/\$Lang{([^}]*)}/
 542                     my $var = $1;
 543                     next if ( $var =~ m{^(Reason_|Status_|backupType_|Disabled_)} );
 544                     next if ( $var eq "Documentation" );
 545                     if ( !defined($vars->{$var}) ) {
 546                         print("Unexpected Lang var $var in $f\n");
 547                         $errors++;
 548                     } else {
 549                         $done->{$var} = 1;
 550                     }/eg;
 551         }
 552         close(F);
 553         foreach my $v ( keys(%$vars) ) {
 554             #
 555             # skip "variables" with "$", since they are like expressions
 556             #
 557             next if ( $v =~ /\$/ );
 558             if ( !defined($done->{$v}) ) {
 559                 print("Lang var $v missing from $f\n");
 560                 $errors++;
 561             }
 562         }
 563     }
 564     return $errors;
 565 }
 566
 567 #
 568 # Pedantically check that all the html tags in each language file
 569 # match.
 570 #
 571 sub CheckLangTags
 572 {
 573     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
 574     my($errors);
 575
 576     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm pl.pm pt_br.pm zh_CN.pm) ) {
 577         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
 578         foreach my $v1 ( @$en ) {
 579             my $v2 = shift(@$d);
 580             if ( $v1->{var} ne $v2->{var} ) {
 581                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
 582                 exit;
 583             }
 584             my $t1 = LangTextStrip($v1->{val});
 585             my $t2 = LangTextStrip($v2->{val});
 586             if ( $t1 ne $t2 ) {
 587                 my $i;
 588                 for ( $i = 0 ; $i < length($t1) ; $i++ ) {
 589                     last if ( substr($t1, 0, $i) ne substr($t2, 0, $i) );
 590                 }
 591                 print("$v1->{var}: ($i) got en.pm $t1\nvs $lang $t2\n\n");
 592                 $errors++;
 593             }
 594         }
 595     }
 596     return $errors;
 597 }
 598
 599 sub LangTextStrip
 600 {
 601     my($t) = @_;
 602
 603     $t = "" if ( $t !~ /<.*>/ );
 604     $t =~ s/^[^<]*</</s;
 605     $t =~ s/([}>])[^<]*</$1</g;
 606     $t =~ s/>[^<]*$/>/;
 607     $t =~ s/(value=)"[^"]*"/$1""/sg;
 608     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
 609     $t =~ s/ENG[\s\n]*//sg;
 610     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
 611     return $t;
 612 }
 613
 614 sub LangParse
 615 {
 616     my($file) = @_;
 617     open(C, $file) || die("can't open $file");
 618     binmode(C);
 619     my($out, @lang, $var);
 620     my $comment = 1;
 621     my $allVars = {};
 622     my $endLine = undef;
 623     while ( <C> ) {
 624         if ( /^#/ && !defined($endLine) ) {
 625             if ( $comment ) {
 626                 $out .= $_;
 627             } else {
 628                 if ( $out ne "" ) {
 629                     $allVars->{$var} = @lang if ( defined($var) );
 630                     push(@lang, {
 631                         text => $out,
 632                         var => $var,
 633                     });
 634                 }
 635                 $var = undef;
 636                 $comment = 1;
 637                 $out = $_;
 638             }
 639         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
 640             $comment = 0;
 641             if ( defined($var) ) {
 642                 $allVars->{$var} = @lang if ( defined($var) );
 643                 push(@lang, {
 644                     text => $out,
 645                     var => $var,
 646                 });
 647                 $out = $_;
 648             } else {
 649                 $out .= $_;
 650             }
 651             $var = $1;
 652             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
 653             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
 654         } else {
 655             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
 656             $out .= $_;
 657         }
 658     }
 659     if ( $out ne "" ) {
 660         $allVars->{$var} = @lang if ( defined($var) );
 661         push(@lang, {
 662             text => $out,
 663             var  => $var,
 664         });
 665     }
 666     close(C);
 667     foreach my $v ( @lang ) {
 668         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
 669             $v->{val} = $1;
 670         }
 671     }
 672     return (\@lang, $allVars);
 673 }