makeDist

   1 #!/bin/perl
   2 #
   3 # makeDist: Build a BackupPC distribution
   4 #
   5 # DESCRIPTION
   6 #
   7 #   This script should be run with no arguments to build a
   8 #   distribution.  The $Version and $ReleaseDate should be
   9 #   edited below to specify the version name and the release
  10 #   date.  The distribution is createede in the sub-directory
  11 #   dist.  The dsitribution is in the file name:
  12 #
  13 #           dist/BackupPC-$Version.tar.gz.
  14 #
  15 #   Often the language files are not up to date, and makeDist
  16 #   exits after complaining about the lang files being inconsistent.
  17 #   Use the -l option to turn off that behavior.
  18 #
  19 # AUTHOR
  20 #   Craig Barratt <cbarratt@users.sourceforge.net>
  21 #
  22 # COPYRIGHT
  23 #   Copyright (C) 2001-2006  Craig Barratt
  24 #
  25 #   This program is free software; you can redistribute it and/or modify
  26 #   it under the terms of the GNU General Public License as published by
  27 #   the Free Software Foundation; either version 2 of the License, or
  28 #   (at your option) any later version.
  29 #
  30 #   This program is distributed in the hope that it will be useful,
  31 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
  32 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  33 #   GNU General Public License for more details.
  34 #
  35 #   You should have received a copy of the GNU General Public License
  36 #   along with this program; if not, write to the Free Software
  37 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  38 #
  39 #========================================================================
  40 #
  41
  42 use strict;
  43 use File::Path;
  44 use File::Copy;
  45 use Getopt::Std;
  46
  47 umask(0022);
  48
  49 my $Version     = "3.0.0alpha";
  50 my $ReleaseDate = "23 Jan 2006";
  51 my $DistDir     = "dist/BackupPC-$Version";
  52
  53 my @PerlSrc = qw(
  54     bin/BackupPC
  55     bin/BackupPC_archive
  56     bin/BackupPC_archiveHost
  57     bin/BackupPC_attribPrint
  58     bin/BackupPC_dump
  59     bin/BackupPC_fixupBackupSummary
  60     bin/BackupPC_link
  61     bin/BackupPC_nightly
  62     bin/BackupPC_restore
  63     bin/BackupPC_sendEmail
  64     bin/BackupPC_serverMesg
  65     bin/BackupPC_trashClean
  66     bin/BackupPC_tarExtract
  67     bin/BackupPC_tarCreate
  68     bin/BackupPC_tarPCCopy
  69     bin/BackupPC_compressPool
  70     bin/BackupPC_zipCreate
  71     bin/BackupPC_zcat
  72     lib/BackupPC/Attrib.pm
  73     lib/BackupPC/Config.pm
  74     lib/BackupPC/FileZIO.pm
  75     lib/BackupPC/Lib.pm
  76     lib/BackupPC/PoolWrite.pm
  77     lib/BackupPC/Storage.pm
  78     lib/BackupPC/View.pm
  79     lib/BackupPC/CGI/AdminOptions.pm
  80     lib/BackupPC/CGI/Archive.pm
  81     lib/BackupPC/CGI/ArchiveInfo.pm
  82     lib/BackupPC/CGI/Browse.pm
  83     lib/BackupPC/CGI/DirHistory.pm
  84     lib/BackupPC/CGI/EditConfig.pm
  85     lib/BackupPC/CGI/EmailSummary.pm
  86     lib/BackupPC/CGI/GeneralInfo.pm
  87     lib/BackupPC/CGI/HostInfo.pm
  88     lib/BackupPC/CGI/Lib.pm
  89     lib/BackupPC/CGI/LOGlist.pm
  90     lib/BackupPC/CGI/Queue.pm
  91     lib/BackupPC/CGI/ReloadServer.pm
  92     lib/BackupPC/CGI/RestoreFile.pm
  93     lib/BackupPC/CGI/RestoreInfo.pm
  94     lib/BackupPC/CGI/Restore.pm
  95     lib/BackupPC/CGI/StartServer.pm
  96     lib/BackupPC/CGI/StartStopBackup.pm
  97     lib/BackupPC/CGI/StopServer.pm
  98     lib/BackupPC/CGI/Summary.pm
  99     lib/BackupPC/CGI/View.pm
 100     lib/BackupPC/Config/Meta.pm
 101     lib/BackupPC/Lang/de.pm
 102     lib/BackupPC/Lang/en.pm
 103     lib/BackupPC/Lang/es.pm
 104     lib/BackupPC/Lang/fr.pm
 105     lib/BackupPC/Lang/it.pm
 106     lib/BackupPC/Lang/nl.pm
 107     lib/BackupPC/Lang/pt_br.pm
 108     lib/BackupPC/Storage/Text.pm
 109     lib/BackupPC/Xfer/Archive.pm
 110     lib/BackupPC/Xfer/BackupPCd.pm
 111     lib/BackupPC/Xfer/Smb.pm
 112     lib/BackupPC/Xfer/Tar.pm
 113     lib/BackupPC/Xfer/Rsync.pm
 114     lib/BackupPC/Xfer/RsyncDigest.pm
 115     lib/BackupPC/Xfer/RsyncFileIO.pm
 116     lib/BackupPC/Zip/FileMember.pm
 117     cgi-bin/BackupPC_Admin
 118 );
 119
 120 my %opts;
 121 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
 122     print("usage: $0 [-l]\n");
 123     exit(1);
 124 }
 125
 126 #
 127 # Check config parameters
 128 #
 129 my $ConfVars = {};
 130 my $errCnt;
 131
 132 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
 133
 134 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
 135
 136 #
 137 # These config parameters are not used in the code, so ignore them.
 138 #
 139 $ConfVars->{BackupPCUser} = 2;
 140 $ConfVars->{CgiDir}       = 2;
 141 $ConfVars->{TopDir}       = 2;
 142 $ConfVars->{LogDir}       = 2;
 143 $ConfVars->{ConfDir}      = 2;
 144 $ConfVars->{InstallDir}   = 2;
 145 $ConfVars->{CgiImageDir}  = 2;
 146
 147 #
 148 # These config parameters are used in the code to be backward compatible,
 149 # but are not present in the current config file, so ignore them.
 150 #
 151 $ConfVars->{BlackoutHourBegin} = 2;
 152 $ConfVars->{BlackoutHourEnd}   = 2;
 153 $ConfVars->{BlackoutWeekDays}  = 2;
 154 $ConfVars->{RsyncLogLevel}     = 2;
 155
 156 foreach my $file ( @PerlSrc ) {
 157     $errCnt += CheckConfigParams($file, $ConfVars, 1);
 158 }
 159 if ( !$opts{l} ) {
 160     $errCnt += CheckLangUsage();
 161     $errCnt += CheckLangTags();
 162 }
 163 if ( $errCnt ) {
 164     print("Exiting because of errors\n");
 165     exit(1)
 166 }
 167
 168 $errCnt = 0;
 169 foreach my $var ( sort(keys(%$ConfVars) ) ) {
 170     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
 171     printf("Unused config parameter $var\n");
 172     $errCnt++;
 173 }
 174 if ( $errCnt ) {
 175     print("Exiting because of errors\n");
 176     exit(1)
 177 }
 178
 179 rmtree($DistDir, 0, 0);
 180 mkpath($DistDir, 0, 0777);
 181
 182 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
 183                      lib/BackupPC/CGI
 184                      lib/BackupPC/Config
 185                      lib/BackupPC/Lang
 186                      lib/BackupPC/Storage
 187                      lib/BackupPC/Xfer
 188                      lib/BackupPC/Zip
 189                 ) ) {
 190     mkpath("$DistDir/$dir", 0, 0777);
 191 }
 192
 193 my %ConfName;
 194 my $ConfPod = config2pod();
 195 rmtree("doc", 0, 0);
 196 mkpath("doc", 0, 0777);
 197 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
 198
 199 use Pod::Html;
 200 pod2html("doc/BackupPC.pod",
 201         "--backlink=Back to Top",
 202         "--header",
 203         "--title=BackupPC",
 204         "--outfile=doc/BackupPC.html");
 205
 206 foreach my $file ( (@PerlSrc,
 207             <images/*>,
 208             qw(
 209                 conf/config.pl
 210                 conf/hosts
 211                 conf/BackupPC_stnd.css
 212                 init.d/README
 213                 init.d/src/debian-backuppc
 214                 init.d/src/gentoo-backuppc
 215                 init.d/src/gentoo-backuppc.conf
 216                 init.d/src/linux-backuppc
 217                 init.d/src/slackware-backuppc
 218                 init.d/src/solaris-backuppc
 219                 init.d/src/suse-backuppc
 220                 doc/BackupPC.pod
 221                 doc/BackupPC.html
 222                 README
 223                 LICENSE
 224                 ChangeLog
 225                 configure.pl
 226         )) ) {
 227     InstallFile("$file", "$DistDir/$file");
 228 }
 229 rmtree("doc", 0, 0);
 230 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
 231 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
 232 unlink("pod2htmd.x~~");
 233 unlink("pod2htmi.x~~");
 234 unlink("pod2htmd.tmp");
 235 unlink("pod2htmi.tmp");
 236
 237 ###########################################################################
 238 # Subroutines
 239 ###########################################################################
 240
 241 sub InstallFile
 242 {
 243     my($file, $dest) = @_;
 244
 245     unlink($dest) if ( -d $dest );
 246     if ( $file =~ /\.gif/ ) {
 247         die("can't copy($file, $dest)\n") unless copy($file, $dest);
 248     } else {
 249         open(FILE, $file)   || die("can't open $file for reading\n");
 250         open(OUT, ">$dest") || die("can't open $dest for writing\n");
 251         binmode(FILE);
 252         binmode(OUT);
 253         while ( <FILE> ) {
 254             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
 255             s/__VERSION__/$Version/g;
 256             s/__RELEASEDATE__/$ReleaseDate/g;
 257             if ( $file =~ /BackupPC\.html$/ ) {
 258                 #
 259                 # fixup for perl 5.6.x
 260                 #
 261                 if ( !/A NAME="item_(%|_)24Conf/i ) {
 262                     s/\$Conf{([^}]*)}/
 263                         defined($ConfName{$1})
 264                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
 265                             : "\$Conf{$1}"/eg;
 266                 }
 267                 s/<(A NAME="item_(%|_)24Conf(%|_)7B(.*?)(%|_)7D).*?">/\L<A NAME="item_%24Conf%7b$4%7d">/ig;
 268                 s/^<DD>/<DD><P>/;
 269                 #
 270                 # Fixup for perl 5.8.x first one no longer needed after
 271                 # fix in CSS)
 272                 #
 273 #               if ( /^<\/dt>/ ) {
 274 #                   $_ .= <FILE>;
 275 #                   s/^(<\/dt>\n<dd>)/$1<p>/s;
 276 #               }
 277                 s/^<li><\/li>/<li>/;
 278             }
 279             if ( /__CONFIGPOD__/ ) {
 280                 print OUT $ConfPod;
 281             } elsif ( /^use lib ".*BackupPC\/lib";/
 282                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
 283                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
 284             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$topDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
 285                 print OUT "$1'__TOPDIR__'$2\n";
 286             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$installDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
 287                 print OUT "$1'__INSTALLDIR__'$2\n";
 288             } elsif ( $file =~ /Lib.pm/ && /^(\s*my \$useFHS\s*=\s*)\d;/ ) {
 289                 print OUT "${1}0;\n";
 290             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_BIN_LIST__/ ) {
 291                 print OUT "        ", join("\n        ", grep(/^bin\//, @PerlSrc)), "\n";
 292             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_LIB_LIST__/ ) {
 293                 print OUT "        ", join("\n        ", grep(/^lib\//, @PerlSrc)), "\n";
 294             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
 295                 print OUT "$1'__INSTALLDIR__/lib';\n";
 296             } else {
 297                 print OUT;
 298             }
 299         }
 300         close(FILE);
 301         close(OUT);
 302     }
 303     if ( -x $file ) {
 304         chmod(0555, $dest);
 305     } else {
 306         chmod(0444, $dest);
 307     }
 308 }
 309
 310 sub config2pod
 311 {
 312     open(C, "conf/config.pl") || die("can't open conf/config.pl");
 313     binmode(C);
 314     my($str, $out, $getHdr, @conf);
 315     my $first = 1;
 316     while ( <C> ) {
 317         chomp;
 318         s/ +$//;
 319         if ( /^#########################/ ) {
 320             if ( $getHdr ) {
 321                 $str =~ s/\n.*//sg;
 322                 $out .= "=back\n\n" if ( !$first );
 323                 $out .= "=head2 $str\n\n=over 4\n\n";
 324                 $str = "";
 325                 $first = 0;
 326             }
 327             $getHdr = !$getHdr;
 328             next;
 329         }
 330         if ( /^#/ ) {
 331             s/# ?//;
 332             next if ( $str eq "" && /^$/ );
 333             $str .= $_ . "\n";
 334             $str .= "\n" if ( $str =~ /examples?:\n$/i );
 335         } elsif ( /^\$Conf{([^}]*)/ ) {
 336             my $var = $1;
 337             s/  +/ /g;
 338             s/;\s*#.*/;/;
 339             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
 340                 s/([^;])\s*$/$1 .../;
 341             }
 342             push(@conf, $_);
 343             my $text = "\$Conf{$var}";
 344             $text =~ s/\s+/_/sg;
 345             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
 346             $text = substr($text, 0, 50);
 347             $ConfName{$var} = "item_$text";
 348         } elsif ( /^$/ ) {
 349             if ( $str ne "" && @conf ) {
 350                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 351                 $out .= $str;
 352                 $out .= "\n" if ( $str !~ /\n$/ );
 353             }
 354             $str = "";
 355             @conf = ();
 356         }
 357     }
 358     if ( $str ne "" && @conf ) {
 359         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 360         $out .= $str;
 361         $out .= "\n" if ( $str !~ /\n$/ );
 362     }
 363     $out .= "=back\n\n" if ( !$first );
 364     return $out;
 365 }
 366
 367 sub CheckConfigParams
 368 {
 369     my($file, $vars, $check) = @_;
 370     my $errors;
 371
 372     open(F, $file) || die("can't open $file\n");
 373     binmode(F);
 374     if ( $check ) {
 375         while ( <F> ) {
 376             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
 377                     print("Unexpected Conf var $2 in $file\n");
 378                     $errors++;
 379                 } else {
 380                     $vars->{$2}++;
 381                 }/eg;
 382             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
 383                     print("Unexpected Conf var $1 in $file\n");
 384                     $errors++;
 385                 } else {
 386                     $vars->{$1}++;
 387                 }/eg;
 388             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
 389                     print("Unexpected Conf var $1 in $file\n");
 390                     $errors++;
 391                 } else {
 392                     $vars->{$1}++;
 393                 }/eg;
 394         }
 395     } else {
 396         while ( <F> ) {
 397             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
 398             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
 399         }
 400     }
 401     close(F);
 402     return $errors;
 403 }
 404
 405 #
 406 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
 407 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
 408 # we didn't miss any translations in any of the languages.
 409 #
 410 sub CheckLangUsage
 411 {
 412     my $errors;
 413     my $vars = {};
 414
 415     foreach my $file ( (
 416                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
 417                 <lib/BackupPC/CGI/*pm>
 418             ) ) {
 419         open(F, $file) || die("can't open $file");
 420         binmode(F);
 421         while ( <F> ) {
 422             next if ( /^\s*#/ );
 423             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
 424             s/(text|comment)\s*=>\s*"(CfgEdit_.*)"/$vars->{$2} = 1;/eg;
 425         }
 426         close(F);
 427     }
 428
 429     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
 430         my $done = {};
 431         open(F, $f) || die("can't open $f\n");
 432         binmode(F);
 433         while ( <F> ) {
 434             s/#.*//g;
 435             s/\$Lang{([^}]*)}/
 436                     my $var = $1;
 437                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
 438                     next if ( $var eq "Documentation" );
 439                     if ( !defined($vars->{$var}) ) {
 440                         print("Unexpected Lang var $var in $f\n");
 441                         $errors++;
 442                     } else {
 443                         $done->{$var} = 1;
 444                     }/eg;
 445         }
 446         close(F);
 447         foreach my $v ( keys(%$vars) ) {
 448             #
 449             # skip "variables" with "$", since they are like expressions
 450             #
 451             next if ( $v =~ /\$/ );
 452             if ( !defined($done->{$v}) ) {
 453                 print("Lang var $v missing from $f\n");
 454                 $errors++;
 455             }
 456         }
 457     }
 458     return $errors;
 459 }
 460
 461 #
 462 # Pedantically check that all the html tags in each language file
 463 # match.
 464 #
 465 sub CheckLangTags
 466 {
 467     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
 468     my($errors);
 469
 470     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm) ) {
 471         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
 472         foreach my $v1 ( @$en ) {
 473             my $v2 = shift(@$d);
 474             if ( $v1->{var} ne $v2->{var} ) {
 475                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
 476                 exit;
 477             }
 478             my $t1 = LangTextStrip($v1->{val});
 479             my $t2 = LangTextStrip($v2->{val});
 480             if ( $t1 ne $t2 ) {
 481                 my $i;
 482                 for ( $i = 0 ; $i < length($t1) ; $i++ ) {
 483                     last if ( substr($t1, 0, $i) ne substr($t2, 0, $i) );
 484                 }
 485                 print("$v1->{var}: ($i) got en.pm $t1\nvs $lang $t2\n\n");
 486                 $errors++;
 487             }
 488         }
 489     }
 490     return $errors;
 491 }
 492
 493 sub LangTextStrip
 494 {
 495     my($t) = @_;
 496
 497     $t = "" if ( $t !~ /<.*>/ );
 498     $t =~ s/^[^<]*</</s;
 499     $t =~ s/([}>])[^<]*</$1</g;
 500     $t =~ s/>[^<]*$/>/;
 501     $t =~ s/(value=)"[^"]*"/$1""/sg;
 502     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
 503     $t =~ s/ENG[\s\n]*//sg;
 504     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
 505     return $t;
 506 }
 507
 508 sub LangParse
 509 {
 510     my($file) = @_;
 511     open(C, $file) || die("can't open $file");
 512     binmode(C);
 513     my($out, @lang, $var);
 514     my $comment = 1;
 515     my $allVars = {};
 516     my $endLine = undef;
 517     while ( <C> ) {
 518         if ( /^#/ && !defined($endLine) ) {
 519             if ( $comment ) {
 520                 $out .= $_;
 521             } else {
 522                 if ( $out ne "" ) {
 523                     $allVars->{$var} = @lang if ( defined($var) );
 524                     push(@lang, {
 525                         text => $out,
 526                         var => $var,
 527                     });
 528                 }
 529                 $var = undef;
 530                 $comment = 1;
 531                 $out = $_;
 532             }
 533         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
 534             $comment = 0;
 535             if ( defined($var) ) {
 536                 $allVars->{$var} = @lang if ( defined($var) );
 537                 push(@lang, {
 538                     text => $out,
 539                     var => $var,
 540                 });
 541                 $out = $_;
 542             } else {
 543                 $out .= $_;
 544             }
 545             $var = $1;
 546             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
 547             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
 548         } else {
 549             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
 550             $out .= $_;
 551         }
 552     }
 553     if ( $out ne "" ) {
 554         $allVars->{$var} = @lang if ( defined($var) );
 555         push(@lang, {
 556             text => $out,
 557             var  => $var,
 558         });
 559     }
 560     close(C);
 561     foreach my $v ( @lang ) {
 562         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
 563             $v->{val} = $1;
 564         }
 565     }
 566     return (\@lang, $allVars);
 567 }