makeDist

   1 #!/bin/perl
   2 #
   3 # makeDist: Build a BackupPC distribution
   4 #
   5 # DESCRIPTION
   6 #
   7 #   This script should be run with no arguments to build a
   8 #   distribution.  The $Version and $ReleaseDate should be
   9 #   edited below to specify the version name and the release
  10 #   date.  The distribution is createede in the sub-directory
  11 #   dist.  The dsitribution is in the file name:
  12 #
  13 #           dist/BackupPC-$Version.tar.gz.
  14 #
  15 # AUTHOR
  16 #   Craig Barratt <cbarratt@users.sourceforge.net>
  17 #
  18 # COPYRIGHT
  19 #   Copyright (C) 2001-2004  Craig Barratt
  20 #
  21 #   This program is free software; you can redistribute it and/or modify
  22 #   it under the terms of the GNU General Public License as published by
  23 #   the Free Software Foundation; either version 2 of the License, or
  24 #   (at your option) any later version.
  25 #
  26 #   This program is distributed in the hope that it will be useful,
  27 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
  28 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  29 #   GNU General Public License for more details.
  30 #
  31 #   You should have received a copy of the GNU General Public License
  32 #   along with this program; if not, write to the Free Software
  33 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  34 #
  35 #========================================================================
  36 #
  37
  38 use strict;
  39 use File::Path;
  40 use File::Copy;
  41 use Getopt::Std;
  42
  43 umask(0022);
  44
  45 my $Version     = "3.0.0alpha";
  46 my $ReleaseDate = "23 Jan 2006";
  47 my $DistDir     = "dist/BackupPC-$Version";
  48
  49 my @PerlSrc = qw(
  50     bin/BackupPC
  51     bin/BackupPC_archive
  52     bin/BackupPC_archiveHost
  53     bin/BackupPC_attribPrint
  54     bin/BackupPC_dump
  55     bin/BackupPC_fixupBackupSummary
  56     bin/BackupPC_link
  57     bin/BackupPC_nightly
  58     bin/BackupPC_restore
  59     bin/BackupPC_sendEmail
  60     bin/BackupPC_serverMesg
  61     bin/BackupPC_trashClean
  62     bin/BackupPC_tarExtract
  63     bin/BackupPC_tarCreate
  64     bin/BackupPC_tarPCCopy
  65     bin/BackupPC_compressPool
  66     bin/BackupPC_zipCreate
  67     bin/BackupPC_zcat
  68     lib/BackupPC/Attrib.pm
  69     lib/BackupPC/Config.pm
  70     lib/BackupPC/FileZIO.pm
  71     lib/BackupPC/Lib.pm
  72     lib/BackupPC/PoolWrite.pm
  73     lib/BackupPC/Storage.pm
  74     lib/BackupPC/View.pm
  75     lib/BackupPC/CGI/AdminOptions.pm
  76     lib/BackupPC/CGI/Archive.pm
  77     lib/BackupPC/CGI/ArchiveInfo.pm
  78     lib/BackupPC/CGI/Browse.pm
  79     lib/BackupPC/CGI/DirHistory.pm
  80     lib/BackupPC/CGI/EditConfig.pm
  81     lib/BackupPC/CGI/EmailSummary.pm
  82     lib/BackupPC/CGI/GeneralInfo.pm
  83     lib/BackupPC/CGI/HostInfo.pm
  84     lib/BackupPC/CGI/Lib.pm
  85     lib/BackupPC/CGI/LOGlist.pm
  86     lib/BackupPC/CGI/Queue.pm
  87     lib/BackupPC/CGI/ReloadServer.pm
  88     lib/BackupPC/CGI/RestoreFile.pm
  89     lib/BackupPC/CGI/RestoreInfo.pm
  90     lib/BackupPC/CGI/Restore.pm
  91     lib/BackupPC/CGI/StartServer.pm
  92     lib/BackupPC/CGI/StartStopBackup.pm
  93     lib/BackupPC/CGI/StopServer.pm
  94     lib/BackupPC/CGI/Summary.pm
  95     lib/BackupPC/CGI/View.pm
  96     lib/BackupPC/Config/Meta.pm
  97     lib/BackupPC/Lang/de.pm
  98     lib/BackupPC/Lang/en.pm
  99     lib/BackupPC/Lang/es.pm
 100     lib/BackupPC/Lang/fr.pm
 101     lib/BackupPC/Lang/it.pm
 102     lib/BackupPC/Lang/nl.pm
 103     lib/BackupPC/Lang/pt_br.pm
 104     lib/BackupPC/Storage/Text.pm
 105     lib/BackupPC/Xfer/Archive.pm
 106     lib/BackupPC/Xfer/Smb.pm
 107     lib/BackupPC/Xfer/Tar.pm
 108     lib/BackupPC/Xfer/Rsync.pm
 109     lib/BackupPC/Xfer/RsyncDigest.pm
 110     lib/BackupPC/Xfer/RsyncFileIO.pm
 111     lib/BackupPC/Zip/FileMember.pm
 112     cgi-bin/BackupPC_Admin
 113 );
 114
 115 my %opts;
 116 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
 117     print("usage: $0 [-l]\n");
 118     exit(1);
 119 }
 120
 121 #
 122 # Check config parameters
 123 #
 124 my $ConfVars = {};
 125 my $errCnt;
 126
 127 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
 128
 129 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
 130
 131 #
 132 # These config parameters are not used in the code, so ignore them.
 133 #
 134 $ConfVars->{BackupPCUser} = 2;
 135 $ConfVars->{CgiDir}       = 2;
 136 $ConfVars->{InstallDir}   = 2;
 137 $ConfVars->{CgiImageDir}  = 2;
 138
 139 #
 140 # These config parameters are used in the code to be backward compatible,
 141 # but are not present in the current config file, so ignore them.
 142 #
 143 $ConfVars->{BlackoutHourBegin} = 2;
 144 $ConfVars->{BlackoutHourEnd}   = 2;
 145 $ConfVars->{BlackoutWeekDays}  = 2;
 146 $ConfVars->{RsyncLogLevel}     = 2;
 147
 148 foreach my $file ( @PerlSrc ) {
 149     $errCnt += CheckConfigParams($file, $ConfVars, 1);
 150 }
 151 if ( !$opts{l} ) {
 152     $errCnt += CheckLangUsage();
 153     $errCnt += CheckLangTags();
 154 }
 155 if ( $errCnt ) {
 156     print("Exiting because of errors\n");
 157     exit(1)
 158 }
 159
 160 $errCnt = 0;
 161 foreach my $var ( sort(keys(%$ConfVars) ) ) {
 162     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
 163     printf("Unused config parameter $var\n");
 164     $errCnt++;
 165 }
 166 if ( $errCnt ) {
 167     print("Exiting because of errors\n");
 168     exit(1)
 169 }
 170
 171 rmtree($DistDir, 0, 0);
 172 mkpath($DistDir, 0, 0777);
 173
 174 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
 175                      lib/BackupPC/CGI
 176                      lib/BackupPC/Config
 177                      lib/BackupPC/Lang
 178                      lib/BackupPC/Storage
 179                      lib/BackupPC/Xfer
 180                      lib/BackupPC/Zip
 181                 ) ) {
 182     mkpath("$DistDir/$dir", 0, 0777);
 183 }
 184
 185 my %ConfName;
 186 my $ConfPod = config2pod();
 187 rmtree("doc", 0, 0);
 188 mkpath("doc", 0, 0777);
 189 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
 190
 191 use Pod::Html;
 192 pod2html("doc/BackupPC.pod",
 193         "--backlink=Back to Top",
 194         "--header",
 195         "--title=BackupPC",
 196         "--outfile=doc/BackupPC.html");
 197
 198 foreach my $file ( (@PerlSrc,
 199             <images/*>,
 200             qw(
 201                 conf/config.pl
 202                 conf/hosts
 203                 conf/BackupPC_stnd.css
 204                 init.d/README
 205                 init.d/src/debian-backuppc
 206                 init.d/src/gentoo-backuppc
 207                 init.d/src/gentoo-backuppc.conf
 208                 init.d/src/linux-backuppc
 209                 init.d/src/slackware-backuppc
 210                 init.d/src/solaris-backuppc
 211                 init.d/src/suse-backuppc
 212                 doc/BackupPC.pod
 213                 doc/BackupPC.html
 214                 README
 215                 LICENSE
 216                 ChangeLog
 217                 configure.pl
 218         )) ) {
 219     InstallFile("$file", "$DistDir/$file");
 220 }
 221 rmtree("doc", 0, 0);
 222 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
 223 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
 224 unlink("pod2htmd.x~~");
 225 unlink("pod2htmi.x~~");
 226 unlink("pod2htmd.tmp");
 227 unlink("pod2htmi.tmp");
 228
 229 ###########################################################################
 230 # Subroutines
 231 ###########################################################################
 232
 233 sub InstallFile
 234 {
 235     my($file, $dest) = @_;
 236
 237     unlink($dest) if ( -d $dest );
 238     if ( $file =~ /\.gif/ ) {
 239         die("can't copy($file, $dest)\n") unless copy($file, $dest);
 240     } else {
 241         open(FILE, $file)   || die("can't open $file for reading\n");
 242         open(OUT, ">$dest") || die("can't open $dest for writing\n");
 243         binmode(FILE);
 244         binmode(OUT);
 245         while ( <FILE> ) {
 246             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
 247             s/__VERSION__/$Version/g;
 248             s/__RELEASEDATE__/$ReleaseDate/g;
 249             if ( $file =~ /BackupPC\.html$/ ) {
 250                 #
 251                 # fixup for perl 5.6.x
 252                 #
 253                 if ( !/A NAME="item_(%|_)24Conf/i ) {
 254                     s/\$Conf{([^}]*)}/
 255                         defined($ConfName{$1})
 256                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
 257                             : "\$Conf{$1}"/eg;
 258                 }
 259                 s/<(A NAME="item_(%|_)24Conf(%|_)7B(.*?)(%|_)7D).*?">/\L<A NAME="item_%24Conf%7b$4%7d">/ig;
 260                 s/^<DD>/<DD><P>/;
 261                 #
 262                 # Fixup for perl 5.8.x first one no longer needed after
 263                 # fix in CSS)
 264                 #
 265 #               if ( /^<\/dt>/ ) {
 266 #                   $_ .= <FILE>;
 267 #                   s/^(<\/dt>\n<dd>)/$1<p>/s;
 268 #               }
 269                 s/^<li><\/li>/<li>/;
 270             }
 271             if ( /__CONFIGPOD__/ ) {
 272                 print OUT $ConfPod;
 273             } elsif ( /^use lib ".*BackupPC\/lib";/
 274                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
 275                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
 276             } elsif ( $file =~ /Lib.pm/ && /(.*TopDir *=> .*)'.*',/ ) {
 277                 print OUT "$1'__TOPDIR__',\n";
 278             } elsif ( $file =~ /Lib.pm/ && /(.*Version *=> .*)'[\w\d\.]+',/ ) {
 279                 print OUT "$1'$Version',\n";
 280             } elsif ( $file =~ /Lib.pm/ && /(.*BinDir *=> .*)'.*',/ ) {
 281                 print OUT "$1'__INSTALLDIR__',\n";
 282             } elsif ( $file =~ /Lib.pm/ && /(.*LibDir *=> .*)'.*',/ ) {
 283                 print OUT "$1'__INSTALLDIR__',\n";
 284             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
 285                 print OUT "$1'__INSTALLDIR__/lib';\n";
 286             } else {
 287                 print OUT;
 288             }
 289         }
 290         close(FILE);
 291         close(OUT);
 292     }
 293     if ( -x $file ) {
 294         chmod(0555, $dest);
 295     } else {
 296         chmod(0444, $dest);
 297     }
 298 }
 299
 300 sub config2pod
 301 {
 302     open(C, "conf/config.pl") || die("can't open conf/config.pl");
 303     binmode(C);
 304     my($str, $out, $getHdr, @conf);
 305     my $first = 1;
 306     while ( <C> ) {
 307         chomp;
 308         s/ +$//;
 309         if ( /^#########################/ ) {
 310             if ( $getHdr ) {
 311                 $str =~ s/\n.*//sg;
 312                 $out .= "=back\n\n" if ( !$first );
 313                 $out .= "=head2 $str\n\n=over 4\n\n";
 314                 $str = "";
 315                 $first = 0;
 316             }
 317             $getHdr = !$getHdr;
 318             next;
 319         }
 320         if ( /^#/ ) {
 321             s/# ?//;
 322             next if ( $str eq "" && /^$/ );
 323             $str .= $_ . "\n";
 324             $str .= "\n" if ( $str =~ /examples?:\n$/i );
 325         } elsif ( /^\$Conf{([^}]*)/ ) {
 326             my $var = $1;
 327             s/  +/ /g;
 328             s/;\s*#.*/;/;
 329             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
 330                 s/([^;])\s*$/$1 .../;
 331             }
 332             push(@conf, $_);
 333             my $text = "\$Conf{$var}";
 334             $text =~ s/\s+/_/sg;
 335             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
 336             $text = substr($text, 0, 50);
 337             $ConfName{$var} = "item_$text";
 338         } elsif ( /^$/ ) {
 339             if ( $str ne "" && @conf ) {
 340                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 341                 $out .= $str;
 342                 $out .= "\n" if ( $str !~ /\n$/ );
 343             }
 344             $str = "";
 345             @conf = ();
 346         }
 347     }
 348     if ( $str ne "" && @conf ) {
 349         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 350         $out .= $str;
 351         $out .= "\n" if ( $str !~ /\n$/ );
 352     }
 353     $out .= "=back\n\n" if ( !$first );
 354     return $out;
 355 }
 356
 357 sub CheckConfigParams
 358 {
 359     my($file, $vars, $check) = @_;
 360     my $errors;
 361
 362     open(F, $file) || die("can't open $file\n");
 363     binmode(F);
 364     if ( $check ) {
 365         while ( <F> ) {
 366             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
 367                     print("Unexpected Conf var $2 in $file\n");
 368                     $errors++;
 369                 } else {
 370                     $vars->{$2}++;
 371                 }/eg;
 372             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
 373                     print("Unexpected Conf var $1 in $file\n");
 374                     $errors++;
 375                 } else {
 376                     $vars->{$1}++;
 377                 }/eg;
 378             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
 379                     print("Unexpected Conf var $1 in $file\n");
 380                     $errors++;
 381                 } else {
 382                     $vars->{$1}++;
 383                 }/eg;
 384         }
 385     } else {
 386         while ( <F> ) {
 387             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
 388             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
 389         }
 390     }
 391     close(F);
 392     return $errors;
 393 }
 394
 395 #
 396 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
 397 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
 398 # we didn't miss any translations in any of the languages.
 399 #
 400 sub CheckLangUsage
 401 {
 402     my $errors;
 403     my $vars = {};
 404
 405     foreach my $file ( (
 406                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
 407                 <lib/BackupPC/CGI/*pm>
 408             ) ) {
 409         open(F, $file) || die("can't open $file");
 410         binmode(F);
 411         while ( <F> ) {
 412             next if ( /^\s*#/ );
 413             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
 414         }
 415         close(F);
 416     }
 417
 418     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
 419         my $done = {};
 420         open(F, $f) || die("can't open $f\n");
 421         binmode(F);
 422         while ( <F> ) {
 423             s/#.*//g;
 424             s/\$Lang{([^}]*)}/
 425                     my $var = $1;
 426                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
 427                     next if ( $var eq "Documentation" );
 428                     if ( !defined($vars->{$var}) ) {
 429                         print("Unexpected Lang var $var in $f\n");
 430                         $errors++;
 431                     } else {
 432                         $done->{$var} = 1;
 433                     }/eg;
 434         }
 435         close(F);
 436         foreach my $v ( keys(%$vars) ) {
 437             #
 438             # skip "variables" with "$", since they are like expressions
 439             #
 440             next if ( $v =~ /\$/ );
 441             if ( !defined($done->{$v}) ) {
 442                 print("Lang var $v missing from $f\n");
 443                 $errors++;
 444             }
 445         }
 446     }
 447     return $errors;
 448 }
 449
 450 #
 451 # Pedantically check that all the html tags in each language file
 452 # match.
 453 #
 454 sub CheckLangTags
 455 {
 456     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
 457     my($errors);
 458
 459     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm) ) {
 460         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
 461         foreach my $v1 ( @$en ) {
 462             my $v2 = shift(@$d);
 463             if ( $v1->{var} ne $v2->{var} ) {
 464                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
 465                 exit;
 466             }
 467             my $t1 = LangTextStrip($v1->{val});
 468             my $t2 = LangTextStrip($v2->{val});
 469             if ( $t1 ne $t2 ) {
 470                 print("$v1->{var}: got en.pm $t1\nvs $lang $t2\n\n");
 471                 $errors++;
 472             }
 473         }
 474     }
 475     return $errors;
 476 }
 477
 478 sub LangTextStrip
 479 {
 480     my($t) = @_;
 481
 482     $t = "" if ( $t !~ /<.*>/ );
 483     $t =~ s/^[^<]*</</s;
 484     $t =~ s/([}>])[^<]*</$1</g;
 485     $t =~ s/>[^<]*$/>/;
 486     $t =~ s/(value=)"[^"]*"/$1""/sg;
 487     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
 488     $t =~ s/ENG[\s\n]*//sg;
 489     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
 490     return $t;
 491 }
 492
 493 sub LangParse
 494 {
 495     my($file) = @_;
 496     open(C, $file) || die("can't open $file");
 497     binmode(C);
 498     my($out, @lang, $var);
 499     my $comment = 1;
 500     my $allVars = {};
 501     my $endLine = undef;
 502     while ( <C> ) {
 503         if ( /^#/ && !defined($endLine) ) {
 504             if ( $comment ) {
 505                 $out .= $_;
 506             } else {
 507                 if ( $out ne "" ) {
 508                     $allVars->{$var} = @lang if ( defined($var) );
 509                     push(@lang, {
 510                         text => $out,
 511                         var => $var,
 512                     });
 513                 }
 514                 $var = undef;
 515                 $comment = 1;
 516                 $out = $_;
 517             }
 518         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
 519             $comment = 0;
 520             if ( defined($var) ) {
 521                 $allVars->{$var} = @lang if ( defined($var) );
 522                 push(@lang, {
 523                     text => $out,
 524                     var => $var,
 525                 });
 526                 $out = $_;
 527             } else {
 528                 $out .= $_;
 529             }
 530             $var = $1;
 531             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
 532             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
 533         } else {
 534             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
 535             $out .= $_;
 536         }
 537     }
 538     if ( $out ne "" ) {
 539         $allVars->{$var} = @lang if ( defined($var) );
 540         push(@lang, {
 541             text => $out,
 542             var  => $var,
 543         });
 544     }
 545     close(C);
 546     foreach my $v ( @lang ) {
 547         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
 548             $v->{val} = $1;
 549         }
 550     }
 551     return (\@lang, $allVars);
 552 }