makeDist

   1 #!/bin/perl
   2 #
   3 # makeDist: Build a BackupPC distribution
   4 #
   5 # DESCRIPTION
   6 #
   7 #   This script should be run with no arguments to build a
   8 #   distribution.  The $Version and $ReleaseDate should be
   9 #   edited below to specify the version name and the release
  10 #   date.  The distribution is createede in the sub-directory
  11 #   dist.  The dsitribution is in the file name:
  12 #
  13 #           dist/BackupPC-$Version.tar.gz.
  14 #
  15 # AUTHOR
  16 #   Craig Barratt <cbarratt@users.sourceforge.net>
  17 #
  18 # COPYRIGHT
  19 #   Copyright (C) 2001-2003  Craig Barratt
  20 #
  21 #   This program is free software; you can redistribute it and/or modify
  22 #   it under the terms of the GNU General Public License as published by
  23 #   the Free Software Foundation; either version 2 of the License, or
  24 #   (at your option) any later version.
  25 #
  26 #   This program is distributed in the hope that it will be useful,
  27 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
  28 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  29 #   GNU General Public License for more details.
  30 #
  31 #   You should have received a copy of the GNU General Public License
  32 #   along with this program; if not, write to the Free Software
  33 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  34 #
  35 #========================================================================
  36 #
  37
  38 use strict;
  39 use File::Path;
  40 use File::Copy;
  41 use Getopt::Std;
  42
  43 umask(0022);
  44
  45 my $Version     = "2.1.0_CVS";
  46 my $ReleaseDate = "8 Feb 2004";
  47 my $DistDir     = "dist/BackupPC-$Version";
  48
  49 my @PerlSrc = qw(
  50     bin/BackupPC
  51     bin/BackupPC_archive
  52     bin/BackupPC_archiveHost
  53     bin/BackupPC_dump
  54     bin/BackupPC_link
  55     bin/BackupPC_nightly
  56     bin/BackupPC_restore
  57     bin/BackupPC_sendEmail
  58     bin/BackupPC_serverMesg
  59     bin/BackupPC_trashClean
  60     bin/BackupPC_tarExtract
  61     bin/BackupPC_tarCreate
  62     bin/BackupPC_compressPool
  63     bin/BackupPC_zipCreate
  64     bin/BackupPC_zcat
  65     lib/BackupPC/Attrib.pm
  66     lib/BackupPC/FileZIO.pm
  67     lib/BackupPC/Lib.pm
  68     lib/BackupPC/PoolWrite.pm
  69     lib/BackupPC/View.pm
  70     lib/BackupPC/CGI/AdminOptions.pm
  71     lib/BackupPC/CGI/Archive.pm
  72     lib/BackupPC/CGI/ArchiveInfo.pm
  73     lib/BackupPC/CGI/Browse.pm
  74     lib/BackupPC/CGI/DirHistory.pm
  75     lib/BackupPC/CGI/EmailSummary.pm
  76     lib/BackupPC/CGI/GeneralInfo.pm
  77     lib/BackupPC/CGI/HostInfo.pm
  78     lib/BackupPC/CGI/Lib.pm
  79     lib/BackupPC/CGI/LOGlist.pm
  80     lib/BackupPC/CGI/Queue.pm
  81     lib/BackupPC/CGI/ReloadServer.pm
  82     lib/BackupPC/CGI/RestoreFile.pm
  83     lib/BackupPC/CGI/RestoreInfo.pm
  84     lib/BackupPC/CGI/Restore.pm
  85     lib/BackupPC/CGI/StartServer.pm
  86     lib/BackupPC/CGI/StartStopBackup.pm
  87     lib/BackupPC/CGI/StopServer.pm
  88     lib/BackupPC/CGI/Summary.pm
  89     lib/BackupPC/CGI/View.pm
  90     lib/BackupPC/Lang/de.pm
  91     lib/BackupPC/Lang/en.pm
  92     lib/BackupPC/Lang/es.pm
  93     lib/BackupPC/Lang/fr.pm
  94     lib/BackupPC/Xfer/Archive.pm
  95     lib/BackupPC/Xfer/Smb.pm
  96     lib/BackupPC/Xfer/Tar.pm
  97     lib/BackupPC/Xfer/Rsync.pm
  98     lib/BackupPC/Xfer/RsyncFileIO.pm
  99     lib/BackupPC/Zip/FileMember.pm
 100     cgi-bin/BackupPC_Admin
 101 );
 102
 103 my %opts;
 104 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
 105     print("usage: $0 [-l]\n");
 106     exit(1);
 107 }
 108
 109 #
 110 # Check config parameters
 111 #
 112 my $ConfVars = {};
 113 my $errCnt;
 114
 115 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
 116 $ConfVars->{BackupPCUser} = 2;
 117 $ConfVars->{CgiDir} = 2;
 118 $ConfVars->{InstallDir} = 2;
 119 $ConfVars->{CgiImageDir} = 2;
 120 foreach my $file ( @PerlSrc ) {
 121     $errCnt += CheckConfigParams($file, $ConfVars, 1);
 122 }
 123 if ( !$opts{l} ) {
 124     $errCnt += CheckLangUsage();
 125     $errCnt += CheckLangTags();
 126 }
 127 if ( $errCnt ) {
 128     print("Exiting because of errors\n");
 129     exit(1)
 130 }
 131
 132 $errCnt = 0;
 133 foreach my $var ( sort(keys(%$ConfVars) ) ) {
 134     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
 135     printf("Unused config parameter $var\n");
 136     $errCnt++;
 137 }
 138 if ( $errCnt ) {
 139     print("Exiting because of errors\n");
 140     exit(1)
 141 }
 142
 143 rmtree($DistDir, 0, 0);
 144 mkpath($DistDir, 0, 0777);
 145
 146 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
 147                      lib/BackupPC/CGI
 148                      lib/BackupPC/Lang
 149                      lib/BackupPC/Xfer
 150                      lib/BackupPC/Zip
 151                 ) ) {
 152     mkpath("$DistDir/$dir", 0, 0777);
 153 }
 154
 155 my %ConfName;
 156 my $ConfPod = config2pod();
 157 rmtree("doc", 0, 0);
 158 mkpath("doc", 0, 0777);
 159 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
 160
 161 use Pod::Html;
 162 pod2html("doc/BackupPC.pod",
 163         "--backlink=Back to Top",
 164         "--header",
 165         "--title=BackupPC",
 166         "--outfile=doc/BackupPC.html");
 167
 168 foreach my $file ( (@PerlSrc,
 169             <images/*>,
 170             qw(
 171                 conf/config.pl
 172                 conf/hosts
 173                 init.d/README
 174                 init.d/src/debian-backuppc
 175                 init.d/src/gentoo-backuppc
 176                 init.d/src/gentoo-backuppc.conf
 177                 init.d/src/linux-backuppc
 178                 init.d/src/solaris-backuppc
 179                 init.d/src/suse-backuppc
 180                 doc/BackupPC.pod
 181                 doc/BackupPC.html
 182                 README
 183                 LICENSE
 184                 ChangeLog
 185                 configure.pl
 186         )) ) {
 187     InstallFile("$file", "$DistDir/$file");
 188 }
 189 rmtree("doc", 0, 0);
 190 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
 191 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
 192 unlink("pod2htmd.x~~");
 193 unlink("pod2htmi.x~~");
 194
 195 ###########################################################################
 196 # Subroutines
 197 ###########################################################################
 198
 199 sub InstallFile
 200 {
 201     my($file, $dest) = @_;
 202
 203     unlink($dest) if ( -d $dest );
 204     if ( $file =~ /\.gif/ ) {
 205         die("can't copy($file, $dest)\n") unless copy($file, $dest);
 206     } else {
 207         open(FILE, $file)   || die("can't open $file for reading\n");
 208         open(OUT, ">$dest") || die("can't open $dest for writing\n");
 209         binmode(FILE);
 210         binmode(OUT);
 211         while ( <FILE> ) {
 212             s/^# *Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/# Version __VERSION__, released __RELEASEDATE__./;
 213             s/__VERSION__/$Version/g;
 214             s/__RELEASEDATE__/$ReleaseDate/g;
 215             if ( $file =~ /BackupPC\.html$/ && !/A NAME="item_%24Conf/ ) {
 216                 s/\$Conf{([^}]*)}/
 217                         defined($ConfName{$1})
 218                             ? "<A HREF=\"#$ConfName{$1}\">\$Conf{$1}<\/A>"
 219                             : "\$Conf{$1}"/eg;
 220             }
 221             if ( /__CONFIGPOD__/ ) {
 222                 print OUT $ConfPod;
 223             } elsif ( /^use lib ".*BackupPC\/lib";/
 224                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
 225                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
 226             } elsif ( $file =~ /Lib.pm/ && /(.*TopDir *=> .*)'.*',/ ) {
 227                 print OUT "$1'__TOPDIR__',\n";
 228             } elsif ( $file =~ /Lib.pm/ && /(.*Version *=> .*)'[\w\d\.]+',/ ) {
 229                 print OUT "$1'$Version',\n";
 230             } elsif ( $file =~ /Lib.pm/ && /(.*BinDir *=> .*)'.*',/ ) {
 231                 print OUT "$1'__INSTALLDIR__',\n";
 232             } elsif ( $file =~ /Lib.pm/ && /(.*LibDir *=> .*)'.*',/ ) {
 233                 print OUT "$1'__INSTALLDIR__',\n";
 234             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
 235                 print OUT "$1'__INSTALLDIR__/lib';\n";
 236             } else {
 237                 print OUT;
 238             }
 239         }
 240         close(FILE);
 241         close(OUT);
 242     }
 243     if ( -x $file ) {
 244         chmod(0555, $dest);
 245     } else {
 246         chmod(0444, $dest);
 247     }
 248 }
 249
 250 sub config2pod
 251 {
 252     open(C, "conf/config.pl") || die("can't open conf/config.pl");
 253     binmode(C);
 254     my($str, $out, $getHdr, @conf);
 255     my $first = 1;
 256     while ( <C> ) {
 257         chomp;
 258         s/ +$//;
 259         if ( /^#########################/ ) {
 260             if ( $getHdr ) {
 261                 $str =~ s/\n.*//sg;
 262                 $out .= "=back\n\n" if ( !$first );
 263                 $out .= "=head2 $str\n\n=over 4\n\n";
 264                 $str = "";
 265                 $first = 0;
 266             }
 267             $getHdr = !$getHdr;
 268             next;
 269         }
 270         if ( /^#/ ) {
 271             s/# ?//;
 272             next if ( $str eq "" && /^$/ );
 273             $str .= $_ . "\n";
 274             $str .= "\n" if ( $str =~ /examples?:\n$/i );
 275         } elsif ( /^\$Conf{([^}]*)/ ) {
 276             my $var = $1;
 277             s/  +/ /g;
 278             s/;\s*#.*/;/;
 279             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
 280                 s/([^;])\s*$/$1 .../;
 281             }
 282             push(@conf, $_);
 283             my $text = $_;
 284             $text =~ s/\s+/_/sg;
 285             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
 286             $text = substr($text, 0, 50);
 287             $ConfName{$var} = "item_$text";
 288         } elsif ( /^$/ ) {
 289             if ( $str ne "" && @conf ) {
 290                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 291                 $out .= $str;
 292                 $out .= "\n" if ( $str !~ /\n$/ );
 293             }
 294             $str = "";
 295             @conf = ();
 296         }
 297     }
 298     if ( $str ne "" && @conf ) {
 299         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
 300         $out .= $str;
 301         $out .= "\n" if ( $str !~ /\n$/ );
 302     }
 303     $out .= "=back\n\n" if ( !$first );
 304     return $out;
 305 }
 306
 307 sub CheckConfigParams
 308 {
 309     my($file, $vars, $check) = @_;
 310     my $errors;
 311
 312     open(F, $file) || die("can't open $file\n");
 313     binmode(F);
 314     if ( $check ) {
 315         while ( <F> ) {
 316             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
 317                     print("Unexpected Conf var $2 in $file\n");
 318                     $errors++;
 319                 } else {
 320                     $vars->{$2}++;
 321                 }/eg;
 322             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
 323                     print("Unexpected Conf var $1 in $file\n");
 324                     $errors++;
 325                 } else {
 326                     $vars->{$1}++;
 327                 }/eg;
 328             s/UserCommandRun\("([^"]*)"\)/if ( !defined($vars->{$1}) ) {
 329                     print("Unexpected Conf var $1 in $file\n");
 330                     $errors++;
 331                 } else {
 332                     $vars->{$1}++;
 333                 }/eg;
 334         }
 335     } else {
 336         while ( <F> ) {
 337             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
 338             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
 339         }
 340     }
 341     close(F);
 342     return $errors;
 343 }
 344
 345 #
 346 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
 347 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
 348 # we didn't miss any translations in any of the languages.
 349 #
 350 sub CheckLangUsage
 351 {
 352     my $errors;
 353     my $vars = {};
 354
 355     foreach my $file ( (
 356                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
 357                 <lib/BackupPC/CGI/*pm>
 358             ) ) {
 359         open(F, $file) || die("can't open $file");
 360         binmode(F);
 361         while ( <F> ) {
 362             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
 363         }
 364         close(F);
 365     }
 366
 367     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
 368         my $done = {};
 369         open(F, $f) || die("can't open $f\n");
 370         binmode(F);
 371         while ( <F> ) {
 372             s/#.*//g;
 373             s/\$Lang{([^}]*)}/
 374                     my $var = $1;
 375                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
 376                     if ( !defined($vars->{$var}) ) {
 377                         print("Unexpected Lang var $var in $f\n");
 378                         $errors++;
 379                     } else {
 380                         $done->{$var} = 1;
 381                     }/eg;
 382         }
 383         close(F);
 384         foreach my $v ( keys(%$vars) ) {
 385             #
 386             # skip "variables" with "$", since they are like expressions
 387             #
 388             next if ( $v =~ /\$/ );
 389             if ( !defined($done->{$v}) ) {
 390                 print("Lang var $v missing from $f\n");
 391                 $errors++;
 392             }
 393         }
 394     }
 395     return $errors;
 396 }
 397
 398 #
 399 # Pedantically check that all the html tags in each language file
 400 # match.
 401 #
 402 sub CheckLangTags
 403 {
 404     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
 405     my($errors);
 406
 407     foreach my $lang ( qw(fr.pm de.pm es.pm) ) {
 408         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
 409         foreach my $v1 ( @$en ) {
 410             my $v2 = shift(@$d);
 411             if ( $v1->{var} ne $v2->{var} ) {
 412                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
 413                 exit;
 414             }
 415             my $t1 = LangTextStrip($v1->{val});
 416             my $t2 = LangTextStrip($v2->{val});
 417             if ( $t1 ne $t2 ) {
 418                 print("$v1->{var}: got en.pm $t1\nvs $lang $t2\n\n");
 419                 $errors++;
 420             }
 421         }
 422     }
 423     return $errors;
 424 }
 425
 426 sub LangTextStrip
 427 {
 428     my($t) = @_;
 429
 430     $t = "" if ( $t !~ /<.*>/ );
 431     $t =~ s/^[^<]*</</s;
 432     $t =~ s/([}>])[^<]*</$1</g;
 433     $t =~ s/>[^<]*$/>/;
 434     $t =~ s/(value=)"[^"]*"/$1""/sg;
 435     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
 436     $t =~ s/ENG[\s\n]*//sg;
 437     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
 438     return $t;
 439 }
 440
 441 sub LangParse
 442 {
 443     my($file) = @_;
 444     open(C, $file) || die("can't open $file");
 445     binmode(C);
 446     my($out, @lang, $var);
 447     my $comment = 1;
 448     my $allVars = {};
 449     my $endLine = undef;
 450     while ( <C> ) {
 451         if ( /^#/ && !defined($endLine) ) {
 452             if ( $comment ) {
 453                 $out .= $_;
 454             } else {
 455                 if ( $out ne "" ) {
 456                     $allVars->{$var} = @lang if ( defined($var) );
 457                     push(@lang, {
 458                         text => $out,
 459                         var => $var,
 460                     });
 461                 }
 462                 $var = undef;
 463                 $comment = 1;
 464                 $out = $_;
 465             }
 466         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
 467             $comment = 0;
 468             if ( defined($var) ) {
 469                 $allVars->{$var} = @lang if ( defined($var) );
 470                 push(@lang, {
 471                     text => $out,
 472                     var => $var,
 473                 });
 474                 $out = $_;
 475             } else {
 476                 $out .= $_;
 477             }
 478             $var = $1;
 479             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
 480             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
 481         } else {
 482             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
 483             $out .= $_;
 484         }
 485     }
 486     if ( $out ne "" ) {
 487         $allVars->{$var} = @lang if ( defined($var) );
 488         push(@lang, {
 489             text => $out,
 490             var  => $var,
 491         });
 492     }
 493     close(C);
 494     foreach my $v ( @lang ) {
 495         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
 496             $v->{val} = $1;
 497         }
 498     }
 499     return (\@lang, $allVars);
 500 }