af1092ad8ed8446cdbd9753e6f1d0d61732459d5
[BackupPC.git] / makeDist
1 #!/bin/perl
2 #
3 # makeDist: Build a BackupPC distribution
4 #
5 # DESCRIPTION
6 #
7 #   This script should be run with no arguments to build a
8 #   distribution.  The $Version and $ReleaseDate should be
9 #   edited below to specify the version name and the release
10 #   date.  The distribution is createede in the sub-directory
11 #   dist.  The dsitribution is in the file name:
12 #
13 #           dist/BackupPC-$Version.tar.gz.
14 #
15 #   Often the language files are not up to date, and makeDist
16 #   exits after complaining about the lang files being inconsistent.
17 #   Use the -l option to turn off that behavior.
18 #
19 # AUTHOR
20 #   Craig Barratt <cbarratt@users.sourceforge.net>
21 #
22 # COPYRIGHT
23 #   Copyright (C) 2001-2006  Craig Barratt
24 #
25 #   This program is free software; you can redistribute it and/or modify
26 #   it under the terms of the GNU General Public License as published by
27 #   the Free Software Foundation; either version 2 of the License, or
28 #   (at your option) any later version.
29 #
30 #   This program is distributed in the hope that it will be useful,
31 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
32 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
33 #   GNU General Public License for more details.
34 #
35 #   You should have received a copy of the GNU General Public License
36 #   along with this program; if not, write to the Free Software
37 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
38 #
39 #========================================================================
40 #
41
42 use strict;
43 use File::Path;
44 use File::Copy;
45 use Getopt::Std;
46
47 umask(0022);
48
49 my $Version     = "3.0.0alpha";
50 my $ReleaseDate = "23 Jan 2006";
51 my $DistDir     = "dist/BackupPC-$Version";
52
53 my @PerlSrc = qw(
54     bin/BackupPC
55     bin/BackupPC_archive
56     bin/BackupPC_archiveHost
57     bin/BackupPC_attribPrint
58     bin/BackupPC_dump
59     bin/BackupPC_fixupBackupSummary
60     bin/BackupPC_link
61     bin/BackupPC_nightly
62     bin/BackupPC_restore
63     bin/BackupPC_sendEmail
64     bin/BackupPC_serverMesg
65     bin/BackupPC_trashClean
66     bin/BackupPC_tarExtract
67     bin/BackupPC_tarCreate
68     bin/BackupPC_tarPCCopy
69     bin/BackupPC_compressPool
70     bin/BackupPC_zipCreate
71     bin/BackupPC_zcat
72     lib/BackupPC/Attrib.pm
73     lib/BackupPC/Config.pm
74     lib/BackupPC/FileZIO.pm
75     lib/BackupPC/Lib.pm
76     lib/BackupPC/PoolWrite.pm
77     lib/BackupPC/Storage.pm
78     lib/BackupPC/View.pm
79     lib/BackupPC/CGI/AdminOptions.pm
80     lib/BackupPC/CGI/Archive.pm
81     lib/BackupPC/CGI/ArchiveInfo.pm
82     lib/BackupPC/CGI/Browse.pm
83     lib/BackupPC/CGI/DirHistory.pm
84     lib/BackupPC/CGI/EditConfig.pm
85     lib/BackupPC/CGI/EmailSummary.pm
86     lib/BackupPC/CGI/GeneralInfo.pm
87     lib/BackupPC/CGI/HostInfo.pm
88     lib/BackupPC/CGI/Lib.pm
89     lib/BackupPC/CGI/LOGlist.pm
90     lib/BackupPC/CGI/Queue.pm
91     lib/BackupPC/CGI/ReloadServer.pm
92     lib/BackupPC/CGI/RestoreFile.pm
93     lib/BackupPC/CGI/RestoreInfo.pm
94     lib/BackupPC/CGI/Restore.pm
95     lib/BackupPC/CGI/StartServer.pm
96     lib/BackupPC/CGI/StartStopBackup.pm
97     lib/BackupPC/CGI/StopServer.pm
98     lib/BackupPC/CGI/Summary.pm
99     lib/BackupPC/CGI/View.pm
100     lib/BackupPC/Config/Meta.pm
101     lib/BackupPC/Lang/de.pm
102     lib/BackupPC/Lang/en.pm
103     lib/BackupPC/Lang/es.pm
104     lib/BackupPC/Lang/fr.pm
105     lib/BackupPC/Lang/it.pm
106     lib/BackupPC/Lang/nl.pm
107     lib/BackupPC/Lang/pt_br.pm
108     lib/BackupPC/Storage/Text.pm
109     lib/BackupPC/Xfer/Archive.pm
110     lib/BackupPC/Xfer/BackupPCd.pm
111     lib/BackupPC/Xfer/Smb.pm
112     lib/BackupPC/Xfer/Tar.pm
113     lib/BackupPC/Xfer/Rsync.pm
114     lib/BackupPC/Xfer/RsyncDigest.pm
115     lib/BackupPC/Xfer/RsyncFileIO.pm
116     lib/BackupPC/Zip/FileMember.pm
117     cgi-bin/BackupPC_Admin
118 );
119
120 my %opts;
121 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
122     print("usage: $0 [-l]\n");
123     exit(1);
124 }
125
126 #
127 # Check config parameters
128 #
129 my $ConfVars = {};
130 my $errCnt;
131
132 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
133
134 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
135
136 $errCnt += CheckMetaDataVsConfig($ConfVars, "lib/BackupPC/Config/Meta.pm");
137
138 $errCnt += CheckEditorVsConfig($ConfVars, "lib/BackupPC/CGI/EditConfig.pm");
139
140 #
141 # These config parameters are not used in the code, so ignore them.
142 #
143 $ConfVars->{BackupPCUser} = 2;
144 $ConfVars->{CgiDir}       = 2;
145 $ConfVars->{TopDir}       = 2;
146 $ConfVars->{LogDir}       = 2;
147 $ConfVars->{ConfDir}      = 2;
148 $ConfVars->{InstallDir}   = 2;
149 $ConfVars->{CgiImageDir}  = 2;
150
151 #
152 # These config parameters are used in the code to be backward compatible,
153 # but are not present in the current config file, so ignore them.
154 #
155 $ConfVars->{BlackoutHourBegin} = 2;
156 $ConfVars->{BlackoutHourEnd}   = 2;
157 $ConfVars->{BlackoutWeekDays}  = 2;
158 $ConfVars->{RsyncLogLevel}     = 2;
159
160 foreach my $file ( @PerlSrc ) {
161     $errCnt += CheckConfigParams($file, $ConfVars, 1);
162 }
163 if ( !$opts{l} ) {
164     $errCnt += CheckLangUsage();
165     $errCnt += CheckLangTags();
166 }
167 if ( $errCnt ) {
168     print("Exiting because of errors\n");
169     exit(1)
170 }
171
172 $errCnt = 0;
173 foreach my $var ( sort(keys(%$ConfVars) ) ) {
174     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
175     printf("Unused config parameter $var\n");
176     $errCnt++;
177 }
178 if ( $errCnt ) {
179     print("Exiting because of errors\n");
180     exit(1)
181 }
182
183 rmtree($DistDir, 0, 0);
184 mkpath($DistDir, 0, 0777);
185
186 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
187                      lib/BackupPC/CGI
188                      lib/BackupPC/Config
189                      lib/BackupPC/Lang
190                      lib/BackupPC/Storage
191                      lib/BackupPC/Xfer
192                      lib/BackupPC/Zip
193                 ) ) {
194     mkpath("$DistDir/$dir", 0, 0777);
195 }
196
197 my %ConfName;
198 my $ConfPod = config2pod();
199 rmtree("doc", 0, 0);
200 mkpath("doc", 0, 0777);
201 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
202
203 use Pod::Html;
204 pod2html("doc/BackupPC.pod",
205         "--backlink=Back to Top",
206         "--header",
207         "--title=BackupPC",
208         "--outfile=doc/BackupPC.html");
209
210 foreach my $file ( (@PerlSrc,
211             <images/*>,
212             qw(
213                 conf/config.pl
214                 conf/hosts
215                 conf/BackupPC_stnd.css
216                 init.d/README
217                 init.d/src/debian-backuppc
218                 init.d/src/gentoo-backuppc
219                 init.d/src/gentoo-backuppc.conf
220                 init.d/src/linux-backuppc
221                 init.d/src/slackware-backuppc
222                 init.d/src/solaris-backuppc
223                 init.d/src/suse-backuppc
224                 doc/BackupPC.pod
225                 doc/BackupPC.html
226                 README
227                 LICENSE
228                 ChangeLog
229                 configure.pl
230         )) ) {
231     InstallFile("$file", "$DistDir/$file");
232 }
233 rmtree("doc", 0, 0);
234 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
235 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
236 unlink("pod2htmd.x~~");
237 unlink("pod2htmi.x~~");
238 unlink("pod2htmd.tmp");
239 unlink("pod2htmi.tmp");
240
241 ###########################################################################
242 # Subroutines
243 ###########################################################################
244
245 sub InstallFile
246 {
247     my($file, $dest) = @_;
248
249     unlink($dest) if ( -d $dest );
250     if ( $file =~ /\.gif/ ) {
251         die("can't copy($file, $dest)\n") unless copy($file, $dest);
252     } else {
253         open(FILE, $file)   || die("can't open $file for reading\n");
254         open(OUT, ">$dest") || die("can't open $dest for writing\n");
255         binmode(FILE);
256         binmode(OUT);
257         while ( <FILE> ) {
258             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
259             s/__VERSION__/$Version/g;
260             s/__RELEASEDATE__/$ReleaseDate/g;
261             if ( $file =~ /BackupPC\.html$/ ) {
262                 #
263                 # fixup for perl 5.6.x
264                 #
265                 if ( !/A NAME="item_(%|_)24Conf/i ) {
266                     s/\$Conf{([^}]*)}/
267                         defined($ConfName{$1})
268                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
269                             : "\$Conf{$1}"/eg;
270                 }
271                 s/<(A NAME="item_(%|_)24Conf(%|_)7B(.*?)(%|_)7D).*?">/\L<A NAME="item_%24Conf%7b$4%7d">/ig;
272                 s/^<DD>/<DD><P>/;
273                 #
274                 # Fixup for perl 5.8.x first one no longer needed after
275                 # fix in CSS)
276                 #
277 #               if ( /^<\/dt>/ ) {
278 #                   $_ .= <FILE>;
279 #                   s/^(<\/dt>\n<dd>)/$1<p>/s;
280 #               }
281                 s/^<li><\/li>/<li>/;
282             }
283             if ( /__CONFIGPOD__/ ) {
284                 print OUT $ConfPod;
285             } elsif ( /^use lib ".*BackupPC\/lib";/
286                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
287                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
288             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$topDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
289                 print OUT "$1'__TOPDIR__'$2\n";
290             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$installDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
291                 print OUT "$1'__INSTALLDIR__'$2\n";
292             } elsif ( $file =~ /Lib.pm/ && /^(\s*my \$useFHS\s*=\s*)\d;/ ) {
293                 print OUT "${1}0;\n";
294             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_BIN_LIST__/ ) {
295                 print OUT "        ", join("\n        ", grep(/^bin\//, @PerlSrc)), "\n";
296             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_LIB_LIST__/ ) {
297                 print OUT "        ", join("\n        ", grep(/^lib\//, @PerlSrc)), "\n";
298             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
299                 print OUT "$1'__INSTALLDIR__/lib';\n";
300             } else {
301                 print OUT;
302             }
303         }
304         close(FILE);
305         close(OUT);
306     }
307     if ( -x $file ) {
308         chmod(0555, $dest);
309     } else {
310         chmod(0444, $dest);
311     }
312 }
313
314 sub config2pod
315 {
316     open(C, "conf/config.pl") || die("can't open conf/config.pl");
317     binmode(C);
318     my($str, $out, $getHdr, @conf);
319     my $first = 1;
320     while ( <C> ) {
321         chomp;
322         s/ +$//;
323         if ( /^#########################/ ) {
324             if ( $getHdr ) {
325                 $str =~ s/\n.*//sg;
326                 $out .= "=back\n\n" if ( !$first );
327                 $out .= "=head2 $str\n\n=over 4\n\n";
328                 $str = "";
329                 $first = 0;
330             }
331             $getHdr = !$getHdr;
332             next;
333         }
334         if ( /^#/ ) {
335             s/# ?//;
336             next if ( $str eq "" && /^$/ );
337             $str .= $_ . "\n";
338             $str .= "\n" if ( $str =~ /examples?:\n$/i );
339         } elsif ( /^\$Conf{([^}]*)/ ) {
340             my $var = $1;
341             s/  +/ /g;
342             s/;\s*#.*/;/;
343             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
344                 s/([^;])\s*$/$1 .../;
345             }
346             push(@conf, $_);
347             my $text = "\$Conf{$var}";
348             $text =~ s/\s+/_/sg;
349             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
350             $text = substr($text, 0, 50);
351             $ConfName{$var} = "item_$text";
352         } elsif ( /^$/ ) {
353             if ( $str ne "" && @conf ) {
354                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
355                 $out .= $str;
356                 $out .= "\n" if ( $str !~ /\n$/ );
357             }
358             $str = "";
359             @conf = ();
360         }
361     }
362     if ( $str ne "" && @conf ) {
363         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
364         $out .= $str;
365         $out .= "\n" if ( $str !~ /\n$/ );
366     }
367     $out .= "=back\n\n" if ( !$first );
368     return $out;
369 }
370
371 sub CheckConfigParams
372 {
373     my($file, $vars, $check) = @_;
374     my $errors;
375
376     open(F, $file) || die("can't open $file\n");
377     binmode(F);
378     if ( $check ) {
379         while ( <F> ) {
380             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
381                     print("Unexpected Conf var $2 in $file\n");
382                     $errors++;
383                 } else {
384                     $vars->{$2}++;
385                 }/eg;
386             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
387                     print("Unexpected Conf var $1 in $file\n");
388                     $errors++;
389                 } else {
390                     $vars->{$1}++;
391                 }/eg;
392             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
393                     print("Unexpected Conf var $1 in $file\n");
394                     $errors++;
395                 } else {
396                     $vars->{$1}++;
397                 }/eg;
398         }
399     } else {
400         while ( <F> ) {
401             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
402             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
403         }
404     }
405     close(F);
406     return $errors;
407 }
408
409 sub CheckMetaDataVsConfig
410 {
411     my($confVars, $file) = @_;
412     my $done = {};
413     my $errors;
414
415     #
416     # Check that the meta file mentions all the config
417     # parameters
418     #
419     open(F, $file) || die("can't open $file");
420
421     while ( <F> ) {
422         next if ( !/^\s{4}(\w+)\s+=>/ );
423         if ( $confVars->{$1} ) {
424             $done->{$1} = 1;
425             next;
426         }
427         next if ( $1 eq "Hosts" );
428         print("$file has $1 but missing from conf/config.pl\n");
429         $errors++;
430     }
431     close(F);
432     foreach my $v ( keys(%$confVars) ) {
433         next if ( $done->{$v} );
434         print("$file missing $v from conf/config.pl\n");
435         $errors++;
436     }
437     return $errors;
438 }
439
440 sub CheckEditorVsConfig
441 {
442     my($confVars, $file) = @_;
443     my $done = {};
444     my $errors;
445
446     #
447     # Check that the config editor file mentions all the config
448     # parameters
449     #
450     open(F, $file) || die("can't open $file");
451
452     while ( <F> ) {
453         next if ( !/name\s*=>\s*"(\w+)"/ );
454         if ( $confVars->{$1} ) {
455             $done->{$1} = 1;
456             next;
457         }
458         next if ( $1 eq "Hosts" );
459         print("$file has $1 but missing from conf/config.pl\n");
460         $errors++;
461     }
462     close(F);
463     foreach my $v ( keys(%$confVars) ) {
464         next if ( $done->{$v} );
465         print("$file missing $v from conf/config.pl\n");
466         $errors++;
467     }
468     return $errors;
469 }
470
471 #
472 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
473 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
474 # we didn't miss any translations in any of the languages.
475 #
476 sub CheckLangUsage
477 {
478     my $errors;
479     my $vars = {};
480
481     foreach my $file ( (
482                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
483                 <lib/BackupPC/CGI/*pm>
484             ) ) {
485         open(F, $file) || die("can't open $file");
486         binmode(F);
487         while ( <F> ) {
488             next if ( /^\s*#/ );
489             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
490             s/(text|comment)\s*=>\s*"(CfgEdit_.*)"/$vars->{$2} = 1;/eg;
491         }
492         close(F);
493     }
494
495     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
496         my $done = {};
497         open(F, $f) || die("can't open $f\n");
498         binmode(F);
499         while ( <F> ) {
500             s/#.*//g;
501             s/\$Lang{([^}]*)}/
502                     my $var = $1;
503                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
504                     next if ( $var eq "Documentation" );
505                     if ( !defined($vars->{$var}) ) {
506                         print("Unexpected Lang var $var in $f\n");
507                         $errors++;
508                     } else {
509                         $done->{$var} = 1;
510                     }/eg;
511         }
512         close(F);
513         foreach my $v ( keys(%$vars) ) {
514             #
515             # skip "variables" with "$", since they are like expressions
516             #
517             next if ( $v =~ /\$/ );
518             if ( !defined($done->{$v}) ) {
519                 print("Lang var $v missing from $f\n");
520                 $errors++;
521             }
522         }
523     }
524     return $errors;
525 }
526
527 #
528 # Pedantically check that all the html tags in each language file
529 # match.
530 #
531 sub CheckLangTags
532 {
533     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
534     my($errors);
535
536     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm) ) {
537         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
538         foreach my $v1 ( @$en ) {
539             my $v2 = shift(@$d);
540             if ( $v1->{var} ne $v2->{var} ) {
541                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
542                 exit;
543             }
544             my $t1 = LangTextStrip($v1->{val});
545             my $t2 = LangTextStrip($v2->{val});
546             if ( $t1 ne $t2 ) {
547                 my $i;
548                 for ( $i = 0 ; $i < length($t1) ; $i++ ) {
549                     last if ( substr($t1, 0, $i) ne substr($t2, 0, $i) );
550                 }
551                 print("$v1->{var}: ($i) got en.pm $t1\nvs $lang $t2\n\n");
552                 $errors++;
553             }
554         }
555     }
556     return $errors;
557 }
558
559 sub LangTextStrip
560 {
561     my($t) = @_;
562
563     $t = "" if ( $t !~ /<.*>/ );
564     $t =~ s/^[^<]*</</s;
565     $t =~ s/([}>])[^<]*</$1</g;
566     $t =~ s/>[^<]*$/>/;
567     $t =~ s/(value=)"[^"]*"/$1""/sg;
568     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
569     $t =~ s/ENG[\s\n]*//sg;
570     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
571     return $t;
572 }
573
574 sub LangParse
575 {
576     my($file) = @_;
577     open(C, $file) || die("can't open $file");
578     binmode(C);
579     my($out, @lang, $var);
580     my $comment = 1;
581     my $allVars = {};
582     my $endLine = undef;
583     while ( <C> ) {
584         if ( /^#/ && !defined($endLine) ) {
585             if ( $comment ) {
586                 $out .= $_;
587             } else {
588                 if ( $out ne "" ) {
589                     $allVars->{$var} = @lang if ( defined($var) );
590                     push(@lang, {
591                         text => $out,
592                         var => $var,
593                     });
594                 }
595                 $var = undef;
596                 $comment = 1;
597                 $out = $_;
598             }
599         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
600             $comment = 0;
601             if ( defined($var) ) {
602                 $allVars->{$var} = @lang if ( defined($var) );
603                 push(@lang, {
604                     text => $out,
605                     var => $var,
606                 });
607                 $out = $_;
608             } else {
609                 $out .= $_;
610             }
611             $var = $1;
612             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
613             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
614         } else {
615             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
616             $out .= $_;
617         }
618     }
619     if ( $out ne "" ) {
620         $allVars->{$var} = @lang if ( defined($var) );
621         push(@lang, {
622             text => $out,
623             var  => $var,
624         });
625     }
626     close(C);
627     foreach my $v ( @lang ) {
628         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
629             $v->{val} = $1;
630         }
631     }
632     return (\@lang, $allVars);
633 }