Fixed some typos.
[BackupPC.git] / makeDist
1 #!/bin/perl
2 #
3 # makeDist: Build a BackupPC distribution
4 #
5 # DESCRIPTION
6 #
7 #   This script should be run with no arguments to build a
8 #   distribution.  The $Version and $ReleaseDate should be
9 #   edited below to specify the version name and the release
10 #   date.  The distribution is createede in the sub-directory
11 #   dist.  The dsitribution is in the file name:
12 #
13 #           dist/BackupPC-$Version.tar.gz.
14 #
15 #   Often the language files are not up to date, and makeDist
16 #   exits after complaining about the lang files being inconsistent.
17 #   Use the -l option to turn off that behavior.
18 #
19 # AUTHOR
20 #   Craig Barratt <cbarratt@users.sourceforge.net>
21 #
22 # COPYRIGHT
23 #   Copyright (C) 2001-2006  Craig Barratt
24 #
25 #   This program is free software; you can redistribute it and/or modify
26 #   it under the terms of the GNU General Public License as published by
27 #   the Free Software Foundation; either version 2 of the License, or
28 #   (at your option) any later version.
29 #
30 #   This program is distributed in the hope that it will be useful,
31 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
32 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
33 #   GNU General Public License for more details.
34 #
35 #   You should have received a copy of the GNU General Public License
36 #   along with this program; if not, write to the Free Software
37 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
38 #
39 #========================================================================
40 #
41
42 use strict;
43 use File::Path;
44 use File::Copy;
45 use Getopt::Std;
46
47 umask(0022);
48
49 my $Version     = "3.0.0alpha";
50 my $ReleaseDate = "23 Jan 2006";
51 my $DistDir     = "dist/BackupPC-$Version";
52
53 my @PerlSrc = qw(
54     bin/BackupPC
55     bin/BackupPC_archive
56     bin/BackupPC_archiveHost
57     bin/BackupPC_attribPrint
58     bin/BackupPC_dump
59     bin/BackupPC_fixupBackupSummary
60     bin/BackupPC_link
61     bin/BackupPC_nightly
62     bin/BackupPC_restore
63     bin/BackupPC_sendEmail
64     bin/BackupPC_serverMesg
65     bin/BackupPC_trashClean
66     bin/BackupPC_tarExtract
67     bin/BackupPC_tarCreate
68     bin/BackupPC_tarPCCopy
69     bin/BackupPC_compressPool
70     bin/BackupPC_zipCreate
71     bin/BackupPC_zcat
72     lib/BackupPC/Attrib.pm
73     lib/BackupPC/Config.pm
74     lib/BackupPC/FileZIO.pm
75     lib/BackupPC/Lib.pm
76     lib/BackupPC/PoolWrite.pm
77     lib/BackupPC/Storage.pm
78     lib/BackupPC/View.pm
79     lib/BackupPC/CGI/AdminOptions.pm
80     lib/BackupPC/CGI/Archive.pm
81     lib/BackupPC/CGI/ArchiveInfo.pm
82     lib/BackupPC/CGI/Browse.pm
83     lib/BackupPC/CGI/DirHistory.pm
84     lib/BackupPC/CGI/EditConfig.pm
85     lib/BackupPC/CGI/EmailSummary.pm
86     lib/BackupPC/CGI/GeneralInfo.pm
87     lib/BackupPC/CGI/HostInfo.pm
88     lib/BackupPC/CGI/Lib.pm
89     lib/BackupPC/CGI/LOGlist.pm
90     lib/BackupPC/CGI/Queue.pm
91     lib/BackupPC/CGI/ReloadServer.pm
92     lib/BackupPC/CGI/RestoreFile.pm
93     lib/BackupPC/CGI/RestoreInfo.pm
94     lib/BackupPC/CGI/Restore.pm
95     lib/BackupPC/CGI/RSS.pm
96     lib/BackupPC/CGI/StartServer.pm
97     lib/BackupPC/CGI/StartStopBackup.pm
98     lib/BackupPC/CGI/StopServer.pm
99     lib/BackupPC/CGI/Summary.pm
100     lib/BackupPC/CGI/View.pm
101     lib/BackupPC/Config/Meta.pm
102     lib/BackupPC/Lang/de.pm
103     lib/BackupPC/Lang/en.pm
104     lib/BackupPC/Lang/es.pm
105     lib/BackupPC/Lang/fr.pm
106     lib/BackupPC/Lang/it.pm
107     lib/BackupPC/Lang/nl.pm
108     lib/BackupPC/Lang/pt_br.pm
109     lib/BackupPC/Storage/Text.pm
110     lib/BackupPC/Xfer/Archive.pm
111     lib/BackupPC/Xfer/BackupPCd.pm
112     lib/BackupPC/Xfer/Smb.pm
113     lib/BackupPC/Xfer/Tar.pm
114     lib/BackupPC/Xfer/Rsync.pm
115     lib/BackupPC/Xfer/RsyncDigest.pm
116     lib/BackupPC/Xfer/RsyncFileIO.pm
117     lib/BackupPC/Zip/FileMember.pm
118     cgi-bin/BackupPC_Admin
119 );
120
121 my %opts;
122 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
123     print("usage: $0 [-l]\n");
124     exit(1);
125 }
126
127 #
128 # Check config parameters
129 #
130 my $ConfVars = {};
131 my $errCnt;
132
133 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
134
135 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
136
137 $errCnt += CheckMetaDataVsConfig($ConfVars, "lib/BackupPC/Config/Meta.pm");
138
139 $errCnt += CheckEditorVsConfig($ConfVars, "lib/BackupPC/CGI/EditConfig.pm");
140
141 #
142 # These config parameters are not used in the code, so ignore them.
143 #
144 $ConfVars->{BackupPCUser} = 2;
145 $ConfVars->{CgiDir}       = 2;
146 $ConfVars->{TopDir}       = 2;
147 $ConfVars->{LogDir}       = 2;
148 $ConfVars->{ConfDir}      = 2;
149 $ConfVars->{InstallDir}   = 2;
150 $ConfVars->{CgiImageDir}  = 2;
151
152 #
153 # These config parameters are used in the code to be backward compatible,
154 # but are not present in the current config file, so ignore them.
155 #
156 $ConfVars->{BlackoutHourBegin} = 2;
157 $ConfVars->{BlackoutHourEnd}   = 2;
158 $ConfVars->{BlackoutWeekDays}  = 2;
159 $ConfVars->{RsyncLogLevel}     = 2;
160
161 foreach my $file ( @PerlSrc ) {
162     $errCnt += CheckConfigParams($file, $ConfVars, 1);
163 }
164 if ( !$opts{l} ) {
165     $errCnt += CheckLangUsage();
166     $errCnt += CheckLangTags();
167 }
168 if ( $errCnt ) {
169     print("Exiting because of errors\n");
170     exit(1)
171 }
172
173 $errCnt = 0;
174 foreach my $var ( sort(keys(%$ConfVars) ) ) {
175     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
176     printf("Unused config parameter $var\n");
177     $errCnt++;
178 }
179 if ( $errCnt ) {
180     print("Exiting because of errors\n");
181     exit(1)
182 }
183
184 rmtree($DistDir, 0, 0);
185 mkpath($DistDir, 0, 0777);
186
187 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
188                      lib/BackupPC/CGI
189                      lib/BackupPC/Config
190                      lib/BackupPC/Lang
191                      lib/BackupPC/Storage
192                      lib/BackupPC/Xfer
193                      lib/BackupPC/Zip
194                 ) ) {
195     mkpath("$DistDir/$dir", 0, 0777);
196 }
197
198 my %ConfName;
199 my $ConfPod = config2pod();
200 rmtree("doc", 0, 0);
201 mkpath("doc", 0, 0777);
202 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
203
204 use Pod::Html;
205 pod2html("doc/BackupPC.pod",
206         "--backlink=Back to Top",
207         "--header",
208         "--title=BackupPC",
209         "--outfile=doc/BackupPC.html");
210
211 foreach my $file ( (@PerlSrc,
212             <images/*>,
213             qw(
214                 conf/config.pl
215                 conf/hosts
216                 conf/BackupPC_stnd.css
217                 init.d/README
218                 init.d/src/debian-backuppc
219                 init.d/src/gentoo-backuppc
220                 init.d/src/gentoo-backuppc.conf
221                 init.d/src/linux-backuppc
222                 init.d/src/slackware-backuppc
223                 init.d/src/solaris-backuppc
224                 init.d/src/suse-backuppc
225                 doc/BackupPC.pod
226                 doc/BackupPC.html
227                 README
228                 LICENSE
229                 ChangeLog
230                 configure.pl
231         )) ) {
232     InstallFile("$file", "$DistDir/$file");
233 }
234 rmtree("doc", 0, 0);
235 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
236 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
237 unlink("pod2htmd.x~~");
238 unlink("pod2htmi.x~~");
239 unlink("pod2htmd.tmp");
240 unlink("pod2htmi.tmp");
241
242 ###########################################################################
243 # Subroutines
244 ###########################################################################
245
246 sub InstallFile
247 {
248     my($file, $dest) = @_;
249
250     unlink($dest) if ( -d $dest );
251     if ( $file =~ /\.gif/ ) {
252         die("can't copy($file, $dest)\n") unless copy($file, $dest);
253     } else {
254         open(FILE, $file)   || die("can't open $file for reading\n");
255         open(OUT, ">$dest") || die("can't open $dest for writing\n");
256         binmode(FILE);
257         binmode(OUT);
258         while ( <FILE> ) {
259             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
260             s/__VERSION__/$Version/g;
261             s/__RELEASEDATE__/$ReleaseDate/g;
262             if ( $file =~ /BackupPC\.html$/ ) {
263                 #
264                 # fixup for perl 5.6.x
265                 #
266                 if ( !/A NAME="item_(%|_)24Conf/i ) {
267                     s/\$Conf{([^}]*)}/
268                         defined($ConfName{$1})
269                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
270                             : "\$Conf{$1}"/eg;
271                 }
272                 s/<(A NAME="item_(%|_)24Conf(%|_)7B(.*?)(%|_)7D).*?">/\L<A NAME="item_%24Conf%7b$4%7d">/ig;
273                 s/^<DD>/<DD><P>/;
274                 #
275                 # Fixup for perl 5.8.x first one no longer needed after
276                 # fix in CSS)
277                 #
278 #               if ( /^<\/dt>/ ) {
279 #                   $_ .= <FILE>;
280 #                   s/^(<\/dt>\n<dd>)/$1<p>/s;
281 #               }
282                 s/^<li><\/li>/<li>/;
283             }
284             if ( /__CONFIGPOD__/ ) {
285                 print OUT $ConfPod;
286             } elsif ( /^use lib ".*BackupPC\/lib";/
287                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
288                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
289             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$topDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
290                 print OUT "$1'__TOPDIR__'$2\n";
291             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$installDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
292                 print OUT "$1'__INSTALLDIR__'$2\n";
293             } elsif ( $file =~ /Lib.pm/ && /^(\s*my \$useFHS\s*=\s*)\d;/ ) {
294                 print OUT "${1}0;\n";
295             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_BIN_LIST__/ ) {
296                 print OUT "        ", join("\n        ", grep(/^bin\//, @PerlSrc)), "\n";
297             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_LIB_LIST__/ ) {
298                 print OUT "        ", join("\n        ", grep(/^lib\//, @PerlSrc)), "\n";
299             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
300                 print OUT "$1'__INSTALLDIR__/lib';\n";
301             } else {
302                 print OUT;
303             }
304         }
305         close(FILE);
306         close(OUT);
307     }
308     if ( -x $file ) {
309         chmod(0555, $dest);
310     } else {
311         chmod(0444, $dest);
312     }
313 }
314
315 sub config2pod
316 {
317     open(C, "conf/config.pl") || die("can't open conf/config.pl");
318     binmode(C);
319     my($str, $out, $getHdr, @conf);
320     my $first = 1;
321     while ( <C> ) {
322         chomp;
323         s/ +$//;
324         if ( /^#########################/ ) {
325             if ( $getHdr ) {
326                 $str =~ s/\n.*//sg;
327                 $out .= "=back\n\n" if ( !$first );
328                 $out .= "=head2 $str\n\n=over 4\n\n";
329                 $str = "";
330                 $first = 0;
331             }
332             $getHdr = !$getHdr;
333             next;
334         }
335         if ( /^#/ ) {
336             s/# ?//;
337             next if ( $str eq "" && /^$/ );
338             $str .= $_ . "\n";
339             $str .= "\n" if ( $str =~ /examples?:\n$/i );
340         } elsif ( /^\$Conf{([^}]*)/ ) {
341             my $var = $1;
342             s/  +/ /g;
343             s/;\s*#.*/;/;
344             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
345                 s/([^;])\s*$/$1 .../;
346             }
347             push(@conf, $_);
348             my $text = "\$Conf{$var}";
349             $text =~ s/\s+/_/sg;
350             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
351             $text = substr($text, 0, 50);
352             $ConfName{$var} = "item_$text";
353         } elsif ( /^$/ ) {
354             if ( $str ne "" && @conf ) {
355                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
356                 $out .= $str;
357                 $out .= "\n" if ( $str !~ /\n$/ );
358             }
359             $str = "";
360             @conf = ();
361         }
362     }
363     if ( $str ne "" && @conf ) {
364         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
365         $out .= $str;
366         $out .= "\n" if ( $str !~ /\n$/ );
367     }
368     $out .= "=back\n\n" if ( !$first );
369     return $out;
370 }
371
372 sub CheckConfigParams
373 {
374     my($file, $vars, $check) = @_;
375     my $errors;
376
377     open(F, $file) || die("can't open $file\n");
378     binmode(F);
379     if ( $check ) {
380         while ( <F> ) {
381             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
382                     print("Unexpected Conf var $2 in $file\n");
383                     $errors++;
384                 } else {
385                     $vars->{$2}++;
386                 }/eg;
387             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
388                     print("Unexpected Conf var $1 in $file\n");
389                     $errors++;
390                 } else {
391                     $vars->{$1}++;
392                 }/eg;
393             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
394                     print("Unexpected Conf var $1 in $file\n");
395                     $errors++;
396                 } else {
397                     $vars->{$1}++;
398                 }/eg;
399         }
400     } else {
401         while ( <F> ) {
402             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
403             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
404         }
405     }
406     close(F);
407     return $errors;
408 }
409
410 sub CheckMetaDataVsConfig
411 {
412     my($confVars, $file) = @_;
413     my $done = {};
414     my $errors;
415
416     #
417     # Check that the meta file mentions all the config
418     # parameters
419     #
420     open(F, $file) || die("can't open $file");
421
422     while ( <F> ) {
423         next if ( !/^\s{4}(\w+)\s+=>/ );
424         if ( $confVars->{$1} ) {
425             $done->{$1} = 1;
426             next;
427         }
428         next if ( $1 eq "Hosts" );
429         print("$file has $1 but missing from conf/config.pl\n");
430         $errors++;
431     }
432     close(F);
433     foreach my $v ( keys(%$confVars) ) {
434         next if ( $done->{$v} );
435         print("$file missing $v from conf/config.pl\n");
436         $errors++;
437     }
438     return $errors;
439 }
440
441 sub CheckEditorVsConfig
442 {
443     my($confVars, $file) = @_;
444     my $done = {};
445     my $errors;
446
447     #
448     # Check that the config editor file mentions all the config
449     # parameters
450     #
451     open(F, $file) || die("can't open $file");
452
453     while ( <F> ) {
454         next if ( !/name\s*=>\s*"(\w+)"/ );
455         if ( $confVars->{$1} ) {
456             $done->{$1} = 1;
457             next;
458         }
459         next if ( $1 eq "Hosts" );
460         print("$file has $1 but missing from conf/config.pl\n");
461         $errors++;
462     }
463     close(F);
464     foreach my $v ( keys(%$confVars) ) {
465         next if ( $done->{$v} );
466         print("$file missing $v from conf/config.pl\n");
467         $errors++;
468     }
469     return $errors;
470 }
471
472 #
473 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
474 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
475 # we didn't miss any translations in any of the languages.
476 #
477 sub CheckLangUsage
478 {
479     my $errors;
480     my $vars = {};
481
482     foreach my $file ( (
483                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
484                 <lib/BackupPC/CGI/*pm>
485             ) ) {
486         open(F, $file) || die("can't open $file");
487         binmode(F);
488         while ( <F> ) {
489             next if ( /^\s*#/ );
490             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
491             s/(text|comment)\s*=>\s*"(CfgEdit_.*)"/$vars->{$2} = 1;/eg;
492         }
493         close(F);
494     }
495
496     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
497         my $done = {};
498         open(F, $f) || die("can't open $f\n");
499         binmode(F);
500         while ( <F> ) {
501             s/#.*//g;
502             s/\$Lang{([^}]*)}/
503                     my $var = $1;
504                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
505                     next if ( $var eq "Documentation" );
506                     if ( !defined($vars->{$var}) ) {
507                         print("Unexpected Lang var $var in $f\n");
508                         $errors++;
509                     } else {
510                         $done->{$var} = 1;
511                     }/eg;
512         }
513         close(F);
514         foreach my $v ( keys(%$vars) ) {
515             #
516             # skip "variables" with "$", since they are like expressions
517             #
518             next if ( $v =~ /\$/ );
519             if ( !defined($done->{$v}) ) {
520                 print("Lang var $v missing from $f\n");
521                 $errors++;
522             }
523         }
524     }
525     return $errors;
526 }
527
528 #
529 # Pedantically check that all the html tags in each language file
530 # match.
531 #
532 sub CheckLangTags
533 {
534     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
535     my($errors);
536
537     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm) ) {
538         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
539         foreach my $v1 ( @$en ) {
540             my $v2 = shift(@$d);
541             if ( $v1->{var} ne $v2->{var} ) {
542                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
543                 exit;
544             }
545             my $t1 = LangTextStrip($v1->{val});
546             my $t2 = LangTextStrip($v2->{val});
547             if ( $t1 ne $t2 ) {
548                 my $i;
549                 for ( $i = 0 ; $i < length($t1) ; $i++ ) {
550                     last if ( substr($t1, 0, $i) ne substr($t2, 0, $i) );
551                 }
552                 print("$v1->{var}: ($i) got en.pm $t1\nvs $lang $t2\n\n");
553                 $errors++;
554             }
555         }
556     }
557     return $errors;
558 }
559
560 sub LangTextStrip
561 {
562     my($t) = @_;
563
564     $t = "" if ( $t !~ /<.*>/ );
565     $t =~ s/^[^<]*</</s;
566     $t =~ s/([}>])[^<]*</$1</g;
567     $t =~ s/>[^<]*$/>/;
568     $t =~ s/(value=)"[^"]*"/$1""/sg;
569     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
570     $t =~ s/ENG[\s\n]*//sg;
571     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
572     return $t;
573 }
574
575 sub LangParse
576 {
577     my($file) = @_;
578     open(C, $file) || die("can't open $file");
579     binmode(C);
580     my($out, @lang, $var);
581     my $comment = 1;
582     my $allVars = {};
583     my $endLine = undef;
584     while ( <C> ) {
585         if ( /^#/ && !defined($endLine) ) {
586             if ( $comment ) {
587                 $out .= $_;
588             } else {
589                 if ( $out ne "" ) {
590                     $allVars->{$var} = @lang if ( defined($var) );
591                     push(@lang, {
592                         text => $out,
593                         var => $var,
594                     });
595                 }
596                 $var = undef;
597                 $comment = 1;
598                 $out = $_;
599             }
600         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
601             $comment = 0;
602             if ( defined($var) ) {
603                 $allVars->{$var} = @lang if ( defined($var) );
604                 push(@lang, {
605                     text => $out,
606                     var => $var,
607                 });
608                 $out = $_;
609             } else {
610                 $out .= $_;
611             }
612             $var = $1;
613             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
614             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
615         } else {
616             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
617             $out .= $_;
618         }
619     }
620     if ( $out ne "" ) {
621         $allVars->{$var} = @lang if ( defined($var) );
622         push(@lang, {
623             text => $out,
624             var  => $var,
625         });
626     }
627     close(C);
628     foreach my $v ( @lang ) {
629         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
630             $v->{val} = $1;
631         }
632     }
633     return (\@lang, $allVars);
634 }