26799479eaef30bfbc31e07e5d8a0c6102122417
[BackupPC.git] / makeDist
1 #!/bin/perl
2 #
3 # makeDist: Build a BackupPC distribution
4 #
5 # DESCRIPTION
6 #
7 #   This script should be run with no arguments to build a
8 #   distribution.  The $Version and $ReleaseDate should be
9 #   edited below to specify the version name and the release
10 #   date.  The distribution is createede in the sub-directory
11 #   dist.  The dsitribution is in the file name:
12 #
13 #           dist/BackupPC-$Version.tar.gz.
14 #
15 #   Often the language files are not up to date, and makeDist
16 #   exits after complaining about the lang files being inconsistent.
17 #   Use the -l option to turn off that behavior.
18 #
19 # AUTHOR
20 #   Craig Barratt <cbarratt@users.sourceforge.net>
21 #
22 # COPYRIGHT
23 #   Copyright (C) 2001-2006  Craig Barratt
24 #
25 #   This program is free software; you can redistribute it and/or modify
26 #   it under the terms of the GNU General Public License as published by
27 #   the Free Software Foundation; either version 2 of the License, or
28 #   (at your option) any later version.
29 #
30 #   This program is distributed in the hope that it will be useful,
31 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
32 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
33 #   GNU General Public License for more details.
34 #
35 #   You should have received a copy of the GNU General Public License
36 #   along with this program; if not, write to the Free Software
37 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
38 #
39 #========================================================================
40 #
41
42 use strict;
43 use File::Path;
44 use File::Copy;
45 use Getopt::Std;
46
47 umask(0022);
48
49 my $Version     = "3.0.0alpha";
50 my $ReleaseDate = "23 Jan 2006";
51 my $DistDir     = "dist/BackupPC-$Version";
52
53 my @PerlSrc = qw(
54     bin/BackupPC
55     bin/BackupPC_archive
56     bin/BackupPC_archiveHost
57     bin/BackupPC_attribPrint
58     bin/BackupPC_dump
59     bin/BackupPC_fixupBackupSummary
60     bin/BackupPC_link
61     bin/BackupPC_nightly
62     bin/BackupPC_restore
63     bin/BackupPC_sendEmail
64     bin/BackupPC_serverMesg
65     bin/BackupPC_trashClean
66     bin/BackupPC_tarExtract
67     bin/BackupPC_tarCreate
68     bin/BackupPC_tarPCCopy
69     bin/BackupPC_compressPool
70     bin/BackupPC_zipCreate
71     bin/BackupPC_zcat
72     lib/BackupPC/Attrib.pm
73     lib/BackupPC/Config.pm
74     lib/BackupPC/FileZIO.pm
75     lib/BackupPC/Lib.pm
76     lib/BackupPC/PoolWrite.pm
77     lib/BackupPC/Storage.pm
78     lib/BackupPC/View.pm
79     lib/BackupPC/CGI/AdminOptions.pm
80     lib/BackupPC/CGI/Archive.pm
81     lib/BackupPC/CGI/ArchiveInfo.pm
82     lib/BackupPC/CGI/Browse.pm
83     lib/BackupPC/CGI/DirHistory.pm
84     lib/BackupPC/CGI/EditConfig.pm
85     lib/BackupPC/CGI/EmailSummary.pm
86     lib/BackupPC/CGI/GeneralInfo.pm
87     lib/BackupPC/CGI/HostInfo.pm
88     lib/BackupPC/CGI/Lib.pm
89     lib/BackupPC/CGI/LOGlist.pm
90     lib/BackupPC/CGI/Queue.pm
91     lib/BackupPC/CGI/ReloadServer.pm
92     lib/BackupPC/CGI/RestoreFile.pm
93     lib/BackupPC/CGI/RestoreInfo.pm
94     lib/BackupPC/CGI/Restore.pm
95     lib/BackupPC/CGI/StartServer.pm
96     lib/BackupPC/CGI/StartStopBackup.pm
97     lib/BackupPC/CGI/StopServer.pm
98     lib/BackupPC/CGI/Summary.pm
99     lib/BackupPC/CGI/View.pm
100     lib/BackupPC/Config/Meta.pm
101     lib/BackupPC/Lang/de.pm
102     lib/BackupPC/Lang/en.pm
103     lib/BackupPC/Lang/es.pm
104     lib/BackupPC/Lang/fr.pm
105     lib/BackupPC/Lang/it.pm
106     lib/BackupPC/Lang/nl.pm
107     lib/BackupPC/Lang/pt_br.pm
108     lib/BackupPC/Storage/Text.pm
109     lib/BackupPC/Xfer/Archive.pm
110     lib/BackupPC/Xfer/BackupPCd.pm
111     lib/BackupPC/Xfer/Smb.pm
112     lib/BackupPC/Xfer/Tar.pm
113     lib/BackupPC/Xfer/Rsync.pm
114     lib/BackupPC/Xfer/RsyncDigest.pm
115     lib/BackupPC/Xfer/RsyncFileIO.pm
116     lib/BackupPC/Zip/FileMember.pm
117     cgi-bin/BackupPC_Admin
118 );
119
120 my %opts;
121 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
122     print("usage: $0 [-l]\n");
123     exit(1);
124 }
125
126 #
127 # Check config parameters
128 #
129 my $ConfVars = {};
130 my $errCnt;
131
132 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
133
134 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
135
136 #
137 # These config parameters are not used in the code, so ignore them.
138 #
139 $ConfVars->{BackupPCUser} = 2;
140 $ConfVars->{CgiDir}       = 2;
141 $ConfVars->{InstallDir}   = 2;
142 $ConfVars->{CgiImageDir}  = 2;
143
144 #
145 # These config parameters are used in the code to be backward compatible,
146 # but are not present in the current config file, so ignore them.
147 #
148 $ConfVars->{BlackoutHourBegin} = 2;
149 $ConfVars->{BlackoutHourEnd}   = 2;
150 $ConfVars->{BlackoutWeekDays}  = 2;
151 $ConfVars->{RsyncLogLevel}     = 2;
152
153 foreach my $file ( @PerlSrc ) {
154     $errCnt += CheckConfigParams($file, $ConfVars, 1);
155 }
156 if ( !$opts{l} ) {
157     $errCnt += CheckLangUsage();
158     $errCnt += CheckLangTags();
159 }
160 if ( $errCnt ) {
161     print("Exiting because of errors\n");
162     exit(1)
163 }
164
165 $errCnt = 0;
166 foreach my $var ( sort(keys(%$ConfVars) ) ) {
167     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
168     printf("Unused config parameter $var\n");
169     $errCnt++;
170 }
171 if ( $errCnt ) {
172     print("Exiting because of errors\n");
173     exit(1)
174 }
175
176 rmtree($DistDir, 0, 0);
177 mkpath($DistDir, 0, 0777);
178
179 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
180                      lib/BackupPC/CGI
181                      lib/BackupPC/Config
182                      lib/BackupPC/Lang
183                      lib/BackupPC/Storage
184                      lib/BackupPC/Xfer
185                      lib/BackupPC/Zip
186                 ) ) {
187     mkpath("$DistDir/$dir", 0, 0777);
188 }
189
190 my %ConfName;
191 my $ConfPod = config2pod();
192 rmtree("doc", 0, 0);
193 mkpath("doc", 0, 0777);
194 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
195
196 use Pod::Html;
197 pod2html("doc/BackupPC.pod",
198         "--backlink=Back to Top",
199         "--header",
200         "--title=BackupPC",
201         "--outfile=doc/BackupPC.html");
202
203 foreach my $file ( (@PerlSrc,
204             <images/*>,
205             qw(
206                 conf/config.pl
207                 conf/hosts
208                 conf/BackupPC_stnd.css
209                 init.d/README
210                 init.d/src/debian-backuppc
211                 init.d/src/gentoo-backuppc
212                 init.d/src/gentoo-backuppc.conf
213                 init.d/src/linux-backuppc
214                 init.d/src/slackware-backuppc
215                 init.d/src/solaris-backuppc
216                 init.d/src/suse-backuppc
217                 doc/BackupPC.pod
218                 doc/BackupPC.html
219                 README
220                 LICENSE
221                 ChangeLog
222                 configure.pl
223         )) ) {
224     InstallFile("$file", "$DistDir/$file");
225 }
226 rmtree("doc", 0, 0);
227 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
228 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
229 unlink("pod2htmd.x~~");
230 unlink("pod2htmi.x~~");
231 unlink("pod2htmd.tmp");
232 unlink("pod2htmi.tmp");
233
234 ###########################################################################
235 # Subroutines
236 ###########################################################################
237
238 sub InstallFile
239 {
240     my($file, $dest) = @_;
241
242     unlink($dest) if ( -d $dest );
243     if ( $file =~ /\.gif/ ) {
244         die("can't copy($file, $dest)\n") unless copy($file, $dest);
245     } else {
246         open(FILE, $file)   || die("can't open $file for reading\n");
247         open(OUT, ">$dest") || die("can't open $dest for writing\n");
248         binmode(FILE);
249         binmode(OUT);
250         while ( <FILE> ) {
251             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
252             s/__VERSION__/$Version/g;
253             s/__RELEASEDATE__/$ReleaseDate/g;
254             if ( $file =~ /BackupPC\.html$/ ) {
255                 #
256                 # fixup for perl 5.6.x
257                 #
258                 if ( !/A NAME="item_(%|_)24Conf/i ) {
259                     s/\$Conf{([^}]*)}/
260                         defined($ConfName{$1})
261                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
262                             : "\$Conf{$1}"/eg;
263                 }
264                 s/<(A NAME="item_(%|_)24Conf(%|_)7B(.*?)(%|_)7D).*?">/\L<A NAME="item_%24Conf%7b$4%7d">/ig;
265                 s/^<DD>/<DD><P>/;
266                 #
267                 # Fixup for perl 5.8.x first one no longer needed after
268                 # fix in CSS)
269                 #
270 #               if ( /^<\/dt>/ ) {
271 #                   $_ .= <FILE>;
272 #                   s/^(<\/dt>\n<dd>)/$1<p>/s;
273 #               }
274                 s/^<li><\/li>/<li>/;
275             }
276             if ( /__CONFIGPOD__/ ) {
277                 print OUT $ConfPod;
278             } elsif ( /^use lib ".*BackupPC\/lib";/
279                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
280                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
281             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$topDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
282                 print OUT "$1'__TOPDIR__'$2\n";
283             } elsif ( $file =~ /Lib.pm/ && /^(\s*\$installDir\s*=\s*)'.*'(\s*if\s.*)/ ) {
284                 print OUT "$1'__INSTALLDIR__'$2\n";
285             } elsif ( $file =~ /Lib.pm/ && /^(\s*my \$useFHS\s*=\s*)\d;/ ) {
286                 print OUT "${1}0;\n";
287             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_BIN_LIST__/ ) {
288                 print OUT "        ", join("\n        ", grep(/^bin\//, @PerlSrc)), "\n";
289             } elsif ( $file =~ /configure.pl/ && /__CONFIGURE_LIB_LIST__/ ) {
290                 print OUT "        ", join("\n        ", grep(/^lib\//, @PerlSrc)), "\n";
291             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
292                 print OUT "$1'__INSTALLDIR__/lib';\n";
293             } else {
294                 print OUT;
295             }
296         }
297         close(FILE);
298         close(OUT);
299     }
300     if ( -x $file ) {
301         chmod(0555, $dest);
302     } else {
303         chmod(0444, $dest);
304     }
305 }
306
307 sub config2pod
308 {
309     open(C, "conf/config.pl") || die("can't open conf/config.pl");
310     binmode(C);
311     my($str, $out, $getHdr, @conf);
312     my $first = 1;
313     while ( <C> ) {
314         chomp;
315         s/ +$//;
316         if ( /^#########################/ ) {
317             if ( $getHdr ) {
318                 $str =~ s/\n.*//sg;
319                 $out .= "=back\n\n" if ( !$first );
320                 $out .= "=head2 $str\n\n=over 4\n\n";
321                 $str = "";
322                 $first = 0;
323             }
324             $getHdr = !$getHdr;
325             next;
326         }
327         if ( /^#/ ) {
328             s/# ?//;
329             next if ( $str eq "" && /^$/ );
330             $str .= $_ . "\n";
331             $str .= "\n" if ( $str =~ /examples?:\n$/i );
332         } elsif ( /^\$Conf{([^}]*)/ ) {
333             my $var = $1;
334             s/  +/ /g;
335             s/;\s*#.*/;/;
336             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
337                 s/([^;])\s*$/$1 .../;
338             }
339             push(@conf, $_);
340             my $text = "\$Conf{$var}";
341             $text =~ s/\s+/_/sg;
342             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
343             $text = substr($text, 0, 50);
344             $ConfName{$var} = "item_$text";
345         } elsif ( /^$/ ) {
346             if ( $str ne "" && @conf ) {
347                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
348                 $out .= $str;
349                 $out .= "\n" if ( $str !~ /\n$/ );
350             }
351             $str = "";
352             @conf = ();
353         }
354     }
355     if ( $str ne "" && @conf ) {
356         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
357         $out .= $str;
358         $out .= "\n" if ( $str !~ /\n$/ );
359     }
360     $out .= "=back\n\n" if ( !$first );
361     return $out;
362 }
363
364 sub CheckConfigParams
365 {
366     my($file, $vars, $check) = @_;
367     my $errors;
368
369     open(F, $file) || die("can't open $file\n");
370     binmode(F);
371     if ( $check ) {
372         while ( <F> ) {
373             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
374                     print("Unexpected Conf var $2 in $file\n");
375                     $errors++;
376                 } else {
377                     $vars->{$2}++;
378                 }/eg;
379             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
380                     print("Unexpected Conf var $1 in $file\n");
381                     $errors++;
382                 } else {
383                     $vars->{$1}++;
384                 }/eg;
385             s/UserCommandRun\("([^"]*)"/if ( !defined($vars->{$1}) ) {
386                     print("Unexpected Conf var $1 in $file\n");
387                     $errors++;
388                 } else {
389                     $vars->{$1}++;
390                 }/eg;
391         }
392     } else {
393         while ( <F> ) {
394             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
395             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
396         }
397     }
398     close(F);
399     return $errors;
400 }
401
402 #
403 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
404 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
405 # we didn't miss any translations in any of the languages.
406 #
407 sub CheckLangUsage
408 {
409     my $errors;
410     my $vars = {};
411
412     foreach my $file ( (
413                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
414                 <lib/BackupPC/CGI/*pm>
415             ) ) {
416         open(F, $file) || die("can't open $file");
417         binmode(F);
418         while ( <F> ) {
419             next if ( /^\s*#/ );
420             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
421         }
422         close(F);
423     }
424
425     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
426         my $done = {};
427         open(F, $f) || die("can't open $f\n");
428         binmode(F);
429         while ( <F> ) {
430             s/#.*//g;
431             s/\$Lang{([^}]*)}/
432                     my $var = $1;
433                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
434                     next if ( $var eq "Documentation" );
435                     if ( !defined($vars->{$var}) ) {
436                         print("Unexpected Lang var $var in $f\n");
437                         $errors++;
438                     } else {
439                         $done->{$var} = 1;
440                     }/eg;
441         }
442         close(F);
443         foreach my $v ( keys(%$vars) ) {
444             #
445             # skip "variables" with "$", since they are like expressions
446             #
447             next if ( $v =~ /\$/ );
448             if ( !defined($done->{$v}) ) {
449                 print("Lang var $v missing from $f\n");
450                 $errors++;
451             }
452         }
453     }
454     return $errors;
455 }
456
457 #
458 # Pedantically check that all the html tags in each language file
459 # match.
460 #
461 sub CheckLangTags
462 {
463     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
464     my($errors);
465
466     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm nl.pm) ) {
467         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
468         foreach my $v1 ( @$en ) {
469             my $v2 = shift(@$d);
470             if ( $v1->{var} ne $v2->{var} ) {
471                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
472                 exit;
473             }
474             my $t1 = LangTextStrip($v1->{val});
475             my $t2 = LangTextStrip($v2->{val});
476             if ( $t1 ne $t2 ) {
477                 print("$v1->{var}: got en.pm $t1\nvs $lang $t2\n\n");
478                 $errors++;
479             }
480         }
481     }
482     return $errors;
483 }
484
485 sub LangTextStrip
486 {
487     my($t) = @_;
488
489     $t = "" if ( $t !~ /<.*>/ );
490     $t =~ s/^[^<]*</</s;
491     $t =~ s/([}>])[^<]*</$1</g;
492     $t =~ s/>[^<]*$/>/;
493     $t =~ s/(value=)"[^"]*"/$1""/sg;
494     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
495     $t =~ s/ENG[\s\n]*//sg;
496     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
497     return $t;
498 }
499
500 sub LangParse
501 {
502     my($file) = @_;
503     open(C, $file) || die("can't open $file");
504     binmode(C);
505     my($out, @lang, $var);
506     my $comment = 1;
507     my $allVars = {};
508     my $endLine = undef;
509     while ( <C> ) {
510         if ( /^#/ && !defined($endLine) ) {
511             if ( $comment ) {
512                 $out .= $_;
513             } else {
514                 if ( $out ne "" ) {
515                     $allVars->{$var} = @lang if ( defined($var) );
516                     push(@lang, {
517                         text => $out,
518                         var => $var,
519                     });
520                 }
521                 $var = undef;
522                 $comment = 1;
523                 $out = $_;
524             }
525         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
526             $comment = 0;
527             if ( defined($var) ) {
528                 $allVars->{$var} = @lang if ( defined($var) );
529                 push(@lang, {
530                     text => $out,
531                     var => $var,
532                 });
533                 $out = $_;
534             } else {
535                 $out .= $_;
536             }
537             $var = $1;
538             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
539             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
540         } else {
541             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
542             $out .= $_;
543         }
544     }
545     if ( $out ne "" ) {
546         $allVars->{$var} = @lang if ( defined($var) );
547         push(@lang, {
548             text => $out,
549             var  => $var,
550         });
551     }
552     close(C);
553     foreach my $v ( @lang ) {
554         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
555             $v->{val} = $1;
556         }
557     }
558     return (\@lang, $allVars);
559 }