ebddca8ea10018188a1f99fc481c67ceb6b9489f
[BackupPC.git] / makeDist
1 #!/bin/perl
2 #
3 # makeDist: Build a BackupPC distribution
4 #
5 # DESCRIPTION
6 #
7 #   This script should be run with no arguments to build a
8 #   distribution.  The $Version and $ReleaseDate should be
9 #   edited below to specify the version name and the release
10 #   date.  The distribution is createede in the sub-directory
11 #   dist.  The dsitribution is in the file name:
12 #
13 #           dist/BackupPC-$Version.tar.gz.
14 #
15 # AUTHOR
16 #   Craig Barratt <cbarratt@users.sourceforge.net>
17 #
18 # COPYRIGHT
19 #   Copyright (C) 2001-2004  Craig Barratt
20 #
21 #   This program is free software; you can redistribute it and/or modify
22 #   it under the terms of the GNU General Public License as published by
23 #   the Free Software Foundation; either version 2 of the License, or
24 #   (at your option) any later version.
25 #
26 #   This program is distributed in the hope that it will be useful,
27 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
28 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
29 #   GNU General Public License for more details.
30 #
31 #   You should have received a copy of the GNU General Public License
32 #   along with this program; if not, write to the Free Software
33 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
34 #
35 #========================================================================
36 #
37
38 use strict;
39 use File::Path;
40 use File::Copy;
41 use Getopt::Std;
42
43 umask(0022);
44
45 my $Version     = "2.1.0beta1";
46 my $ReleaseDate = "9 Apr 2004";
47 my $DistDir     = "dist/BackupPC-$Version";
48
49 my @PerlSrc = qw(
50     bin/BackupPC
51     bin/BackupPC_archive
52     bin/BackupPC_archiveHost
53     bin/BackupPC_dump
54     bin/BackupPC_link
55     bin/BackupPC_nightly
56     bin/BackupPC_restore
57     bin/BackupPC_sendEmail
58     bin/BackupPC_serverMesg
59     bin/BackupPC_trashClean
60     bin/BackupPC_tarExtract
61     bin/BackupPC_tarCreate
62     bin/BackupPC_compressPool
63     bin/BackupPC_zipCreate
64     bin/BackupPC_zcat
65     lib/BackupPC/Attrib.pm
66     lib/BackupPC/FileZIO.pm
67     lib/BackupPC/Lib.pm
68     lib/BackupPC/PoolWrite.pm
69     lib/BackupPC/View.pm
70     lib/BackupPC/CGI/AdminOptions.pm
71     lib/BackupPC/CGI/Archive.pm
72     lib/BackupPC/CGI/ArchiveInfo.pm
73     lib/BackupPC/CGI/Browse.pm
74     lib/BackupPC/CGI/DirHistory.pm
75     lib/BackupPC/CGI/EmailSummary.pm
76     lib/BackupPC/CGI/GeneralInfo.pm
77     lib/BackupPC/CGI/HostInfo.pm
78     lib/BackupPC/CGI/Lib.pm
79     lib/BackupPC/CGI/LOGlist.pm
80     lib/BackupPC/CGI/Queue.pm
81     lib/BackupPC/CGI/ReloadServer.pm
82     lib/BackupPC/CGI/RestoreFile.pm
83     lib/BackupPC/CGI/RestoreInfo.pm
84     lib/BackupPC/CGI/Restore.pm
85     lib/BackupPC/CGI/StartServer.pm
86     lib/BackupPC/CGI/StartStopBackup.pm
87     lib/BackupPC/CGI/StopServer.pm
88     lib/BackupPC/CGI/Summary.pm
89     lib/BackupPC/CGI/View.pm
90     lib/BackupPC/Lang/de.pm
91     lib/BackupPC/Lang/en.pm
92     lib/BackupPC/Lang/es.pm
93     lib/BackupPC/Lang/fr.pm
94     lib/BackupPC/Lang/it.pm
95     lib/BackupPC/Xfer/Archive.pm
96     lib/BackupPC/Xfer/Smb.pm
97     lib/BackupPC/Xfer/Tar.pm
98     lib/BackupPC/Xfer/Rsync.pm
99     lib/BackupPC/Xfer/RsyncDigest.pm
100     lib/BackupPC/Xfer/RsyncFileIO.pm
101     lib/BackupPC/Zip/FileMember.pm
102     cgi-bin/BackupPC_Admin
103 );
104
105 my %opts;
106 if ( !getopts("l", \%opts) || @ARGV != 0 ) {
107     print("usage: $0 [-l]\n");
108     exit(1);
109 }
110
111 #
112 # Check config parameters
113 #
114 my $ConfVars = {};
115 my $errCnt;
116
117 $errCnt += CheckConfigParams("conf/config.pl", $ConfVars, 0);
118
119 $errCnt += CheckConfigParams("doc-src/BackupPC.pod", $ConfVars, 1);
120
121 #
122 # These config parameters are not used in the code, so ignore them.
123 #
124 $ConfVars->{BackupPCUser} = 2;
125 $ConfVars->{CgiDir}       = 2;
126 $ConfVars->{InstallDir}   = 2;
127 $ConfVars->{CgiImageDir}  = 2;
128
129 #
130 # These config parameters are used in the code to be backward compatible,
131 # but are not present in the current config file, so ignore them.
132 #
133 $ConfVars->{BlackoutHourBegin} = 2;
134 $ConfVars->{BlackoutHourEnd}   = 2;
135 $ConfVars->{BlackoutWeekDays}  = 2;
136 $ConfVars->{RsyncLogLevel}     = 2;
137
138 foreach my $file ( @PerlSrc ) {
139     $errCnt += CheckConfigParams($file, $ConfVars, 1);
140 }
141 if ( !$opts{l} ) {
142     $errCnt += CheckLangUsage();
143     $errCnt += CheckLangTags();
144 }
145 if ( $errCnt ) {
146     print("Exiting because of errors\n");
147     exit(1)
148 }
149
150 $errCnt = 0;
151 foreach my $var ( sort(keys(%$ConfVars) ) ) {
152     next if ( $ConfVars->{$var} >= 2 || $var =~ /^\$/ );
153     printf("Unused config parameter $var\n");
154     $errCnt++;
155 }
156 if ( $errCnt ) {
157     print("Exiting because of errors\n");
158     exit(1)
159 }
160
161 rmtree($DistDir, 0, 0);
162 mkpath($DistDir, 0, 0777);
163
164 foreach my $dir ( qw(bin doc conf images init.d/src cgi-bin
165                      lib/BackupPC/CGI
166                      lib/BackupPC/Lang
167                      lib/BackupPC/Xfer
168                      lib/BackupPC/Zip
169                 ) ) {
170     mkpath("$DistDir/$dir", 0, 0777);
171 }
172
173 my %ConfName;
174 my $ConfPod = config2pod();
175 rmtree("doc", 0, 0);
176 mkpath("doc", 0, 0777);
177 InstallFile("doc-src/BackupPC.pod", "doc/BackupPC.pod");
178
179 use Pod::Html;
180 pod2html("doc/BackupPC.pod",
181         "--backlink=Back to Top",
182         "--header",
183         "--title=BackupPC",
184         "--outfile=doc/BackupPC.html");
185
186 foreach my $file ( (@PerlSrc,
187             <images/*>,
188             qw(
189                 conf/config.pl
190                 conf/hosts
191                 conf/BackupPC_stnd.css
192                 init.d/README
193                 init.d/src/debian-backuppc
194                 init.d/src/gentoo-backuppc
195                 init.d/src/gentoo-backuppc.conf
196                 init.d/src/linux-backuppc
197                 init.d/src/solaris-backuppc
198                 init.d/src/suse-backuppc
199                 doc/BackupPC.pod
200                 doc/BackupPC.html
201                 README
202                 LICENSE
203                 ChangeLog
204                 configure.pl
205         )) ) {
206     InstallFile("$file", "$DistDir/$file");
207 }
208 rmtree("doc", 0, 0);
209 system("cd dist ; tar zcf BackupPC-$Version.tar.gz BackupPC-$Version");
210 print("Distribution written to dist/BackupPC-$Version.tar.gz\n");
211 unlink("pod2htmd.x~~");
212 unlink("pod2htmi.x~~");
213
214 ###########################################################################
215 # Subroutines
216 ###########################################################################
217
218 sub InstallFile
219 {
220     my($file, $dest) = @_;
221
222     unlink($dest) if ( -d $dest );
223     if ( $file =~ /\.gif/ ) {
224         die("can't copy($file, $dest)\n") unless copy($file, $dest);
225     } else {
226         open(FILE, $file)   || die("can't open $file for reading\n");
227         open(OUT, ">$dest") || die("can't open $dest for writing\n");
228         binmode(FILE);
229         binmode(OUT);
230         while ( <FILE> ) {
231             s/^([#*\s]+)Version \d+\.\d+[\.\w]*, released \d+ \w+ \d{4}\.?/$1Version __VERSION__, released __RELEASEDATE__./;
232             s/__VERSION__/$Version/g;
233             s/__RELEASEDATE__/$ReleaseDate/g;
234             if ( $file =~ /BackupPC\.html$/ ) {
235                 #
236                 # fixup for perl 5.6.x
237                 #
238                 if ( !/A NAME="item_%24Conf/i ) {
239                     s/\$Conf{([^}]*)}/
240                         defined($ConfName{$1})
241                             ? "\L<A HREF=\"#$ConfName{$1}\">\E\$Conf{$1}<\/A>"
242                             : "\$Conf{$1}"/eg;
243                 }
244                 s/<(A NAME="item_%24Conf%7B.*?%7D).*?">/\L<$1">/ig;
245                 s/^<DD>/<DD><P>/;
246                 #
247                 # fixup for perl 5.8.x
248                 #
249                 if ( /^<\/dt>/ ) {
250                     $_ .= <FILE>;
251                     s/^(<\/dt>\n<dd>)/$1<p>/s;
252                 }
253                 s/^<li><\/li>/<li>/;
254             }
255             if ( /__CONFIGPOD__/ ) {
256                 print OUT $ConfPod;
257             } elsif ( /^use lib ".*BackupPC\/lib";/
258                     || /^use lib "\/home\/pcbackup\/install\/lib";/ ) {
259                 print OUT "use lib \"__INSTALLDIR__/lib\";\n";
260             } elsif ( $file =~ /Lib.pm/ && /(.*TopDir *=> .*)'.*',/ ) {
261                 print OUT "$1'__TOPDIR__',\n";
262             } elsif ( $file =~ /Lib.pm/ && /(.*Version *=> .*)'[\w\d\.]+',/ ) {
263                 print OUT "$1'$Version',\n";
264             } elsif ( $file =~ /Lib.pm/ && /(.*BinDir *=> .*)'.*',/ ) {
265                 print OUT "$1'__INSTALLDIR__',\n";
266             } elsif ( $file =~ /Lib.pm/ && /(.*LibDir *=> .*)'.*',/ ) {
267                 print OUT "$1'__INSTALLDIR__',\n";
268             } elsif ( $file =~ /BackupPC_Admin/ && /(my *\$installDir *= *)'.*'/ ) {
269                 print OUT "$1'__INSTALLDIR__/lib';\n";
270             } else {
271                 print OUT;
272             }
273         }
274         close(FILE);
275         close(OUT);
276     }
277     if ( -x $file ) {
278         chmod(0555, $dest);
279     } else {
280         chmod(0444, $dest);
281     }
282 }
283
284 sub config2pod
285 {
286     open(C, "conf/config.pl") || die("can't open conf/config.pl");
287     binmode(C);
288     my($str, $out, $getHdr, @conf);
289     my $first = 1;
290     while ( <C> ) {
291         chomp;
292         s/ +$//;
293         if ( /^#########################/ ) {
294             if ( $getHdr ) {
295                 $str =~ s/\n.*//sg;
296                 $out .= "=back\n\n" if ( !$first );
297                 $out .= "=head2 $str\n\n=over 4\n\n";
298                 $str = "";
299                 $first = 0;
300             }
301             $getHdr = !$getHdr;
302             next;
303         }
304         if ( /^#/ ) {
305             s/# ?//;
306             next if ( $str eq "" && /^$/ );
307             $str .= $_ . "\n";
308             $str .= "\n" if ( $str =~ /examples?:\n$/i );
309         } elsif ( /^\$Conf{([^}]*)/ ) {
310             my $var = $1;
311             s/  +/ /g;
312             s/;\s*#.*/;/;
313             if ( !s/\[$/[ ... ];/ && !s/<<'EOF'/.../ ) {
314                 s/([^;])\s*$/$1 .../;
315             }
316             push(@conf, $_);
317             my $text = "\$Conf{$var}";
318             $text =~ s/\s+/_/sg;
319             $text =~ s{(\W)}{sprintf("%%%02X", ord($1) )}gxe;
320             $text = substr($text, 0, 50);
321             $ConfName{$var} = "item_$text";
322         } elsif ( /^$/ ) {
323             if ( $str ne "" && @conf ) {
324                 $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
325                 $out .= $str;
326                 $out .= "\n" if ( $str !~ /\n$/ );
327             }
328             $str = "";
329             @conf = ();
330         }
331     }
332     if ( $str ne "" && @conf ) {
333         $out .= "=item " . join("\n\n=item ", @conf) . "\n\n";
334         $out .= $str;
335         $out .= "\n" if ( $str !~ /\n$/ );
336     }
337     $out .= "=back\n\n" if ( !$first );
338     return $out;
339 }
340
341 sub CheckConfigParams
342 {
343     my($file, $vars, $check) = @_;
344     my $errors;
345
346     open(F, $file) || die("can't open $file\n");
347     binmode(F);
348     if ( $check ) {
349         while ( <F> ) {
350             s/\$(self|bpc)->{Conf}{([^}\$]+)}/if ( !defined($vars->{$2}) ) {
351                     print("Unexpected Conf var $2 in $file\n");
352                     $errors++;
353                 } else {
354                     $vars->{$2}++;
355                 }/eg;
356             s/\$[Cc]onf(?:->)?{([^}\$]+)}/if ( !defined($vars->{$1}) ) {
357                     print("Unexpected Conf var $1 in $file\n");
358                     $errors++;
359                 } else {
360                     $vars->{$1}++;
361                 }/eg;
362             s/UserCommandRun\("([^"]*)"\)/if ( !defined($vars->{$1}) ) {
363                     print("Unexpected Conf var $1 in $file\n");
364                     $errors++;
365                 } else {
366                     $vars->{$1}++;
367                 }/eg;
368         }
369     } else {
370         while ( <F> ) {
371             s/^[^#]*\$self->{Conf}{([^}]*)/$vars->{$1} = 1;/eg;
372             s/^[^#]*\$Conf{([^}]*)/$vars->{$1} = 1;/eg;
373         }
374     }
375     close(F);
376     return $errors;
377 }
378
379 #
380 # Make sure that every lang variable in cgi-bin/BackupPC_Admin matches
381 # the strings in each lib/BackupPC/Lang/*.pm file.  This makes sure
382 # we didn't miss any translations in any of the languages.
383 #
384 sub CheckLangUsage
385 {
386     my $errors;
387     my $vars = {};
388
389     foreach my $file ( (
390                 qw(cgi-bin/BackupPC_Admin bin/BackupPC_sendEmail),
391                 <lib/BackupPC/CGI/*pm>
392             ) ) {
393         open(F, $file) || die("can't open $file");
394         binmode(F);
395         while ( <F> ) {
396             s/\$Lang->{([^}]*)}/$vars->{$1} = 1;/eg;
397         }
398         close(F);
399     }
400
401     foreach my $f ( <lib/BackupPC/Lang/*.pm> ) {
402         my $done = {};
403         open(F, $f) || die("can't open $f\n");
404         binmode(F);
405         while ( <F> ) {
406             s/#.*//g;
407             s/\$Lang{([^}]*)}/
408                     my $var = $1;
409                     next if ( $var =~ m{^(Reason_|Status_|backupType_)} );
410                     if ( !defined($vars->{$var}) ) {
411                         print("Unexpected Lang var $var in $f\n");
412                         $errors++;
413                     } else {
414                         $done->{$var} = 1;
415                     }/eg;
416         }
417         close(F);
418         foreach my $v ( keys(%$vars) ) {
419             #
420             # skip "variables" with "$", since they are like expressions
421             #
422             next if ( $v =~ /\$/ );
423             if ( !defined($done->{$v}) ) {
424                 print("Lang var $v missing from $f\n");
425                 $errors++;
426             }
427         }
428     }
429     return $errors;
430 }
431
432 #
433 # Pedantically check that all the html tags in each language file
434 # match.
435 #
436 sub CheckLangTags
437 {
438     my($en, $enVars) = LangParse("lib/BackupPC/Lang/en.pm");
439     my($errors);
440
441     foreach my $lang ( qw(fr.pm de.pm es.pm it.pm) ) {
442         my($d, $dVars) = LangParse("lib/BackupPC/Lang/$lang");
443         foreach my $v1 ( @$en ) {
444             my $v2 = shift(@$d);
445             if ( $v1->{var} ne $v2->{var} ) {
446                 print("Botch: got $lang var $v2->{var} vs en.pm $v1->{var}\n");
447                 exit;
448             }
449             my $t1 = LangTextStrip($v1->{val});
450             my $t2 = LangTextStrip($v2->{val});
451             if ( $t1 ne $t2 ) {
452                 print("$v1->{var}: got en.pm $t1\nvs $lang $t2\n\n");
453                 $errors++;
454             }
455         }
456     }
457     return $errors;
458 }
459
460 sub LangTextStrip
461 {
462     my($t) = @_;
463
464     $t = "" if ( $t !~ /<.*>/ );
465     $t =~ s/^[^<]*</</s;
466     $t =~ s/([}>])[^<]*</$1</g;
467     $t =~ s/>[^<]*$/>/;
468     $t =~ s/(value=)"[^"]*"/$1""/sg;
469     $t =~ s/({h[12]\()"[^"]*"/$1""/g;
470     $t =~ s/ENG[\s\n]*//sg;
471     $t =~ s/^(<<EOF;\n)[^<]*/$1/g;
472     return $t;
473 }
474
475 sub LangParse
476 {
477     my($file) = @_;
478     open(C, $file) || die("can't open $file");
479     binmode(C);
480     my($out, @lang, $var);
481     my $comment = 1;
482     my $allVars = {};
483     my $endLine = undef;
484     while ( <C> ) {
485         if ( /^#/ && !defined($endLine) ) {
486             if ( $comment ) {
487                 $out .= $_;
488             } else {
489                 if ( $out ne "" ) {
490                     $allVars->{$var} = @lang if ( defined($var) );
491                     push(@lang, {
492                         text => $out,
493                         var => $var,
494                     });
495                 }
496                 $var = undef;
497                 $comment = 1;
498                 $out = $_;
499             }
500         } elsif ( /^\s*\$Lang\{([^}]*)/ ) {
501             $comment = 0;
502             if ( defined($var) ) {
503                 $allVars->{$var} = @lang if ( defined($var) );
504                 push(@lang, {
505                     text => $out,
506                     var => $var,
507                 });
508                 $out = $_;
509             } else {
510                 $out .= $_;
511             }
512             $var = $1;
513             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<(.*);/ );
514             $endLine = $1 if ( /^\s*\$Lang\{[^}]*} *= *<<'(.*)';/ );
515         } else {
516             $endLine = undef if ( defined($endLine) && /^\Q$endLine[\n\r]*$/ );
517             $out .= $_;
518         }
519     }
520     if ( $out ne "" ) {
521         $allVars->{$var} = @lang if ( defined($var) );
522         push(@lang, {
523             text => $out,
524             var  => $var,
525         });
526     }
527     close(C);
528     foreach my $v ( @lang ) {
529         if ( $v->{text} =~ /\$Lang{$v->{var}}\s*=\s*(.*)/s ) {
530             $v->{val} = $1;
531         }
532     }
533     return (\@lang, $allVars);
534 }