make md5sums read-only
[BackupPC.git] / bin / BackupPC_ASA_PostArchive_Update
index aff3a0b..93478c9 100755 (executable)
@@ -13,8 +13,8 @@ use POSIX qw/strftime/;
 use Cwd qw/abs_path/;
 use Archive::Tar::Streamed;
 use Algorithm::Diff;
-use Getopt::Std;
 use File::Slurp;
+use Getopt::Long::Descriptive;
 
 =head1 NAME
 
@@ -22,43 +22,28 @@ BackupPC_ASA_PostArchive_Update
 
 =head1 DESCRIPTION
 
-       # /etc/BackupPC/pc/dvd_tar.pl
+       # /etc/BackupPC/pc/_search_archive.pl
 
 =cut
 
-# FIXME
-my $debug = $ENV{DEBUG} || 1;
-my $check = $ENV{CHECK} || 1;
-
 
 my $bpc = BackupPC::Lib->new || die "can't create BackupPC::Lib";
+$bpc->ConfigRead('_search_archive'); # read our configuration
 my %Conf = $bpc->Conf();
-warn "## ARGV=",dump @ARGV;
-
-
-my $args;
-my $name;
-foreach ( @ARGV ) {
-       my $v = $_;
-       if ( m/(\w+)=(.+)/ ) {
-               $name = $1;
-               $v = $2;
-       }
-       if ( $name =~ m/List/ ) {
-               push @{ $args->{$name} }, $v;
-       } else {
-               $args->{$name} = $v;
-       }
-}
-
-warn "args = ",dump($args);
-
 
 use BackupPC::Search;
 %BackupPC::Search::Conf = %Conf;
 
-my $path = abs_path($0);
-$path =~ s{/[^/]+$}{/}; # FIXME remove?
+my ($opt,$usage) = describe_options(
+"%c %o",
+[ 'host|h=s@', "import just host(s)" ],
+[ 'num|n=s@',  "import just backup number(s)" ],
+[ 'check|c',   "check archives on disk and sync", { default => 1 } ],
+[ 'debug|d',   "debug", { default => 1 } ],
+[ 'help',      "show help" ],
+);
+
+print($usage->text), exit if $opt->help;
 
 $|=1;
 
@@ -66,10 +51,7 @@ my $start_t = time();
 
 my $t_fmt = '%Y-%m-%d %H:%M:%S';
 
-warn "## Conf = ",dump( \%Conf );
-
-my $dsn = $Conf{SearchDSN} || die "Need SearchDSN in config.pl\n";
-my $user = $Conf{SearchUser} || '';
+#warn "## Conf = ",dump( \%Conf );
 
 my $dbh = DBI->connect($Conf{SearchDSN}, $Conf{SearchUser}, "", { RaiseError => 1, AutoCommit => 0 });
 
@@ -110,7 +92,7 @@ sub get_backup_id($$) {
 
        $hsn_cache->{"$host $num"} = $id;
 
-       print STDERR "# $host $num == $id\n" if $debug;
+       print STDERR "# $host $num == $id\n" if $opt->debug;
 
        return $id;
 }
@@ -130,33 +112,56 @@ sub system_ok {
        system(@_) == 0 || die "system @_:$!";
 }
 
+my $sth_inc_size = $dbh->prepare(qq{
+       update backups set
+               inc_size = ?,
+               parts = ?,
+               inc_deleted = false
+       where id = ?
+});
+
+sub read_only {
+       my $full = shift;
+       my $perm = (stat $full)[2] & 0444;
+       warn sprintf("chmod %03o %s\n",$perm,$full);
+       chmod $perm, $full || die $!;
+}
+
 sub check_archive {
        my ($host,$num) = @_;
+       warn "# check_archive $host $num";
 
        my $t = time();
 
-       my @tar_parts =
-               sort map { s/^\Q$Conf{ArchiveDest}\E\/*//; $_ }
-               glob "$Conf{ArchiveDest}/$host.$num.*"
-               ;
+       my $glob = "$Conf{ArchiveDest}/$host.$num.*";
+
+       my @tar_parts = sort map { s/^\Q$Conf{ArchiveDest}\E\/*//; $_ } glob $glob ;
 
-       return unless @tar_parts;
+       if ( ! @tar_parts ) {
+               warn "ERROR: no files for $glob";
+               return;
+       }
 
        print curr_time, " check $host $num";
 
        my $md5_path = "$Conf{ArchiveDest}/$host.$num.md5";
        unlink $md5_path if -s $md5_path == 0; # fix empty
 
+       my $read_protect = 0;
+
        if ( ! -e $md5_path ) {
                system_ok "cd $Conf{ArchiveDest} && /usr/bin/md5sum $host.$num.* > $md5_path";
+               read_only $md5_path;
+               $read_protect = 1;
        } else {
-               system_ok "cd $Conf{ArchiveDest} && /usr/bin/md5sum -c $md5_path" if $check;
+               system_ok "cd $Conf{ArchiveDest} && /usr/bin/md5sum -c $md5_path" if $opt->check;
        }
 
        my $md5sum;
        foreach ( split(/\n/, read_file "$Conf{ArchiveDest}/$host.$num.md5" ) ) {
                my ( $md5, $path ) = split(/\s+/,$_);
                $md5sum->{$path} = $md5;
+               read_only "$Conf{ArchiveDest}/$path" if $read_protect;
        }
 
        # depending on expected returned value this is used like:
@@ -171,34 +176,35 @@ sub check_archive {
                }
 
                open(my $gzip, $Conf{GzipPath}." -l $filename |") || die "can't gzip -l $filename: $!";
+               local $/ = undef;
                my $line = <$gzip>;
-               chomp($line);
-               $line = <$gzip> if ($line =~ /^\s+compressed/);
+               close($gzip);
 
                my ($comp, $uncomp) = (0,0);
 
-               if ($line =~ m/^\s+(\d+)\s+(\d+)\s+\d+\.\d+/) {
+               if ($line =~ m/\s+(\d+)\s+(\d+)\s+\d+\.\d+/s) {
                        if (wantarray) {
                                return [ $1, $2 ];
                        } else {
                                return $2;
                        }
                } else {
-                       die "can't find size in line: $line";
+                       warn "ERROR can't parse: $line";
+                       return -s $filename;
                }
        }
 
        sub check_part {
-               my ($host, $num, $part_nr, $tar_size, $size, $md5, $items) = @_;
+               my ($host, $num, $part_nr, $tar_size, $size, $md5, $items, $filename) = @_;
                my $backup_id = get_backup_id($host, $num);
                my $sth_md5 = $dbh->prepare(qq{
                        select
-                               id, tar_size, size, md5, items
+                               id, tar_size, size, md5, items, filename
                        from backup_parts
-                       where backup_id = ? and part_nr = ?
+                       where backup_id = ? and part_nr = ? and filename = ?
                });
 
-               $sth_md5->execute($backup_id, $part_nr);
+               $sth_md5->execute($backup_id, $part_nr, $filename);
 
                if (my $row = $sth_md5->fetchrow_hashref) {
                        return if (
@@ -218,24 +224,25 @@ sub check_archive {
                                tar_size,
                                size,
                                md5,
-                               items
-                       ) values (?,?,?,?,?,?)
+                               items,
+                               filename
+                       ) values (?,?,?,?,?,?,?)
                });
 
-               $sth_insert->execute($backup_id, $part_nr, $tar_size, $size, $md5, $items);
+               $sth_insert->execute($backup_id, $part_nr, $tar_size, $size, $md5, $items, $filename);
                $dbh->commit;
        }
 
-       print " [parts: ",join(", ", @tar_parts),"]" if $debug;
+       print " [parts: ",join(", ", @tar_parts),"]" if $opt->debug;
 
-       my $same = 1;
        my @tar_files;
 
        my $backup_part;
 
-       print " reading" if $debug;
+       print " reading" if $opt->debug;
 
-       my $part_nr = 1;
+       my $part_nr = 0;
+       my $inc_size = 0;
 
        foreach my $filename (@tar_parts) {
 
@@ -248,8 +255,8 @@ sub check_archive {
 
                my $size = (stat( $path ))[7] || die "can't stat $path: $!";
 
-               if ($size > $Conf{MaxArchiveSize}) {
-                       print ", part bigger than media $size > $Conf{MaxArchiveSize}\n";
+               if ($size > $Conf{ArchiveMediaSize}) {
+                       print ", part bigger than media $size > $Conf{ArchiveMediaSize}\n";
                        return 0;
                }
 
@@ -269,8 +276,8 @@ sub check_archive {
                        $items++;
                        $tar_size_inarc += $entry->size;
 
-                       if ($tar_size_inarc > $Conf{MaxArchiveFileSize}) {
-                               print ", part $filename is too big $tar_size_inarc > $Conf{MaxArchiveFileSize}\n";
+                       if ($tar_size_inarc > $Conf{ArchiveMediaSize}) {
+                               print ", part $filename is too big $tar_size_inarc > $Conf{ArchiveMediaSize}\n";
                                return 0;
                        }
 
@@ -302,14 +309,20 @@ sub check_archive {
 
                my $md5 = $md5sum->{$filename} || die "no md5sum for $filename in ",dump($md5sum);
                my $items = 1;
+               $part_nr++;
 
-               check_part($host, $num, $part_nr, $tar_size, $size, $md5, $items);
+               check_part($host, $num, $part_nr, $tar_size, $size, $md5, $items, $filename);
 
-               $part_nr++;
+               # round increment size to 2k block size
+               $inc_size += int((($size + 2048) / 2048 ) * 2048);
        }
 
-       # short-cut and exit;
-       return $same unless($same);
+       $sth_inc_size->execute(
+               $inc_size,
+               $part_nr,
+               get_backup_id($host, $num),
+       );
+       $dbh->commit;
 
        @tar_files = sort @tar_files;
        print "\n\t",($#tar_files + 1), " tar files";
@@ -335,6 +348,8 @@ sub check_archive {
 
        @db_files = sort @db_files;
 
+       my $same = 1;
+
        if ($#tar_files != $#db_files) {
                $same = 0;
                print " NUMBER";
@@ -357,16 +372,16 @@ sub check_archive {
 
 #----- main
 
-foreach ( 0 .. $#{ $args->{HostList} } ) {
+foreach ( 0 .. $#{ $opt->host } ) {
 
-       my $host = $args->{'HostList'}->[$_];
-       my $num  = $args->{'BackupList'}->[$_];
+       my $host = $opt->host->[$_];
+       my $num  = $opt->num->[$_];
 
        check_archive $host => $num;
 
 }
 
-exit;
+exit; # FIXME
 
 my $sth = $dbh->prepare( qq{
        
@@ -403,10 +418,10 @@ while (my $row = $sth->fetchrow_hashref) {
        # this will return -1 if file doesn't exist
        my $size = BackupPC::Search::get_tgz_size_by_name($tar_file);
 
-       print "# host: ".$row->{host}.", share: ".$row->{'share'}.", backup_num:".$row->{num}." size: $size backup.size: ", $row->{inc_size},"\n" if $debug;
+       print "# host: ".$row->{host}.", share: ".$row->{'share'}.", backup_num:".$row->{num}." size: $size backup.size: ", $row->{inc_size},"\n" if $opt->debug;
 
        if ( $row->{'inc_size'} != -1 && $size != -1 && $row->{'inc_size'} >= $size && $row->{parts} == $row->{backup_parts}) {
-               if ($check) {
+               if ($opt->check) {
                        tar_check($row->{'host'}, $row->{'share'}, $row->{'num'}, $tar_file) && next;
                } else {
                        next;
@@ -421,7 +436,7 @@ while (my $row = $sth->fetchrow_hashref) {
 =for later
        # re-create archive?
        my $cmd = qq[ $tarIncCreate -h "$row->{host}" -s "$row->{share}" -n $row->{num} -f ];
-       print STDERR "## $cmd\n" if ($debug);
+       print STDERR "## $cmd\n" if ($opt->debug);
 
        if (system($cmd) != 0) {
                print STDERR " FAILED, marking this backup deleted";