6dc0f8d4c408cc4c4cfd72a5d8588c5304cca176
[BackupPC.git] / lib / BackupPC / View.pm
1 #============================================================= -*-perl-*-
2 #
3 # BackupPC::View package
4 #
5 # DESCRIPTION
6 #
7 #   This library defines a BackupPC::View class for merging of
8 #   incremental backups and file attributes.  This provides the
9 #   caller with a single view of a merged backup, without worrying
10 #   about which backup contributes which files.
11 #
12 # AUTHOR
13 #   Craig Barratt  <cbarratt@users.sourceforge.net>
14 #
15 # COPYRIGHT
16 #   Copyright (C) 2002-2003  Craig Barratt
17 #
18 #   This program is free software; you can redistribute it and/or modify
19 #   it under the terms of the GNU General Public License as published by
20 #   the Free Software Foundation; either version 2 of the License, or
21 #   (at your option) any later version.
22 #
23 #   This program is distributed in the hope that it will be useful,
24 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
25 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
26 #   GNU General Public License for more details.
27 #
28 #   You should have received a copy of the GNU General Public License
29 #   along with this program; if not, write to the Free Software
30 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
31 #
32 #========================================================================
33 #
34 # Version 2.1.0, released 20 Jun 2004.
35 #
36 # See http://backuppc.sourceforge.net.
37 #
38 #========================================================================
39
40 package BackupPC::View;
41
42 use strict;
43
44 use File::Path;
45 use BackupPC::Lib;
46 use BackupPC::Attrib qw(:all);
47 use BackupPC::FileZIO;
48 use Data::Dumper;
49
50 sub new
51 {
52     my($class, $bpc, $host, $backups) = @_;
53     my $m = bless {
54         bpc       => $bpc,              # BackupPC::Lib object
55         host      => $host,             # host name
56         backups   => $backups,          # all backups for this host
57         num       => -1,                # backup number
58         idx       => -1,                # index into backups for backup
59                                         #   we are viewing
60         dirPath   => undef,             # path to current directory
61         dirAttr   => undef,             # attributes of current directory
62     }, $class;
63     for ( my $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
64         next if ( defined($m->{backups}[$i]{level}) );
65         $m->{backups}[$i]{level} = $m->{backups}[$i]{type} eq "incr" ? 1 : 0;
66     }
67     $m->{topDir} = $m->{bpc}->TopDir();
68     return $m;
69 }
70
71 sub dirCache
72 {
73     my($m, $backupNum, $share, $dir) = @_;
74     my($i, $level);
75
76     #print STDERR "dirCache($backupNum, $share, $dir)\n";
77     $dir = "/$dir" if ( $dir !~ m{^/} );
78     $dir =~ s{/+$}{};
79     return if ( $m->{num} == $backupNum
80                 && $m->{share} eq $share
81                 && defined($m->{dir})
82                 && $m->{dir} eq $dir );
83     $m->backupNumCache($backupNum) if ( $m->{num} != $backupNum );
84     return if ( $m->{idx} < 0 );
85
86     $m->{files} = {};
87     $level = $m->{backups}[$m->{idx}]{level} + 1;
88
89     #
90     # Remember the requested share and dir
91     #
92     $m->{share} = $share;
93     $m->{dir} = $dir;
94
95     #
96     # merge backups, starting at the requested one, and working
97     # backwards until we get to level 0.
98     #
99     $m->{mergeNums} = [];
100     for ( $i = $m->{idx} ; $level > 0 && $i >= 0 ; $i-- ) {
101         #print(STDERR "Do $i ($m->{backups}[$i]{noFill},$m->{backups}[$i]{level})\n");
102         #
103         # skip backups with the same or higher level
104         #
105         next if ( $m->{backups}[$i]{level} >= $level );
106
107         $level = $m->{backups}[$i]{level};
108         $backupNum = $m->{backups}[$i]{num};
109         push(@{$m->{mergeNums}}, $backupNum);
110         my $mangle   = $m->{backups}[$i]{mangle};
111         my $compress = $m->{backups}[$i]{compress};
112         my $path = "$m->{topDir}/pc/$m->{host}/$backupNum/";
113         my $sharePathM;
114         if ( $mangle ) {
115             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
116                         . $m->{bpc}->fileNameMangle($dir);
117         } else {
118             $sharePathM = $share . $dir;
119         }
120         $path .= $sharePathM;
121         #print(STDERR "Opening $path (share=$share)\n");
122         if ( !opendir(DIR, $path) ) {
123             if ( $i == $m->{idx} ) {
124                 #
125                 # Oops, directory doesn't exist.
126                 #
127                 $m->{files} = undef;
128                 return;
129             }
130             next;
131         }
132         my @dir = readdir(DIR);
133         closedir(DIR);
134         my $attr;
135         if ( $mangle ) {
136             $attr = BackupPC::Attrib->new({ compress => $compress });
137             if ( -f $attr->fileName($path) && !$attr->read($path) ) {
138                 $m->{error} = "Can't read attribute file in $path";
139                 $attr = undef;
140             }
141         }
142         foreach my $file ( @dir ) {
143             $file = $1 if ( $file =~ /(.*)/ );
144             my $fileUM = $file;
145             $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
146             #print(STDERR "Doing $fileUM\n");
147             #
148             # skip special files
149             #
150             next if ( defined($m->{files}{$fileUM})
151                     || $file eq ".."
152                     || $file eq "."
153                     || $file eq "backupInfo"
154                     || $mangle && $file eq "attrib" );
155             #
156             # skip directories in earlier backups (each backup always
157             # has the complete directory tree).
158             #
159             my @s = stat("$path/$file");
160             next if ( $i < $m->{idx} && -d _ );
161             if ( defined($attr) && defined(my $a = $attr->get($fileUM)) ) {
162                 $m->{files}{$fileUM} = $a;
163                 $attr->set($fileUM, undef);
164             } else {
165                 #
166                 # Very expensive in the non-attribute case when compresseion
167                 # is on.  We have to stat the file and read compressed files
168                 # to determine their size.
169                 #
170                 $m->{files}{$fileUM} = {
171                     type  => -d _ ? BPC_FTYPE_DIR : BPC_FTYPE_FILE,
172                     mode  => $s[2],
173                     uid   => $s[4],
174                     gid   => $s[5],
175                     size  => -f _ ? $s[7] : 0,
176                     mtime => $s[9],
177                 };
178                 if ( $compress && -f _ ) {
179                     #
180                     # Compute the correct size by reading the whole file
181                     #
182                     my $f = BackupPC::FileZIO->open("$path/$file",
183                                                     0, $compress);
184                     if ( !defined($f) ) {
185                         $m->{error} = "Can't open $path/$file";
186                     } else {
187                         my($data, $size);
188                         while ( $f->read(\$data, 65636 * 8) > 0 ) {
189                             $size += length($data);
190                         }
191                         $f->close;
192                         $m->{files}{$fileUM}{size} = $size;
193                     }
194                 }
195             }
196             ($m->{files}{$fileUM}{relPath}    = "$dir/$fileUM") =~ s{//+}{/}g;
197             ($m->{files}{$fileUM}{sharePathM} = "$sharePathM/$file")
198                                                                =~ s{//+}{/}g;
199             ($m->{files}{$fileUM}{fullPath}   = "$path/$file") =~ s{//+}{/}g;
200             $m->{files}{$fileUM}{backupNum}   = $backupNum;
201             $m->{files}{$fileUM}{compress}    = $compress;
202             $m->{files}{$fileUM}{nlink}       = $s[3];
203             $m->{files}{$fileUM}{inode}       = $s[1];
204         }
205         #
206         # Also include deleted files
207         #
208         if ( defined($attr) ) {
209             my $a = $attr->get;
210             foreach my $fileUM ( keys(%$a) ) {
211                 next if ( $a->{$fileUM}{type} != BPC_FTYPE_DELETED );
212                 my $file = $fileUM;
213                 $file = $m->{bpc}->fileNameMangle($fileUM) if ( $mangle );
214                 $m->{files}{$fileUM}             = $a->{$fileUM};
215                 $m->{files}{$fileUM}{relPath}    = "$dir/$fileUM";
216                 $m->{files}{$fileUM}{sharePathM} = "$sharePathM/$file";
217                 $m->{files}{$fileUM}{fullPath}   = "$path/$file";
218                 $m->{files}{$fileUM}{backupNum}  = $backupNum;
219                 $m->{files}{$fileUM}{compress}   = $compress;
220                 $m->{files}{$fileUM}{nlink}      = 0;
221                 $m->{files}{$fileUM}{inode}      = 0;
222             }
223         }
224     }
225     #
226     # Prune deleted files
227     #
228     foreach my $file ( keys(%{$m->{files}}) ) {
229         next if ( $m->{files}{$file}{type} != BPC_FTYPE_DELETED );
230         delete($m->{files}{$file});
231     }
232     #print STDERR "Returning:\n", Dumper($m->{files});
233 }
234
235 #
236 # Return list of shares for this backup
237 #
238 sub shareList
239 {
240     my($m, $backupNum) = @_;
241     my @shareList;
242
243     $m->backupNumCache($backupNum) if ( $m->{num} != $backupNum );
244     return if ( $m->{idx} < 0 );
245
246     my $mangle = $m->{backups}[$m->{idx}]{mangle};
247     my $path = "$m->{topDir}/pc/$m->{host}/$backupNum/";
248     return if ( !opendir(DIR, $path) );
249     my @dir = readdir(DIR);
250     closedir(DIR);
251     foreach my $file ( @dir ) {
252         $file = $1 if ( $file =~ /(.*)/ );
253         next if ( $file eq "attrib" && $mangle
254                || $file eq "."
255                || $file eq ".." );
256         my $fileUM = $file;
257         $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
258         push(@shareList, $fileUM);
259     }
260     $m->{dir} = undef;
261     return @shareList;
262 }
263
264 sub backupNumCache
265 {
266     my($m, $backupNum) = @_;
267
268     if ( $m->{num} != $backupNum ) {
269         my $i;
270         for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
271             last if ( $m->{backups}[$i]{num} == $backupNum );
272         }
273         if ( $i >= @{$m->{backups}} ) {
274             $m->{idx} = -1;
275             return;
276         }
277         $m->{num} = $backupNum;
278         $m->{idx} = $i;
279     }
280 }
281
282 #
283 # Return the attributes of a specific file
284 #
285 sub fileAttrib
286 {
287     my($m, $backupNum, $share, $path) = @_;
288
289     #print(STDERR "fileAttrib($backupNum, $share, $path)\n");
290     if ( $path =~ s{(.*)/+(.+)}{$1} ) {
291         my $file = $2;
292         $m->dirCache($backupNum, $share, $path);
293         return $m->{files}{$file};
294     } else {
295         #print STDERR "Got empty $path\n";
296         $m->dirCache($backupNum, "", "");
297         my $attr = $m->{files}{$share};
298         return if ( !defined($attr) );
299         $attr->{relPath} = "/";
300         return $attr;
301     }
302 }
303
304 #
305 # Return the contents of a directory
306 #
307 sub dirAttrib
308 {
309     my($m, $backupNum, $share, $dir) = @_;
310
311     $m->dirCache($backupNum, $share, $dir);
312     return $m->{files};
313 }
314
315 #
316 # Return a listref of backup numbers that are merged to create this view
317 #
318 sub mergeNums
319 {
320     my($m) = @_;
321
322     return $m->{mergeNums};
323 }
324
325 #
326 # Return a list of backup indexes for which the directory exists
327 #
328 sub backupList
329 {
330     my($m, $share, $dir) = @_;
331     my($i, @backupList);
332
333     $dir = "/$dir" if ( $dir !~ m{^/} );
334     $dir =~ s{/+$}{};
335
336     for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
337         my $backupNum = $m->{backups}[$i]{num};
338         my $mangle = $m->{backups}[$i]{mangle};
339         my $path   = "$m->{topDir}/pc/$m->{host}/$backupNum/";
340         my $sharePathM;
341         if ( $mangle ) {
342             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
343                         . $m->{bpc}->fileNameMangle($dir);
344         } else {
345             $sharePathM = $share . $dir;
346         }
347         $path .= $sharePathM;
348         next if ( !-d $path );
349         push(@backupList, $i);
350     }
351     return @backupList;
352 }
353
354 #
355 # Return the history of all backups for a particular directory
356 #
357 sub dirHistory
358 {
359     my($m, $share, $dir) = @_;
360     my($i, $level);
361     my $files = {};
362
363     $dir = "/$dir" if ( $dir !~ m{^/} );
364     $dir =~ s{/+$}{};
365
366     #
367     # merge backups, starting at the first one, and working
368     # forward.
369     #
370     for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
371         $level        = $m->{backups}[$i]{level};
372         my $backupNum = $m->{backups}[$i]{num};
373         my $mangle    = $m->{backups}[$i]{mangle};
374         my $compress  = $m->{backups}[$i]{compress};
375         my $path      = "$m->{topDir}/pc/$m->{host}/$backupNum/";
376         my $sharePathM;
377         if ( $mangle ) {
378             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
379                         . $m->{bpc}->fileNameMangle($dir);
380         } else {
381             $sharePathM = $share . $dir;
382         }
383         $path .= $sharePathM;
384         #print(STDERR "Opening $path (share=$share)\n");
385         if ( !opendir(DIR, $path) ) {
386             #
387             # Oops, directory doesn't exist.
388             #
389             next;
390         }
391         my @dir = readdir(DIR);
392         closedir(DIR);
393         my $attr;
394         if ( $mangle ) {
395             $attr = BackupPC::Attrib->new({ compress => $compress });
396             if ( -f $attr->fileName($path) && !$attr->read($path) ) {
397                 $m->{error} = "Can't read attribute file in $path";
398                 $attr = undef;
399             }
400         }
401         foreach my $file ( @dir ) {
402             $file = $1 if ( $file =~ /(.*)/ );
403             my $fileUM = $file;
404             $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
405             #print(STDERR "Doing $fileUM\n");
406             #
407             # skip special files
408             #
409             next if (  $file eq ".."
410                     || $file eq "."
411                     || $mangle && $file eq "attrib"
412                     || defined($files->{$fileUM}[$i]) );
413             my @s = stat("$path/$file");
414             if ( defined($attr) && defined(my $a = $attr->get($fileUM)) ) {
415                 $files->{$fileUM}[$i] = $a;
416                 $attr->set($fileUM, undef);
417             } else {
418                 #
419                 # Very expensive in the non-attribute case when compresseion
420                 # is on.  We have to stat the file and read compressed files
421                 # to determine their size.
422                 #
423                 $files->{$fileUM}[$i] = {
424                     type  => -d _ ? BPC_FTYPE_DIR : BPC_FTYPE_FILE,
425                     mode  => $s[2],
426                     uid   => $s[4],
427                     gid   => $s[5],
428                     size  => -f _ ? $s[7] : 0,
429                     mtime => $s[9],
430                 };
431                 if ( $compress && -f _ ) {
432                     #
433                     # Compute the correct size by reading the whole file
434                     #
435                     my $f = BackupPC::FileZIO->open("$path/$file",
436                                                     0, $compress);
437                     if ( !defined($f) ) {
438                         $m->{error} = "Can't open $path/$file";
439                     } else {
440                         my($data, $size);
441                         while ( $f->read(\$data, 65636 * 8) > 0 ) {
442                             $size += length($data);
443                         }
444                         $f->close;
445                         $files->{$fileUM}[$i]{size} = $size;
446                     }
447                 }
448             }
449             ($files->{$fileUM}[$i]{relPath}    = "$dir/$fileUM") =~ s{//+}{/}g;
450             ($files->{$fileUM}[$i]{sharePathM} = "$sharePathM/$file")
451                                                                 =~ s{//+}{/}g;
452             ($files->{$fileUM}[$i]{fullPath}   = "$path/$file") =~ s{//+}{/}g;
453             $files->{$fileUM}[$i]{backupNum}   = $backupNum;
454             $files->{$fileUM}[$i]{compress}    = $compress;
455             $files->{$fileUM}[$i]{nlink}       = $s[3];
456             $files->{$fileUM}[$i]{inode}       = $s[1];
457         }
458
459         #
460         # Merge old backups.  Don't merge directories from old
461         # backups because every backup has an accurate directory
462         # tree.
463         #
464         for ( my $k = $i - 1 ; $level > 0 && $k >= 0 ; $k-- ) {
465             next if ( $m->{backups}[$k]{level} >= $level );
466             $level = $m->{backups}[$k]{level};
467             foreach my $fileUM ( keys(%$files) ) {
468                 next if ( !defined($files->{$fileUM}[$k])
469                         || defined($files->{$fileUM}[$i])
470                         || $files->{$fileUM}[$k]{type} == BPC_FTYPE_DIR );
471                 $files->{$fileUM}[$i] = $files->{$fileUM}[$k];
472             }
473         }
474
475         #
476         # Finally, remove deleted files
477         #
478         if ( defined($attr) ) {
479             my $a = $attr->get;
480             foreach my $fileUM ( keys(%$a) ) {
481                 next if ( $a->{$fileUM}{type} != BPC_FTYPE_DELETED );
482                 $files->{$fileUM}[$i] = undef if ( defined($files->{$fileUM}) );
483             }
484         }
485     }
486     #print STDERR "Returning:\n", Dumper($files);
487     return $files;
488 }
489
490
491 #
492 # Do a recursive find starting at the given path (either a file
493 # or directory).  The callback function $callback is called on each
494 # file and directory.  The function arguments are the attrs hashref,
495 # and additional callback arguments.  The search is depth-first if
496 # depth is set.  Returns -1 if $path does not exist.
497 #
498 sub find
499 {
500     my($m, $backupNum, $share, $path, $depth, $callback, @callbackArgs) = @_;
501
502     #print(STDERR "find: got $backupNum, $share, $path\n");
503     #
504     # First call the callback on the given $path
505     #
506     my $attr = $m->fileAttrib($backupNum, $share, $path);
507     return -1 if ( !defined($attr) );
508     &$callback($attr, @callbackArgs);
509     return if ( $attr->{type} != BPC_FTYPE_DIR );
510
511     #
512     # Now recurse into subdirectories
513     #
514     $m->findRecurse($backupNum, $share, $path, $depth,
515                     $callback, @callbackArgs);
516 }
517
518 #
519 # Same as find(), except the callback is not called on the current
520 # $path, only on the contents of $path.  So if $path is a file then
521 # no callback or recursion occurs.
522 #
523 sub findRecurse
524 {
525     my($m, $backupNum, $share, $path, $depth, $callback, @callbackArgs) = @_;
526
527     my $attr = $m->dirAttrib($backupNum, $share, $path);
528     return if ( !defined($attr) );
529     foreach my $file ( sort(keys(%$attr)) ) {
530         &$callback($attr->{$file}, @callbackArgs);
531         next if ( !$depth || $attr->{$file}{type} != BPC_FTYPE_DIR );
532         #
533         # For depth-first, recurse as we hit each directory
534         #
535         $m->findRecurse($backupNum, $share, "$path/$file", $depth,
536                              $callback, @callbackArgs);
537     }
538     if ( !$depth ) {
539         #
540         # For non-depth, recurse directories after we finish current dir
541         #
542         foreach my $file ( keys(%{$attr}) ) {
543             next if ( $attr->{$file}{type} != BPC_FTYPE_DIR );
544             $m->findRecurse($backupNum, $share, "$path/$file", $depth,
545                             $callback, @callbackArgs);
546         }
547     }
548 }
549
550 1;