finish rename to BackupPC::Search
[BackupPC.git] / lib / BackupPC / View.pm
1 #============================================================= -*-perl-*-
2 #
3 # BackupPC::View package
4 #
5 # DESCRIPTION
6 #
7 #   This library defines a BackupPC::View class for merging of
8 #   incremental backups and file attributes.  This provides the
9 #   caller with a single view of a merged backup, without worrying
10 #   about which backup contributes which files.
11 #
12 # AUTHOR
13 #   Craig Barratt  <cbarratt@users.sourceforge.net>
14 #
15 # COPYRIGHT
16 #   Copyright (C) 2002-2009  Craig Barratt
17 #
18 #   This program is free software; you can redistribute it and/or modify
19 #   it under the terms of the GNU General Public License as published by
20 #   the Free Software Foundation; either version 2 of the License, or
21 #   (at your option) any later version.
22 #
23 #   This program is distributed in the hope that it will be useful,
24 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
25 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
26 #   GNU General Public License for more details.
27 #
28 #   You should have received a copy of the GNU General Public License
29 #   along with this program; if not, write to the Free Software
30 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
31 #
32 #========================================================================
33 #
34 # Version 3.2.0, released 31 Jul 2010.
35 #
36 # See http://backuppc.sourceforge.net.
37 #
38 #========================================================================
39
40 package BackupPC::View;
41
42 use strict;
43
44 use File::Path;
45 use BackupPC::Lib;
46 use BackupPC::Attrib qw(:all);
47 use BackupPC::FileZIO;
48 use Data::Dumper;
49 use Encode qw/from_to/;
50
51 sub new
52 {
53     my($class, $bpc, $host, $backups, $options) = @_;
54     my $m = bless {
55         bpc       => $bpc,      # BackupPC::Lib object
56         host      => $host,     # host name
57         backups   => $backups,  # all backups for this host
58         num       => -1,        # backup number
59         idx       => -1,        # index into backups for backup
60                                 #   we are viewing
61         dirPath   => undef,     # path to current directory
62         dirAttr   => undef,     # attributes of current directory
63         dirOpts   => $options,  # $options is a hash of file attributes we need:
64                                 # type, inode, or nlink.  If set, these parameters
65                                 # are added to the returned hash.
66                                 # See BackupPC::Lib::dirRead().
67     }, $class;
68     $m->{topDir} = $m->{bpc}->TopDir();
69     return $m;
70 }
71
72 sub dirCache
73 {
74     my($m, $backupNum, $share, $dir) = @_;
75     my($i, $level);
76
77     #print STDERR "dirCache($backupNum, $share, $dir)\n";
78     $dir = "/$dir" if ( $dir !~ m{^/} );
79     $dir =~ s{/+$}{};
80     return if ( $m->{num} == $backupNum
81                 && $m->{share} eq $share
82                 && defined($m->{dir})
83                 && $m->{dir} eq $dir );
84     $m->backupNumCache($backupNum) if ( $m->{num} != $backupNum );
85     return if ( $m->{idx} < 0 );
86
87     $m->{files} = {};
88     $level = $m->{backups}[$m->{idx}]{level} + 1;
89
90     #
91     # Remember the requested share and dir
92     #
93     $m->{share} = $share;
94     $m->{dir} = $dir;
95
96     #
97     # merge backups, starting at the requested one, and working
98     # backwards until we get to level 0.
99     #
100     $m->{mergeNums} = [];
101     for ( $i = $m->{idx} ; $level > 0 && $i >= 0 ; $i-- ) {
102         #print(STDERR "Do $i ($m->{backups}[$i]{noFill},$m->{backups}[$i]{level})\n");
103         #
104         # skip backups with the same or higher level
105         #
106         next if ( $m->{backups}[$i]{level} >= $level );
107
108         last if exists $m->{dirOpts}->{only_first} && $i != $m->{idx};
109         # used by bin/BackupPC_updatedb to extract just first increment
110
111         $level = $m->{backups}[$i]{level};
112         $backupNum = $m->{backups}[$i]{num};
113         push(@{$m->{mergeNums}}, $backupNum);
114         my $mangle   = $m->{backups}[$i]{mangle};
115         my $compress = $m->{backups}[$i]{compress};
116         my $path     = "$m->{topDir}/pc/$m->{host}/$backupNum/";
117         my $legacyCharset = $m->{backups}[$i]{version} < 3.0;
118         my $sharePathM;
119         if ( $mangle ) {
120             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
121                         . $m->{bpc}->fileNameMangle($dir);
122         } else {
123             $sharePathM = $share . $dir;
124         }
125         $path .= $sharePathM;
126         #print(STDERR "Opening $path (share=$share, mangle=$mangle)\n");
127
128         my $dirOpts    = { %{$m->{dirOpts} || {} } };
129         my $attribOpts = { compress => $compress };
130         if ( $legacyCharset ) {
131             $dirOpts->{charsetLegacy}
132                     = $attribOpts->{charsetLegacy}
133                     = $m->{bpc}->{Conf}{ClientCharsetLegacy} || "iso-8859-1";
134         }
135
136         my $dirInfo = $m->{bpc}->dirRead($path, $dirOpts);
137         if ( !defined($dirInfo) ) {
138             if ( $i == $m->{idx} ) {
139                 #
140                 # Oops, directory doesn't exist.
141                 #
142                 $m->{files} = undef;
143                 return;
144             }
145             next;
146         }
147         my $attr;
148         if ( $mangle ) {
149             $attr = BackupPC::Attrib->new($attribOpts);
150             if ( !$attr->read($path) ) {
151                 $m->{error} = "Can't read attribute file in $path: " . $attr->errStr();
152                 $attr = undef;
153             }
154         }
155         foreach my $entry ( @$dirInfo ) {
156             my $file = $1 if ( $entry->{name} =~ /(.*)/s );
157             my $fileUM = $file;
158             $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
159             #print(STDERR "Doing $fileUM\n");
160             #
161             # skip special files
162             #
163             next if ( defined($m->{files}{$fileUM})
164                     || $file eq ".."
165                     || $file eq "."
166                     || $file eq "backupInfo"
167                     || $mangle && $file eq "attrib" );
168
169             if ( defined($attr) && defined(my $a = $attr->get($fileUM)) ) {
170                 $m->{files}{$fileUM} = $a;
171                 #
172                 # skip directories in earlier backups (each backup always
173                 # has the complete directory tree).
174                 #
175                 next if ( $i < $m->{idx} && $a->{type} == BPC_FTYPE_DIR );
176                 $attr->set($fileUM, undef);
177             } else {
178                 #
179                 # Very expensive in the non-attribute case when compresseion
180                 # is on.  We have to stat the file and read compressed files
181                 # to determine their size.
182                 #
183                 my $realPath = "$path/$file";
184
185                 from_to($realPath, "utf8", $attribOpts->{charsetLegacy})
186                                 if ( $attribOpts->{charsetLegacy} ne "" );
187
188                 my @s = stat($realPath);
189                 next if ( $i < $m->{idx} && -d _ );
190                 $m->{files}{$fileUM} = {
191                     type  => -d _ ? BPC_FTYPE_DIR : BPC_FTYPE_FILE,
192                     mode  => $s[2],
193                     uid   => $s[4],
194                     gid   => $s[5],
195                     size  => -f _ ? $s[7] : 0,
196                     mtime => $s[9],
197                 };
198                 if ( $compress && -f _ ) {
199                     #
200                     # Compute the correct size by reading the whole file
201                     #
202                     my $f = BackupPC::FileZIO->open($realPath,
203                                                     0, $compress);
204                     if ( !defined($f) ) {
205                         $m->{error} = "Can't open $realPath";
206                     } else {
207                         my($data, $size);
208                         while ( $f->read(\$data, 65636 * 8) > 0 ) {
209                             $size += length($data);
210                         }
211                         $f->close;
212                         $m->{files}{$fileUM}{size} = $size;
213                     }
214                 }
215             }
216             ($m->{files}{$fileUM}{relPath}    = "$dir/$fileUM") =~ s{//+}{/}g;
217             ($m->{files}{$fileUM}{sharePathM} = "$sharePathM/$file")
218                                                                =~ s{//+}{/}g;
219             ($m->{files}{$fileUM}{fullPath}   = "$path/$file") =~ s{//+}{/}g;
220             from_to($m->{files}{$fileUM}{fullPath}, "utf8", $attribOpts->{charsetLegacy})
221                                 if ( $attribOpts->{charsetLegacy} ne "" );
222             $m->{files}{$fileUM}{backupNum}   = $backupNum;
223             $m->{files}{$fileUM}{compress}    = $compress;
224             $m->{files}{$fileUM}{nlink}       = $entry->{nlink}
225                                                     if ( $m->{dirOpts}{nlink} );
226             $m->{files}{$fileUM}{inode}       = $entry->{inode}
227                                                     if ( $m->{dirOpts}{inode} );
228         }
229         #
230         # Also include deleted files
231         #
232         if ( defined($attr) ) {
233             my $a = $attr->get;
234             foreach my $fileUM ( keys(%$a) ) {
235                 next if ( $a->{$fileUM}{type} != BPC_FTYPE_DELETED );
236                 my $file = $fileUM;
237                 $file = $m->{bpc}->fileNameMangle($fileUM) if ( $mangle );
238                 $m->{files}{$fileUM}             = $a->{$fileUM};
239                 $m->{files}{$fileUM}{relPath}    = "$dir/$fileUM";
240                 $m->{files}{$fileUM}{sharePathM} = "$sharePathM/$file";
241                 $m->{files}{$fileUM}{fullPath}   = "$path/$file";
242                 from_to($m->{files}{$fileUM}{fullPath}, "utf8", $attribOpts->{charsetLegacy})
243                                     if ( $attribOpts->{charsetLegacy} ne "" );
244                 $m->{files}{$fileUM}{backupNum}  = $backupNum;
245                 $m->{files}{$fileUM}{compress}   = $compress;
246                 $m->{files}{$fileUM}{nlink}      = 0;
247                 $m->{files}{$fileUM}{inode}      = 0;
248             }
249         }
250     }
251     #
252     # Prune deleted files
253     #
254     foreach my $file ( keys(%{$m->{files}}) ) {
255         next if ( $m->{files}{$file}{type} != BPC_FTYPE_DELETED );
256         delete($m->{files}{$file});
257     }
258     #print STDERR "Returning:\n", Dumper($m->{files});
259 }
260
261 #
262 # Return list of shares for this backup
263 #
264 sub shareList
265 {
266     my($m, $backupNum) = @_;
267     my @shareList;
268
269     $m->backupNumCache($backupNum) if ( $m->{num} != $backupNum );
270     return if ( $m->{idx} < 0 );
271
272     my $mangle = $m->{backups}[$m->{idx}]{mangle};
273     my $path = "$m->{topDir}/pc/$m->{host}/$backupNum/";
274     return if ( !opendir(DIR, $path) );
275     my @dir = readdir(DIR);
276     closedir(DIR);
277     foreach my $file ( @dir ) {
278         $file = $1 if ( $file =~ /(.*)/s );
279         next if ( $file eq "attrib" && $mangle
280                || $file eq "."
281                || $file eq ".."
282                || $file eq "backupInfo"
283             );
284         my $fileUM = $file;
285         $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
286         push(@shareList, $fileUM);
287     }
288     $m->{dir} = undef;
289     return @shareList;
290 }
291
292 sub backupNumCache
293 {
294     my($m, $backupNum) = @_;
295
296     if ( $m->{num} != $backupNum ) {
297         my $i;
298         for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
299             last if ( $m->{backups}[$i]{num} == $backupNum );
300         }
301         if ( $i >= @{$m->{backups}} ) {
302             $m->{idx} = -1;
303             return;
304         }
305         $m->{num} = $backupNum;
306         $m->{idx} = $i;
307     }
308 }
309
310 #
311 # Return the attributes of a specific file
312 #
313 sub fileAttrib
314 {
315     my($m, $backupNum, $share, $path) = @_;
316
317     #print(STDERR "fileAttrib($backupNum, $share, $path)\n");
318     if ( $path =~ s{(.*)/+(.+)}{$1}s ) {
319         my $file = $2;
320         $m->dirCache($backupNum, $share, $path);
321         return $m->{files}{$file};
322     } else {
323         #print STDERR "Got empty $path\n";
324         $m->dirCache($backupNum, "", "");
325         my $attr = $m->{files}{$share};
326         return if ( !defined($attr) );
327         $attr->{relPath} = "/";
328         return $attr;
329     }
330 }
331
332 #
333 # Return the contents of a directory
334 #
335 sub dirAttrib
336 {
337     my($m, $backupNum, $share, $dir) = @_;
338
339     $m->dirCache($backupNum, $share, $dir);
340     return $m->{files};
341 }
342
343 #
344 # Return a listref of backup numbers that are merged to create this view
345 #
346 sub mergeNums
347 {
348     my($m) = @_;
349
350     return $m->{mergeNums};
351 }
352
353 #
354 # Return a list of backup indexes for which the directory exists
355 #
356 sub backupList
357 {
358     my($m, $share, $dir) = @_;
359     my($i, @backupList);
360
361     $dir = "/$dir" if ( $dir !~ m{^/} );
362     $dir =~ s{/+$}{};
363
364     for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
365         my $backupNum = $m->{backups}[$i]{num};
366         my $mangle = $m->{backups}[$i]{mangle};
367         my $path   = "$m->{topDir}/pc/$m->{host}/$backupNum/";
368         my $sharePathM;
369         if ( $mangle ) {
370             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
371                         . $m->{bpc}->fileNameMangle($dir);
372         } else {
373             $sharePathM = $share . $dir;
374         }
375         $path .= $sharePathM;
376         next if ( !-d $path );
377         push(@backupList, $i);
378     }
379     return @backupList;
380 }
381
382 #
383 # Return the history of all backups for a particular directory
384 #
385 sub dirHistory
386 {
387     my($m, $share, $dir) = @_;
388     my($i, $level);
389     my $files = {};
390
391     $dir = "/$dir" if ( $dir !~ m{^/} );
392     $dir =~ s{/+$}{};
393
394     #
395     # merge backups, starting at the first one, and working
396     # forward.
397     #
398     for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
399         $level        = $m->{backups}[$i]{level};
400         my $backupNum = $m->{backups}[$i]{num};
401         my $mangle    = $m->{backups}[$i]{mangle};
402         my $compress  = $m->{backups}[$i]{compress};
403         my $path      = "$m->{topDir}/pc/$m->{host}/$backupNum/";
404         my $legacyCharset = $m->{backups}[$i]{version} < 3.0;
405         my $sharePathM;
406         if ( $mangle ) {
407             $sharePathM = $m->{bpc}->fileNameEltMangle($share)
408                         . $m->{bpc}->fileNameMangle($dir);
409         } else {
410             $sharePathM = $share . $dir;
411         }
412         $path .= $sharePathM;
413         #print(STDERR "Opening $path (share=$share)\n");
414
415         my $dirOpts    = { %{$m->{dirOpts} || {} } };
416         my $attribOpts = { compress => $compress };
417         if ( $legacyCharset ) {
418             $dirOpts->{charsetLegacy}
419                     = $attribOpts->{charsetLegacy}
420                     = $m->{bpc}->{Conf}{ClientCharsetLegacy} || "iso-8859-1";
421         }
422
423         my $dirInfo = $m->{bpc}->dirRead($path, $dirOpts);
424         if ( !defined($dirInfo) ) {
425             #
426             # Oops, directory doesn't exist.
427             #
428             next;
429         }
430         my $attr;
431         if ( $mangle ) {
432             $attr = BackupPC::Attrib->new($attribOpts);
433             if ( !$attr->read($path) ) {
434                 $m->{error} = "Can't read attribute file in $path";
435                 $attr = undef;
436             }
437         }
438         foreach my $entry ( @$dirInfo ) {
439             my $file = $1 if ( $entry->{name} =~ /(.*)/s );
440             my $fileUM = $file;
441             $fileUM = $m->{bpc}->fileNameUnmangle($fileUM) if ( $mangle );
442             #print(STDERR "Doing $fileUM\n");
443             #
444             # skip special files
445             #
446             next if (  $file eq ".."
447                     || $file eq "."
448                     || $mangle && $file eq "attrib"
449                     || defined($files->{$fileUM}[$i]) );
450
451             my $realPath = "$path/$file";
452             from_to($realPath, "utf8", $attribOpts->{charsetLegacy})
453                             if ( $attribOpts->{charsetLegacy} ne "" );
454             my @s = stat($realPath);
455             if ( defined($attr) && defined(my $a = $attr->get($fileUM)) ) {
456                 $files->{$fileUM}[$i] = $a;
457                 $attr->set($fileUM, undef);
458             } else {
459                 #
460                 # Very expensive in the non-attribute case when compresseion
461                 # is on.  We have to stat the file and read compressed files
462                 # to determine their size.
463                 #
464                 $files->{$fileUM}[$i] = {
465                     type  => -d _ ? BPC_FTYPE_DIR : BPC_FTYPE_FILE,
466                     mode  => $s[2],
467                     uid   => $s[4],
468                     gid   => $s[5],
469                     size  => -f _ ? $s[7] : 0,
470                     mtime => $s[9],
471                 };
472                 if ( $compress && -f _ ) {
473                     #
474                     # Compute the correct size by reading the whole file
475                     #
476                     my $f = BackupPC::FileZIO->open("$realPath",
477                                                     0, $compress);
478                     if ( !defined($f) ) {
479                         $m->{error} = "Can't open $path/$file";
480                     } else {
481                         my($data, $size);
482                         while ( $f->read(\$data, 65636 * 8) > 0 ) {
483                             $size += length($data);
484                         }
485                         $f->close;
486                         $files->{$fileUM}[$i]{size} = $size;
487                     }
488                 }
489             }
490             ($files->{$fileUM}[$i]{relPath}    = "$dir/$fileUM") =~ s{//+}{/}g;
491             ($files->{$fileUM}[$i]{sharePathM} = "$sharePathM/$file")
492                                                                 =~ s{//+}{/}g;
493             ($files->{$fileUM}[$i]{fullPath}   = "$path/$file") =~ s{//+}{/}g;
494             $files->{$fileUM}[$i]{backupNum}   = $backupNum;
495             $files->{$fileUM}[$i]{compress}    = $compress;
496             $files->{$fileUM}[$i]{nlink}       = $entry->{nlink}
497                                                     if ( $m->{dirOpts}{nlink} );
498             $files->{$fileUM}[$i]{inode}       = $entry->{inode}
499                                                     if ( $m->{dirOpts}{inode} );
500         }
501
502         #
503         # Flag deleted files
504         #
505         if ( defined($attr) ) {
506             my $a = $attr->get;
507             foreach my $fileUM ( keys(%$a) ) {
508                 next if ( $a->{$fileUM}{type} != BPC_FTYPE_DELETED );
509                 $files->{$fileUM}[$i]{type} = BPC_FTYPE_DELETED;
510             }
511         }
512
513         #
514         # Merge old backups.  Don't merge directories from old
515         # backups because every backup has an accurate directory
516         # tree.
517         #
518         for ( my $k = $i - 1 ; $level > 0 && $k >= 0 ; $k-- ) {
519             next if ( $m->{backups}[$k]{level} >= $level );
520             $level = $m->{backups}[$k]{level};
521             foreach my $fileUM ( keys(%$files) ) {
522                 next if ( !defined($files->{$fileUM}[$k])
523                         || defined($files->{$fileUM}[$i])
524                         || $files->{$fileUM}[$k]{type} == BPC_FTYPE_DIR );
525                 $files->{$fileUM}[$i] = $files->{$fileUM}[$k];
526             }
527         }
528     }
529
530     #
531     # Remove deleted files
532     #
533     for ( $i = 0 ; $i < @{$m->{backups}} ; $i++ ) {
534         foreach my $fileUM ( keys(%$files) ) {
535             next if ( !defined($files->{$fileUM}[$i])
536                     || $files->{$fileUM}[$i]{type} != BPC_FTYPE_DELETED );
537             $files->{$fileUM}[$i] = undef;
538         }
539     }
540
541     #print STDERR "Returning:\n", Dumper($files);
542     return $files;
543 }
544
545
546 #
547 # Do a recursive find starting at the given path (either a file
548 # or directory).  The callback function $callback is called on each
549 # file and directory.  The function arguments are the attrs hashref,
550 # and additional callback arguments.  The search is depth-first if
551 # depth is set.  Returns -1 if $path does not exist.
552 #
553 sub find
554 {
555     my($m, $backupNum, $share, $path, $depth, $callback, @callbackArgs) = @_;
556
557     #print(STDERR "find: got $backupNum, $share, $path\n");
558     #
559     # First call the callback on the given $path
560     #
561     my $attr = $m->fileAttrib($backupNum, $share, $path);
562     return -1 if ( !defined($attr) );
563     &$callback($attr, @callbackArgs);
564     return if ( $attr->{type} != BPC_FTYPE_DIR );
565
566     #
567     # Now recurse into subdirectories
568     #
569     $m->findRecurse($backupNum, $share, $path, $depth,
570                     $callback, @callbackArgs);
571 }
572
573 #
574 # Same as find(), except the callback is not called on the current
575 # $path, only on the contents of $path.  So if $path is a file then
576 # no callback or recursion occurs.
577 #
578 sub findRecurse
579 {
580     my($m, $backupNum, $share, $path, $depth, $callback, @callbackArgs) = @_;
581
582     my $attr = $m->dirAttrib($backupNum, $share, $path);
583     return if ( !defined($attr) );
584     foreach my $file ( sort(keys(%$attr)) ) {
585         &$callback($attr->{$file}, @callbackArgs);
586         next if ( !$depth || $attr->{$file}{type} != BPC_FTYPE_DIR );
587         #
588         # For depth-first, recurse as we hit each directory
589         #
590         $m->findRecurse($backupNum, $share, "$path/$file", $depth,
591                              $callback, @callbackArgs);
592     }
593     if ( !$depth ) {
594         #
595         # For non-depth, recurse directories after we finish current dir
596         #
597         foreach my $file ( keys(%{$attr}) ) {
598             next if ( $attr->{$file}{type} != BPC_FTYPE_DIR );
599             $m->findRecurse($backupNum, $share, "$path/$file", $depth,
600                             $callback, @callbackArgs);
601         }
602     }
603 }
604
605 1;