* lots of minor changes to prepare for 3.0.0beta0 release
[BackupPC.git] / lib / BackupPC / Xfer / Smb.pm
1 #============================================================= -*-perl-*-
2 #
3 # BackupPC::Xfer::Smb package
4 #
5 # DESCRIPTION
6 #
7 #   This library defines a BackupPC::Xfer::Smb class for managing
8 #   the SMB (smbclient) transport of backup data from the client.
9 #
10 # AUTHOR
11 #   Craig Barratt  <cbarratt@users.sourceforge.net>
12 #
13 # COPYRIGHT
14 #   Copyright (C) 2001-2003  Craig Barratt
15 #
16 #   This program is free software; you can redistribute it and/or modify
17 #   it under the terms of the GNU General Public License as published by
18 #   the Free Software Foundation; either version 2 of the License, or
19 #   (at your option) any later version.
20 #
21 #   This program is distributed in the hope that it will be useful,
22 #   but WITHOUT ANY WARRANTY; without even the implied warranty of
23 #   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 #   GNU General Public License for more details.
25 #
26 #   You should have received a copy of the GNU General Public License
27 #   along with this program; if not, write to the Free Software
28 #   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 #
30 #========================================================================
31 #
32 # Version 3.0.0beta0, released 11 Jul 2006.
33 #
34 # See http://backuppc.sourceforge.net.
35 #
36 #========================================================================
37
38 package BackupPC::Xfer::Smb;
39
40 use strict;
41
42 sub new
43 {
44     my($class, $bpc, $args) = @_;
45
46     $args ||= {};
47     my $t = bless {
48         bpc       => $bpc,
49         conf      => { $bpc->Conf },
50         host      => "",
51         hostIP    => "",
52         shareName => "",
53         pipeRH    => undef,
54         pipeWH    => undef,
55         badFiles  => [],
56         %$args,
57     }, $class;
58
59     return $t;
60 }
61
62 sub args
63 {
64     my($t, $args) = @_;
65
66     foreach my $arg ( keys(%$args) ) {
67         $t->{$arg} = $args->{$arg};
68     }
69 }
70
71 sub useTar
72 {
73     return 1;
74 }
75
76 sub start
77 {
78     my($t) = @_;
79     my $bpc = $t->{bpc};
80     my $conf = $t->{conf};
81     my $I_option = $t->{hostIP} eq $t->{host} ? [] : ['-I', $t->{hostIP}];
82     my(@fileList, $X_option, $smbClientCmd, $logMsg);
83     my($timeStampFile);
84     local(*SMB);
85
86     #
87     # First propagate the PASSWD setting 
88     #
89     $ENV{PASSWD} = $ENV{BPC_SMB_PASSWD} if ( defined($ENV{BPC_SMB_PASSWD}) );
90     $ENV{PASSWD} = $conf->{SmbSharePasswd}
91                                  if ( defined($conf->{SmbSharePasswd}) );
92     if ( !defined($ENV{PASSWD}) ) {
93         $t->{_errStr} = "passwd not set for smbclient";
94         return;
95     }
96     if ( !defined($conf->{SmbClientPath}) || !-x $conf->{SmbClientPath} ) {
97         $t->{_errStr} = '$Conf{SmbClientPath} is not a valid executable';
98         return;
99     }
100     if ( $t->{type} eq "restore" ) {
101         $smbClientCmd = $conf->{SmbClientRestoreCmd};
102         $logMsg = "restore started for share $t->{shareName}";
103     } else {
104         #
105         # Turn $conf->{BackupFilesOnly} and $conf->{BackupFilesExclude}
106         # into a hash of arrays of files, and $conf->{SmbShareName}
107         # to an array
108         #
109         $bpc->backupFileConfFix($conf, "SmbShareName");
110
111         $t->{fileIncludeHash} = {};
112         if ( defined($conf->{BackupFilesOnly}{$t->{shareName}}) ) {
113             foreach my $file ( @{$conf->{BackupFilesOnly}{$t->{shareName}}} ) {
114                 push(@fileList, $file);
115                 $t->{fileIncludeHash}{$file} = 1;
116             }
117         } elsif ( defined($conf->{BackupFilesExclude}{$t->{shareName}}) ) {
118             foreach my $file ( @{$conf->{BackupFilesExclude}{$t->{shareName}}} )
119             {
120                 push(@fileList, $file);
121             }
122             #
123             # Allow simple wildcards in exclude list by specifying "r" option.
124             #
125             $X_option = "rX";
126         }
127         if ( $t->{type} eq "full" ) {
128             $smbClientCmd = $conf->{SmbClientFullCmd};
129             $logMsg = "full backup started for share $t->{shareName}";
130         } else {
131             $timeStampFile = "$t->{outDir}/timeStamp.level0";
132             open(LEV0, ">", $timeStampFile) && close(LEV0);
133             utime($t->{incrBaseTime} - 3600, $t->{incrBaseTime} - 3600,
134                   $timeStampFile);
135             $smbClientCmd = $conf->{SmbClientIncrCmd};
136             $logMsg = "incr backup started back to "
137                     . $bpc->timeStamp($t->{incrBaseTime} - 3600, 0)
138                     . " (backup #$t->{incrBaseBkupNum}) for share"
139                     . " $t->{shareName}";
140         }
141     }
142     my $args = {
143         smbClientPath => $conf->{SmbClientPath},
144         host          => $t->{host},
145         hostIP        => $t->{hostIP},
146         client        => $t->{client},
147         shareName     => $t->{shareName},
148         userName      => $conf->{SmbShareUserName},
149         fileList      => \@fileList,
150         I_option      => $I_option,
151         X_option      => $X_option,
152         timeStampFile => $timeStampFile,
153     };
154     $smbClientCmd = $bpc->cmdVarSubstitute($smbClientCmd, $args);
155
156     if ( !defined($t->{xferPid} = open(SMB, "-|")) ) {
157         $t->{_errStr} = "Can't fork to run smbclient";
158         return;
159     }
160     $t->{pipeSMB} = *SMB;
161     if ( !$t->{xferPid} ) {
162         #
163         # This is the smbclient child.
164         #
165         setpgrp 0,0;
166         if ( $t->{type} eq "restore" ) {
167             #
168             # For restores close the write end of the pipe,
169             # clone STDIN from RH, and STDERR to STDOUT
170             #
171             close($t->{pipeWH});
172             close(STDERR);
173             open(STDERR, ">&STDOUT");
174             close(STDIN);
175             open(STDIN, "<&$t->{pipeRH}");
176         } else {
177             #
178             # For backups close the read end of the pipe,
179             # clone STDOUT to WH, STDERR to STDOUT
180             #
181             close($t->{pipeRH});
182             close(STDERR);
183             open(STDERR, ">&STDOUT");
184             open(STDOUT, ">&$t->{pipeWH}");
185         }
186         #
187         # Run smbclient.
188         #
189         alarm(0);
190         $bpc->cmdExecOrEval($smbClientCmd, $args);
191         # should not be reached, but just in case...
192         $t->{_errStr} = "Can't exec $conf->{SmbClientPath}";
193         return;
194     }
195     my $str = "Running: " . $bpc->execCmd2ShellCmd(@$smbClientCmd) . "\n";
196     $t->{XferLOG}->write(\$str);
197     alarm($conf->{ClientTimeout});
198     $t->{_errStr} = undef;
199     return $logMsg;
200 }
201
202 sub readOutput
203 {
204     my($t, $FDreadRef, $rout) = @_;
205     my $conf = $t->{conf};
206
207     if ( vec($rout, fileno($t->{pipeSMB}), 1) ) {
208         my $mesg;
209         if ( sysread($t->{pipeSMB}, $mesg, 8192) <= 0 ) {
210             vec($$FDreadRef, fileno($t->{pipeSMB}), 1) = 0;
211             close($t->{pipeSMB});
212         } else {
213             $t->{smbOut} .= $mesg;
214         }
215     }
216     while ( $t->{smbOut} =~ /(.*?)[\n\r]+(.*)/s ) {
217         $_ = $1;
218         $t->{smbOut} = $2;
219         #
220         # ignore the log file time stamps from smbclient introduced
221         # in version 3.0.0 - don't even write them to the log file.
222         #
223         if ( m{^\[\d+/\d+/\d+ +\d+:\d+:\d+.*\] +(client/cli|lib/util_unistr).*\(\d+\)} ) {
224             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 5 );
225             next;
226         }
227         #
228         # refresh our inactivity alarm
229         #
230         alarm($conf->{ClientTimeout}) if ( !$t->{abort} );
231         $t->{lastOutputLine} = $_ if ( !/^$/ );
232         #
233         # This section is highly dependent on the version of smbclient.
234         # If you upgrade Samba, make sure that these regexp are still valid.
235         #
236         if ( /^\s*(-?\d+) \(\s*\d+[.,]\d kb\/s\) (.*)$/ ) {
237             my $sambaFileSize = $1;
238             my $pcFileName    = $2;
239             (my $fileName = $pcFileName) =~ s/\\/\//g;
240             $sambaFileSize += 1024 * 1024 * 4096 if ( $sambaFileSize < 0 );
241             $fileName =~ s/^\/*//;
242             $t->{byteCnt} += $sambaFileSize;
243             $t->{fileCnt}++;
244             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 2 );
245         } elsif ( /restore tar file (.*) of size (\d+) bytes/ ) {
246             $t->{byteCnt} += $2;
247             $t->{fileCnt}++;
248             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 1 );
249         } elsif ( /^\s*tar: dumped \d+ files/ ) {
250             $t->{xferOK} = 1;
251             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 0 );
252         } elsif ( /^\s*tar: restored \d+ files/ ) {
253             $t->{xferOK} = 1;
254             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 0 );
255         } elsif ( /^\s*read_socket_with_timeout: timeout read. /i ) {
256             $t->{hostAbort} = 1;
257             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 0 );
258         } elsif ( /^code 0 listing /
259                     || /^\s*code 0 opening /
260                     || /^\s*abandoning restore/i
261                     || /^\s*Error: Looping in FIND_NEXT/i
262                     || /^\s*SUCCESS - 0/i
263                     || /^\s*Call timed out: server did not respond/i
264                     || /^\s*tree connect failed: ERRDOS - ERRnoaccess \(Access denied\.\)/
265                     || /^\s*tree connect failed: NT_STATUS_BAD_NETWORK_NAME/
266                     || /^\s*NT_STATUS_INSUFF_SERVER_RESOURCES listing /
267                  ) {
268             if ( $t->{hostError} eq "" ) {
269                 $t->{XferLOG}->write(\"This backup will fail because: $_\n");
270                 $t->{hostError} = $_;
271             }
272             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 0 );
273         } elsif ( /^\s*NT_STATUS_ACCESS_DENIED listing (.*)/
274                || /^\s*ERRDOS - ERRnoaccess \(Access denied\.\) listing (.*)/ ) {
275             my $badDir = $1;
276             $badDir =~ s{\\}{/}g;
277             $badDir =~ s{/+}{/}g;
278             $badDir =~ s{/\*$}{};
279             if ( $t->{hostError} eq ""
280                     && ($badDir eq "" || $t->{fileIncludeHash}{$badDir}) ) {
281                 $t->{XferLOG}->write(\"This backup will fail because: $_\n");
282                 $t->{hostError} ||= $_;
283             }
284             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 0 );
285         } elsif ( /^\s*directory \\/i ) {
286             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 2 );
287         } elsif ( /smb: \\>/
288                 || /^\s*added interface/i
289                 || /^\s*tarmode is now/i
290                 || /^\s*Total bytes written/i
291                 || /^\s*Domain=/i
292                 || /^\([\d\.]* kb\/s\) \(average [\d\.]* kb\/s\)$/i
293                 || /^\s*Getting files newer than/i
294                 || /^\s*restore directory \\/i
295                 || /^\s*Output is \/dev\/null/i
296                 || /^\s*Timezone is/i
297                 || /^\s*tar_re_search set/i
298                 || /^\s*creating lame (up|low)case table/i
299             ) {
300             # ignore these messages
301             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 1 );
302         } else {
303             $t->{xferErrCnt}++;
304             $t->{xferBadShareCnt}++ if ( /^ERRDOS - ERRbadshare/ );
305             $t->{xferBadFileCnt}++  if ( /^ERRDOS - ERRbadfile/ );
306             if ( $t->{xferErrCnt} > 50000 ) {
307                 $t->logMsg(
308                       "Too many smbtar errors ($t->{xferErrCnt})... giving up");
309                 $t->{hostError} = "Too many smbtar errors ($t->{xferErrCnt})";
310                 return;
311             }
312             if ( /^Error reading file (.*)\. Got 0 bytes/ ) {
313                 #
314                 # This happens when a Windoze application has
315                 # locked the file.  This is a particular problem
316                 # with MS-Outlook.  smbclient has already written
317                 # the tar header to stdout, so all it can do is to
318                 # write a dummy file with the correct size, but all
319                 # zeros. BackupPC_tarExtract stores these
320                 # zero-content files efficiently as a sparse file,
321                 # or if compression is on the file will be small
322                 # anyhow.  After the dump is done we simply delete
323                 # the file (it is no use) and try to link it to same
324                 # file in any recent backup.
325                 #
326                 my $badFile = $1;
327                 $badFile =~ s{\\}{/}g;
328                 $badFile =~ s{^/}{};
329                 push(@{$t->{badFiles}}, {
330                         share => $t->{shareName},
331                         file  => $badFile
332                     });
333             }
334             $t->{XferLOG}->write(\"$_\n") if ( $t->{logLevel} >= 1 );
335         }
336     }
337     return 1;
338 }
339
340 sub abort
341 {
342     my($t, $reason) = @_;
343
344     $t->{abort} = 1;
345     $t->{abortReason} = $reason;
346 }
347
348 sub setSelectMask
349 {
350     my($t, $FDreadRef) = @_;
351
352     vec($$FDreadRef, fileno($t->{pipeSMB}), 1) = 1;
353 }
354
355 sub errStr
356 {
357     my($t) = @_;
358
359     return $t->{_errStr};
360 }
361
362 sub xferPid
363 {
364     my($t) = @_;
365
366     return ($t->{xferPid});
367 }
368
369 sub logMsg
370 {
371     my($t, $msg) = @_;
372
373     push(@{$t->{_logMsg}}, $msg);
374 }
375
376 sub logMsgGet
377 {
378     my($t) = @_;
379
380     return shift(@{$t->{_logMsg}});
381 }
382
383 #
384 # Returns a hash ref giving various status information about
385 # the transfer.
386 #
387 sub getStats
388 {
389     my($t) = @_;
390
391     return { map { $_ => $t->{$_} }
392             qw(byteCnt fileCnt xferErrCnt xferBadShareCnt xferBadFileCnt
393                xferOK hostAbort hostError lastOutputLine)
394     };
395 }
396
397 sub getBadFiles
398 {
399     my($t) = @_;
400
401     return @{$t->{badFiles}};
402 }
403
404 1;