cb4d6c6c83dc5fc77570e67c518f7542c8afe5de
[BackupPC.git] / ChangeLog
1 #========================================================================
2 #
3 # ChangeLog - change log for BackupPC.
4 #
5 # DESCRIPTION
6 #   Revision history for BackupPC, detailing significant changes between
7 #   versions, most recent first.
8 #
9 # AUTHOR
10 #   Craig Barratt  <cbarratt@users.sourceforge.net>
11 #
12 #========================================================================
13 #
14 # Version __VERSION__, released __RELEASEDATE__.
15 #
16 # See http://backuppc.sourceforge.net.
17 #
18 #========================================================================
19
20 #------------------------------------------------------------------------
21 # Version __VERSION__, __RELEASEDATE__
22 #------------------------------------------------------------------------
23
24 * $Conf{BackupFilesOnly} and $Conf{BackupFilesExclude} now apply
25   to every share, rather than just the first, in the case where
26   they are arrays and there are multiple shares.  Suggested
27   by Andy Evans.
28
29 * On the phase 2 retry pass with rsync, verify the cached checksums
30   if checksum caching is turned on.  This will catch the case of
31   cached checksums being incorrectly appended to the compressed
32   pool file.  Added new config parameter $Conf{RsyncCsumCacheVerifyProb}
33   so that cached checksums are verified with a selectable probability.
34   Also, increased File::RsyncP version number to 0.51.
35
36 * configure.pl now supports an optional batch mode.  Command-line
37   options are used to specify all the information that configure.pl
38   needs.  This is useful for building auto-install packages.
39   Also, configure.pl now includes pod documentation, so you can do
40   "perldoc configure.pl" to see all the command-line options.
41   Suggested, tested and tweaked by Stuart Herbert for possible
42   Gentoo inclusion.
43
44 * At each wakeup, clients are now queued based on how old the most
45   recent backup is.  Clients with errors are queued first, with
46   the oldest error times going first.  Clients with good backups
47   are queued next, with the oldest backup going first.  Previously
48   the clients were simply queued in alphabetic order.  Suggested
49   by Tony Nelson.
50
51 * Added config parameter $Conf{PartialAgeMax} that controls whether
52   partials are saved at all, and if so, whether the partial will be
53   ignored at the next full backup if it is too old.
54
55 * BackupPC_tarExtract now allows empty archives without reporting
56   an error.  Reported by Don Silvia.
57
58 * Removed Browse Backups link from Nav Bar in Archive Info display.
59   Reported by Ralph Paßgang.
60
61 * Fixed documentation display for regular users.  Reported by Ralph Paßgang.
62
63 * Status and PC Summary now work for regular users and only show
64   that user's hosts.  Server general status information only appears
65   for admins.  Suggested by Ralph Paßgang.
66
67 * Moved the last three navigation-bar links (docs, FAQ and SF) to
68   a new config parameter $Conf{CgiNavBarLinks}.  This allows
69   these links to be locally configured.  Based on a patch
70   submitted by Ralph Paßgang.
71
72 * Allow the navigation bar search box to be disabled by
73   setting $Conf{CgiSearchBoxEnable} to 0.  Based on a patch
74   submitted by Ralph Paßgang.
75
76 * Updates to de.pm from Ralph Paßgang.
77
78 * Made the BackupPC icon a link to the SF BackupPC project page.
79
80 #------------------------------------------------------------------------
81 # Version 2.1.0beta1, 4 Apr 2004
82 #------------------------------------------------------------------------
83
84 * The CSS definition has been removed from the config.pl file and
85   is now a separate file, BackupPC_stnd.css.  A new config variable,
86   $Conf{CgiCSSFile}, gives the name of the CSS file to use.
87   Suggested by Ender Mathias.
88
89 * Fixed the filling of the host name select box for admins.
90   The default $Conf{CgiNavBarAdminAllHosts} is now 1.
91   Reported by Doug Lytle.
92
93 * Cleaned up warning message for restore using rsync when checksum
94   caching is on, but when file didn't have cached checksums.
95
96 * Fixed BackupPC_archiveHost to support par2 (par2cmdline).
97   Patch submitted by Jaco Bongers and adapted by Josh Marshall.
98
99 * Improved stat() usage in BackupPC_nightly, plus some other cleanup,
100   giving a significant performance improvement.  Patch submitted by
101   Wayne Scott.
102
103 * Allow several BackupPC_nightly processes to run in parallel based
104   on new $Conf{BackupPCNightlyJobs} setting.  This speeds up the
105   traversal of the pool, reducing the overall run time for
106   BackupPC_nightly.
107
108 * Allow BackupPC_nightly to split the pool traversal across several
109   nightly runs.  This improves the running time per night, at the expense
110   of a slight increase in disk storage as unused pool files might not
111   be deleted for a couple of days.  Controller by new config setting
112   $Conf{BackupPCNightlyPeriod}.
113
114 #------------------------------------------------------------------------
115 # Version 2.1.0beta0, 20 Mar 2004
116 #------------------------------------------------------------------------
117
118 * A failed full dump is now saved as a partial (incomplete) dump,
119   provided it includes some files.  This can be used for browsing,
120   restoring etc, and will also form the basis of resuming full
121   dumps.  Only one partial is kept, and it is removed as soon
122   as a successful full (or a new partial) is done.
123
124 * Added support for resuming a full dump for rsync.  The partial
125   full is kept, and to resume an incremental is done against the
126   partial, and a full is done for the rest.
127
128 * Added support for Rsync checksum caching.  Rsync checksum are
129   appended to the compressed pool files.  This means that block
130   and file checksums do not need to be recomputed on the server
131   when using rsync.  Requires a patch to rsync to support fixed
132   checksum seeds.  This patch is included in the cygwin-rsyncd
133   release on http://backuppc.sourceforge.net.
134
135 * Major addition of Archive feature from Josh Marshall.  Special
136   clients can be configured to be archive targets (eg: tape drives,
137   CD-R).  Any subset of the backup clients can be selected and tar
138   archives are created, optionally compressed and split and written
139   to the output device.  Logs are maintained and are browsable.
140
141 * Major changes from Ryan Kucera to add style sheets to the CGI
142   interface, allowing easy customization.  Added new icons and
143   BackupPC logo.  Numerous navigation improvements.
144
145 * Added directory history display to BackupPC_Admin, allowing the
146   user to quickly see which files changed between backups on a
147   per-directory basis.
148
149 * Added exponential expiry option for full dumps.  This allows you
150   to specify
151   
152    - how many fulls to keep at intervals of $Conf{FullPeriod}, followed by
153    - how many fulls to keep at intervals of 2 * $Conf{FullPeriod},
154    - how many fulls to keep at intervals of 4 * $Conf{FullPeriod},
155    - how many fulls to keep at intervals of 8 * $Conf{FullPeriod},
156    - how many fulls to keep at intervals of 16 * $Conf{FullPeriod},
157
158   and so on.  This allows you, for example, to keep 4 weekly fulls,
159   followed by 6 fulls every 4 weeks (approx 1 month) and 2 fulls at
160   16 weeks, for roughly 1 year of history.  This works by deleting
161   every other full as each expiry boundary is crossed.  Suggested
162   by David Cramblett.
163
164 * Added Italian language translation it.pm from Lorenzo Cappelletti.
165
166 * Major updates to language files for new features and tags changes.
167   Updated makeDist to do pedantic consistency checking of language
168   files.
169
170 * Addition of administration options from Paul Lukins.  Initial
171   page allows server to be started/stopped/reloaded.  This still
172   needs some i18n work.  Currently the server start/stop is
173   commented out.
174
175 * Split BackupPC_Admin into a set of modules, one for each major action.
176   Each action is now a seperate module in lib/BackupPC/CGI.
177
178 * Allow the blackout period begin/end to span midnight.  Adapted
179   from patch submitted by David Smith.
180
181 * Allow multiple blackout periods, with new config variable
182   $Conf{BlackoutPeriods} that replaces the old variables
183   $Conf{BlackoutHourBegin}, $Conf{BlackoutHourEnd}, and
184   $Conf{BlackoutWeekDays}.  Based on patch submitted by
185   Lorenzo Cappelletti.
186
187 * Disabled alarms after forks to avoid timeouts in children that
188   do not reset their alarm.  Prompted by ideas from James Leu.
189
190 * Added options for block size, buffer size and share wild-card to
191   BackupPC_tarCreate.  Also added negative backup number options
192   that are relative to the last (so -1 is the last), suggested by
193   William McKee and Carl Soderstrom.
194
195 * Add creation of per-PC directory in BackupPC/CGI/Restore.pm in
196   case it doesn't already exist.
197
198 * Added -q -x to all ssh commands in conf/config.pl.  Suggested by
199   SI Reasoning and Niranjan Ghate.
200
201 * Changed restore code so that option #1 (direct restore) can be
202   disabled if the restore command is undefined.  Disabling direct
203   restore is necessary if the share is read-only.  Suggested by
204   Rich B from SAIC.
205
206 * Changed regexp in lib/BackupPC/Smb.pm to allow numbers with both
207   a decimal point or comma for international versions of Samba.
208   Patch submitted by Frank Gard.
209
210 * Browsing and directory history now sort the files in a
211   case-insensitive manner.
212
213 * Changed exec() syntax to allow executing commands whose path
214   contains spaces.
215
216 * Swapped the Server and Hosts sections on the Nav bar.  Moved the
217   host search text box to the top of the hosts section.  This was
218   done to move the variable-length part of the Nav bar (when all
219   hosts are displayed) to the bottom.
220
221 * Fixed a bug in tar restore related to how the common prefix path is
222   removed.  Now ensure that the common path is at a directory boundary.
223   Reported by Patrick Neuner.
224
225 * Added --chuid ${USER} to init.d/src/gentoo-backuppc.  Suggested by
226   SI Reasoning, Pascal Pochol, Michael Evanoff and others.
227
228 * Added Suse notes to init.d/README from Bruno Vernay.
229
230 * Added Apache 2 documentation fix from Michael Tuzi.
231
232 #------------------------------------------------------------------------
233 # Version 2.0.2, 6 Oct 2003
234 #------------------------------------------------------------------------
235
236 * Fixed stupid last-minute change in octal size conversion in
237   Backup_tarExtract.
238
239 #-----------------------------------------------------------------------
240 # Version 2.0.1, 5 Oct 2003
241 #------------------------------------------------------------------------
242
243 * Fixed handling of >= 8GB files in BackupPC_tarExtract and >= 4GB
244   files in BackupPC_tarCreate.
245
246 * Removed smbclient size repair in BackupPC_tarExtract for files
247   between 2GB and 4GB.  This means that BackupPC_tarExtract 2.0.1
248   doesn't behave the same as 2.0.0 for file sizes between 2GB and 4GB
249   extacted using smbclient 2.2.x.  If you have problems backing up
250   files whose size is between 2GB and 4GB using smbclient 2.2.x
251   you should upgrade smbclient to 3.0, since it now generates
252   correct file sizes.
253
254 * Replace PingClientPath with PingPath in configure.pl.
255
256 * Removed -T (taint mode) on binaries installed in configure.pl.
257
258 * Added support for smbclient from samba version 3.0.0.
259
260 * Fixed $Conf{HardLinkMax} limit check in BackupPC::Lib; reported
261   by Ross Skaliotis.
262
263 * In BackupPC_Admin, default REMOTE_USER to $Conf{BackupPCUser}
264   if it is not defined.  This allows the CGI interface to work
265   when AdminUsers = '*'.  Reported by Quentin Arce.
266
267 * For SMB, code that detected files with a read-locked region (eg:
268   outlook .pst files), removed them and then tried to link with an
269   earlier version was broken.  This code missed a step of mangling
270   the file names.  This is now fixed.  Reported by Pierre Bourgin.
271
272 * A backup of a share that has zero files is now considered
273   fatal. This is used to catch miscellaneous Xfer errors that
274   result in no files being backed up.  A new config parameter
275   $Conf{BackupZeroFilesIsFatal} (defaults to 1) and can be set to
276   zero to turn off this check.  Suggested by Guillaume Filion.
277   Additional change: this check only applies to a full dump.
278
279 * SMB: now detect NT_STATUS_ACCESS_DENIED on entire share or BackupFilesOnly
280   (also ERRDOS - ERRnoaccess (Access denied.) for older versions of
281   smbclient.)  Suggested by Guillaume Filion.
282
283 * SMB: now detects "tree connect failed: NT_STATUS_BAD_NETWORK_NAME" and
284   the dump is considered failed.
285
286 * Rsync: Previously BackupFilesOnly = '/' did --include '/' --exclude '/*',
287   which just included the '/' directory and nothing below.  Now it
288   does just --include '/', which should include everything.
289   Reported by denon.
290
291 * Add hostError to DumpPostUserCmd variable substitutions for both dump
292   and restore.
293
294 * Verbose output in Lib.pm goes to STDERR, not STDOUT.  This now
295   makes BackupPC_dump -v work better.
296
297 * Don't allow browsing with ".." in directory in case a user tries
298   to trick BackupPC_Admin into displaying directories outside where
299   they are allowed.
300
301 * Required File::RsyncP version is now 0.44, since File::RsyncP 0.44
302   fixes large file (>2GB) bugs.  Large file bugs reported by Steve
303   Waltner.
304
305 #------------------------------------------------------------------------
306 # Version 2.0.0, 14 Jun 2003
307 #------------------------------------------------------------------------
308
309 * Minor tweaks to disable utf8 on utf8-capable machines (eg: RH8+).
310   Added "no utf8" to all programs, and added binmode() to relevant
311   file handles.
312
313 #------------------------------------------------------------------------
314 # Version 2.0.0beta3, 1 Jun 2003
315 #------------------------------------------------------------------------
316
317 * Several improvements to restore: cancel now reports the correct
318   message and cleans up correctly.
319
320 * Rsync with whitespace and wildcard excludes fixed by replacing
321   argList with argList+ in config.pl plus a fix to Lib.pm for
322   shell escaping array arguments.
323
324 * Fixed rsync restore for character and block special devices
325   (major and minor device numbers weren't correctly restored).
326
327 * Fixed typo in bin/BackupPC_restore (XferLOG -> RestoreLOG).
328
329 * (Re)-fixed "Bad command" in log file when restore via tar or zip
330   file download is done.
331
332 * Added untaint to exec in Lib.pm to avoid tainted errors.
333
334 * Applied additional tweak to hilight patch from Tim Demarest.
335
336 * $Conf{CgiAdminUsers} = '*' now allows privileged even with REMOTE_USER
337   not set.
338
339 * Don't display RsyncdPasswd when displaying config.pl files.
340
341 * Replace pipe with socketpair in bin/BackupPC_dump and bin/BackupPC_restore,
342   which increases typical buffering from 4K to 16K-64K.  This improves the
343   performance.
344
345 * Add check on $ENV{LANG} setting do configure.pl: if LANG includes utf
346   then a warning is printed.
347
348 #------------------------------------------------------------------------
349 # Version 2.0.0beta2, 11 May 2003
350 #------------------------------------------------------------------------
351
352 * Added German translation, provided by Manfred Herrmann.
353
354 * Fixed large-file problem with rsync, reported by Manfred Herrmann.
355
356 * Fixed zip and tar file download from CGI under mod_perl.  Reported
357   by Pierre Bourgin and Paul Lukins.
358
359 * Fixed directory browsing and top-level directory browsing in 2.0.0beta0.
360   Reported by several users.
361
362 * Added -v option to BackupPC_dump for verbose output (useful when
363   you run the command manually).  Added messages for all exits.
364
365 * If nmblookup returns multiple IP addresses, NetBiosHostIPFind()
366   now returns the first IP address that matches the subnet mask.
367   Suggested by Tim Demarest.
368
369 * Fixed BackupPC::View so the top-level directory is handled correctly.
370   This allows the top-level share/directory to be restored via the
371   CGI interface.  Reported by several users.
372
373 * Fixed RsyncFileIO failures on certain large files by replacing seek()
374   with sysseek().  Reported by Manfred Herrmann.
375
376 * Added configurable highlighting of PC status in the CGI summary
377   screen; submitted by Tim Demarest.
378
379 * Fixed command queue CGI display; submitted by Tim Demarest.
380
381 * BackupPC_trashClean now logs an error if it can't remove all the
382   trash and then goes back to sleep, rather than continually trying.
383
384 * Moved correct user (uid) check into BackupPC::Lib so that all
385   applications do a user check if $Cong{BackupPCUserVerify} is
386   set.  The avoids the risk of manually running BackupPC_dump as
387   the wrong user.
388
389 * Loss of blackout now applies to "host not found" as well as no ping.
390   Reported by Dale Renton.
391
392 * "Host not found" is now treated in a similar manner to "no ping".
393
394 * Added suse-linux init.d script from Leon Letto.
395
396 * Added Gentoo linux init.d script from Tim Demarest.
397
398 * Applied additional i18n strings from GFK and the translation team.
399
400 * Fixed option parsing so that getopts errors are reported and we exit.
401
402 * Changed reporting of Xfer PIDs so that rsync cancel works correctly.
403
404 #------------------------------------------------------------------------
405 # Version 2.0.0beta1, 30 Mar 2003
406 #------------------------------------------------------------------------
407
408 * Added Spanish translation es.pm from Javier Gonzalez.
409
410 * Fixed CGI browse navigation bug that causes BackupPC_Admin to wedge
411   when directories were selected in a certain order.
412
413 * Fixed BackupPC::PoolWrite so that it can recover when the initial
414   file size is wrong.  This is needed since rsync could write a file
415   whose size is different from the initial size returned in the
416   file list when that file is updated while rsync is running.
417
418 * Added binmode(STDIN) to BackupPC_tarExtract, suggested by Pat LoPresti
419   to fix a problem a RedHat8 with perl 5.8.0.  It's unclear why this
420   helps, but it should be benign.  See:
421     http://sourceforge.net/mailarchive/forum.php?thread_id=1853018&forum_id=503
422
423 #------------------------------------------------------------------------
424 # Version 2.0.0beta0, 23 Feb 2003
425 #------------------------------------------------------------------------
426
427 * Support for rsync and rsyncd backup and restore.  Changes to
428   BackupPC_dump, BackupPC_restore, and new modules BackupPC::Xfer::Rsync
429   and BackupPC::Xfer::RsyncFileIO.
430
431 * Added internationalization (i18n) code from Xavier Nicollet,
432   with additions from Guillaume Filion.  Voila!  BackupPC_Admin
433   now supports English and French, and adding more languages is
434   now easy.  New config paramater $Conf{Language} sets the language.
435
436 * Added optional user-defined pre/post dump/restore commands, allowing
437   things like database shutdown/startup for dumps.
438
439 * Changed the way hosts are found.
440
441 * Added $Conf{ClientNameAlias}, which allows the name of the physical
442   client machine to be set.  This allows several different backup
443   "hosts" to all refer to the same physical machine, which is
444   convenient if several different types of data need to be backed
445   up, or if different parameters are needed for different parts of
446   the host.
447
448 * Replaced $Conf{PingArgs} with $Conf{PingCmd}, added $Conf{DfCmd},
449   $Conf{NmbLookupCmd} allowing all these commands to be fully
450   configured.  Also, all commands can also now be fragments of
451   perl code.
452
453 * Moved all smbclient commands into the config.pl file so the specific
454   arguments can be customized.  New config parameters are
455   $Conf{SmbClientFullCmd}, $Conf{SmbClientIncrCmd} and
456   $Conf{SmbClientRestoreCmd}.
457
458 * Added new BackupPC::View module that creates views of backups
459   (handling merging etc).  Updated BackupPC_Admin, BackupPC_zipCreate
460   and BackupPC_tarCreate to use BackupPC::View.  This removes lots
461   of merging and mangling code from the higher-level code.
462
463 * Added code from Toby Johnson that allows additional users to be
464   specified in the hosts file; these users can also view/start/stop
465   and restore backups for that host.  Also added a new config
466   setting $Conf{CgiNavBarAdminAllHosts} that allows all hosts to
467   be listed in the left nav bar for admins.
468
469 * Added $Conf{HardLinkMax} (default 31999) which sets the limit on
470   the maximum number of hardlinks per file in the pool.  If a file
471   ever gets to this number of links a new pool file is created to
472   handle additional links.
473
474 * Added $Conf{PerlModuleLoad}, which allows optional additional perl
475   modules to be loaded.
476
477 * Added $Conf{EMailUserDestDomain} and other EMail config settings to
478   allow language-specific default messages to be overridden.
479
480 * Added BPC_FTYPE_DELETED to lib/BackupPC/Attrib.pm, allowing deleted
481   files to be represented in the attrib file correctly.
482
483 * Added support for environment variable BPC_SMB_PASSWD, which is the
484   client's smb password.  This overrides the old environment variable
485   PASSWD.
486
487 * Added taint cleanup for perl5.8 to lib/BackupPC/Lib.pm.
488
489 * Changed $tar_unpack_header format in BackupPC_tarExtract to correctly
490   handle files with trailing spaces.
491
492 * Added catching of SIG_PIPE to BackupPC_dump, and changed catch_signal
493   to ignore multiple signals of the same type.
494
495 * Added reporting of the largest number of hardlinks in the pool to the
496   log file.
497
498 * Adding reporting of syntax errors in the per-PC config.pl file.
499
500 * Updated BackupPC_sendEmail to handle language-specific email messages.
501
502 * Allow client (host) names to contain spaces.  Spaces in host names
503   need to be escaped via "\" in the hosts file.  The user of spaces in
504   host names is discouraged, but they should work.  One feature that
505   doesn't work with host names that contain spaces is the highlighting
506   of that name in the log file display in the CGI interface.  There are
507   no plans to fix this.
508
509 * Renamed $Conf{SmbClientTimeout} to $Conf{ClientTimeout}.
510
511 * Fixed all open() calls to use 3 argument form to fix handling of file
512   names with trailing whitespace.  Also fixed CGI interface so these
513   file names are displayed correctly.
514
515 * Fixed new 2.0.0 CGI navigation bug that causes the top-level directory
516   to have a URL "&share=//boot&dir=" instead of "&share=/boot&dir=/".
517   Reported by Pascal Schelcher.  Fixed similar problem reported by
518   Doug Lytle.
519
520 * Added "PerlTaintCheck On" to the mod_perl section in the docs,
521   suggested by Tim Demarest.
522
523 #------------------------------------------------------------------------
524 # Version 1.5.0, 2 Aug 2002
525 #------------------------------------------------------------------------
526
527 * Changed conf/config.pl so that $Conf{TarIncrArgs} uses the --newer
528   option instead of --newer-mtime.  Also removed --atime-preserve from
529   $Conf{TarClientCmd}.  This makes the default settings work better
530   with tripwire.
531
532 * Fixed configure.pl so it correctly detects a running BackupPC <= v1.4.0
533   so it can correctly warn the user to stop it before upgrading.  Reported
534   by David Holland.
535
536 * Added missing ";" to entity escape in EscapeHTML in BackupPC_Admin.
537   Reported by Guillaume Filion.
538
539 * Added LDAP setup to documentation from David Holland.
540
541 * Tar.pm now adds a "." to file paths that start with "/", so that all
542   tar paths are relative.  From Ludovic Drolez.
543
544 #------------------------------------------------------------------------
545 # Version 1.5.0beta0, 30 Jun 2002
546 #------------------------------------------------------------------------
547
548 * A full set of restore options is now supported, including direct
549   restore via smbclient or tar or downloading a zip or tar file.
550
551 * Major additions to CGI script to support better directory navigation,
552   restore features and mod_perl.  Also, file downloads from the CGI
553   interface now correctly preserve the file name and provide the
554   correct Content-Type for the most common types of files.  Improved
555   directory navigation was contributed by Ryan Kucera.
556
557 * New script BackupPC_zipCreate (contributed by Guillaume Filion) is the
558   zip analog of BackupPC_tarCreate.  BackupPC_zipCreate can be used to
559   create a zip archive of any portion of a backup.
560
561 * Substantial additions to BackupPC_tarCreate to support restore,
562   including modifying path names, handling hardlinks, fixing
563   support of old backups without attributes (pre-v1.4.0).  Plus
564   BackupPC_tarCreate is now an offical part of the release.
565   (Lack of support for hardlinks was reported by John Stanley.)
566
567 * BackupPC_tarExtract now supports hardlinks and fixed pooling of
568   attribute files.
569
570 * A unix domain socket is now used for communication between the CGI
571   interface and BackupPC.  The original TCP socket is optional.  Sockets
572   are correctly re-initialized if config.pl is updated with new socket
573   settings.
574
575 * For improved security messages over the unix or TCP socket are protected
576   via an MD5 digest based on a shared secret, a sequence number, a time
577   stamp and a unique per-connection number.
578
579 * Additions to configure.pl to support install of directory navigation
580   images.
581
582 * Fixed case where $Conf{BackupFilesOnly} or $Conf{BackupFilesExclude}
583   were set to a single string or list (in v1.4.0 only the case of
584   hash worked correctly).  Reported by Phillip Bertolus.
585
586 * Fixed case of $Conf{BackoutGoodCnt} == 0.  This setting now makes the
587   client always subject to blackout, matching the comments in config.pl.
588   Also fixed handling of $Conf{BackoutGoodCnt} < 0 in the CGI script
589   reported by Pascal Schelcher.
590
591 * Fixed byte and file totals for tar backups, reported by several users.
592
593 * Fixed --newer-mtime date/timestamp format to make it ISO 8601 compliant,
594   suggested by Erminio Baranzini.
595
596 * Fixed handling of $Conf{BackupFilesOnly} in BackupPC::Xfer::Tar.pm, as
597   well as shell escaping of tar arguments.
598
599 * Fixed entity encoding of 8-bit characters in the CGI interface.
600
601 * Added optional CGI headers in $Conf{CgiHeaders} that by default
602   is set to a no-cache pragma.  Suggested by Benno Zuure.
603
604 #------------------------------------------------------------------------
605 # Version 1.4.0, 16 Mar 2002
606 #------------------------------------------------------------------------
607
608 * BackupPC now supports tar (in addition to smb) for extracting host    
609   data.  This is the most convenient option for linux/unix hosts.
610   Tar can be configured to run over ssh, rsh or to backup a local
611   nfs mount from the host.
612
613 * Support for special files, including symbolic links, fifo, character
614   and block device files has been added, so that all native linux/unix
615   file types can be correctly backed up when using tar transport.
616   Special files are all stored as regular files and the type attributes
617   are used to remember the original file type.
618
619 * All unix file attributes are now saved (and pooled when possible).
620   This includes user and group ownership, permissions, and modification
621   time.  Smbclient also does a reasonable job of emulating unix 
622   permissions (such as mtime), and these attributes get saved too.
623
624 * The new default is to not fill incremental dumps.  configure.pl
625   automatically sets $Conf{IncrFill} to 0.  The default was 1
626   (incrementals were filled with hardlinks).  Since the CGI
627   script does filling at browsing time, there is no need to
628   fill incremental dumps.
629
630 * Backup file names are now stored in "mangled" form. Each node of a
631   path is preceded by "f", and special characters (\n, \r, % and /) are
632   URI-encoded as "%xx", where xx is the ascii character's hex value. So
633   c:/craig/example.txt is now stored as fc/fcraig/fexample.txt. This
634   was done mainly so meta-data could be stored alongside the backup
635   files without name collisions.  In particular, the attributes for the
636   files in a directory are stored in a file called "attrib", and
637   mangling avoids file name collisions (I discarded the idea of having
638   a duplicate directory tree for every backup just to store the
639   attributes). Other meta-data (eg: rsync checksums) could be stored in
640   file names preceded by, eg, "c".  There are two other benefits to
641   mangling: the share name might contain "/" (eg: "/home/craig" for tar
642   transport), and I wanted that represented as a single level in the
643   storage tree.  Secondly, as files are written to NewFileList for later
644   processing by BackupPC_link, embedded newlines in the file's path
645   will cause problems which are avoided by mangling.
646
647   The CGI script undoes the mangling, so it is invisibe to the user.
648   Of course, old (unmangled) backups are still supported by the CGI
649   interface.
650
651 * Various changes to the CGI interface, BackupPC_Admin:
652
653   + Added button that allows users to manually start a full dump in
654     addition to the existing incremental dump.
655
656   + Added display of file attributes when browsing backups.
657
658   + Added an optional holdoff time specified by the user when canceling
659     a backup. BackupPC will not attempt any new backups for at least the
660     specified time. This holdoff time can be changed whether or not a
661     backup is running.
662
663   + Added supports for file mangling, and correct merging of unfilled
664     backups from mangled or unmangled (and compressed or uncompressed)
665     fulls when browsing or restoring.
666
667   + Only displays a "Start Incr Backup" button if there are already some
668     backups.
669
670   + For DHCP hosts, when a user tries to manually start a backup, add
671     a check for the netbios name of both the host the request came
672     from (REMOTE_ADDR) and the last known DHCP address for that host
673     to see if either address matches the host. If not, an error
674     message is display. The previous behavior was that only requests
675     from the client itself succeeded, and requests from other machines
676     quietly failed.
677
678 * Changed the version numbering to X.Y.Z, instead of X.0Y. This release
679   is 1.4.0. The first digit is for major new releases, the middle digit
680   is for significant feature releases and improvements, and the last
681   digit is for bug fixes. You should think of the old 1.00, 1.01, 1.02
682   and 1.03 as 1.0.0, ..., 1.3.0.
683
684 * BackupPC and the CGI script BackupPC_Admin now check that the effective
685   user id is correct to avoid accidentally launching BackupPC as the
686   wrong user or detecting CGI configuration problems.  This behavior
687   can be turned off using the $Conf{BackupPCUserVerify} option.
688
689 * In numerous places changed "Smb" to "Xfer" (eg: log file names) to
690   support generic names for both smb and tar transport methods.  The
691   CGI script checks for old names for backward compatibility.
692
693 * Major changed to Backup_dump to support new tar transport.  All transport
694   specific code moved into BackupPC::Xfer::Smb and BackupPC::Xfer::Tar
695   objects.
696
697 * Added workaround for a bug in Samba's smbclient for files between 2GB
698   and 4GB.  The file size in the tar header is incorrect.  This allows
699   files up to 4GB to work with smbclient, rather than 2GB.  To support
700   files larger than 2GB you must make sure perl is compiled with the
701   uselargefiles option (use "perl -V | egrep largefiles" to check) and
702   the pool directory must be on a file system that supports large files.
703
704 * Moved the pool writing code into a module BackupPC::PoolWrite.  This
705   allows the clever file pool checking (digest, uncompressing, comparing
706   etc with minimum disk IO) to be used easily in multiple places (eg: it
707   is now used for writing attribute files so they can be pooled).
708
709 * Changed MD5 to Digest::MD5 to avoid use of the depreceated MD5 module.
710
711 * Shortened default $Conf{MyPath} so that perl's taint mode is more likely
712   to be happy.  The old $Conf{MyPath} contained /usr/local/bin, which
713   on one user's machine was world writable and perl -T correctly
714   complained about it.
715
716 * Fixed ping command options in Lib.pm so that it works on OpenBSD.
717   Thanks to Kyle Amon for sending the fix.  Decided to move the
718   ping options from Lib.pm into config.pl (as $Conf{PingArgs}) and
719   now configure.pl tries to come up with a sensible default based on
720   the OS.
721
722 * Fixed argument checking in BackupPC_tarExtract to allow '$' in the
723   share name (eg: C$).  Thanks to Jules Agee for this fix.  Also
724   changed the default config.pl so that single quotes are used
725   everywhere so that people don't get tripped up putting '$' inside
726   double-quoted strings.
727
728 #------------------------------------------------------------------------
729 # Version 1.03, 9 Dec 2001
730 #------------------------------------------------------------------------
731
732 * BackupPC now has full support for compression.  There are now two
733   pool areas, the original pool for uncompressed files, and cpool for
734   compressed files. The compression is done by Compress::Zlib.
735   Compression reduces the pool disk usage by around 40%, although your
736   mileage may vary.  Compression is optional and can also be specified on
737   a per-PC basis (although this will cost more pool storage since many
738   backup files will have to be stored in both compressed and
739   uncompressed forms.
740
741 * A new script, BackupPC_compressPool, can be run to compress the entire
742   pool.  This is used once to migrate all the pool data from uncompressed
743   to compressed on existing installations.  Read the documentation
744   (Installing BackupPC/Compressing an existing pool) before running
745   BackupPC_compressPool!
746
747   Alternatively, compression can simply be turned on and all new backups
748   will be compressed. Both old (uncompressed) and new (compressed)
749   backups can be browsed and viewed. Eventually, the old backups will
750   expire and all the pool data will be compressed.  However, until the
751   old backups expire, this approach could require 60% or more additional
752   pool storage space to store both uncompressed and compressed versions
753   of the backup files.
754
755 * Significant improvements to the cgi interface, BackupPC_Admin:
756
757     - much better layout navigation
758     - handles compressed backup files and compressed log files
759     - handles unfilled incremental dumps
760     - better backup directory browsing navigation
761     - reports compression statistics
762     - $Conf{CgiDateFormatMMDD} allows you to set date format (MM/DD or DD/MM)
763     - Additional customization with $Conf{CgiHeaderFontType},
764       $Conf{CgiHeaderFontSize}, $Conf{CgiNavBarBgColor}, and
765       $Conf{CgiHeaderBgColor}.
766
767 * Eliminated BackupPC_queueAll.  BackupPC directly reads the hosts
768   file and queues the PCs itself.  Like config.pl, BackupPC will
769   re-read the hosts file on each wakeup if its modification time
770   changes, or upon a SIGHUP.  This also makes for better behavior
771   when adding a host: if you add hosts, simply send a SIGHUP to
772   BackupPC or wait for the next wakeup.
773
774 * BackupPC_dump now compresses the SmbLOG file if compression is enabled.
775
776 * BackupPC_dump keeps track of compressed file sizes so that compression
777   statistics can be reported by the cgi interface.
778
779 * Aging of old log files now handles compressed log files (.z extension).
780
781 * Added configuration option $Conf{IncrFill} to specify whether
782   incremental dumps should be filled in.  Old behavior was that
783   filling was on.  Now it's optional.  See config.pl for more
784   details.
785
786 * BackupPC_nightly now cleans and generates statistics for both
787   the uncompressed pool and compressed pool (cpool).
788
789 * Added new utility script BackupPC_zcat that can be used to
790   uncompresses BackupPC files.
791
792 * configure.pl offers various options related to compression,
793   depending upon whether this is a new install or upgrade,
794   and whether or not Compress::Zlib is installed.
795
796 * configure.pl now makes a backup copy of config.pl before
797   config.pl is updated.
798
799 * added three new fields to the backups file to handle optional
800   filling and compression stats.
801
802 * Added -e option to BackupPC_dump.  BackupPC now invokes BackupPC_dump -e
803   on each dhcp host once each night to verify that very old backups are
804   expired.  This ensures that very old backups are expired even if
805   the dhcp host has not been on the network for a long time.
806
807 * fixed bug in BackupPC::FileZIO.pm that required Compress::Zlib,
808   even if compression was off.  Thanks to Steve Holmes for reporting
809   this.
810
811 * fixed bug that caused a BackupPC queue to get blocked when a backup
812   cancel attempt was made during the BackupPC_link phase.
813
814 #------------------------------------------------------------------------
815 # Version 1.02, 28 Oct 2001.
816 #------------------------------------------------------------------------
817
818 * Added new script BackupPC_tarExtract to extract the smbclient tar
819   archive. This reduces disk writes by perhaps 90-95% and disk reads by
820   50%. Previously, tar was used to extract and write everything to disk.
821   Then BackupPC_dump would read enough of each file to compute the MD5
822   digest, and then compare the full file with candidate pool files.  So
823   for each 1MB file that matches a single file in the pool, there would
824   be 1MB of disk writes and 2MB of disk reads (to compare two 1MB files).
825
826   BackupPC_tarExtract instead extracts the archive using a 1MB memory
827   buffer.  This allows the MD5 digest to be computed without touching the
828   disk.  Next, any potential pool file compares are done by comparing the
829   pool file against the incoming tar data in memory, which only requires
830   the pool file to be read.  So for each 1MB file that matches a single
831   file in the pool, there are now no disk writes, and only 1MB of reads.
832   BackupPC_tarExtract handles arbitrary size files and repeated
833   potential pool matches.  If the incoming file doesn't match the pool
834   then it is written to disk (once the pool is mature this happens maybe
835   5-10% of the time).
836
837 * Substantial changes to BackupPC_dump:
838
839     + BackupPC_tarExtract is now used in place of tar.
840
841     + BackupPC_dump now reads the output from both smbclient and
842       BackupPC_tarExtract and merges them into SmbLOG.
843
844     + Named pipes are no longer used to connect smbclient to tar
845       (now BackupPC_tarExtract).  Regular pipes are used instead.
846       This avoids the need to system mknod or mkfifo.
847
848     + Locked files on the client that can't be read by smbclient
849       previously were filled with 0x0 bytes by smbclient, meaning
850       tar extracted a useless file filled with 0x0 bytes.  Now,
851       BackupPC_dump watches the output of smbclient and removes
852       any files that smbclient couldn't read.  This avoids storing
853       useless files.  It tries to replace such files with a hard link
854       to a previous dump.  These actions appear in the log file.
855
856 * added new module lib/BackupPC/FileZIO.pm. This handles pool file
857   I/O and is used by BackupPC_tarExtract.  BackupPC::FileIO supports
858   reading and writing compressed and regular files and provides all the
859   hooks for compression support in BackupPC (should be supported in next
860   version). BackupPC::FileIO also does efficient writing of files that
861   contain leading 0x0 bytes (by seeking past the 0x0 bytes). This is
862   helpful when smbclient reads a locked file, and it fills the tar
863   output with a file of the correct size but all 0x0.  Such files will be
864   later removed by BackupPC_dump.  But in the meantime, BackupPC::FileIO
865   writes such files efficiently (as sparse files), meaning just a few
866   blocks of disk space will be needed even if the file is large.
867
868 * alive/dead counting for blackout now works correctly for DHCP hosts.
869
870 * BackupPC resets activeJob on startup, to fix bug when BackupPC was
871   killed and restarted with backups running.
872
873 * added extra non blocking select() in BackupPC to make sure the socket
874   reads don't block.
875
876 * BackupPC avoids queuing multiple BackupPC_queueAll's on the CmdQueue.
877
878 * Updated BackupPC_sendEmail to correctly parse the locked file
879   error from 2.2.1a smbclient, so that missing Outlook file emails
880   can be correctly sent.
881
882 * Changed HostInfoRead() in lib/BackupPC/Lib.pm to lowercase the
883   hostname read from the hosts file.
884
885 * BackupPC_Admin provides general summary when the host name is empty.
886
887 * configure.pl (and BackupPC) now requires perl 5.6.0 or later.
888
889 * configure.pl complains if BackupPC is already running, reminding you
890   to stop it before upgrading.
891
892 * updated documentation, and fixed auto-insertion of config.pl into
893   BackupPC.pod (previously the last config parameter was left out of
894   BackupPC.pod).
895
896 #------------------------------------------------------------------------
897 # Version 1.01, 30 Sep 2001
898 #------------------------------------------------------------------------
899
900 * Documentation cleanup in README, doc/BackupPC.pod, conf/config.pl.
901
902 * BackupPC_sendMail now reads the optional per-PC config file, allowing
903   email configuration parameters to be set on a per-PC basis.
904
905 * Removed the unused 4096-length MD5 digest code in lib/BackupPC/Lib.pm.
906
907 #------------------------------------------------------------------------
908 # Version 1.00, 21 Sep 2001
909 #------------------------------------------------------------------------
910
911 * Initial release of BackupPC on sourceforge.net.