ChangeLog

   1 #========================================================================
   2 #
   3 # ChangeLog - change log for BackupPC.
   4 #
   5 # DESCRIPTION
   6 #   Revision history for BackupPC, detailing significant changes between
   7 #   versions, most recent first.
   8 #
   9 # AUTHOR
  10 #   Craig Barratt  <cbarratt@users.sourceforge.net>
  11 #
  12 #========================================================================
  13 #
  14 # Version __VERSION__, released __RELEASEDATE__.
  15 #
  16 # See http://backuppc.sourceforge.net.
  17 #
  18 #========================================================================
  19
  20 #------------------------------------------------------------------------
  21 # Version __VERSION__, __RELEASEDATE__
  22 #------------------------------------------------------------------------
  23
  24 * Support for rsync and rsyncd backup and restore.  Changes to
  25   BackupPC_dump, BackupPC_restore, and new modules BackupPC::Xfer::Rsync
  26   and BackupPC::Xfer::RsyncFileIO.
  27
  28 * Added internationalization (i18n) code from Xavier Nicollet,
  29   with additions from Guillaume Filion.  Voila!  BackupPC_Admin
  30   now supports English and French, and adding more languages is
  31   now easy.
  32
  33 * Added optional user-defined pre/post dump/restore commands, allowing
  34   things like database shutdown/startup for dumps.
  35
  36 * Replaced $Conf{PingArgs} with $Conf{PingCmd}, added $Conf{DfCmd},
  37   $Conf{NmbLookupCmd} allowing all these commands to be fully
  38   configured.  Also, all commands (except smbclient) can also
  39   now be fragments of perl code.
  40
  41 * Added new BackupPC::View module that creates views of backups
  42   (handling merging etc).  Updated BackupPC_Admin, BackupPC_zipCreate
  43   and BackupPC_tarCreate to use BackupPC::View.  This removes lots
  44   of merging and mangling code from the higher-level code.
  45
  46 * Added patch from Toby Johnson that allows additional users to be
  47   specified in the hosts file; these users can also view/start/stop
  48   and restore backups for that host.  Also added a new config
  49   setting $Conf{CgiNavBarAdminAllHosts} that allows all hosts to
  50   be listed in the left nav bar for admins.
  51
  52 * Fixed new 2.0.0 CGI navigation bug that causes the top-level directory
  53   to have a URL "&share=//boot&dir=" instead of "&share=/boot&dir=/".
  54   Reported by Pascal Schelcher.
  55
  56 * Added "PerlTaintCheck On" to the mod_perl section in the docs,
  57   suggested by Tim Demarest.
  58
  59 #------------------------------------------------------------------------
  60 # Version 1.5.0, 2 Aug 2002
  61 #------------------------------------------------------------------------
  62
  63 * Changed conf/config.pl so that $Conf{TarIncrArgs} uses the --newer
  64   option instead of --newer-mtime.  Also removed --atime-preserve from
  65   $Conf{TarClientCmd}.  This makes the default settings work better
  66   with tripwire.
  67
  68 * Fixed configure.pl so it correctly detects a running BackupPC <= v1.4.0
  69   so it can correctly warn the user to stop it before upgrading.  Reported
  70   by David Holland.
  71
  72 * Added missing ";" to entity escape in EscapeHTML in BackupPC_Admin.
  73   Reported by Guillaume Filion.
  74
  75 * Added LDAP setup to documentation from David Holland.
  76
  77 * Tar.pm now adds a "." to file paths that start with "/", so that all
  78   tar paths are relative.  From Ludovic Drolez.
  79
  80 #------------------------------------------------------------------------
  81 # Version 1.5.0beta0, 30 Jun 2002
  82 #------------------------------------------------------------------------
  83
  84 * A full set of restore options is now supported, including direct
  85   restore via smbclient or tar or downloading a zip or tar file.
  86
  87 * Major additions to CGI script to support better directory navigation,
  88   restore features and mod_perl.  Also, file downloads from the CGI
  89   interface now correctly preserve the file name and provide the
  90   correct Content-Type for the most common types of files.  Improved
  91   directory navigation was contributed by Ryan Kucera.
  92
  93 * New script BackupPC_zipCreate (contributed by Guillaume Filion) is the
  94   zip analog of BackupPC_tarCreate.  BackupPC_zipCreate can be used to
  95   create a zip archive of any portion of a backup.
  96
  97 * Substantial additions to BackupPC_tarCreate to support restore,
  98   including modifying path names, handling hardlinks, fixing
  99   support of old backups without attributes (pre-v1.4.0).  Plus
 100   BackupPC_tarCreate is now an offical part of the release.
 101   (Lack of support for hardlinks was reported by John Stanley.)
 102
 103 * BackupPC_tarExtract now supports hardlinks and fixed pooling of
 104   attribute files.
 105
 106 * A unix domain socket is now used for communication between the CGI
 107   interface and BackupPC.  The original TCP socket is optional.  Sockets
 108   are correctly re-initialized if config.pl is updated with new socket
 109   settings.
 110
 111 * For improved security messages over the unix or TCP socket are protected
 112   via an MD5 digest based on a shared secret, a sequence number, a time
 113   stamp and a unique per-connection number.
 114
 115 * Additions to configure.pl to support install of directory navigation
 116   images.
 117
 118 * Fixed case where $Conf{BackupFilesOnly} or $Conf{BackupFilesExclude}
 119   were set to a single string or list (in v1.4.0 only the case of
 120   hash worked correctly).  Reported by Phillip Bertolus.
 121
 122 * Fixed case of $Conf{BackoutGoodCnt} == 0.  This setting now makes the
 123   client always subject to blackout, matching the comments in config.pl.
 124   Also fixed handling of $Conf{BackoutGoodCnt} < 0 in the CGI script
 125   reported by Pascal Schelcher.
 126
 127 * Fixed byte and file totals for tar backups, reported by several users.
 128
 129 * Fixed --newer-mtime date/timestamp format to make it ISO 8601 compliant,
 130   suggested by Erminio Baranzini.
 131
 132 * Fixed handling of $Conf{BackupFilesOnly} in BackupPC::Xfer::Tar.pm, as
 133   well as shell escaping of tar arguments.
 134
 135 * Fixed entity encoding of 8-bit characters in the CGI interface.
 136
 137 * Added optional CGI headers in $Conf{CgiHeaders} that by default
 138   is set to a no-cache pragma.  Suggested by Benno Zuure.
 139
 140 #------------------------------------------------------------------------
 141 # Version 1.4.0, 16 Mar 2002
 142 #------------------------------------------------------------------------
 143
 144 * BackupPC now supports tar (in addition to smb) for extracting host
 145   data.  This is the most convenient option for linux/unix hosts.
 146   Tar can be configured to run over ssh, rsh or to backup a local
 147   nfs mount from the host.
 148
 149 * Support for special files, including symbolic links, fifo, character
 150   and block device files has been added, so that all native linux/unix
 151   file types can be correctly backed up when using tar transport.
 152   Special files are all stored as regular files and the type attributes
 153   are used to remember the original file type.
 154
 155 * All unix file attributes are now saved (and pooled when possible).
 156   This includes user and group ownership, permissions, and modification
 157   time.  Smbclient also does a reasonable job of emulating unix
 158   permissions (such as mtime), and these attributes get saved too.
 159
 160 * The new default is to not fill incremental dumps.  configure.pl
 161   automatically sets $Conf{IncrFill} to 0.  The default was 1
 162   (incrementals were filled with hardlinks).  Since the CGI
 163   script does filling at browsing time, there is no need to
 164   fill incremental dumps.
 165
 166 * Backup file names are now stored in "mangled" form. Each node of a
 167   path is preceded by "f", and special characters (\n, \r, % and /) are
 168   URI-encoded as "%xx", where xx is the ascii character's hex value. So
 169   c:/craig/example.txt is now stored as fc/fcraig/fexample.txt. This
 170   was done mainly so meta-data could be stored alongside the backup
 171   files without name collisions.  In particular, the attributes for the
 172   files in a directory are stored in a file called "attrib", and
 173   mangling avoids file name collisions (I discarded the idea of having
 174   a duplicate directory tree for every backup just to store the
 175   attributes). Other meta-data (eg: rsync checksums) could be stored in
 176   file names preceded by, eg, "c".  There are two other benefits to
 177   mangling: the share name might contain "/" (eg: "/home/craig" for tar
 178   transport), and I wanted that represented as a single level in the
 179   storage tree.  Secondly, as files are written to NewFileList for later
 180   processing by BackupPC_link, embedded newlines in the file's path
 181   will cause problems which are avoided by mangling.
 182
 183   The CGI script undoes the mangling, so it is invisibe to the user.
 184   Of course, old (unmangled) backups are still supported by the CGI
 185   interface.
 186
 187 * Various changes to the CGI interface, BackupPC_Admin:
 188
 189   + Added button that allows users to manually start a full dump in
 190     addition to the existing incremental dump.
 191
 192   + Added display of file attributes when browsing backups.
 193
 194   + Added an optional holdoff time specified by the user when canceling
 195     a backup. BackupPC will not attempt any new backups for at least the
 196     specified time. This holdoff time can be changed whether or not a
 197     backup is running.
 198
 199   + Added supports for file mangling, and correct merging of unfilled
 200     backups from mangled or unmangled (and compressed or uncompressed)
 201     fulls when browsing or restoring.
 202
 203   + Only displays a "Start Incr Backup" button if there are already some
 204     backups.
 205
 206   + For DHCP hosts, when a user tries to manually start a backup, add
 207     a check for the netbios name of both the host the request came
 208     from (REMOTE_ADDR) and the last known DHCP address for that host
 209     to see if either address matches the host. If not, an error
 210     message is display. The previous behavior was that only requests
 211     from the client itself succeeded, and requests from other machines
 212     quietly failed.
 213
 214 * Changed the version numbering to X.Y.Z, instead of X.0Y. This release
 215   is 1.4.0. The first digit is for major new releases, the middle digit
 216   is for significant feature releases and improvements, and the last
 217   digit is for bug fixes. You should think of the old 1.00, 1.01, 1.02
 218   and 1.03 as 1.0.0, ..., 1.3.0.
 219
 220 * BackupPC and the CGI script BackupPC_Admin now check that the effective
 221   user id is correct to avoid accidentally launching BackupPC as the
 222   wrong user or detecting CGI configuration problems.  This behavior
 223   can be turned off using the $Conf{BackupPCUserVerify} option.
 224
 225 * In numerous places changed "Smb" to "Xfer" (eg: log file names) to
 226   support generic names for both smb and tar transport methods.  The
 227   CGI script checks for old names for backward compatibility.
 228
 229 * Major changed to Backup_dump to support new tar transport.  All transport
 230   specific code moved into BackupPC::Xfer::Smb and BackupPC::Xfer::Tar
 231   objects.
 232
 233 * Added workaround for a bug in Samba's smbclient for files between 2GB
 234   and 4GB.  The file size in the tar header is incorrect.  This allows
 235   files up to 4GB to work with smbclient, rather than 2GB.  To support
 236   files larger than 2GB you must make sure perl is compiled with the
 237   uselargefiles option (use "perl -V | egrep largefiles" to check) and
 238   the pool directory must be on a file system that supports large files.
 239
 240 * Moved the pool writing code into a module BackupPC::PoolWrite.  This
 241   allows the clever file pool checking (digest, uncompressing, comparing
 242   etc with minimum disk IO) to be used easily in multiple places (eg: it
 243   is now used for writing attribute files so they can be pooled).
 244
 245 * Changed MD5 to Digest::MD5 to avoid use of the depreceated MD5 module.
 246
 247 * Shortened default $Conf{MyPath} so that perl's taint mode is more likely
 248   to be happy.  The old $Conf{MyPath} contained /usr/local/bin, which
 249   on one user's machine was world writable and perl -T correctly
 250   complained about it.
 251
 252 * Fixed ping command options in Lib.pm so that it works on OpenBSD.
 253   Thanks to Kyle Amon for sending the fix.  Decided to move the
 254   ping options from Lib.pm into config.pl (as $Conf{PingArgs}) and
 255   now configure.pl tries to come up with a sensible default based on
 256   the OS.
 257
 258 * Fixed argument checking in BackupPC_tarExtract to allow '$' in the
 259   share name (eg: C$).  Thanks to Jules Agee for this fix.  Also
 260   changed the default config.pl so that single quotes are used
 261   everywhere so that people don't get tripped up putting '$' inside
 262   double-quoted strings.
 263
 264 #------------------------------------------------------------------------
 265 # Version 1.03, 9 Dec 2001
 266 #------------------------------------------------------------------------
 267
 268 * BackupPC now has full support for compression.  There are now two
 269   pool areas, the original pool for uncompressed files, and cpool for
 270   compressed files. The compression is done by Compress::Zlib.
 271   Compression reduces the pool disk usage by around 40%, although your
 272   mileage may vary.  Compression is optional and can also be specified on
 273   a per-PC basis (although this will cost more pool storage since many
 274   backup files will have to be stored in both compressed and
 275   uncompressed forms.
 276
 277 * A new script, BackupPC_compressPool, can be run to compress the entire
 278   pool.  This is used once to migrate all the pool data from uncompressed
 279   to compressed on existing installations.  Read the documentation
 280   (Installing BackupPC/Compressing an existing pool) before running
 281   BackupPC_compressPool!
 282
 283   Alternatively, compression can simply be turned on and all new backups
 284   will be compressed. Both old (uncompressed) and new (compressed)
 285   backups can be browsed and viewed. Eventually, the old backups will
 286   expire and all the pool data will be compressed.  However, until the
 287   old backups expire, this approach could require 60% or more additional
 288   pool storage space to store both uncompressed and compressed versions
 289   of the backup files.
 290
 291 * Significant improvements to the cgi interface, BackupPC_Admin:
 292
 293     - much better layout navigation
 294     - handles compressed backup files and compressed log files
 295     - handles unfilled incremental dumps
 296     - better backup directory browsing navigation
 297     - reports compression statistics
 298     - $Conf{CgiDateFormatMMDD} allows you to set date format (MM/DD or DD/MM)
 299     - Additional customization with $Conf{CgiHeaderFontType},
 300       $Conf{CgiHeaderFontSize}, $Conf{CgiNavBarBgColor}, and
 301       $Conf{CgiHeaderBgColor}.
 302
 303 * Eliminated BackupPC_queueAll.  BackupPC directly reads the hosts
 304   file and queues the PCs itself.  Like config.pl, BackupPC will
 305   re-read the hosts file on each wakeup if its modification time
 306   changes, or upon a SIGHUP.  This also makes for better behavior
 307   when adding a host: if you add hosts, simply send a SIGHUP to
 308   BackupPC or wait for the next wakeup.
 309
 310 * BackupPC_dump now compresses the SmbLOG file if compression is enabled.
 311
 312 * BackupPC_dump keeps track of compressed file sizes so that compression
 313   statistics can be reported by the cgi interface.
 314
 315 * Aging of old log files now handles compressed log files (.z extension).
 316
 317 * Added configuration option $Conf{IncrFill} to specify whether
 318   incremental dumps should be filled in.  Old behavior was that
 319   filling was on.  Now it's optional.  See config.pl for more
 320   details.
 321
 322 * BackupPC_nightly now cleans and generates statistics for both
 323   the uncompressed pool and compressed pool (cpool).
 324
 325 * Added new utility script BackupPC_zcat that can be used to
 326   uncompresses BackupPC files.
 327
 328 * configure.pl offers various options related to compression,
 329   depending upon whether this is a new install or upgrade,
 330   and whether or not Compress::Zlib is installed.
 331
 332 * configure.pl now makes a backup copy of config.pl before
 333   config.pl is updated.
 334
 335 * added three new fields to the backups file to handle optional
 336   filling and compression stats.
 337
 338 * Added -e option to BackupPC_dump.  BackupPC now invokes BackupPC_dump -e
 339   on each dhcp host once each night to verify that very old backups are
 340   expired.  This ensures that very old backups are expired even if
 341   the dhcp host has not been on the network for a long time.
 342
 343 * fixed bug in BackupPC::FileZIO.pm that required Compress::Zlib,
 344   even if compression was off.  Thanks to Steve Holmes for reporting
 345   this.
 346
 347 * fixed bug that caused a BackupPC queue to get blocked when a backup
 348   cancel attempt was made during the BackupPC_link phase.
 349
 350 #------------------------------------------------------------------------
 351 # Version 1.02, 28 Oct 2001.
 352 #------------------------------------------------------------------------
 353
 354 * Added new script BackupPC_tarExtract to extract the smbclient tar
 355   archive. This reduces disk writes by perhaps 90-95% and disk reads by
 356   50%. Previously, tar was used to extract and write everything to disk.
 357   Then BackupPC_dump would read enough of each file to compute the MD5
 358   digest, and then compare the full file with candidate pool files.  So
 359   for each 1MB file that matches a single file in the pool, there would
 360   be 1MB of disk writes and 2MB of disk reads (to compare two 1MB files).
 361
 362   BackupPC_tarExtract instead extracts the archive using a 1MB memory
 363   buffer.  This allows the MD5 digest to be computed without touching the
 364   disk.  Next, any potential pool file compares are done by comparing the
 365   pool file against the incoming tar data in memory, which only requires
 366   the pool file to be read.  So for each 1MB file that matches a single
 367   file in the pool, there are now no disk writes, and only 1MB of reads.
 368   BackupPC_tarExtract handles arbitrary size files and repeated
 369   potential pool matches.  If the incoming file doesn't match the pool
 370   then it is written to disk (once the pool is mature this happens maybe
 371   5-10% of the time).
 372
 373 * Substantial changes to BackupPC_dump:
 374
 375     + BackupPC_tarExtract is now used in place of tar.
 376
 377     + BackupPC_dump now reads the output from both smbclient and
 378       BackupPC_tarExtract and merges them into SmbLOG.
 379
 380     + Named pipes are no longer used to connect smbclient to tar
 381       (now BackupPC_tarExtract).  Regular pipes are used instead.
 382       This avoids the need to system mknod or mkfifo.
 383
 384     + Locked files on the client that can't be read by smbclient
 385       previously were filled with 0x0 bytes by smbclient, meaning
 386       tar extracted a useless file filled with 0x0 bytes.  Now,
 387       BackupPC_dump watches the output of smbclient and removes
 388       any files that smbclient couldn't read.  This avoids storing
 389       useless files.  It tries to replace such files with a hard link
 390       to a previous dump.  These actions appear in the log file.
 391
 392 * added new module lib/BackupPC/FileZIO.pm. This handles pool file
 393   I/O and is used by BackupPC_tarExtract.  BackupPC::FileIO supports
 394   reading and writing compressed and regular files and provides all the
 395   hooks for compression support in BackupPC (should be supported in next
 396   version). BackupPC::FileIO also does efficient writing of files that
 397   contain leading 0x0 bytes (by seeking past the 0x0 bytes). This is
 398   helpful when smbclient reads a locked file, and it fills the tar
 399   output with a file of the correct size but all 0x0.  Such files will be
 400   later removed by BackupPC_dump.  But in the meantime, BackupPC::FileIO
 401   writes such files efficiently (as sparse files), meaning just a few
 402   blocks of disk space will be needed even if the file is large.
 403
 404 * alive/dead counting for blackout now works correctly for DHCP hosts.
 405
 406 * BackupPC resets activeJob on startup, to fix bug when BackupPC was
 407   killed and restarted with backups running.
 408
 409 * added extra non blocking select() in BackupPC to make sure the socket
 410   reads don't block.
 411
 412 * BackupPC avoids queuing multiple BackupPC_queueAll's on the CmdQueue.
 413
 414 * Updated BackupPC_sendEmail to correctly parse the locked file
 415   error from 2.2.1a smbclient, so that missing Outlook file emails
 416   can be correctly sent.
 417
 418 * Changed HostInfoRead() in lib/BackupPC/Lib.pm to lowercase the
 419   hostname read from the hosts file.
 420
 421 * BackupPC_Admin provides general summary when the host name is empty.
 422
 423 * configure.pl (and BackupPC) now requires perl 5.6.0 or later.
 424
 425 * configure.pl complains if BackupPC is already running, reminding you
 426   to stop it before upgrading.
 427
 428 * updated documentation, and fixed auto-insertion of config.pl into
 429   BackupPC.pod (previously the last config parameter was left out of
 430   BackupPC.pod).
 431
 432 #------------------------------------------------------------------------
 433 # Version 1.01, 30 Sep 2001
 434 #------------------------------------------------------------------------
 435
 436 * Documentation cleanup in README, doc/BackupPC.pod, conf/config.pl.
 437
 438 * BackupPC_sendMail now reads the optional per-PC config file, allowing
 439   email configuration parameters to be set on a per-PC basis.
 440
 441 * Removed the unused 4096-length MD5 digest code in lib/BackupPC/Lib.pm.
 442
 443 #------------------------------------------------------------------------
 444 # Version 1.00, 21 Sep 2001
 445 #------------------------------------------------------------------------
 446
 447 * Initial release of BackupPC on sourceforge.net.