Fixed small navigation bug in CGI Action_Browse for top-level directory.
[BackupPC.git] / ChangeLog
1 #========================================================================
2 #
3 # ChangeLog - change log for BackupPC.
4 #
5 # DESCRIPTION
6 #   Revision history for BackupPC, detailing significant changes between
7 #   versions, most recent first.
8 #
9 # AUTHOR
10 #   Craig Barratt  <cbarratt@users.sourceforge.net>
11 #
12 #========================================================================
13 #
14 # Version __VERSION__, released __RELEASEDATE__.
15 #
16 # See http://backuppc.sourceforge.net.
17 #
18 #========================================================================
19
20 #------------------------------------------------------------------------
21 # Version __VERSION__, __RELEASEDATE__
22 #------------------------------------------------------------------------
23
24 * Support for rsync and rsyncd backup and restore.  Changes to
25   BackupPC_dump, BackupPC_restore, and new modules BackupPC::Xfer::Rsync
26   and BackupPC::Xfer::RsyncFileIO.
27
28 * Added internationalization (i18n) code from Xavier Nicollet,
29   with additions from Guillaume Filion.  Voila!  BackupPC_Admin
30   now supports English and French, and adding more languages is
31   now easy.
32
33 * Added optional user-defined pre/post dump/restore commands, allowing
34   things like database shutdown/startup for dumps.
35
36 * Replaced $Conf{PingArgs} with $Conf{PingCmd}, added $Conf{DfCmd},
37   $Conf{NmbLookupCmd} allowing all these commands to be fully
38   configured.  Also, all commands (except smbclient) can also
39   now be fragments of perl code.
40
41 * Added new BackupPC::View module that creates views of backups
42   (handling merging etc).  Updated BackupPC_Admin, BackupPC_zipCreate
43   and BackupPC_tarCreate to use BackupPC::View.  This removes lots
44   of merging and mangling code from the higher-level code.
45
46 * Added patch from Toby Johnson that allows additional users to be
47   specified in the hosts file; these users can also view/start/stop
48   and restore backups for that host.  Also added a new config
49   setting $Conf{CgiNavBarAdminAllHosts} that allows all hosts to
50   be listed in the left nav bar for admins.
51
52 * Added "PerlTaintCheck On" to the mod_perl section in the docs,
53   suggested by Tim Demarest.
54
55 #------------------------------------------------------------------------
56 # Version 1.5.0, 2 Aug 2002
57 #------------------------------------------------------------------------
58
59 * Changed conf/config.pl so that $Conf{TarIncrArgs} uses the --newer
60   option instead of --newer-mtime.  Also removed --atime-preserve from
61   $Conf{TarClientCmd}.  This makes the default settings work better
62   with tripwire.
63
64 * Fixed configure.pl so it correctly detects a running BackupPC <= v1.4.0
65   so it can correctly warn the user to stop it before upgrading.  Reported
66   by David Holland.
67
68 * Added missing ";" to entity escape in EscapeHTML in BackupPC_Admin.
69   Reported by Guillaume Filion.
70
71 * Added LDAP setup to documentation from David Holland.
72
73 * Tar.pm now adds a "." to file paths that start with "/", so that all
74   tar paths are relative.  From Ludovic Drolez.
75
76 #------------------------------------------------------------------------
77 # Version 1.5.0beta0, 30 Jun 2002
78 #------------------------------------------------------------------------
79
80 * A full set of restore options is now supported, including direct
81   restore via smbclient or tar or downloading a zip or tar file.
82
83 * Major additions to CGI script to support better directory navigation,
84   restore features and mod_perl.  Also, file downloads from the CGI
85   interface now correctly preserve the file name and provide the
86   correct Content-Type for the most common types of files.  Improved
87   directory navigation was contributed by Ryan Kucera.
88
89 * New script BackupPC_zipCreate (contributed by Guillaume Filion) is the
90   zip analog of BackupPC_tarCreate.  BackupPC_zipCreate can be used to
91   create a zip archive of any portion of a backup.
92
93 * Substantial additions to BackupPC_tarCreate to support restore,
94   including modifying path names, handling hardlinks, fixing
95   support of old backups without attributes (pre-v1.4.0).  Plus
96   BackupPC_tarCreate is now an offical part of the release.
97   (Lack of support for hardlinks was reported by John Stanley.)
98
99 * BackupPC_tarExtract now supports hardlinks and fixed pooling of
100   attribute files.
101
102 * A unix domain socket is now used for communication between the CGI
103   interface and BackupPC.  The original TCP socket is optional.  Sockets
104   are correctly re-initialized if config.pl is updated with new socket
105   settings.
106
107 * For improved security messages over the unix or TCP socket are protected
108   via an MD5 digest based on a shared secret, a sequence number, a time
109   stamp and a unique per-connection number.
110
111 * Additions to configure.pl to support install of directory navigation
112   images.
113
114 * Fixed case where $Conf{BackupFilesOnly} or $Conf{BackupFilesExclude}
115   were set to a single string or list (in v1.4.0 only the case of
116   hash worked correctly).  Reported by Phillip Bertolus.
117
118 * Fixed case of $Conf{BackoutGoodCnt} == 0.  This setting now makes the
119   client always subject to blackout, matching the comments in config.pl.
120   Also fixed handling of $Conf{BackoutGoodCnt} < 0 in the CGI script
121   reported by Pascal Schelcher.
122
123 * Fixed byte and file totals for tar backups, reported by several users.
124
125 * Fixed --newer-mtime date/timestamp format to make it ISO 8601 compliant,
126   suggested by Erminio Baranzini.
127
128 * Fixed handling of $Conf{BackupFilesOnly} in BackupPC::Xfer::Tar.pm, as
129   well as shell escaping of tar arguments.
130
131 * Fixed entity encoding of 8-bit characters in the CGI interface.
132
133 * Added optional CGI headers in $Conf{CgiHeaders} that by default
134   is set to a no-cache pragma.  Suggested by Benno Zuure.
135
136 #------------------------------------------------------------------------
137 # Version 1.4.0, 16 Mar 2002
138 #------------------------------------------------------------------------
139
140 * BackupPC now supports tar (in addition to smb) for extracting host    
141   data.  This is the most convenient option for linux/unix hosts.
142   Tar can be configured to run over ssh, rsh or to backup a local
143   nfs mount from the host.
144
145 * Support for special files, including symbolic links, fifo, character
146   and block device files has been added, so that all native linux/unix
147   file types can be correctly backed up when using tar transport.
148   Special files are all stored as regular files and the type attributes
149   are used to remember the original file type.
150
151 * All unix file attributes are now saved (and pooled when possible).
152   This includes user and group ownership, permissions, and modification
153   time.  Smbclient also does a reasonable job of emulating unix 
154   permissions (such as mtime), and these attributes get saved too.
155
156 * The new default is to not fill incremental dumps.  configure.pl
157   automatically sets $Conf{IncrFill} to 0.  The default was 1
158   (incrementals were filled with hardlinks).  Since the CGI
159   script does filling at browsing time, there is no need to
160   fill incremental dumps.
161
162 * Backup file names are now stored in "mangled" form. Each node of a
163   path is preceded by "f", and special characters (\n, \r, % and /) are
164   URI-encoded as "%xx", where xx is the ascii character's hex value. So
165   c:/craig/example.txt is now stored as fc/fcraig/fexample.txt. This
166   was done mainly so meta-data could be stored alongside the backup
167   files without name collisions.  In particular, the attributes for the
168   files in a directory are stored in a file called "attrib", and
169   mangling avoids file name collisions (I discarded the idea of having
170   a duplicate directory tree for every backup just to store the
171   attributes). Other meta-data (eg: rsync checksums) could be stored in
172   file names preceded by, eg, "c".  There are two other benefits to
173   mangling: the share name might contain "/" (eg: "/home/craig" for tar
174   transport), and I wanted that represented as a single level in the
175   storage tree.  Secondly, as files are written to NewFileList for later
176   processing by BackupPC_link, embedded newlines in the file's path
177   will cause problems which are avoided by mangling.
178
179   The CGI script undoes the mangling, so it is invisibe to the user.
180   Of course, old (unmangled) backups are still supported by the CGI
181   interface.
182
183 * Various changes to the CGI interface, BackupPC_Admin:
184
185   + Added button that allows users to manually start a full dump in
186     addition to the existing incremental dump.
187
188   + Added display of file attributes when browsing backups.
189
190   + Added an optional holdoff time specified by the user when canceling
191     a backup. BackupPC will not attempt any new backups for at least the
192     specified time. This holdoff time can be changed whether or not a
193     backup is running.
194
195   + Added supports for file mangling, and correct merging of unfilled
196     backups from mangled or unmangled (and compressed or uncompressed)
197     fulls when browsing or restoring.
198
199   + Only displays a "Start Incr Backup" button if there are already some
200     backups.
201
202   + For DHCP hosts, when a user tries to manually start a backup, add
203     a check for the netbios name of both the host the request came
204     from (REMOTE_ADDR) and the last known DHCP address for that host
205     to see if either address matches the host. If not, an error
206     message is display. The previous behavior was that only requests
207     from the client itself succeeded, and requests from other machines
208     quietly failed.
209
210 * Changed the version numbering to X.Y.Z, instead of X.0Y. This release
211   is 1.4.0. The first digit is for major new releases, the middle digit
212   is for significant feature releases and improvements, and the last
213   digit is for bug fixes. You should think of the old 1.00, 1.01, 1.02
214   and 1.03 as 1.0.0, ..., 1.3.0.
215
216 * BackupPC and the CGI script BackupPC_Admin now check that the effective
217   user id is correct to avoid accidentally launching BackupPC as the
218   wrong user or detecting CGI configuration problems.  This behavior
219   can be turned off using the $Conf{BackupPCUserVerify} option.
220
221 * In numerous places changed "Smb" to "Xfer" (eg: log file names) to
222   support generic names for both smb and tar transport methods.  The
223   CGI script checks for old names for backward compatibility.
224
225 * Major changed to Backup_dump to support new tar transport.  All transport
226   specific code moved into BackupPC::Xfer::Smb and BackupPC::Xfer::Tar
227   objects.
228
229 * Added workaround for a bug in Samba's smbclient for files between 2GB
230   and 4GB.  The file size in the tar header is incorrect.  This allows
231   files up to 4GB to work with smbclient, rather than 2GB.  To support
232   files larger than 2GB you must make sure perl is compiled with the
233   uselargefiles option (use "perl -V | egrep largefiles" to check) and
234   the pool directory must be on a file system that supports large files.
235
236 * Moved the pool writing code into a module BackupPC::PoolWrite.  This
237   allows the clever file pool checking (digest, uncompressing, comparing
238   etc with minimum disk IO) to be used easily in multiple places (eg: it
239   is now used for writing attribute files so they can be pooled).
240
241 * Changed MD5 to Digest::MD5 to avoid use of the depreceated MD5 module.
242
243 * Shortened default $Conf{MyPath} so that perl's taint mode is more likely
244   to be happy.  The old $Conf{MyPath} contained /usr/local/bin, which
245   on one user's machine was world writable and perl -T correctly
246   complained about it.
247
248 * Fixed ping command options in Lib.pm so that it works on OpenBSD.
249   Thanks to Kyle Amon for sending the fix.  Decided to move the
250   ping options from Lib.pm into config.pl (as $Conf{PingArgs}) and
251   now configure.pl tries to come up with a sensible default based on
252   the OS.
253
254 * Fixed argument checking in BackupPC_tarExtract to allow '$' in the
255   share name (eg: C$).  Thanks to Jules Agee for this fix.  Also
256   changed the default config.pl so that single quotes are used
257   everywhere so that people don't get tripped up putting '$' inside
258   double-quoted strings.
259
260 #------------------------------------------------------------------------
261 # Version 1.03, 9 Dec 2001
262 #------------------------------------------------------------------------
263
264 * BackupPC now has full support for compression.  There are now two
265   pool areas, the original pool for uncompressed files, and cpool for
266   compressed files. The compression is done by Compress::Zlib.
267   Compression reduces the pool disk usage by around 40%, although your
268   mileage may vary.  Compression is optional and can also be specified on
269   a per-PC basis (although this will cost more pool storage since many
270   backup files will have to be stored in both compressed and
271   uncompressed forms.
272
273 * A new script, BackupPC_compressPool, can be run to compress the entire
274   pool.  This is used once to migrate all the pool data from uncompressed
275   to compressed on existing installations.  Read the documentation
276   (Installing BackupPC/Compressing an existing pool) before running
277   BackupPC_compressPool!
278
279   Alternatively, compression can simply be turned on and all new backups
280   will be compressed. Both old (uncompressed) and new (compressed)
281   backups can be browsed and viewed. Eventually, the old backups will
282   expire and all the pool data will be compressed.  However, until the
283   old backups expire, this approach could require 60% or more additional
284   pool storage space to store both uncompressed and compressed versions
285   of the backup files.
286
287 * Significant improvements to the cgi interface, BackupPC_Admin:
288
289     - much better layout navigation
290     - handles compressed backup files and compressed log files
291     - handles unfilled incremental dumps
292     - better backup directory browsing navigation
293     - reports compression statistics
294     - $Conf{CgiDateFormatMMDD} allows you to set date format (MM/DD or DD/MM)
295     - Additional customization with $Conf{CgiHeaderFontType},
296       $Conf{CgiHeaderFontSize}, $Conf{CgiNavBarBgColor}, and
297       $Conf{CgiHeaderBgColor}.
298
299 * Eliminated BackupPC_queueAll.  BackupPC directly reads the hosts
300   file and queues the PCs itself.  Like config.pl, BackupPC will
301   re-read the hosts file on each wakeup if its modification time
302   changes, or upon a SIGHUP.  This also makes for better behavior
303   when adding a host: if you add hosts, simply send a SIGHUP to
304   BackupPC or wait for the next wakeup.
305
306 * BackupPC_dump now compresses the SmbLOG file if compression is enabled.
307
308 * BackupPC_dump keeps track of compressed file sizes so that compression
309   statistics can be reported by the cgi interface.
310
311 * Aging of old log files now handles compressed log files (.z extension).
312
313 * Added configuration option $Conf{IncrFill} to specify whether
314   incremental dumps should be filled in.  Old behavior was that
315   filling was on.  Now it's optional.  See config.pl for more
316   details.
317
318 * BackupPC_nightly now cleans and generates statistics for both
319   the uncompressed pool and compressed pool (cpool).
320
321 * Added new utility script BackupPC_zcat that can be used to
322   uncompresses BackupPC files.
323
324 * configure.pl offers various options related to compression,
325   depending upon whether this is a new install or upgrade,
326   and whether or not Compress::Zlib is installed.
327
328 * configure.pl now makes a backup copy of config.pl before
329   config.pl is updated.
330
331 * added three new fields to the backups file to handle optional
332   filling and compression stats.
333
334 * Added -e option to BackupPC_dump.  BackupPC now invokes BackupPC_dump -e
335   on each dhcp host once each night to verify that very old backups are
336   expired.  This ensures that very old backups are expired even if
337   the dhcp host has not been on the network for a long time.
338
339 * fixed bug in BackupPC::FileZIO.pm that required Compress::Zlib,
340   even if compression was off.  Thanks to Steve Holmes for reporting
341   this.
342
343 * fixed bug that caused a BackupPC queue to get blocked when a backup
344   cancel attempt was made during the BackupPC_link phase.
345
346 #------------------------------------------------------------------------
347 # Version 1.02, 28 Oct 2001.
348 #------------------------------------------------------------------------
349
350 * Added new script BackupPC_tarExtract to extract the smbclient tar
351   archive. This reduces disk writes by perhaps 90-95% and disk reads by
352   50%. Previously, tar was used to extract and write everything to disk.
353   Then BackupPC_dump would read enough of each file to compute the MD5
354   digest, and then compare the full file with candidate pool files.  So
355   for each 1MB file that matches a single file in the pool, there would
356   be 1MB of disk writes and 2MB of disk reads (to compare two 1MB files).
357
358   BackupPC_tarExtract instead extracts the archive using a 1MB memory
359   buffer.  This allows the MD5 digest to be computed without touching the
360   disk.  Next, any potential pool file compares are done by comparing the
361   pool file against the incoming tar data in memory, which only requires
362   the pool file to be read.  So for each 1MB file that matches a single
363   file in the pool, there are now no disk writes, and only 1MB of reads.
364   BackupPC_tarExtract handles arbitrary size files and repeated
365   potential pool matches.  If the incoming file doesn't match the pool
366   then it is written to disk (once the pool is mature this happens maybe
367   5-10% of the time).
368
369 * Substantial changes to BackupPC_dump:
370
371     + BackupPC_tarExtract is now used in place of tar.
372
373     + BackupPC_dump now reads the output from both smbclient and
374       BackupPC_tarExtract and merges them into SmbLOG.
375
376     + Named pipes are no longer used to connect smbclient to tar
377       (now BackupPC_tarExtract).  Regular pipes are used instead.
378       This avoids the need to system mknod or mkfifo.
379
380     + Locked files on the client that can't be read by smbclient
381       previously were filled with 0x0 bytes by smbclient, meaning
382       tar extracted a useless file filled with 0x0 bytes.  Now,
383       BackupPC_dump watches the output of smbclient and removes
384       any files that smbclient couldn't read.  This avoids storing
385       useless files.  It tries to replace such files with a hard link
386       to a previous dump.  These actions appear in the log file.
387
388 * added new module lib/BackupPC/FileZIO.pm. This handles pool file
389   I/O and is used by BackupPC_tarExtract.  BackupPC::FileIO supports
390   reading and writing compressed and regular files and provides all the
391   hooks for compression support in BackupPC (should be supported in next
392   version). BackupPC::FileIO also does efficient writing of files that
393   contain leading 0x0 bytes (by seeking past the 0x0 bytes). This is
394   helpful when smbclient reads a locked file, and it fills the tar
395   output with a file of the correct size but all 0x0.  Such files will be
396   later removed by BackupPC_dump.  But in the meantime, BackupPC::FileIO
397   writes such files efficiently (as sparse files), meaning just a few
398   blocks of disk space will be needed even if the file is large.
399
400 * alive/dead counting for blackout now works correctly for DHCP hosts.
401
402 * BackupPC resets activeJob on startup, to fix bug when BackupPC was
403   killed and restarted with backups running.
404
405 * added extra non blocking select() in BackupPC to make sure the socket
406   reads don't block.
407
408 * BackupPC avoids queuing multiple BackupPC_queueAll's on the CmdQueue.
409
410 * Updated BackupPC_sendEmail to correctly parse the locked file
411   error from 2.2.1a smbclient, so that missing Outlook file emails
412   can be correctly sent.
413
414 * Changed HostInfoRead() in lib/BackupPC/Lib.pm to lowercase the
415   hostname read from the hosts file.
416
417 * BackupPC_Admin provides general summary when the host name is empty.
418
419 * configure.pl (and BackupPC) now requires perl 5.6.0 or later.
420
421 * configure.pl complains if BackupPC is already running, reminding you
422   to stop it before upgrading.
423
424 * updated documentation, and fixed auto-insertion of config.pl into
425   BackupPC.pod (previously the last config parameter was left out of
426   BackupPC.pod).
427
428 #------------------------------------------------------------------------
429 # Version 1.01, 30 Sep 2001
430 #------------------------------------------------------------------------
431
432 * Documentation cleanup in README, doc/BackupPC.pod, conf/config.pl.
433
434 * BackupPC_sendMail now reads the optional per-PC config file, allowing
435   email configuration parameters to be set on a per-PC basis.
436
437 * Removed the unused 4096-length MD5 digest code in lib/BackupPC/Lib.pm.
438
439 #------------------------------------------------------------------------
440 # Version 1.00, 21 Sep 2001
441 #------------------------------------------------------------------------
442
443 * Initial release of BackupPC on sourceforge.net.