e5e0dbd06f03eaa898ae948dd94ceb0f01fa59f9
[BackupPC.git] / ChangeLog
1 #========================================================================
2 #
3 # ChangeLog - change log for BackupPC.
4 #
5 # DESCRIPTION
6 #   Revision history for BackupPC, detailing significant changes between
7 #   versions, most recent first.
8 #
9 # AUTHOR
10 #   Craig Barratt  <cbarratt@users.sourceforge.net>
11 #
12 #========================================================================
13 #
14 # Version __VERSION__, released __RELEASEDATE__.
15 #
16 # See http://backuppc.sourceforge.net.
17 #
18 #========================================================================
19
20 #------------------------------------------------------------------------
21 # Version __VERSION__, __RELEASEDATE__
22 #------------------------------------------------------------------------
23
24 * Added internationalization (i18n) code from Xavier Nicollet.
25   Voila!  BackupPC_Admin now supports English and French, and
26   adding more languages is now easy.
27
28 * Added patch from Toby Johnson that allows additional users to be
29   specified in the hosts file; these users can also view/start/stop
30   and restore backups for that host.  Also added a new config
31   setting $Conf{CgiNavBarAdminAllHosts} that allows all hosts to
32   be listed in the left nav bar for admins.
33
34 * Added "PerlTaintCheck On" to the mod_perl section in the docs,
35   suggested by Tim Demarest.
36
37 #------------------------------------------------------------------------
38 # Version 1.5.0, 2 Aug 2002
39 #------------------------------------------------------------------------
40
41 * Changed conf/config.pl so that $Conf{TarIncrArgs} uses the --newer
42   option instead of --newer-mtime.  Also removed --atime-preserve from
43   $Conf{TarClientCmd}.  This makes the default settings work better
44   with tripwire.
45
46 * Fixed configure.pl so it correctly detects a running BackupPC <= v1.4.0
47   so it can correctly warn the user to stop it before upgrading.  Reported
48   by David Holland.
49
50 * Added missing ";" to entity escape in EscapeHTML in BackupPC_Admin.
51   Reported by Guillaume Filion.
52
53 * Added LDAP setup to documentation from David Holland.
54
55 * Tar.pm now adds a "." to file paths that start with "/", so that all
56   tar paths are relative.  From Ludovic Drolez.
57
58 #------------------------------------------------------------------------
59 # Version 1.5.0beta0, 30 Jun 2002
60 #------------------------------------------------------------------------
61
62 * A full set of restore options is now supported, including direct
63   restore via smbclient or tar or downloading a zip or tar file.
64
65 * Major additions to CGI script to support better directory navigation,
66   restore features and mod_perl.  Also, file downloads from the CGI
67   interface now correctly preserve the file name and provide the
68   correct Content-Type for the most common types of files.  Improved
69   directory navigation was contributed by Ryan Kucera.
70
71 * New script BackupPC_zipCreate (contributed by Guillaume Filion) is the
72   zip analog of BackupPC_tarCreate.  BackupPC_zipCreate can be used to
73   create a zip archive of any portion of a backup.
74
75 * Substantial additions to BackupPC_tarCreate to support restore,
76   including modifying path names, handling hardlinks, fixing
77   support of old backups without attributes (pre-v1.4.0).  Plus
78   BackupPC_tarCreate is now an offical part of the release.
79   (Lack of support for hardlinks was reported by John Stanley.)
80
81 * BackupPC_tarExtract now supports hardlinks and fixed pooling of
82   attribute files.
83
84 * A unix domain socket is now used for communication between the CGI
85   interface and BackupPC.  The original TCP socket is optional.  Sockets
86   are correctly re-initialized if config.pl is updated with new socket
87   settings.
88
89 * For improved security messages over the unix or TCP socket are protected
90   via an MD5 digest based on a shared secret, a sequence number, a time
91   stamp and a unique per-connection number.
92
93 * Additions to configure.pl to support install of directory navigation
94   images.
95
96 * Fixed case where $Conf{BackupFilesOnly} or $Conf{BackupFilesExclude}
97   were set to a single string or list (in v1.4.0 only the case of
98   hash worked correctly).  Reported by Phillip Bertolus.
99
100 * Fixed case of $Conf{BackoutGoodCnt} == 0.  This setting now makes the
101   client always subject to blackout, matching the comments in config.pl.
102   Also fixed handling of $Conf{BackoutGoodCnt} < 0 in the CGI script
103   reported by Pascal Schelcher.
104
105 * Fixed byte and file totals for tar backups, reported by several users.
106
107 * Fixed --newer-mtime date/timestamp format to make it ISO 8601 compliant,
108   suggested by Erminio Baranzini.
109
110 * Fixed handling of $Conf{BackupFilesOnly} in BackupPC::Xfer::Tar.pm, as
111   well as shell escaping of tar arguments.
112
113 * Fixed entity encoding of 8-bit characters in the CGI interface.
114
115 * Added optional CGI headers in $Conf{CgiHeaders} that by default
116   is set to a no-cache pragma.  Suggested by Benno Zuure.
117
118 #------------------------------------------------------------------------
119 # Version 1.4.0, 16 Mar 2002
120 #------------------------------------------------------------------------
121
122 * BackupPC now supports tar (in addition to smb) for extracting host    
123   data.  This is the most convenient option for linux/unix hosts.
124   Tar can be configured to run over ssh, rsh or to backup a local
125   nfs mount from the host.
126
127 * Support for special files, including symbolic links, fifo, character
128   and block device files has been added, so that all native linux/unix
129   file types can be correctly backed up when using tar transport.
130   Special files are all stored as regular files and the type attributes
131   are used to remember the original file type.
132
133 * All unix file attributes are now saved (and pooled when possible).
134   This includes user and group ownership, permissions, and modification
135   time.  Smbclient also does a reasonable job of emulating unix 
136   permissions (such as mtime), and these attributes get saved too.
137
138 * The new default is to not fill incremental dumps.  configure.pl
139   automatically sets $Conf{IncrFill} to 0.  The default was 1
140   (incrementals were filled with hardlinks).  Since the CGI
141   script does filling at browsing time, there is no need to
142   fill incremental dumps.
143
144 * Backup file names are now stored in "mangled" form. Each node of a
145   path is preceded by "f", and special characters (\n, \r, % and /) are
146   URI-encoded as "%xx", where xx is the ascii character's hex value. So
147   c:/craig/example.txt is now stored as fc/fcraig/fexample.txt. This
148   was done mainly so meta-data could be stored alongside the backup
149   files without name collisions.  In particular, the attributes for the
150   files in a directory are stored in a file called "attrib", and
151   mangling avoids file name collisions (I discarded the idea of having
152   a duplicate directory tree for every backup just to store the
153   attributes). Other meta-data (eg: rsync checksums) could be stored in
154   file names preceded by, eg, "c".  There are two other benefits to
155   mangling: the share name might contain "/" (eg: "/home/craig" for tar
156   transport), and I wanted that represented as a single level in the
157   storage tree.  Secondly, as files are written to NewFileList for later
158   processing by BackupPC_link, embedded newlines in the file's path
159   will cause problems which are avoided by mangling.
160
161   The CGI script undoes the mangling, so it is invisibe to the user.
162   Of course, old (unmangled) backups are still supported by the CGI
163   interface.
164
165 * Various changes to the CGI interface, BackupPC_Admin:
166
167   + Added button that allows users to manually start a full dump in
168     addition to the existing incremental dump.
169
170   + Added display of file attributes when browsing backups.
171
172   + Added an optional holdoff time specified by the user when canceling
173     a backup. BackupPC will not attempt any new backups for at least the
174     specified time. This holdoff time can be changed whether or not a
175     backup is running.
176
177   + Added supports for file mangling, and correct merging of unfilled
178     backups from mangled or unmangled (and compressed or uncompressed)
179     fulls when browsing or restoring.
180
181   + Only displays a "Start Incr Backup" button if there are already some
182     backups.
183
184   + For DHCP hosts, when a user tries to manually start a backup, add
185     a check for the netbios name of both the host the request came
186     from (REMOTE_ADDR) and the last known DHCP address for that host
187     to see if either address matches the host. If not, an error
188     message is display. The previous behavior was that only requests
189     from the client itself succeeded, and requests from other machines
190     quietly failed.
191
192 * Changed the version numbering to X.Y.Z, instead of X.0Y. This release
193   is 1.4.0. The first digit is for major new releases, the middle digit
194   is for significant feature releases and improvements, and the last
195   digit is for bug fixes. You should think of the old 1.00, 1.01, 1.02
196   and 1.03 as 1.0.0, ..., 1.3.0.
197
198 * BackupPC and the CGI script BackupPC_Admin now check that the effective
199   user id is correct to avoid accidentally launching BackupPC as the
200   wrong user or detecting CGI configuration problems.  This behavior
201   can be turned off using the $Conf{BackupPCUserVerify} option.
202
203 * In numerous places changed "Smb" to "Xfer" (eg: log file names) to
204   support generic names for both smb and tar transport methods.  The
205   CGI script checks for old names for backward compatibility.
206
207 * Major changed to Backup_dump to support new tar transport.  All transport
208   specific code moved into BackupPC::Xfer::Smb and BackupPC::Xfer::Tar
209   objects.
210
211 * Added workaround for a bug in Samba's smbclient for files between 2GB
212   and 4GB.  The file size in the tar header is incorrect.  This allows
213   files up to 4GB to work with smbclient, rather than 2GB.  To support
214   files larger than 2GB you must make sure perl is compiled with the
215   uselargefiles option (use "perl -V | egrep largefiles" to check) and
216   the pool directory must be on a file system that supports large files.
217
218 * Moved the pool writing code into a module BackupPC::PoolWrite.  This
219   allows the clever file pool checking (digest, uncompressing, comparing
220   etc with minimum disk IO) to be used easily in multiple places (eg: it
221   is now used for writing attribute files so they can be pooled).
222
223 * Changed MD5 to Digest::MD5 to avoid use of the depreceated MD5 module.
224
225 * Shortened default $Conf{MyPath} so that perl's taint mode is more likely
226   to be happy.  The old $Conf{MyPath} contained /usr/local/bin, which
227   on one user's machine was world writable and perl -T correctly
228   complained about it.
229
230 * Fixed ping command options in Lib.pm so that it works on OpenBSD.
231   Thanks to Kyle Amon for sending the fix.  Decided to move the
232   ping options from Lib.pm into config.pl (as $Conf{PingArgs}) and
233   now configure.pl tries to come up with a sensible default based on
234   the OS.
235
236 * Fixed argument checking in BackupPC_tarExtract to allow '$' in the
237   share name (eg: C$).  Thanks to Jules Agee for this fix.  Also
238   changed the default config.pl so that single quotes are used
239   everywhere so that people don't get tripped up putting '$' inside
240   double-quoted strings.
241
242 #------------------------------------------------------------------------
243 # Version 1.03, 9 Dec 2001
244 #------------------------------------------------------------------------
245
246 * BackupPC now has full support for compression.  There are now two
247   pool areas, the original pool for uncompressed files, and cpool for
248   compressed files. The compression is done by Compress::Zlib.
249   Compression reduces the pool disk usage by around 40%, although your
250   mileage may vary.  Compression is optional and can also be specified on
251   a per-PC basis (although this will cost more pool storage since many
252   backup files will have to be stored in both compressed and
253   uncompressed forms.
254
255 * A new script, BackupPC_compressPool, can be run to compress the entire
256   pool.  This is used once to migrate all the pool data from uncompressed
257   to compressed on existing installations.  Read the documentation
258   (Installing BackupPC/Compressing an existing pool) before running
259   BackupPC_compressPool!
260
261   Alternatively, compression can simply be turned on and all new backups
262   will be compressed. Both old (uncompressed) and new (compressed)
263   backups can be browsed and viewed. Eventually, the old backups will
264   expire and all the pool data will be compressed.  However, until the
265   old backups expire, this approach could require 60% or more additional
266   pool storage space to store both uncompressed and compressed versions
267   of the backup files.
268
269 * Significant improvements to the cgi interface, BackupPC_Admin:
270
271     - much better layout navigation
272     - handles compressed backup files and compressed log files
273     - handles unfilled incremental dumps
274     - better backup directory browsing navigation
275     - reports compression statistics
276     - $Conf{CgiDateFormatMMDD} allows you to set date format (MM/DD or DD/MM)
277     - Additional customization with $Conf{CgiHeaderFontType},
278       $Conf{CgiHeaderFontSize}, $Conf{CgiNavBarBgColor}, and
279       $Conf{CgiHeaderBgColor}.
280
281 * Eliminated BackupPC_queueAll.  BackupPC directly reads the hosts
282   file and queues the PCs itself.  Like config.pl, BackupPC will
283   re-read the hosts file on each wakeup if its modification time
284   changes, or upon a SIGHUP.  This also makes for better behavior
285   when adding a host: if you add hosts, simply send a SIGHUP to
286   BackupPC or wait for the next wakeup.
287
288 * BackupPC_dump now compresses the SmbLOG file if compression is enabled.
289
290 * BackupPC_dump keeps track of compressed file sizes so that compression
291   statistics can be reported by the cgi interface.
292
293 * Aging of old log files now handles compressed log files (.z extension).
294
295 * Added configuration option $Conf{IncrFill} to specify whether
296   incremental dumps should be filled in.  Old behavior was that
297   filling was on.  Now it's optional.  See config.pl for more
298   details.
299
300 * BackupPC_nightly now cleans and generates statistics for both
301   the uncompressed pool and compressed pool (cpool).
302
303 * Added new utility script BackupPC_zcat that can be used to
304   uncompresses BackupPC files.
305
306 * configure.pl offers various options related to compression,
307   depending upon whether this is a new install or upgrade,
308   and whether or not Compress::Zlib is installed.
309
310 * configure.pl now makes a backup copy of config.pl before
311   config.pl is updated.
312
313 * added three new fields to the backups file to handle optional
314   filling and compression stats.
315
316 * Added -e option to BackupPC_dump.  BackupPC now invokes BackupPC_dump -e
317   on each dhcp host once each night to verify that very old backups are
318   expired.  This ensures that very old backups are expired even if
319   the dhcp host has not been on the network for a long time.
320
321 * fixed bug in BackupPC::FileZIO.pm that required Compress::Zlib,
322   even if compression was off.  Thanks to Steve Holmes for reporting
323   this.
324
325 * fixed bug that caused a BackupPC queue to get blocked when a backup
326   cancel attempt was made during the BackupPC_link phase.
327
328 #------------------------------------------------------------------------
329 # Version 1.02, 28 Oct 2001.
330 #------------------------------------------------------------------------
331
332 * Added new script BackupPC_tarExtract to extract the smbclient tar
333   archive. This reduces disk writes by perhaps 90-95% and disk reads by
334   50%. Previously, tar was used to extract and write everything to disk.
335   Then BackupPC_dump would read enough of each file to compute the MD5
336   digest, and then compare the full file with candidate pool files.  So
337   for each 1MB file that matches a single file in the pool, there would
338   be 1MB of disk writes and 2MB of disk reads (to compare two 1MB files).
339
340   BackupPC_tarExtract instead extracts the archive using a 1MB memory
341   buffer.  This allows the MD5 digest to be computed without touching the
342   disk.  Next, any potential pool file compares are done by comparing the
343   pool file against the incoming tar data in memory, which only requires
344   the pool file to be read.  So for each 1MB file that matches a single
345   file in the pool, there are now no disk writes, and only 1MB of reads.
346   BackupPC_tarExtract handles arbitrary size files and repeated
347   potential pool matches.  If the incoming file doesn't match the pool
348   then it is written to disk (once the pool is mature this happens maybe
349   5-10% of the time).
350
351 * Substantial changes to BackupPC_dump:
352
353     + BackupPC_tarExtract is now used in place of tar.
354
355     + BackupPC_dump now reads the output from both smbclient and
356       BackupPC_tarExtract and merges them into SmbLOG.
357
358     + Named pipes are no longer used to connect smbclient to tar
359       (now BackupPC_tarExtract).  Regular pipes are used instead.
360       This avoids the need to system mknod or mkfifo.
361
362     + Locked files on the client that can't be read by smbclient
363       previously were filled with 0x0 bytes by smbclient, meaning
364       tar extracted a useless file filled with 0x0 bytes.  Now,
365       BackupPC_dump watches the output of smbclient and removes
366       any files that smbclient couldn't read.  This avoids storing
367       useless files.  It tries to replace such files with a hard link
368       to a previous dump.  These actions appear in the log file.
369
370 * added new module lib/BackupPC/FileZIO.pm. This handles pool file
371   I/O and is used by BackupPC_tarExtract.  BackupPC::FileIO supports
372   reading and writing compressed and regular files and provides all the
373   hooks for compression support in BackupPC (should be supported in next
374   version). BackupPC::FileIO also does efficient writing of files that
375   contain leading 0x0 bytes (by seeking past the 0x0 bytes). This is
376   helpful when smbclient reads a locked file, and it fills the tar
377   output with a file of the correct size but all 0x0.  Such files will be
378   later removed by BackupPC_dump.  But in the meantime, BackupPC::FileIO
379   writes such files efficiently (as sparse files), meaning just a few
380   blocks of disk space will be needed even if the file is large.
381
382 * alive/dead counting for blackout now works correctly for DHCP hosts.
383
384 * BackupPC resets activeJob on startup, to fix bug when BackupPC was
385   killed and restarted with backups running.
386
387 * added extra non blocking select() in BackupPC to make sure the socket
388   reads don't block.
389
390 * BackupPC avoids queuing multiple BackupPC_queueAll's on the CmdQueue.
391
392 * Updated BackupPC_sendEmail to correctly parse the locked file
393   error from 2.2.1a smbclient, so that missing Outlook file emails
394   can be correctly sent.
395
396 * Changed HostInfoRead() in lib/BackupPC/Lib.pm to lowercase the
397   hostname read from the hosts file.
398
399 * BackupPC_Admin provides general summary when the host name is empty.
400
401 * configure.pl (and BackupPC) now requires perl 5.6.0 or later.
402
403 * configure.pl complains if BackupPC is already running, reminding you
404   to stop it before upgrading.
405
406 * updated documentation, and fixed auto-insertion of config.pl into
407   BackupPC.pod (previously the last config parameter was left out of
408   BackupPC.pod).
409
410 #------------------------------------------------------------------------
411 # Version 1.01, 30 Sep 2001
412 #------------------------------------------------------------------------
413
414 * Documentation cleanup in README, doc/BackupPC.pod, conf/config.pl.
415
416 * BackupPC_sendMail now reads the optional per-PC config file, allowing
417   email configuration parameters to be set on a per-PC basis.
418
419 * Removed the unused 4096-length MD5 digest code in lib/BackupPC/Lib.pm.
420
421 #------------------------------------------------------------------------
422 # Version 1.00, 21 Sep 2001
423 #------------------------------------------------------------------------
424
425 * Initial release of BackupPC on sourceforge.net.