git mv BackupPC_removeBurnedArchives BackupPC_ASA_removeBurnedArchives
[BackupPC.git] / README.ASA
1 This document tries to describe ASA extensions for BackupPC 3.2.0
2
3 Written by Dobrica Pavlinusic <dpavlin@rot13.org> 2011-01-27
4
5 This is second iteration of adding search over arbitrary filename substrings and archive
6 to CD/DVD media with tracking of copies and additional md5sum creation on them for easy
7 burned media verification.
8
9 ASA maintains it's data in PostgreSQL and KinoSearch (for faster part-of-filename matching).
10 Since full-text search is single-writer, we need to serialize somehow requests for it's update.
11
12 Implementation is based on archive host feature in BackupPC using _search_archive.pl configuration
13 file located at /etc/BackupPC/pc/_search_archive.pl
14
15 This provides us with serialization and hooks around it, but lacked incremental tar creation which
16 is essential because we want to burn always increasing archive on CD/DVD media.
17
18 This is implemented using new global configuration directive TarCreateIncremental
19
20 Using BackupPC hooks to integrate and archive host also provided following advantages:
21         - web interface for archive host contains our log messages
22         - all updates are invoked automatically on end of each run (system is always up to date)
23
24 BackupPC can dump multiple machines in parallel, this invoking our _search_archive host and index
25 update while update from different machine is still in process. Archive host will reject request,
26 but next invocation of same host will fix problem automatically.
27
28 To be sure that all pending archives are indexed, you can also run cron job which invokes _search_archive
29 on all pending increments:
30
31         /BackupPC_ASA_ArchiveStart _search_archive backuppc
32
33 You can also force archival of particual pending backups from single host by adding hostname(s) or
34 hostname:num to backup individual increment.
35
36 Alternativly, you can use _search_archive web interface to invoke increment creation and indexing.
37
38
39
40 There are two global options which had to be set for all hosts:
41
42 #
43 # /etc/BackupPC/config.pl
44 #
45
46 # invoke archive of dump - ASA extension DumpPostCmd was too early
47 $Conf{DumpPostFinishCmd} = '/srv/BackupPC/bin/BackupPC_ASA_ArchiveStart _search_archive backuppc $host';
48
49 # dump only incremental changes in tars not whole content - ASA extension
50 $Conf{TarCreateIncremental} = 1;
51
52
53
54 You can manually trigger all pending backups using:
55
56         BackupPC_ASA_ArchiveStart _search_archive backuppc
57
58 This will start archive host _search_archive which will run it's configuration:
59
60 #
61 # /etc/BackupPC/pc/_search_archive.pl
62 #
63
64 # Set this client's XferMethod to archive to make it an archive host:
65 $Conf{XferMethod} = 'archive';
66
67 # The path on the local file system where archives will be written:
68 $Conf{ArchiveDest} = '/data/BackupPC/_search_archive';
69
70 # the type and level of compression used on the archive:
71 $Conf{ArchiveComp} = 'gzip';
72 $Conf{CompressLevel} = 9;
73
74
75 # archive media size (in bytes) 4.2Gb for DVD
76 #$Conf{ArchiveMediaSize} = 4200 * 1024 * 1024; # DVD
77 $Conf{ArchiveMediaSize} =  630 * 1024 * 1024; # CD
78 #$Conf{ArchiveMediaSize} =        1440 * 1024; # floppy
79 #$Conf{ArchiveMediaSize} =   42 * 1024 * 1024; # FIXME
80
81
82 # A size in megabytes to split the archive in to parts at.
83 # This is useful where the file size of the archive might exceed the
84 # capacity of the removable media. For example specify 700 if you are using CDs.
85 #$Conf{ArchiveSplit} = 650;
86 $Conf{ArchiveSplit} = 100; # FIXME small testing chunks
87
88
89 # The amount of parity data to create for the archive using the par2 utility.
90 # In some cases, corrupted archives can be recovered from parity data.
91 $Conf{ArchivePar} = 30;
92 $Conf{ParPath} = '/srv/par2cmdline-0.4-tbb-20100203-lin64/par2';
93 # http://chuchusoft.com/par2_tbb/download.html
94 # par2cmdline 0.4 with Intel Threading Building Blocks 2.2
95
96 # use parallel gzip (speedup on multi-code machines)
97 $Conf{GzipPath} = '/usr/bin/pigz';
98
99
100 # The full command to run to create archives:
101 $Conf{ArchiveClientCmd} = '$Installdir/bin/BackupPC_archiveHost'
102 . ' $tarCreatePath $splitpath $parpath $host $backupnumber'
103 . ' $compression $compext $splitsize $archiveloc $parfile *';
104
105 # host provides serialization, so we can safely update fulltext index
106 $Conf{ArchivePreUserCmd} = '/srv/BackupPC/bin/BackupPC_ASA_SearchUpdate -h$HostList';
107
108 $Conf{Md5sumPath} = '/usr/bin/md5sum';
109
110 # after archives are created, pull data back in database - ASA extension
111 $Conf{ArchivePostUserCmd} = '/srv/BackupPC/bin/BackupPC_ASA_PostArchive_Update -h$HostList -n$BackupList';
112
113 # Logging verbosity:
114 $Conf{XferLogLevel} = 1;
115
116
117