Followup Adding system preference XSLT*FileName
[koha.git] / misc / cronjobs / overdue_notices.pl
1 #!/usr/bin/perl -w
2
3 # Copyright 2008 Liblime
4 #
5 # This file is part of Koha.
6 #
7 # Koha is free software; you can redistribute it and/or modify it under the
8 # terms of the GNU General Public License as published by the Free Software
9 # Foundation; either version 2 of the License, or (at your option) any later
10 # version.
11 #
12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
15 #
16 # You should have received a copy of the GNU General Public License along with
17 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
18 # Suite 330, Boston, MA  02111-1307 USA
19
20 use strict;
21 use warnings;
22
23 BEGIN {
24
25     # find Koha's Perl modules
26     # test carefully before changing this
27     use FindBin;
28     eval { require "$FindBin::Bin/../kohalib.pl" };
29 }
30
31 use C4::Context;
32 use C4::Dates qw/format_date/;
33 use C4::Debug;
34 use C4::Letters;
35
36 use Getopt::Long;
37 use Pod::Usage;
38 use Text::CSV_XS;
39
40 =head1 NAME
41
42 overdue_notices.pl - prepare messages to be sent to patrons for overdue items
43
44 =head1 SYNOPSIS
45
46 overdue_notices.pl [ -n ] [ -library <branchcode> ] [ -max <number of days> ] [ -csv [ <filename> ] ] [ -itemscontent <field list> ]
47
48  Options:
49    -help                          brief help message
50    -man                           full documentation
51    -n                             No email will be sent
52    -max          <days>           maximum days overdue to deal with
53    -library      <branchname>     only deal with overdues from this library
54    -csv          <filename>       populate CSV file
55    -itemscontent <list of fields> item information in templates
56    -borcat       <categorycode>   category code that must be included
57    -borcatout    <categorycode>   category code that must be excluded
58
59 =head1 OPTIONS
60
61 =over 8
62
63 =item B<-help>
64
65 Print a brief help message and exits.
66
67 =item B<-man>
68
69 Prints the manual page and exits.
70
71 =item B<-v>
72
73 Verbose. Without this flag set, only fatal errors are reported.
74
75 =item B<-n>
76
77 Do not send any email. Overdue notices that would have been sent to
78 the patrons or to the admin are printed to standard out. CSV data (if
79 the -csv flag is set) is written to standard out or to any csv
80 filename given.
81
82 =item B<-max>
83
84 Items older than max days are assumed to be handled somewhere else,
85 probably the F<longoverdues.pl> script. They are therefore ignored by
86 this program. No notices are sent for them, and they are not added to
87 any CSV files. Defaults to 90 to match F<longoverdues.pl>.
88
89 =item B<-library>
90
91 select overdues for one specific library. Use the value in the
92 branches.branchcode table.
93
94 =item B<-csv>
95
96 Produces CSV data. if -n (no mail) flag is set, then this CSV data is
97 sent to standard out or to a filename if provided. Otherwise, only
98 overdues that could not be emailed are sent in CSV format to the admin.
99
100 =item B<-itemscontent>
101
102 comma separated list of fields that get substituted into templates in
103 places of the E<lt>E<lt>items.contentE<gt>E<gt> placeholder. This
104 defaults to issuedate,title,barcode,author
105
106 Other possible values come from fields in the biblios, items, and
107 issues tables.
108
109 =item B<-borcat>
110
111 Repetable field, that permit to select only few of patrons categories.
112
113 =item B<-borcatout>
114
115 Repetable field, permis to exclude some patrons categories.
116
117 =item B<-t> | B<--triggered>
118
119 This option causes a notice to be generated if and only if 
120 an item is overdue by the number of days defined in a notice trigger.
121
122 By default, a notice is sent each time the script runs, which is suitable for 
123 less frequent run cron script, but requires syncing notice triggers with 
124 the  cron schedule to ensure proper behavior.
125 Add the --triggered option for daily cron, at the risk of no notice 
126 being generated if the cron fails to run on time.
127
128 =item B<-list-all>
129
130 Default items.content lists only those items that fall in the 
131 range of the currently processing notice.
132 Choose list-all to include all overdue items in the list (limited by B<-max> setting).
133
134 =back
135
136 =head1 DESCRIPTION
137
138 This script is designed to alert patrons and administrators of overdue
139 items.
140
141 =head2 Configuration
142
143 This script pays attention to the overdue notice configuration
144 performed in the "Overdue notice/status triggers" section of the
145 "Tools" area of the staff interface to Koha. There, you can choose
146 which letter templates are sent out after a configurable number of
147 days to patrons of each library. More information about the use of this
148 section of Koha is available in the Koha manual.
149
150 The templates used to craft the emails are defined in the "Tools:
151 Notices" section of the staff interface to Koha.
152
153 =head2 Outgoing emails
154
155 Typically, messages are prepared for each patron with overdue
156 items. Messages for whom there is no email address on file are
157 collected and sent as attachments in a single email to each library
158 administrator, or if that is not set, then to the email address in the
159 C<KohaAdminEmailAddress> system preference.
160
161 These emails are staged in the outgoing message queue, as are messages
162 produced by other features of Koha. This message queue must be
163 processed regularly by the
164 F<misc/cronjobs/process_message_queue.pl> program.
165
166 In the event that the C<-n> flag is passed to this program, no emails
167 are sent. Instead, messages are sent on standard output from this
168 program. They may be redirected to a file if desired.
169
170 =head2 Templates
171
172 Templates can contain variables enclosed in double angle brackets like
173 E<lt>E<lt>thisE<gt>E<gt>. Those variables will be replaced with values
174 specific to the overdue items or relevant patron. Available variables
175 are:
176
177 =over
178
179 =item E<lt>E<lt>bibE<gt>E<gt>
180
181 the name of the library
182
183 =item E<lt>E<lt>items.contentE<gt>E<gt>
184
185 one line for each item, each line containing a tab separated list of
186 title, author, barcode, issuedate
187
188 =item E<lt>E<lt>borrowers.*E<gt>E<gt>
189
190 any field from the borrowers table
191
192 =item E<lt>E<lt>branches.*E<gt>E<gt>
193
194 any field from the branches table
195
196 =back
197
198 =head2 CSV output
199
200 The C<-csv> command line option lets you specify a file to which
201 overdues data should be output in CSV format.
202
203 With the C<-n> flag set, data about all overdues is written to the
204 file. Without that flag, only information about overdues that were
205 unable to be sent directly to the patrons will be written. In other
206 words, this CSV file replaces the data that is typically sent to the
207 administrator email address.
208
209 =head1 USAGE EXAMPLES
210
211 C<overdue_notices.pl> - In this most basic usage, with no command line
212 arguments, all libraries are procesed individually, and notices are
213 prepared for all patrons with overdue items for whom we have email
214 addresses. Messages for those patrons for whom we have no email
215 address are sent in a single attachment to the library administrator's
216 email address, or to the address in the KohaAdminEmailAddress system
217 preference.
218
219 C<overdue_notices.pl -n -csv /tmp/overdues.csv> - sends no email and
220 populates F</tmp/overdues.csv> with information about all overdue
221 items.
222
223 C<overdue_notices.pl -library MAIN max 14> - prepare notices of
224 overdues in the last 2 weeks for the MAIN library.
225
226 =head1 SEE ALSO
227
228 The F<misc/cronjobs/advance_notices.pl> program allows you to send
229 messages to patrons in advance of thier items becoming due, or to
230 alert them of items that have just become due.
231
232 =cut
233
234 # These variables are set by command line options.
235 # They are initially set to default values.
236 my $dbh = C4::Context->dbh();
237 my $help    = 0;
238 my $man     = 0;
239 my $verbose = 0;
240 my $nomail  = 0;
241 my $MAX     = 90;
242 my $mybranch;
243 my $csvfilename;
244 my $triggered = 0;
245 my $listall = 0;
246 my $itemscontent = join( ',', qw( issuedate title barcode author ) );
247 my @myborcat;
248 my @myborcatout;
249
250 GetOptions(
251     'help|?'         => \$help,
252     'man'            => \$man,
253     'v'              => \$verbose,
254     'n'              => \$nomail,
255     'max=s'          => \$MAX,
256     'library=s'      => \$mybranch,
257     'csv:s'          => \$csvfilename,    # this optional argument gets '' if not supplied.
258     'itemscontent=s' => \$itemscontent,
259     'list-all'      => \$listall,
260     't|triggered'             => \$triggered,
261     'borcat=s'      => \@myborcat,
262     'borcatout=s'   => \@myborcatout,
263 ) or pod2usage(2);
264 pod2usage(1) if $help;
265 pod2usage( -verbose => 2 ) if $man;
266
267 if ( defined $csvfilename && $csvfilename =~ /^-/ ) {
268     warn qq(using "$csvfilename" as filename, that seems odd);
269 }
270
271 my @branches    = C4::Overdues::GetBranchcodesWithOverdueRules();
272 my $branchcount = scalar(@branches);
273 if ($branchcount) {
274     my $branch_word = scalar @branches > 1 ? 'branches' : 'branch';
275     $verbose and warn "Found $branchcount $branch_word with first message enabled: " . join( ', ', map { "'$_'" } @branches ), "\n";
276 } else {
277     die 'No branches with active overduerules';
278 }
279
280 if ($mybranch) {
281     $verbose and warn "Branch $mybranch selected\n";
282     if ( scalar grep { $mybranch eq $_ } @branches ) {
283         @branches = ($mybranch);
284     } else {
285         $verbose and warn "No active overduerules for branch '$mybranch'\n";
286         ( scalar grep { '' eq $_ } @branches )
287           or die "No active overduerules for DEFAULT either!";
288         $verbose and warn "Falling back on default rules for $mybranch\n";
289         @branches = ('');
290     }
291 }
292
293 # these are the fields that will be substituted into <<item.content>>
294 my @item_content_fields = split( /,/, $itemscontent );
295
296 binmode( STDOUT, ":utf8" );
297
298 our $csv;       # the Text::CSV_XS object
299 our $csv_fh;    # the filehandle to the CSV file.
300 if ( defined $csvfilename ) {
301     my $sep_char = C4::Context->preference('delimiter') || ',';
302     $csv = Text::CSV_XS->new( { binary => 1 , sep_char => $sep_char } );
303     if ( $csvfilename eq '' ) {
304         $csv_fh = *STDOUT;
305     } else {
306         open $csv_fh, ">", $csvfilename or die "unable to open $csvfilename: $!";
307     }
308     if ( $csv->combine(qw(title name surname address1 address2 zipcode city email itemcount itemsinfo due_date issue_date)) ) {
309         print $csv_fh $csv->string, "\n";
310     } else {
311         $verbose and warn 'combine failed on argument: ' . $csv->error_input;
312     }
313 }
314
315 foreach my $branchcode (@branches) {
316     my $branch_details = C4::Branch::GetBranchDetail($branchcode);
317     my $admin_email_address = $branch_details->{'branchemail'} || C4::Context->preference('KohaAdminEmailAddress');
318     my @output_chunks;    # may be sent to mail or stdout or csv file.
319
320     $verbose and warn sprintf "branchcode : '%s' using %s\n", $branchcode, $admin_email_address;
321
322     my $sth2 = $dbh->prepare( <<'END_SQL' );
323 SELECT biblio.*, items.*, issues.*, TO_DAYS(NOW())-TO_DAYS(date_due) AS days_overdue
324   FROM issues
325   LEFT JOIN items USING(itemnumber)
326   LEFT JOIN biblio USING(biblionumber)
327   WHERE issues.borrowernumber = ?
328     AND TO_DAYS(NOW())-TO_DAYS(date_due) BETWEEN ? and ?
329 END_SQL
330
331     my $query = "SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = ? ";
332     $query .= " AND categorycode IN (".join( ',' , ('?') x @myborcat ).") " if (@myborcat);
333     $query .= " AND categorycode NOT IN (".join( ',' , ('?') x @myborcatout ).") " if (@myborcatout);
334     
335     my $rqoverduerules =  $dbh->prepare($query);
336     $rqoverduerules->execute($branchcode, @myborcat, @myborcatout);
337     
338     # We get default rules is there is no rule for this branch
339     if($rqoverduerules->rows == 0){
340         $query = "SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = '' ";
341         $query .= " AND categorycode IN (".join( ',' , ('?') x @myborcat ).") " if (@myborcat);
342         $query .= " AND categorycode NOT IN (".join( ',' , ('?') x @myborcatout ).") " if (@myborcatout);
343         
344         $rqoverduerules = $dbh->prepare($query);
345         $rqoverduerules->execute(@myborcat, @myborcatout);
346     }
347
348     # my $outfile = 'overdues_' . ( $mybranch || $branchcode || 'default' );
349     while ( my $overdue_rules = $rqoverduerules->fetchrow_hashref ) {
350       PERIOD: foreach my $i ( 1 .. 3 ) {
351             $verbose and warn "branch '$branchcode', pass $i\n";
352             my $mindays = $overdue_rules->{"delay$i"};    # the notice will be sent after mindays days (grace period)
353             my $maxdays = (
354                   $overdue_rules->{ "delay" . ( $i + 1 ) }
355                 ? $overdue_rules->{ "delay" . ( $i + 1 ) }
356                 : ($MAX)
357             );                                            # issues being more than maxdays late are managed somewhere else. (borrower probably suspended)
358
359             if ( !$overdue_rules->{"letter$i"} ) {
360                 $verbose and warn "No letter$i code for branch '$branchcode'";
361                 next PERIOD;
362             }
363
364             # $letter->{'content'} is the text of the mail that is sent.
365             # this text contains fields that are replaced by their value. Those fields must be written between brackets
366             # The following fields are available :
367             # itemcount is interpreted here as the number of items in the overdue range defined by the current notice or all overdues < max if(-list-all).
368             # <date> <itemcount> <firstname> <lastname> <address1> <address2> <address3> <city> <postcode>
369
370             my $borrower_sql = <<'END_SQL';
371 SELECT COUNT(*), issues.borrowernumber, borrowers.title, firstname, surname, address, address2, city, zipcode, email, MIN(date_due) as longest_issue, MIN(issuedate) as earliest_issue
372 FROM   issues
373 LEFT JOIN borrowers USING (borrowernumber)
374 LEFT JOIN categories ON (borrowers.categorycode=categories.categorycode)
375 WHERE 1 
376 END_SQL
377             my @borrower_parameters;
378             if ($branchcode) {
379                 $borrower_sql .= ' AND issues.branchcode=? ';
380                 push @borrower_parameters, $branchcode;
381             }
382             if ( $overdue_rules->{categorycode} ) {
383                 $borrower_sql .= ' AND borrowers.categorycode=? ';
384                 push @borrower_parameters, $overdue_rules->{categorycode};
385             }
386             $borrower_sql .= '  AND categories.overduenoticerequired=1
387                                 GROUP BY issues.borrowernumber ';
388             if($triggered) {
389                 $borrower_sql .= ' HAVING TO_DAYS(NOW())-TO_DAYS(longest_issue) = ?';
390                 push @borrower_parameters, $mindays;
391             } else {
392                 $borrower_sql .= ' HAVING TO_DAYS(NOW())-TO_DAYS(longest_issue) BETWEEN ? and ? ' ;
393                 push @borrower_parameters, $mindays, $maxdays;
394             }
395
396             # $sth gets borrower info iff at least one overdue item has triggered the overdue action.
397                 my $sth = $dbh->prepare($borrower_sql);
398             $sth->execute(@borrower_parameters);
399             $verbose and warn $borrower_sql . "\n $branchcode | " . $overdue_rules->{'categorycode'} . "\n ($mindays, $maxdays)\nreturns " . $sth->rows . " rows";
400
401             while( my ( $itemcount, $borrowernumber, $borrowertitle, $firstname, $lastname, $address1, $address2, $city, $postcode, $email, $longest_issue, $earliest_issue ) = $sth->fetchrow ) {
402                 $verbose and warn "borrower $firstname, $lastname ($borrowernumber) has $itemcount items triggering level $i.";
403     
404                 my $letter = C4::Letters::getletter( 'circulation', $overdue_rules->{"letter$i"} );
405                 unless ($letter) {
406                     $verbose and warn "Message '$overdue_rules->{letter$i}' content not found";
407     
408                     # might as well skip while PERIOD, no other borrowers are going to work.
409                     # FIXME : Does this mean a letter must be defined in order to trigger a debar ?
410                     next PERIOD;
411                 }
412     
413                 if ( $overdue_rules->{"debarred$i"} ) {
414     
415                     #action taken is debarring
416                     C4::Members::DebarMember($borrowernumber);
417                     $verbose and warn "debarring $borrowernumber $firstname $lastname\n";
418                 }
419                 $sth2->execute( ($listall) ? ( $borrowernumber , 1 , $MAX ) : ( $borrowernumber, $mindays, $maxdays ) );
420                 my $itemcount = 0;
421                 my $titles = "";
422                 while ( my $item_info = $sth2->fetchrow_hashref() ) {
423                     my @item_info = map { $_ =~ /^date|date$/ ? format_date( $item_info->{$_} ) : $item_info->{$_} || '' } @item_content_fields;
424                     $titles .= join("\t", @item_info) . "\n";
425                     $itemcount++;
426                 }
427                 $sth2->finish;
428     
429                 $letter = parse_letter(
430                     {   letter         => $letter,
431                         borrowernumber => $borrowernumber,
432                         branchcode     => $branchcode,
433                         substitute     => {
434                             bib             => $branch_details->{'branchname'},
435                             'items.content' => $titles
436                         }
437                     }
438                 );
439     
440                 my @misses = grep { /./ } map { /^([^>]*)[>]+/; ( $1 || '' ); } split /\</, $letter->{'content'};
441                 if (@misses) {
442                     $verbose and warn "The following terms were not matched and replaced: \n\t" . join "\n\t", @misses;
443                 }
444                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # Now that we've warned about them, remove them.
445                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # 2nd pass for the double nesting.
446     
447                 if ($nomail) {
448     
449                     push @output_chunks,
450                       prepare_letter_for_printing(
451                         {   letter         => $letter,
452                             borrowernumber => $borrowernumber,
453                             borrowertitle  => $borrowertitle,
454                             firstname      => $firstname,
455                             lastname       => $lastname,
456                             address1       => $address1,
457                             address2       => $address2,
458                             city           => $city,
459                             postcode       => $postcode,
460                             email          => $email,
461                             itemcount      => $itemcount,
462                             longest_issue  => $longest_issue,
463                             earliest_issue => $earliest_issue,
464                             titles         => $titles,
465                             outputformat   => defined $csvfilename ? 'csv' : '',
466                         }
467                       );
468                 } else {
469                     if ($email) {
470                         C4::Letters::EnqueueLetter(
471                             {   letter                 => $letter,
472                                 borrowernumber         => $borrowernumber,
473                                 message_transport_type => 'email',
474                                 from_address           => $admin_email_address,
475                             }
476                         );
477                     } else {
478     
479                         # If we don't have an email address for this patron, send it to the admin to deal with.
480                         push @output_chunks,
481                           prepare_letter_for_printing(
482                             {   letter         => $letter,
483                                 borrowernumber => $borrowernumber,
484                                 firstname      => $firstname,
485                                 lastname       => $lastname,
486                                 address1       => $address1,
487                                 address2       => $address2,
488                                 city           => $city,
489                                 postcode       => $postcode,
490                                 email          => $email,
491                                 itemcount      => $itemcount,
492                                 titles         => $titles,
493                                 outputformat   => defined $csvfilename ? 'csv' : '',
494                             }
495                           );
496                     }
497                 }
498             }
499             $sth->finish;
500         }
501     }
502
503     if (@output_chunks) {
504         if ($nomail) {
505             if ( defined $csvfilename ) {
506                 print $csv_fh @output_chunks;
507             } else {
508                 local $, = "\f";    # pagebreak
509                 print @output_chunks;
510             }
511         } else {
512             my $attachment = {
513                 filename => defined $csvfilename ? 'attachment.csv' : 'attachment.txt',
514                 type => 'text/plain',
515                 content => join( "\n", @output_chunks )
516             };
517
518             my $letter = {
519                 title   => 'Overdue Notices',
520                 content => 'These messages were not sent directly to the patrons.',
521             };
522             C4::Letters::EnqueueLetter(
523                 {   letter                 => $letter,
524                     borrowernumber         => undef,
525                     message_transport_type => 'email',
526                     attachments            => [$attachment],
527                     to_address             => $admin_email_address,
528                 }
529             );
530         }
531     }
532
533 }
534 if ($csvfilename) {
535
536     # note that we're not testing on $csv_fh to prevent closing
537     # STDOUT.
538     close $csv_fh;
539 }
540
541 =head1 INTERNAL METHODS
542
543 These methods are internal to the operation of overdue_notices.pl.
544
545 =head2 parse_letter
546
547 parses the letter template, replacing the placeholders with data
548 specific to this patron, biblio, or item
549
550 named parameters:
551   letter - required hashref
552   borrowernumber - required integer
553   substitute - optional hashref of other key/value pairs that should
554     be substituted in the letter content
555
556 returns the C<letter> hashref, with the content updated to reflect the
557 substituted keys and values.
558
559
560 =cut
561
562 sub parse_letter {
563     my $params = shift;
564     foreach my $required (qw( letter borrowernumber )) {
565         return unless exists $params->{$required};
566     }
567
568     if ( $params->{'substitute'} ) {
569         while ( my ( $key, $replacedby ) = each %{ $params->{'substitute'} } ) {
570             my $replacefield = "<<$key>>";
571
572             $params->{'letter'}->{title}   =~ s/$replacefield/$replacedby/g;
573             $params->{'letter'}->{content} =~ s/$replacefield/$replacedby/g;
574         }
575     }
576
577     C4::Letters::parseletter( $params->{'letter'}, 'borrowers', $params->{'borrowernumber'} );
578
579     if ( $params->{'branchcode'} ) {
580         C4::Letters::parseletter( $params->{'letter'}, 'branches', $params->{'branchcode'} );
581     }
582
583     if ( $params->{'biblionumber'} ) {
584         C4::Letters::parseletter( $params->{'letter'}, 'biblio',      $params->{'biblionumber'} );
585         C4::Letters::parseletter( $params->{'letter'}, 'biblioitems', $params->{'biblionumber'} );
586     }
587
588     return $params->{'letter'};
589 }
590
591 =head2 prepare_letter_for_printing
592
593 returns a string of text appropriate for printing in the event that an
594 overdue notice will not be sent to the patron's email
595 address. Depending on the desired output format, this may be a CSV
596 string, or a human-readable representation of the notice.
597
598 required parameters:
599   letter
600   borrowernumber
601
602 optional parameters:
603   outputformat
604
605 =cut
606
607 sub prepare_letter_for_printing {
608     my $params = shift;
609
610     return unless ref $params eq 'HASH';
611
612     foreach my $required_parameter (qw( letter borrowernumber )) {
613         return unless defined $params->{$required_parameter};
614     }
615
616     my $return;
617     if ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'csv' ) {
618         my $longest_issue = C4::Dates->new($params->{'longest_issue'}, "iso")->output();
619         my $earliest_issue = C4::Dates->new($params->{'earliest_issue'}, "iso")->output();
620         if ($csv->combine(
621                 $params->{'borrowertitle'}, $params->{'firstname'}, $params->{'lastname'}, $params->{'address1'},  $params->{'address2'}, $params->{'postcode'},
622                 $params->{'city'},      $params->{'email'},    $params->{'itemcount'}, $params->{'titles'}, $longest_issue, $earliest_issue
623             )
624           ) {
625             return $csv->string, "\n";
626         } else {
627             $verbose and warn 'combine failed on argument: ' . $csv->error_input;
628         }
629     } else {
630         $return .= "$params->{'letter'}->{'content'}\n";
631
632         # $return .= Data::Dumper->Dump( [ $params->{'borrowernumber'}, $params->{'letter'} ], [qw( borrowernumber letter )] );
633     }
634     return $return;
635 }
636