misc/cronjobs/overdue_notices.pl

   1 #!/usr/bin/perl -w
   2
   3 # Copyright 2008 Liblime
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 2 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along with
  17 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  18 # Suite 330, Boston, MA  02111-1307 USA
  19
  20 use strict;
  21 use warnings;
  22
  23 BEGIN {
  24
  25     # find Koha's Perl modules
  26     # test carefully before changing this
  27     use FindBin;
  28     eval { require "$FindBin::Bin/../kohalib.pl" };
  29 }
  30
  31 use C4::Context;
  32 use C4::Dates qw/format_date/;
  33 use C4::Debug;
  34 use C4::Letters;
  35
  36 use Getopt::Long;
  37 use Pod::Usage;
  38 use Text::CSV_XS;
  39
  40 =head1 NAME
  41
  42 overdue_notices.pl - prepare messages to be sent to patrons for overdue items
  43
  44 =head1 SYNOPSIS
  45
  46 overdue_notices.pl [ -n ] [ -library <branchcode> ] [ -max <number of days> ] [ -csv [ <filename> ] ] [ -itemscontent <field list> ]
  47
  48  Options:
  49    -help                          brief help message
  50    -man                           full documentation
  51    -n                             No email will be sent
  52    -max          <days>           maximum days overdue to deal with
  53    -library      <branchname>     only deal with overdues from this library
  54    -csv          <filename>       populate CSV file
  55    -itemscontent <list of fields> item information in templates
  56    -v                             verbose ( use multiple times to increase verbosity )
  57
  58 =head1 OPTIONS
  59
  60 =over 8
  61
  62 =item B<-help>
  63
  64 Print a brief help message and exits.
  65
  66 =item B<-man>
  67
  68 Prints the manual page and exits.
  69
  70 =item B<-v>
  71
  72 Verbose. Without this flag set, only fatal errors are reported.
  73
  74 =item B<-n>
  75
  76 Do not send any email. Overdue notices that would have been sent to
  77 the patrons or to the admin are printed to standard out. CSV data (if
  78 the -csv flag is set) is written to standard out or to any csv
  79 filename given.
  80
  81 =item B<-max>
  82
  83 Items older than max days are assumed to be handled somewhere else,
  84 probably the F<longoverdues.pl> script. They are therefore ignored by
  85 this program. No notices are sent for them, and they are not added to
  86 any CSV files. Defaults to 90 to match F<longoverdues.pl>.
  87
  88 =item B<-library>
  89
  90 select overdues for one specific library. Use the value in the
  91 branches.branchcode table.
  92
  93 =item B<-csv>
  94
  95 Produces CSV data. if -n (no mail) flag is set, then this CSV data is
  96 sent to standard out or to a filename if provided. Otherwise, only
  97 overdues that could not be emailed are sent in CSV format to the admin.
  98
  99 =item B<-itemscontent>
 100
 101 comma separated list of fields that get substituted into templates in
 102 places of the E<lt>E<lt>items.contentE<gt>E<gt> placeholder. This
 103 defaults to issuedate,title,barcode,author
 104
 105 Other possible values come from fields in the biblios, items, and
 106 issues tables.
 107
 108 =back
 109
 110 =head1 DESCRIPTION
 111
 112 This script is designed to alert patrons and administrators of overdue
 113 items.
 114
 115 =head2 Configuration
 116
 117 This script pays attention to the overdue notice configuration
 118 performed in the "Overdue notice/status triggers" section of the
 119 "Tools" area of the staff interface to Koha. There, you can choose
 120 which letter templates are sent out after a configurable number of
 121 days to patrons of each library. More information about the use of this
 122 section of Koha is available in the Koha manual.
 123
 124 The templates used to craft the emails are defined in the "Tools:
 125 Notices" section of the staff interface to Koha.
 126
 127 =head2 Outgoing emails
 128
 129 Typically, messages are prepared for each patron with overdue
 130 items. Messages for whom there is no email address on file are
 131 collected and sent as attachments in a single email to each library
 132 administrator, or if that is not set, then to the email address in the
 133 C<KohaAdminEmailAddress> system preference.
 134
 135 These emails are staged in the outgoing message queue, as are messages
 136 produced by other features of Koha. This message queue must be
 137 processed regularly by the
 138 F<misc/cronjobs/process_message_queue.pl> program.
 139
 140 In the event that the C<-n> flag is passed to this program, no emails
 141 are sent. Instead, messages are sent on standard output from this
 142 program. They may be redirected to a file if desired.
 143
 144 =head2 Templates
 145
 146 Templates can contain variables enclosed in double angle brackets like
 147 E<lt>E<lt>thisE<gt>E<gt>. Those variables will be replaced with values
 148 specific to the overdue items or relevant patron. Available variables
 149 are:
 150
 151 =over
 152
 153 =item E<lt>E<lt>bibE<gt>E<gt>
 154
 155 the name of the library
 156
 157 =item E<lt>E<lt>items.contentE<gt>E<gt>
 158
 159 one line for each item, each line containing a tab separated list of
 160 title, author, barcode, issuedate
 161
 162 =item E<lt>E<lt>borrowers.*E<gt>E<gt>
 163
 164 any field from the borrowers table
 165
 166 =item E<lt>E<lt>branches.*E<gt>E<gt>
 167
 168 any field from the branches table
 169
 170 =back
 171
 172 =head2 CSV output
 173
 174 The C<-csv> command line option lets you specify a file to which
 175 overdues data should be output in CSV format.
 176
 177 With the C<-n> flag set, data about all overdues is written to the
 178 file. Without that flag, only information about overdues that were
 179 unable to be sent directly to the patrons will be written. In other
 180 words, this CSV file replaces the data that is typically sent to the
 181 administrator email address.
 182
 183 =head1 USAGE EXAMPLES
 184
 185 C<overdue_notices.pl> - In this most basic usage, with no command line
 186 arguments, all libraries are procesed individually, and notices are
 187 prepared for all patrons with overdue items for whom we have email
 188 addresses. Messages for those patrons for whom we have no email
 189 address are sent in a single attachment to the library administrator's
 190 email address, or to the address in the KohaAdminEmailAddress system
 191 preference.
 192
 193 C<overdue_notices.pl -n -csv /tmp/overdues.csv> - sends no email and
 194 populates F</tmp/overdues.csv> with information about all overdue
 195 items.
 196
 197 C<overdue_notices.pl -library MAIN max 14> - prepare notices of
 198 overdues in the last 2 weeks for the MAIN library.
 199
 200 =head1 SEE ALSO
 201
 202 The F<misc/cronjobs/advance_notices.pl> program allows you to send
 203 messages to patrons in advance of thier items becoming due, or to
 204 alert them of items that have just become due.
 205
 206 =cut
 207
 208 # These variables are set by command line options.
 209 # They are initially set to default values.
 210 my $help    = 0;
 211 my $man     = 0;
 212 my $verbose = 0;
 213 my $nomail  = 0;
 214 my $MAX     = 90;
 215 my $mybranch;
 216 my $csvfilename;
 217 my $itemscontent = join( ',', qw( issuedate title barcode author ) );
 218
 219 GetOptions(
 220     'help|?'         => \$help,
 221     'man'            => \$man,
 222     'v+'              => \$verbose,
 223     'n'              => \$nomail,
 224     'max=s'          => \$MAX,
 225     'library=s'      => \$mybranch,
 226     'csv:s'          => \$csvfilename,    # this optional argument gets '' if not supplied.
 227     'itemscontent=s' => \$itemscontent,
 228 ) or pod2usage(2);
 229 pod2usage(1) if $help;
 230 pod2usage( -verbose => 2 ) if $man;
 231 if ( defined $csvfilename && $csvfilename =~ /^-/ ) {
 232     warn qq(using "$csvfilename" as filename, that seems odd);
 233 }
 234
 235 my @branches    = C4::Overdues::GetBranchcodesWithOverdueRules();
 236 my $branchcount = scalar(@branches);
 237 if ($branchcount) {
 238     my $branch_word = scalar @branches > 1 ? 'branches' : 'branch';
 239     $verbose and warn "Found $branchcount $branch_word with first message enabled: " . join( ', ', map { "'$_'" } @branches ), "\n";
 240 } else {
 241     die 'No branches with active overduerules';
 242 }
 243
 244 if ($mybranch) {
 245     $verbose and warn "Branch $mybranch selected\n";
 246     if ( scalar grep { $mybranch eq $_ } @branches ) {
 247         @branches = ($mybranch);
 248     } else {
 249         $verbose and warn "No active overduerules for branch '$mybranch'\n";
 250         ( scalar grep { '' eq $_ } @branches )
 251           or die "No active overduerules for DEFAULT either!";
 252         $verbose and warn "Falling back on default rules for $mybranch\n";
 253         @branches = ('');
 254     }
 255 }
 256
 257 # these are the fields that will be substituted into <<item.content>>
 258 my @item_content_fields = split( /,/, $itemscontent );
 259
 260 my $dbh = C4::Context->dbh();
 261
 262 our $csv;       # the Text::CSV_XS object
 263 our $csv_fh;    # the filehandle to the CSV file.
 264 if ( defined $csvfilename ) {
 265     $csv = Text::CSV_XS->new( { binary => 1 } );
 266     if ( $csvfilename eq '' ) {
 267         $csv_fh = *STDOUT;
 268     } else {
 269         open $csv_fh, ">", $csvfilename or die "unable to open $csvfilename: $!";
 270     }
 271     if ( $csv->combine(qw(name surname address1 address2 zipcode city email itemcount itemsinfo)) ) {
 272         print $csv_fh $csv->string, "\n";
 273     } else {
 274         $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 275     }
 276 }
 277
 278 foreach my $branchcode (@branches) {
 279
 280     my $branch_details = C4::Branch::GetBranchDetail($branchcode);
 281     my $admin_email_address = $branch_details->{'branchemail'} || C4::Context->preference('KohaAdminEmailAddress');
 282     my @output_chunks;    # may be sent to mail or stdout or csv file.
 283
 284     $verbose and warn sprintf "branchcode : '%s' using %s\n", $branchcode, $admin_email_address;
 285
 286     my $sth2 = $dbh->prepare( <<'END_SQL' );
 287 SELECT biblio.*, items.*, issues.*
 288   FROM issues,items,biblio
 289   WHERE items.itemnumber=issues.itemnumber
 290     AND biblio.biblionumber   = items.biblionumber
 291     AND issues.borrowernumber = ?
 292     AND TO_DAYS(NOW())-TO_DAYS(date_due) BETWEEN ? and ?
 293 END_SQL
 294
 295     my $rqoverduerules = $dbh->prepare("SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = ? ");
 296     $rqoverduerules->execute($branchcode);
 297     my $outfile = 'overdues_' . ( $mybranch || $branchcode || 'default' );
 298     while ( my $overdue_rules = $rqoverduerules->fetchrow_hashref ) {
 299       PERIOD: foreach my $i ( 1 .. 3 ) {
 300
 301             $verbose and warn "branch '$branchcode', pass $i\n";
 302             my $mindays = $overdue_rules->{"delay$i"};    # the notice will be sent after mindays days (grace period)
 303             my $maxdays = (
 304                   $overdue_rules->{ "delay" . ( $i + 1 ) }
 305                 ? $overdue_rules->{ "delay" . ( $i + 1 ) }
 306                 : ($MAX)
 307             );                                            # issues being more than maxdays late are managed somewhere else. (borrower probably suspended)
 308
 309             if ( !$overdue_rules->{"letter$i"} ) {
 310                 $verbose and warn "No letter$i code for branch '$branchcode'";
 311                 next PERIOD;
 312             }
 313
 314             # $letter->{'content'} is the text of the mail that is sent.
 315             # this text contains fields that are replaced by their value. Those fields must be written between brackets
 316             # The following fields are available :
 317             # <date> <itemcount> <firstname> <lastname> <address1> <address2> <address3> <city> <postcode>
 318
 319             my $borrower_sql = <<'END_SQL';
 320 SELECT COUNT(*), issues.borrowernumber, firstname, surname, address, address2, city, zipcode, email, MIN(date_due) as longest_issue
 321 FROM   issues,borrowers,categories
 322 WHERE  issues.borrowernumber=borrowers.borrowernumber
 323 AND    borrowers.categorycode=categories.categorycode
 324 END_SQL
 325             my @borrower_parameters;
 326             if ($branchcode) {
 327                 $borrower_sql .= ' AND issues.branchcode=? ';
 328                 push @borrower_parameters, $branchcode;
 329             }
 330             if ( $overdue_rules->{categorycode} ) {
 331                 $borrower_sql .= ' AND borrowers.categorycode=? ';
 332                 push @borrower_parameters, $overdue_rules->{categorycode};
 333             }
 334             $borrower_sql .= <<'END_SQL';
 335 AND    categories.overduenoticerequired=1
 336 GROUP BY issues.borrowernumber
 337 HAVING TO_DAYS(NOW())-TO_DAYS(longest_issue) BETWEEN ? and ?
 338 END_SQL
 339             push @borrower_parameters, $mindays, $maxdays;
 340             my $sth = $dbh->prepare($borrower_sql);
 341             $sth->execute(@borrower_parameters);
 342             ($verbose>1) and warn $borrower_sql . "\n\n ($mindays, $maxdays)\nreturns " . $sth->rows . " rows";
 343
 344             while ( my ( $itemcount, $borrowernumber, $firstname, $lastname, $address1, $address2, $city, $postcode, $email ) = $sth->fetchrow ) {
 345                 warn "borrower $firstname, $lastname ($borrowernumber) [ $email ] has $itemcount items overdue." if $verbose;
 346
 347                 my $letter = C4::Letters::getletter( 'circulation', $overdue_rules->{"letter$i"} );
 348                 unless ($letter) {
 349                     $verbose and warn "Message '$overdue_rules->{letter$i}' content not found";
 350
 351                     # might as well skip while PERIOD, no other borrowers are going to work.
 352                     next PERIOD;
 353                 }
 354
 355                 if ( $overdue_rules->{"debarred$i"} ) {
 356
 357                     #action taken is debarring
 358                     C4::Members::DebarMember($borrowernumber);
 359                     $verbose and warn "debarring $borrowernumber $firstname $lastname\n";
 360                 }
 361
 362                 $sth2->execute( $borrowernumber, $mindays, $maxdays );
 363                 my $titles = "";
 364                 while ( my $item_info = $sth2->fetchrow_hashref() ) {
 365                     my @item_info = map { $_ =~ /date$/ ? format_date( $item_info->{$_} ) : $item_info->{$_} || '' } @item_content_fields;
 366                     $titles .= join("\t", @item_info) . "\n";
 367                 }
 368                 $sth2->finish;
 369
 370                 $letter = parse_letter(
 371                     {   letter         => $letter,
 372                         borrowernumber => $borrowernumber,
 373                         branchcode     => $branchcode,
 374                         substitute     => {
 375                             bib             => $branch_details->{'branchname'},
 376                             'items.content' => $titles
 377                         }
 378                     }
 379                 );
 380
 381                 my @misses = grep { /./ } map { /^([^>]*)[>]+/; ( $1 || '' ); } split /\</, $letter->{'content'};
 382                 if (@misses) {
 383                     $verbose and warn "The following terms were not matched and replaced: \n\t" . join "\n\t", @misses;
 384                 }
 385                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # Now that we've warned about them, remove them.
 386                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # 2nd pass for the double nesting.
 387
 388                 if ($nomail) {
 389
 390                     push @output_chunks,
 391                       prepare_letter_for_printing(
 392                         {   letter         => $letter,
 393                             borrowernumber => $borrowernumber,
 394                             firstname      => $firstname,
 395                             lastname       => $lastname,
 396                             address1       => $address1,
 397                             address2       => $address2,
 398                             city           => $city,
 399                             postcode       => $postcode,
 400                             email          => $email,
 401                             itemcount      => $itemcount,
 402                             titles         => $titles,
 403                             outputformat   => defined $csvfilename ? 'csv' : '',
 404                         }
 405                       );
 406                 } else {
 407                     if ($email) {
 408                         C4::Letters::EnqueueLetter(
 409                             {   letter                 => $letter,
 410                                 borrowernumber         => $borrowernumber,
 411                                 message_transport_type => 'email',
 412                                 to_address           => $email,
 413                                 from_address           => $admin_email_address,
 414                             }
 415                         );
 416                     } else {
 417
 418                         # If we don't have an email address for this patron, send it to the admin to deal with.
 419                         push @output_chunks,
 420                           prepare_letter_for_printing(
 421                             {   letter         => $letter,
 422                                 borrowernumber => $borrowernumber,
 423                                 firstname      => $firstname,
 424                                 lastname       => $lastname,
 425                                 address1       => $address1,
 426                                 address2       => $address2,
 427                                 city           => $city,
 428                                 postcode       => $postcode,
 429                                 email          => $email,
 430                                 itemcount      => $itemcount,
 431                                 titles         => $titles,
 432                                 outputformat   => defined $csvfilename ? 'csv' : '',
 433                             }
 434                           );
 435                     }
 436                 }
 437
 438             }
 439             $sth->finish;
 440         }
 441     }
 442
 443     if (@output_chunks) {
 444         if ($nomail) {
 445             if ( defined $csvfilename ) {
 446                 print $csv_fh @output_chunks;
 447             } else {
 448                 local $, = "\f";    # pagebreak
 449                 print @output_chunks;
 450             }
 451         } else {
 452             my $attachment = {
 453                 filename => defined $csvfilename ? 'attachment.csv' : 'attachment.txt',
 454                 type => 'text/plain',
 455                 content => join( "\n", @output_chunks )
 456             };
 457
 458             my $letter = {
 459                 title   => 'Overdue Notices',
 460                 content => 'These messages were not sent directly to the patrons.',
 461             };
 462             C4::Letters::EnqueueLetter(
 463                 {   letter                 => $letter,
 464                     borrowernumber         => undef,
 465                     message_transport_type => 'email',
 466                     attachments            => [$attachment],
 467                     to_address             => $admin_email_address,
 468                     from_address           => $admin_email_address,
 469                 }
 470             );
 471         }
 472     }
 473
 474 }
 475 if ($csvfilename) {
 476
 477     # note that we're not testing on $csv_fh to prevent closing
 478     # STDOUT.
 479     close $csv_fh;
 480 }
 481
 482 =head1 INTERNAL METHODS
 483
 484 These methods are internal to the operation of overdue_notices.pl.
 485
 486 =head2 parse_letter
 487
 488 parses the letter template, replacing the placeholders with data
 489 specific to this patron, biblio, or item
 490
 491 named parameters:
 492   letter - required hashref
 493   borrowernumber - required integer
 494   substitute - optional hashref of other key/value pairs that should
 495     be substituted in the letter content
 496
 497 returns the C<letter> hashref, with the content updated to reflect the
 498 substituted keys and values.
 499
 500
 501 =cut
 502
 503 sub parse_letter {
 504     my $params = shift;
 505     foreach my $required (qw( letter borrowernumber )) {
 506         return unless exists $params->{$required};
 507     }
 508
 509     if ( $params->{'substitute'} ) {
 510         while ( my ( $key, $replacedby ) = each %{ $params->{'substitute'} } ) {
 511             my $replacefield = "<<$key>>";
 512
 513             $params->{'letter'}->{title}   =~ s/$replacefield/$replacedby/g;
 514             $params->{'letter'}->{content} =~ s/$replacefield/$replacedby/g;
 515         }
 516     }
 517
 518     C4::Letters::parseletter( $params->{'letter'}, 'borrowers', $params->{'borrowernumber'} );
 519
 520     if ( $params->{'branchcode'} ) {
 521         C4::Letters::parseletter( $params->{'letter'}, 'branches', $params->{'branchcode'} );
 522     }
 523
 524     if ( $params->{'biblionumber'} ) {
 525         C4::Letters::parseletter( $params->{'letter'}, 'biblio',      $params->{'biblionumber'} );
 526         C4::Letters::parseletter( $params->{'letter'}, 'biblioitems', $params->{'biblionumber'} );
 527     }
 528
 529     return $params->{'letter'};
 530 }
 531
 532 =head2 prepare_letter_for_printing
 533
 534 returns a string of text appropriate for printing in the event that an
 535 overdue notice will not be sent to the patron's email
 536 address. Depending on the desired output format, this may be a CSV
 537 string, or a human-readable representation of the notice.
 538
 539 required parameters:
 540   letter
 541   borrowernumber
 542
 543 optional parameters:
 544   outputformat
 545
 546 =cut
 547
 548 sub prepare_letter_for_printing {
 549     my $params = shift;
 550
 551     return unless ref $params eq 'HASH';
 552
 553     foreach my $required_parameter (qw( letter borrowernumber )) {
 554         return unless defined $params->{$required_parameter};
 555     }
 556
 557     my $return;
 558     if ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'csv' ) {
 559         if ($csv->combine(
 560                 $params->{'firstname'}, $params->{'lastname'}, $params->{'address1'},  $params->{'address2'}, $params->{'postcode'},
 561                 $params->{'city'},      $params->{'email'},    $params->{'itemcount'}, $params->{'items.content'}
 562             )
 563           ) {
 564             return $csv->string, "\n";
 565         } else {
 566             $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 567         }
 568     } else {
 569         $return .= "$params->{'letter'}->{'content'}\n";
 570
 571         # $return .= Data::Dumper->Dump( [ $params->{'borrowernumber'}, $params->{'letter'} ], [qw( borrowernumber letter )] );
 572     }
 573     return $return;
 574 }
 575