misc/cronjobs/overdue_notices.pl

   1 #!/usr/bin/perl -w
   2
   3 # Copyright 2008 Liblime
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 2 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along with
  17 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  18 # Suite 330, Boston, MA  02111-1307 USA
  19
  20 use strict;
  21 use warnings;
  22
  23 BEGIN {
  24
  25     # find Koha's Perl modules
  26     # test carefully before changing this
  27     use FindBin;
  28     eval { require "$FindBin::Bin/../kohalib.pl" };
  29 }
  30
  31 use C4::Context;
  32 use C4::Dates qw/format_date/;
  33 use C4::Debug;
  34 use C4::Letters;
  35
  36 use Getopt::Long;
  37 use Pod::Usage;
  38 use Text::CSV_XS;
  39
  40 =head1 NAME
  41
  42 overdue_notices.pl - prepare messages to be sent to patrons for overdue items
  43
  44 =head1 SYNOPSIS
  45
  46 overdue_notices.pl [ -n ] [ -library <branchcode> ] [ -max <number of days> ] [ -csv [ <filename> ] ] [ -itemscontent <field list> ]
  47
  48  Options:
  49    -help                          brief help message
  50    -man                           full documentation
  51    -n                             No email will be sent
  52    -max          <days>           maximum days overdue to deal with
  53    -library      <branchname>     only deal with overdues from this library
  54    -csv          <filename>       populate CSV file
  55    -itemscontent <list of fields> item information in templates
  56
  57 =head1 OPTIONS
  58
  59 =over 8
  60
  61 =item B<-help>
  62
  63 Print a brief help message and exits.
  64
  65 =item B<-man>
  66
  67 Prints the manual page and exits.
  68
  69 =item B<-v>
  70
  71 Verbose. Without this flag set, only fatal errors are reported.
  72
  73 =item B<-n>
  74
  75 Do not send any email. Overdue notices that would have been sent to
  76 the patrons or to the admin are printed to standard out. CSV data (if
  77 the -csv flag is set) is written to standard out or to any csv
  78 filename given.
  79
  80 =item B<-max>
  81
  82 Items older than max days are assumed to be handled somewhere else,
  83 probably the F<longoverdues.pl> script. They are therefore ignored by
  84 this program. No notices are sent for them, and they are not added to
  85 any CSV files. Defaults to 90 to match F<longoverdues.pl>.
  86
  87 =item B<-library>
  88
  89 select overdues for one specific library. Use the value in the
  90 branches.branchcode table.
  91
  92 =item B<-csv>
  93
  94 Produces CSV data. if -n (no mail) flag is set, then this CSV data is
  95 sent to standard out or to a filename if provided. Otherwise, only
  96 overdues that could not be emailed are sent in CSV format to the admin.
  97
  98 =item B<-itemscontent>
  99
 100 comma separated list of fields that get substituted into templates in
 101 places of the E<lt>E<lt>items.contentE<gt>E<gt> placeholder. This
 102 defaults to issuedate,title,barcode,author
 103
 104 Other possible values come from fields in the biblios, items, and
 105 issues tables.
 106
 107 =back
 108
 109 =head1 DESCRIPTION
 110
 111 This script is designed to alert patrons and administrators of overdue
 112 items.
 113
 114 =head2 Configuration
 115
 116 This script pays attention to the overdue notice configuration
 117 performed in the "Overdue notice/status triggers" section of the
 118 "Tools" area of the staff interface to Koha. There, you can choose
 119 which letter templates are sent out after a configurable number of
 120 days to patrons of each library. More information about the use of this
 121 section of Koha is available in the Koha manual.
 122
 123 The templates used to craft the emails are defined in the "Tools:
 124 Notices" section of the staff interface to Koha.
 125
 126 =head2 Outgoing emails
 127
 128 Typically, messages are prepared for each patron with overdue
 129 items. Messages for whom there is no email address on file are
 130 collected and sent as attachments in a single email to each library
 131 administrator, or if that is not set, then to the email address in the
 132 C<KohaAdminEmailAddress> system preference.
 133
 134 These emails are staged in the outgoing message queue, as are messages
 135 produced by other features of Koha. This message queue must be
 136 processed regularly by the
 137 F<misc/cronjobs/process_message_queue.pl> program.
 138
 139 In the event that the C<-n> flag is passed to this program, no emails
 140 are sent. Instead, messages are sent on standard output from this
 141 program. They may be redirected to a file if desired.
 142
 143 =head2 Templates
 144
 145 Templates can contain variables enclosed in double angle brackets like
 146 E<lt>E<lt>thisE<gt>E<gt>. Those variables will be replaced with values
 147 specific to the overdue items or relevant patron. Available variables
 148 are:
 149
 150 =over
 151
 152 =item E<lt>E<lt>bibE<gt>E<gt>
 153
 154 the name of the library
 155
 156 =item E<lt>E<lt>items.contentE<gt>E<gt>
 157
 158 one line for each item, each line containing a tab separated list of
 159 title, author, barcode, issuedate
 160
 161 =item E<lt>E<lt>borrowers.*E<gt>E<gt>
 162
 163 any field from the borrowers table
 164
 165 =item E<lt>E<lt>branches.*E<gt>E<gt>
 166
 167 any field from the branches table
 168
 169 =back
 170
 171 =head2 CSV output
 172
 173 The C<-csv> command line option lets you specify a file to which
 174 overdues data should be output in CSV format.
 175
 176 With the C<-n> flag set, data about all overdues is written to the
 177 file. Without that flag, only information about overdues that were
 178 unable to be sent directly to the patrons will be written. In other
 179 words, this CSV file replaces the data that is typically sent to the
 180 administrator email address.
 181
 182 =head1 USAGE EXAMPLES
 183
 184 C<overdue_notices.pl> - In this most basic usage, with no command line
 185 arguments, all libraries are procesed individually, and notices are
 186 prepared for all patrons with overdue items for whom we have email
 187 addresses. Messages for those patrons for whom we have no email
 188 address are sent in a single attachment to the library administrator's
 189 email address, or to the address in the KohaAdminEmailAddress system
 190 preference.
 191
 192 C<overdue_notices.pl -n -csv /tmp/overdues.csv> - sends no email and
 193 populates F</tmp/overdues.csv> with information about all overdue
 194 items.
 195
 196 C<overdue_notices.pl -library MAIN max 14> - prepare notices of
 197 overdues in the last 2 weeks for the MAIN library.
 198
 199 =head1 SEE ALSO
 200
 201 The F<misc/cronjobs/advance_notices.pl> program allows you to send
 202 messages to patrons in advance of thier items becoming due, or to
 203 alert them of items that have just become due.
 204
 205 =cut
 206
 207 # These variables are set by command line options.
 208 # They are initially set to default values.
 209 my $help    = 0;
 210 my $man     = 0;
 211 my $verbose = 0;
 212 my $nomail  = 0;
 213 my $MAX     = 90;
 214 my $mybranch;
 215 my $csvfilename;
 216 my $itemscontent = join( ',', qw( issuedate title barcode author ) );
 217
 218 GetOptions(
 219     'help|?'         => \$help,
 220     'man'            => \$man,
 221     'v'              => \$verbose,
 222     'n'              => \$nomail,
 223     'max=s'          => \$MAX,
 224     'library=s'      => \$mybranch,
 225     'csv:s'          => \$csvfilename,    # this optional argument gets '' if not supplied.
 226     'itemscontent=s' => \$itemscontent,
 227 ) or pod2usage(2);
 228 pod2usage(1) if $help;
 229 pod2usage( -verbose => 2 ) if $man;
 230
 231 if ( defined $csvfilename && $csvfilename =~ /^-/ ) {
 232     warn qq(using "$csvfilename" as filename, that seems odd);
 233 }
 234
 235 my @branches    = C4::Overdues::GetBranchcodesWithOverdueRules();
 236 my $branchcount = scalar(@branches);
 237 if ($branchcount) {
 238     my $branch_word = scalar @branches > 1 ? 'branches' : 'branch';
 239     $verbose and warn "Found $branchcount $branch_word with first message enabled: " . join( ', ', map { "'$_'" } @branches ), "\n";
 240 } else {
 241     die 'No branches with active overduerules';
 242 }
 243
 244 if ($mybranch) {
 245     $verbose and warn "Branch $mybranch selected\n";
 246     if ( scalar grep { $mybranch eq $_ } @branches ) {
 247         @branches = ($mybranch);
 248     } else {
 249         $verbose and warn "No active overduerules for branch '$mybranch'\n";
 250         ( scalar grep { '' eq $_ } @branches )
 251           or die "No active overduerules for DEFAULT either!";
 252         $verbose and warn "Falling back on default rules for $mybranch\n";
 253         @branches = ('');
 254     }
 255 }
 256
 257 # these are the fields that will be substituted into <<item.content>>
 258 my @item_content_fields = split( /,/, $itemscontent );
 259
 260 my $dbh = C4::Context->dbh();
 261 binmode( STDOUT, ":utf8" );
 262
 263 our $csv;       # the Text::CSV_XS object
 264 our $csv_fh;    # the filehandle to the CSV file.
 265 if ( defined $csvfilename ) {
 266     $csv = Text::CSV_XS->new( { binary => 1 } );
 267     if ( $csvfilename eq '' ) {
 268         $csv_fh = *STDOUT;
 269     } else {
 270         open $csv_fh, ">", $csvfilename or die "unable to open $csvfilename: $!";
 271     }
 272     if ( $csv->combine(qw(name surname address1 address2 zipcode city email itemcount itemsinfo)) ) {
 273         print $csv_fh $csv->string, "\n";
 274     } else {
 275         $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 276     }
 277 }
 278
 279 foreach my $branchcode (@branches) {
 280
 281     my $branch_details = C4::Branch::GetBranchDetail($branchcode);
 282     my $admin_email_address = $branch_details->{'branchemail'} || C4::Context->preference('KohaAdminEmailAddress');
 283     my @output_chunks;    # may be sent to mail or stdout or csv file.
 284
 285     $verbose and warn sprintf "branchcode : '%s' using %s\n", $branchcode, $admin_email_address;
 286
 287     my $sth2 = $dbh->prepare( <<'END_SQL' );
 288 SELECT biblio.*, items.*, issues.*
 289   FROM issues,items,biblio
 290   WHERE items.itemnumber=issues.itemnumber
 291     AND biblio.biblionumber   = items.biblionumber
 292     AND issues.borrowernumber = ?
 293     AND TO_DAYS(NOW())-TO_DAYS(date_due) BETWEEN ? and ?
 294 END_SQL
 295
 296     my $rqoverduerules = $dbh->prepare("SELECT * FROM overduerules WHERE delay1 IS NOT NULL AND branchcode = ? ");
 297     $rqoverduerules->execute($branchcode);
 298     my $outfile = 'overdues_' . ( $mybranch || $branchcode || 'default' );
 299     while ( my $overdue_rules = $rqoverduerules->fetchrow_hashref ) {
 300       PERIOD: foreach my $i ( 1 .. 3 ) {
 301
 302             $verbose and warn "branch '$branchcode', pass $i\n";
 303             my $mindays = $overdue_rules->{"delay$i"};    # the notice will be sent after mindays days (grace period)
 304             my $maxdays = (
 305                   $overdue_rules->{ "delay" . ( $i + 1 ) }
 306                 ? $overdue_rules->{ "delay" . ( $i + 1 ) }
 307                 : ($MAX)
 308             );                                            # issues being more than maxdays late are managed somewhere else. (borrower probably suspended)
 309
 310             if ( !$overdue_rules->{"letter$i"} ) {
 311                 $verbose and warn "No letter$i code for branch '$branchcode'";
 312                 next PERIOD;
 313             }
 314
 315             # $letter->{'content'} is the text of the mail that is sent.
 316             # this text contains fields that are replaced by their value. Those fields must be written between brackets
 317             # The following fields are available :
 318             # <date> <itemcount> <firstname> <lastname> <address1> <address2> <address3> <city> <postcode>
 319
 320             my $borrower_sql = <<'END_SQL';
 321 SELECT COUNT(*), issues.borrowernumber, firstname, surname, address, address2, city, zipcode, email, MIN(date_due) as longest_issue
 322 FROM   issues,borrowers,categories
 323 WHERE  issues.borrowernumber=borrowers.borrowernumber
 324 AND    borrowers.categorycode=categories.categorycode
 325 END_SQL
 326             my @borrower_parameters;
 327             if ($branchcode) {
 328                 $borrower_sql .= ' AND issues.branchcode=? ';
 329                 push @borrower_parameters, $branchcode;
 330             }
 331             if ( $overdue_rules->{categorycode} ) {
 332                 $borrower_sql .= ' AND borrowers.categorycode=? ';
 333                 push @borrower_parameters, $overdue_rules->{categorycode};
 334             }
 335             $borrower_sql .= <<'END_SQL';
 336 AND    categories.overduenoticerequired=1
 337 GROUP BY issues.borrowernumber
 338 HAVING TO_DAYS(NOW())-TO_DAYS(longest_issue) BETWEEN ? and ?
 339 END_SQL
 340             push @borrower_parameters, $mindays, $maxdays;
 341             my $sth = $dbh->prepare($borrower_sql);
 342             $sth->execute(@borrower_parameters);
 343             $verbose and warn $borrower_sql . "\n\n ($mindays, $maxdays)\nreturns " . $sth->rows . " rows";
 344
 345             while ( my ( $itemcount, $borrowernumber, $firstname, $lastname, $address1, $address2, $city, $postcode, $email ) = $sth->fetchrow ) {
 346                 warn "borrower $firstname, $lastname ($borrowernumber) has $itemcount items overdue." if $verbose;
 347
 348                 my $letter = C4::Letters::getletter( 'circulation', $overdue_rules->{"letter$i"} );
 349                 unless ($letter) {
 350                     $verbose and warn "Message '$overdue_rules->{letter$i}' content not found";
 351
 352                     # might as well skip while PERIOD, no other borrowers are going to work.
 353                     next PERIOD;
 354                 }
 355
 356                 if ( $overdue_rules->{"debarred$i"} ) {
 357
 358                     #action taken is debarring
 359                     C4::Members::DebarMember($borrowernumber);
 360                     $verbose and warn "debarring $borrowernumber $firstname $lastname\n";
 361                 }
 362
 363                 $sth2->execute( $borrowernumber, $mindays, $maxdays );
 364                 my $titles = "";
 365                 while ( my $item_info = $sth2->fetchrow_hashref() ) {
 366                     my @item_info = map { $_ =~ /^date|date$/ ? format_date( $item_info->{$_} ) : $item_info->{$_} || '' } @item_content_fields;
 367                     $titles .= join("\t", @item_info) . "\n";
 368                 }
 369                 $sth2->finish;
 370
 371                 $letter = parse_letter(
 372                     {   letter         => $letter,
 373                         borrowernumber => $borrowernumber,
 374                         branchcode     => $branchcode,
 375                         substitute     => {
 376                             bib             => $branch_details->{'branchname'},
 377                             'items.content' => $titles
 378                         }
 379                     }
 380                 );
 381
 382                 my @misses = grep { /./ } map { /^([^>]*)[>]+/; ( $1 || '' ); } split /\</, $letter->{'content'};
 383                 if (@misses) {
 384                     $verbose and warn "The following terms were not matched and replaced: \n\t" . join "\n\t", @misses;
 385                 }
 386                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # Now that we've warned about them, remove them.
 387                 $letter->{'content'} =~ s/\<[^<>]*?\>//g;    # 2nd pass for the double nesting.
 388
 389                 if ($nomail) {
 390
 391                     push @output_chunks,
 392                       prepare_letter_for_printing(
 393                         {   letter         => $letter,
 394                             borrowernumber => $borrowernumber,
 395                             firstname      => $firstname,
 396                             lastname       => $lastname,
 397                             address1       => $address1,
 398                             address2       => $address2,
 399                             city           => $city,
 400                             postcode       => $postcode,
 401                             email          => $email,
 402                             itemcount      => $itemcount,
 403                             titles         => $titles,
 404                             outputformat   => defined $csvfilename ? 'csv' : '',
 405                         }
 406                       );
 407                 } else {
 408                     if ($email) {
 409                         C4::Letters::EnqueueLetter(
 410                             {   letter                 => $letter,
 411                                 borrowernumber         => $borrowernumber,
 412                                 message_transport_type => 'email',
 413                                 from_address           => $admin_email_address,
 414                             }
 415                         );
 416                     } else {
 417
 418                         # If we don't have an email address for this patron, send it to the admin to deal with.
 419                         push @output_chunks,
 420                           prepare_letter_for_printing(
 421                             {   letter         => $letter,
 422                                 borrowernumber => $borrowernumber,
 423                                 firstname      => $firstname,
 424                                 lastname       => $lastname,
 425                                 address1       => $address1,
 426                                 address2       => $address2,
 427                                 city           => $city,
 428                                 postcode       => $postcode,
 429                                 email          => $email,
 430                                 itemcount      => $itemcount,
 431                                 titles         => $titles,
 432                                 outputformat   => defined $csvfilename ? 'csv' : '',
 433                             }
 434                           );
 435                     }
 436                 }
 437
 438             }
 439             $sth->finish;
 440         }
 441     }
 442
 443     if (@output_chunks) {
 444         if ($nomail) {
 445             if ( defined $csvfilename ) {
 446                 print $csv_fh @output_chunks;
 447             } else {
 448                 local $, = "\f";    # pagebreak
 449                 print @output_chunks;
 450             }
 451         } else {
 452             my $attachment = {
 453                 filename => defined $csvfilename ? 'attachment.csv' : 'attachment.txt',
 454                 type => 'text/plain',
 455                 content => join( "\n", @output_chunks )
 456             };
 457
 458             my $letter = {
 459                 title   => 'Overdue Notices',
 460                 content => 'These messages were not sent directly to the patrons.',
 461             };
 462             C4::Letters::EnqueueLetter(
 463                 {   letter                 => $letter,
 464                     borrowernumber         => undef,
 465                     message_transport_type => 'email',
 466                     attachments            => [$attachment],
 467                     to_address             => $admin_email_address,
 468                 }
 469             );
 470         }
 471     }
 472
 473 }
 474 if ($csvfilename) {
 475
 476     # note that we're not testing on $csv_fh to prevent closing
 477     # STDOUT.
 478     close $csv_fh;
 479 }
 480
 481 =head1 INTERNAL METHODS
 482
 483 These methods are internal to the operation of overdue_notices.pl.
 484
 485 =head2 parse_letter
 486
 487 parses the letter template, replacing the placeholders with data
 488 specific to this patron, biblio, or item
 489
 490 named parameters:
 491   letter - required hashref
 492   borrowernumber - required integer
 493   substitute - optional hashref of other key/value pairs that should
 494     be substituted in the letter content
 495
 496 returns the C<letter> hashref, with the content updated to reflect the
 497 substituted keys and values.
 498
 499
 500 =cut
 501
 502 sub parse_letter {
 503     my $params = shift;
 504     foreach my $required (qw( letter borrowernumber )) {
 505         return unless exists $params->{$required};
 506     }
 507
 508     if ( $params->{'substitute'} ) {
 509         while ( my ( $key, $replacedby ) = each %{ $params->{'substitute'} } ) {
 510             my $replacefield = "<<$key>>";
 511
 512             $params->{'letter'}->{title}   =~ s/$replacefield/$replacedby/g;
 513             $params->{'letter'}->{content} =~ s/$replacefield/$replacedby/g;
 514         }
 515     }
 516
 517     C4::Letters::parseletter( $params->{'letter'}, 'borrowers', $params->{'borrowernumber'} );
 518
 519     if ( $params->{'branchcode'} ) {
 520         C4::Letters::parseletter( $params->{'letter'}, 'branches', $params->{'branchcode'} );
 521     }
 522
 523     if ( $params->{'biblionumber'} ) {
 524         C4::Letters::parseletter( $params->{'letter'}, 'biblio',      $params->{'biblionumber'} );
 525         C4::Letters::parseletter( $params->{'letter'}, 'biblioitems', $params->{'biblionumber'} );
 526     }
 527
 528     return $params->{'letter'};
 529 }
 530
 531 =head2 prepare_letter_for_printing
 532
 533 returns a string of text appropriate for printing in the event that an
 534 overdue notice will not be sent to the patron's email
 535 address. Depending on the desired output format, this may be a CSV
 536 string, or a human-readable representation of the notice.
 537
 538 required parameters:
 539   letter
 540   borrowernumber
 541
 542 optional parameters:
 543   outputformat
 544
 545 =cut
 546
 547 sub prepare_letter_for_printing {
 548     my $params = shift;
 549
 550     return unless ref $params eq 'HASH';
 551
 552     foreach my $required_parameter (qw( letter borrowernumber )) {
 553         return unless defined $params->{$required_parameter};
 554     }
 555
 556     my $return;
 557     if ( exists $params->{'outputformat'} && $params->{'outputformat'} eq 'csv' ) {
 558         if ($csv->combine(
 559                 $params->{'firstname'}, $params->{'lastname'}, $params->{'address1'},  $params->{'address2'}, $params->{'postcode'},
 560                 $params->{'city'},      $params->{'email'},    $params->{'itemcount'}, $params->{'items.content'}
 561             )
 562           ) {
 563             return $csv->string, "\n";
 564         } else {
 565             $verbose and warn 'combine failed on argument: ' . $csv->error_input;
 566         }
 567     } else {
 568         $return .= "$params->{'letter'}->{'content'}\n";
 569
 570         # $return .= Data::Dumper->Dump( [ $params->{'borrowernumber'}, $params->{'letter'} ], [qw( borrowernumber letter )] );
 571     }
 572     return $return;
 573 }
 574