Bug 8435: (follow-up) prevent t/00-load.t failing
[koha.git] / reports / borrowers_stats.pl
index 5d37d55..8181285 100755 (executable)
@@ -1,7 +1,5 @@
 #!/usr/bin/perl
 
-# $Id$
-
 # Copyright 2000-2002 Katipo Communications
 #
 # This file is part of Koha.
 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
 #
-# You should have received a copy of the GNU General Public License along with
-# Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
-# Suite 330, Boston, MA  02111-1307 USA
+# You should have received a copy of the GNU General Public License along
+# with Koha; if not, write to the Free Software Foundation, Inc.,
+# 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
 
-use strict;
-use C4::Auth;
+use Modern::Perl;
 use CGI;
+use List::MoreUtils qw/uniq/;
+
+use C4::Auth;
 use C4::Context;
-use HTML::Template;
-use C4::Search;
-use C4::Output;
+use C4::Branch; # GetBranches
 use C4::Koha;
+use C4::Dates;
 use C4::Acquisition;
-use C4::Interface::CGI::Output;
-use C4::Circulation::Circ2;
+use C4::Output;
+use C4::Reports;
+use C4::Circulation;
+use C4::Members::AttributeTypes;
+use C4::Dates qw/format_date format_date_in_iso/;
+use Date::Calc qw(
+  Today
+  Add_Delta_YM
+  );
 
 =head1 NAME
 
@@ -37,8 +43,7 @@ plugin that shows a stats on borrowers
 
 =head1 DESCRIPTION
 
-
-=over2
+=over 2
 
 =cut
 
@@ -48,36 +53,45 @@ my $fullreportname = "reports/borrowers_stats.tmpl";
 my $line = $input->param("Line");
 my $column = $input->param("Column");
 my @filters = $input->param("Filter");
+$filters[3]=format_date_in_iso($filters[3]);
+$filters[4]=format_date_in_iso($filters[4]);
 my $digits = $input->param("digits");
+our $period = $input->param("period");
 my $borstat = $input->param("status");
+my $borstat1 = $input->param("activity");
 my $output = $input->param("output");
 my $basename = $input->param("basename");
-my $mime = $input->param("MIME");
-my $del = $input->param("sep");
+our $sep     = $input->param("sep");
+$sep = "\t" if ($sep and $sep eq 'tabulation');
+my $selected_branch; # = $input->param("?");
+
+our $branches = GetBranches;
 
 my ($template, $borrowernumber, $cookie)
        = get_template_and_user({template_name => $fullreportname,
                                query => $input,
                                type => "intranet",
                                authnotrequired => 0,
-                               flagsrequired => {editcatalogue => 1},
+                               flagsrequired => {reports => '*'},
                                debug => 1,
                                });
 $template->param(do_it => $do_it);
 if ($do_it) {
-       my $results = calculate($line, $column, $digits, $borstat, \@filters);
+        my $attributes;
+        if (C4::Context->preference('ExtendedPatronAttributes')) {
+            $attributes = parse_extended_patron_attributes($input);
+        }
+       my $results = calculate($line, $column, $digits, $borstat,$borstat1 ,\@filters, $attributes);
        if ($output eq "screen"){
                $template->param(mainloop => $results);
                output_html_with_http_headers $input, $cookie, $template->output;
-               exit(1);
        } else {
                print $input->header(-type => 'application/vnd.sun.xml.calc',
-                                                        -name=>"$basename.csv",
-                                                        -attachment=>"$basename.csv");
+                         -encoding => 'utf-8',
+                             -name => "$basename.csv",
+                       -attachment => "$basename.csv");
                my $cols = @$results[0]->{loopcol};
                my $lines = @$results[0]->{looprow};
-               my $sep;
-               $sep =C4::Context->preference("delimiter");
                print @$results[0]->{line} ."/". @$results[0]->{column} .$sep;
                foreach my $col ( @$cols ) {
                        print $col->{coltitle}.$sep;
@@ -98,116 +112,65 @@ if ($do_it) {
                        print $sep.$col->{totalcol};
                }
                print $sep.@$results[0]->{total};
-               exit(1);
        }
+       exit;   # exit after do_it, regardless
 } else {
        my $dbh = C4::Context->dbh;
-       my @values;
-       my %labels;
        my $req;
-       $req = $dbh->prepare( "select categorycode, description from categories order by description");
-       $req->execute;
-       my %select_catcode;
-       my @select_catcode;
-       push @select_catcode,"";
-       $select_catcode{""} = "";
-       while (my ($catcode, $description) =$req->fetchrow) {
-               push @select_catcode, $catcode;
-               $select_catcode{$catcode} = $description
+       $template->param(  CAT_LOOP => &catcode_aref);
+       my @branchloop;
+       foreach (sort {$branches->{$a}->{branchname} cmp $branches->{$b}->{branchname}} keys %$branches) {
+               my $line = {branchcode => $_, branchname => $branches->{$_}->{branchname} || 'UNKNOWN'};
+               $line->{selected} = 'selected' if ($selected_branch and $selected_branch eq $_);
+               push @branchloop, $line;
        }
-       my $CGICatCode=CGI::scrolling_list( -name     => 'Filter',
-                               -id => 'Filter',
-                               -values   => \@select_catcode,
-                               -labels   => \%select_catcode,
-                               -size     => 1,
-                               -multiple => 0 );
-       
-       my @branches;
-       my @select_branch;
-       my %select_branches;
-       my ($count2,@branches)=branches();
-       push @select_branch,"";
-       $select_branches{''}='';
-       for (my $i=0;$i<$count2;$i++){
-                       push @select_branch, $branches[$i]->{'branchcode'};#
-                       $select_branches{$branches[$i]->{'branchcode'}} = $branches[$i]->{'branchname'};
-       }
-       my $CGIbranch=CGI::scrolling_list( -name     => 'pickup',
-                                                       -values   => \@select_branch,
-                                                       -labels   => \%select_branches,
-                                                       -size     => 1,
-                                                       -multiple => 0 );
-       
-       $req = $dbh->prepare( "select distinctrow sort1 from borrowers order by sort1");
-       $req->execute;
-       my @select_sort1;
-       push @select_sort1,"";
-       my $hassort1;
-       while (my ($value) =$req->fetchrow) {
-               if ($value) {
-                       $hassort1=1;
-                       push @select_sort1, $value;
-               }
-       }
-       my $CGIsort1=CGI::scrolling_list( -name     => 'Filter',
-                               -id => 'Filter',
-                               -values   => \@select_sort1,
-                               -size     => 1,
-                               -multiple => 0 );
-       
-       $req = $dbh->prepare( "select distinctrow sort2 from borrowers order by sort2");
+       $template->param(BRANCH_LOOP => \@branchloop);
+       $req = $dbh->prepare("SELECT DISTINCTROW zipcode FROM borrowers WHERE zipcode IS NOT NULL AND zipcode <> '' ORDER BY zipcode");
+       $req->execute;
+       $template->param(   ZIP_LOOP => $req->fetchall_arrayref({}));
+       $req = $dbh->prepare("SELECT authorised_value,lib FROM authorised_values WHERE category='Bsort1' ORDER BY lib");
+       $req->execute;
+       $template->param( SORT1_LOOP => $req->fetchall_arrayref({}));
+       $req = $dbh->prepare("SELECT DISTINCTROW sort2 AS value FROM borrowers WHERE sort2 IS NOT NULL AND sort2 <> '' ORDER BY sort2 LIMIT 200");
+               # More than 200 items in a dropdown is not going to be useful anyway, and w/ 50,000 patrons we can destory DB performance.
        $req->execute;
-       my @select_sort2;
-       push @select_sort2,"";
-       my $hassort2;
-       while (my ($value) =$req->fetchrow) {
-               if ($value) {
-                       $hassort2 = 1;
-                       push @select_sort2, $value;
-               }
-       }
-       my $CGIsort2=CGI::scrolling_list( -name     => 'Filter',
-                               -id => 'Filter',
-                               -values   => \@select_sort2,
-                               -size     => 1,
-                               -multiple => 0 );
-       
-       my @mime = ( C4::Context->preference("MIME") );
-       foreach my $mime (@mime){
-               warn "".$mime;
-       }
+       $template->param( SORT2_LOOP => $req->fetchall_arrayref({}));
        
        my $CGIextChoice=CGI::scrolling_list(
                                -name => 'MIME',
                                -id => 'MIME',
-                               -values   => \@mime,
+                               -values   => ['CSV'], # FIXME translation
                                -size     => 1,
                                -multiple => 0 );
-       
-       my @dels = ( C4::Context->preference("delimiter") );
-       my $CGIsepChoice=CGI::scrolling_list(
-                               -name => 'sep',
-                               -id => 'sep',
-                               -values   => \@dels,
-                               -size     => 1,
-                               -multiple => 0 );
-       $template->param(CGICatcode => $CGICatCode,
-                                       CGISort1 => $CGIsort1,
-                                       hassort1 => $hassort1,
-                                       CGISort2 => $CGIsort2,
-                                       hassort2 => $hassort2,
-                                       CGIextChoice => $CGIextChoice,
-                                       CGIsepChoice => $CGIsepChoice,
-                                       CGIBranch => $CGIbranch
-                                       );
-
+       my $CGIsepChoice=GetDelimiterChoices;
+       $template->param(
+               CGIextChoice => $CGIextChoice,
+               CGIsepChoice => $CGIsepChoice,
+    );
+    if (C4::Context->preference('ExtendedPatronAttributes')) {
+        $template->param(ExtendedPatronAttributes => 1);
+        patron_attributes_form($template);
+    }
 }
 output_html_with_http_headers $input, $cookie, $template->output;
 
-
+sub catcode_aref() {
+       my $req = C4::Context->dbh->prepare("SELECT categorycode, description FROM categories ORDER BY description");
+       $req->execute;
+       return $req->fetchall_arrayref({});
+}
+sub catcodes_hash() {
+       my %cathash;
+       my $catcodes = &catcode_aref;
+       foreach (@$catcodes) {
+               $cathash{$_->{categorycode}} = ($_->{description} || 'NO_DESCRIPTION') . " ($_->{categorycode})";
+       }
+       return %cathash;
+}
 
 sub calculate {
-       my ($line, $column, $digits, $status, $filters) = @_;
+       my ($line, $column, $digits, $status, $activity, $filters, $attr_filters) = @_;
+
        my @mainloop;
        my @loopfooter;
        my @loopcol;
@@ -218,72 +181,135 @@ sub calculate {
 # extract parameters
        my $dbh = C4::Context->dbh;
 
-# Filters
-       my $linefilter = "";
-#      warn "filtres ".@filters[0];
-#      warn "filtres ".@filters[1];
-#      warn "filtres ".@filters[2];
-#      warn "filtres ".@filters[3];
-       
-       $linefilter = @$filters[0] if ($line =~ /categorycode/ )  ;
-       $linefilter = @$filters[1] if ($line =~ /zipcode/ )  ;
-       $linefilter = @$filters[2] if ($line =~ /branccode/ ) ;
-       $linefilter = @$filters[3] if ($line =~ /sort1/ ) ;
-       $linefilter = @$filters[4] if ($line =~ /sort2/ ) ;
-# 
-       my $colfilter = "";
-       $colfilter = @$filters[0] if ($column =~ /categorycode/);
-       $colfilter = @$filters[1] if ($column =~ /zipcode/);
-       $colfilter = @$filters[2] if ($column =~ /branchcode/);
-       $colfilter = @$filters[3] if ($column =~ /sort1/);
-       $colfilter = @$filters[4] if ($column =~ /sort2/);
-
-       my @loopfilter;
-       for (my $i=0;$i<=3;$i++) {
-               my %cell;
-               if ( @$filters[$i] ) {
-                       $cell{filter} .= @$filters[$i];
-                       $cell{crit} .="Cat Code " if ($i==0);
-                       $cell{crit} .="Zip Code" if ($i==1);
-                       $cell{crit} .="Branchcode" if ($i==2);
-                       $cell{crit} .="Sort1" if ($i==3);
-                       $cell{crit} .="Sort2" if ($i==4);
-                       push @loopfilter, \%cell;
-               }
-       }
-       if ($status) {
-               push @loopfilter,{crit=>"Status",filter=>$status}
-       }
+    # check parameters
+    my @valid_names = qw(categorycode zipcode branchcode sex sort1 sort2);
+    my @attribute_types = C4::Members::AttributeTypes::GetAttributeTypes;
+    if ($line =~ /^patron_attr\.(.*)/) {
+        my $attribute_type = $1;
+        return unless (grep {$attribute_type eq $_->{code}} @attribute_types);
+    } else {
+        return unless (grep /^$line$/, @valid_names);
+    }
+    if ($column =~ /^patron_attr\.(.*)/) {
+        my $attribute_type = $1;
+        return unless (grep {$attribute_type eq $_->{code}} @attribute_types);
+    } else {
+        return unless (grep /^$column$/, @valid_names);
+    }
+    return if ($digits and $digits !~ /^\d+$/);
+    return if ($status and (grep /^$status$/, qw(debarred gonenoaddress lost)) == 0);
+    return if ($activity and (grep /^$activity$/, qw(active nonactive)) == 0);
+
+    # Filters
+    my $linefilter;
+    given ($line) {
+        when (/categorycode/) { $linefilter = @$filters[0] }
+        when (/zipcode/) { $linefilter = @$filters[1] }
+        when (/branchcode/) { $linefilter = @$filters[2] }
+        when (/sex/) { $linefilter = @$filters[5] }
+        when (/sort1/) { $linefilter = @$filters[6] }
+        when (/sort2/) { $linefilter = @$filters[7] }
+        when (/^patron_attr\.(.*)$/) { $linefilter = $attr_filters->{$1} }
+        default { $linefilter = '' }
+    }
+
+    my $colfilter;
+    given ($column) {
+        when (/categorycode/) { $colfilter = @$filters[0] }
+        when (/zipcode/) { $colfilter = @$filters[1] }
+        when (/branchcode/) { $colfilter = @$filters[2] }
+        when (/sex/) { $colfilter = @$filters[5] }
+        when (/sort1/) { $colfilter = @$filters[6] }
+        when (/sort2/) { $colfilter = @$filters[7] }
+        when (/^patron_attr\.(.*)$/) { $colfilter = $attr_filters->{$1} }
+        default { $colfilter = '' }
+    }
+
+    my @loopfilter;
+    foreach my $i (0 .. scalar @$filters) {
+        my %cell;
+        if ( @$filters[$i] ) {
+            if ($i == 3 or $i == 4) {
+                $cell{filter} = format_date(@$filters[$i]);
+            } else {
+                $cell{filter} = @$filters[$i];
+            }
+
+            given ($i) {
+                when (0) { $cell{crit} = "Cat code" }
+                when (1) { $cell{crit} = "Zip code" }
+                when (2) { $cell{crit} = "Branch code" }
+                when ([3,4]) { $cell{crit} = "Date of birth" }
+                when (5) { $cell{crit} = "Sex" }
+                when (6) { $cell{crit} = "Sort1" }
+                when (7) { $cell{crit} = "Sort2" }
+                default { $cell{crit} = "Unknown" }
+            }
+            push @loopfilter, \%cell;
+        }
+    }
+    foreach my $type (keys %$attr_filters) {
+        if($attr_filters->{$type}) {
+            push @loopfilter, {
+                crit => "Attribute $type",
+                filter => $attr_filters->{$type}
+            }
+        }
+    }
+
+       ($status  ) and push @loopfilter,{crit=>"Status",  filter=>$status  };
+       ($activity) and push @loopfilter,{crit=>"Activity",filter=>$activity};
+       push @loopfilter,{debug=>1, crit=>"Branches",filter=>join(" ", sort keys %$branches)};
+       push @loopfilter,{debug=>1, crit=>"(line, column)", filter=>"($line,$column)"};
+# year of activity
+       my ( $period_year, $period_month, $period_day )=Add_Delta_YM( Today(),-$period, 0);
+       my $newperioddate=$period_year."-".$period_month."-".$period_day;
 # 1st, loop rows.
        my $linefield;
-       if (($line =~/zipcode/) and ($digits)) {
-               $linefield .="left($line,$digits)";
-       } else{
-               $linefield .= $line;
-       }
-       
-       my $strsth;
-       $strsth .= "select distinctrow $linefield from borrowers where $line is not null ";
+
+    my $line_attribute_type;
+    if ($line  =~/^patron_attr\.(.*)$/) {
+        $line_attribute_type = $1;
+        $line = 'borrower_attributes.attribute';
+    }
+
+    if (($line =~/zipcode/) and ($digits)) {
+        $linefield = "left($line,$digits)";
+    } else {
+        $linefield = $line;
+    }
+
+       my %cathash = ($line eq 'categorycode' or $column eq 'categorycode') ? &catcodes_hash : ();
+       push @loopfilter, {debug=>1, crit=>"\%cathash", filter=>join(", ", map {$cathash{$_}} sort keys %cathash)};
+
+    my $strsth;
+    my @strparams; # bind parameters for the query
+    if ($line_attribute_type) {
+        $strsth = "SELECT distinct attribute FROM borrower_attributes
+            WHERE attribute IS NOT NULL AND code=?";
+        push @strparams, $line_attribute_type;
+    } else {
+        $strsth = "SELECT distinctrow $linefield FROM borrowers
+            WHERE $line IS NOT NULL ";
+    }
+
        $linefilter =~ s/\*/%/g;
        if ( $linefilter ) {
-               $strsth .= " and $linefield LIKE ? " ;
+               $strsth .= " AND $linefield LIKE ? " ;
+                push @strparams, $linefilter;
        }
-       $strsth .= " and $status='1' " if ($status);
-       $strsth .=" order by $linefield";
-#      warn "". $strsth;
+       $strsth .= " AND $status='1' " if ($status);
+    $strsth .=" order by $linefield";
        
-       my $sth = $dbh->prepare( $strsth );
-       if ( $linefilter ) {
-               $sth->execute($linefilter);
-       } else {
-               $sth->execute;
-       }
-       while ( my ($celvalue) = $sth->fetchrow) {
+       push @loopfilter, {sql=>1, crit=>"Query", filter=>$strsth};
+       my $sth = $dbh->prepare($strsth);
+    $sth->execute(@strparams);
+       while (my ($celvalue) = $sth->fetchrow) {
                my %cell;
                if ($celvalue) {
                        $cell{rowtitle} = $celvalue;
-#              } else {
-#                      $cell{rowtitle} = "";
+                       # $cell{rowtitle_display} = ($linefield eq 'branchcode') ? $branches->{$celvalue}->{branchname} : $celvalue;
+                       $cell{rowtitle_display} = ($cathash{$celvalue} || "$celvalue\*") if ($line eq 'categorycode');
                }
                $cell{totalrow} = 0;
                push @loopline, \%cell;
@@ -291,74 +317,145 @@ sub calculate {
 
 # 2nd, loop cols.
        my $colfield;
-       if (($column =~/zipcode/) and ($digits)) {
-               $colfield .= "left($column,$digits)";
-       } else{
-               $colfield .= $column;
-       }
-       my $strsth2;
-       $colfilter =~ s/\*/%/g;
-       $strsth2 .= "select distinctrow $colfield from borrowers where $column is not null";
-       if ( $colfilter ) {
-               $strsth2 .= " and $colfield LIKE ? ";
-       }
-       $strsth2 .= " and $status='1' " if ($status);
-       $strsth2 .= " order by $colfield";
-#      warn "". $strsth2;
-       my $sth2 = $dbh->prepare( $strsth2 );
+
+    my $column_attribute_type;
+    if ($column  =~/^patron_attr.(.*)$/) {
+        $column_attribute_type = $1;
+        $column = 'borrower_attributes.attribute';
+    }
+
+    if (($column =~/zipcode/) and ($digits)) {
+        $colfield = "left($column,$digits)";
+    } else {
+        $colfield = $column;
+    }
+
+    my $strsth2;
+    my @strparams2; # bind parameters for the query
+    if ($column_attribute_type) {
+        $strsth2 = "SELECT DISTINCT attribute FROM borrower_attributes
+            WHERE attribute IS NOT NULL AND code=?";
+        push @strparams2, $column_attribute_type;
+    } else {
+        $strsth2 = "SELECT DISTINCTROW $colfield FROM borrowers
+            WHERE $column IS NOT NULL";
+    }
+
        if ($colfilter) {
-               $sth2->execute($colfilter);
-       } else {
-               $sth2->execute;
+               $colfilter =~ s/\*/%/g;
+               $strsth2 .= " AND $colfield LIKE ? ";
+        push @strparams2, $colfield;
        }
+       $strsth2 .= " AND $status='1' " if ($status);
+
+    $strsth2 .= " order by $colfield";
+       push @loopfilter, {sql=>1, crit=>"Query", filter=>$strsth2};
+       my $sth2 = $dbh->prepare($strsth2);
+    $sth2->execute(@strparams2);
        while (my ($celvalue) = $sth2->fetchrow) {
                my %cell;
-               my %ft;
-               if ($celvalue) {
+             if (defined $celvalue) {
                        $cell{coltitle} = $celvalue;
+                       # $cell{coltitle_display} = ($colfield eq 'branchcode') ? $branches->{$celvalue}->{branchname} : $celvalue;
+                       $cell{coltitle_display} = $cathash{$celvalue} if ($column eq 'categorycode');
                }
                push @loopcol, \%cell;
        }
-       
 
        my $i=0;
-       my @totalcol;
-       my $hilighted=-1;
-       
        #Initialization of cell values.....
        my %table;
 #      warn "init table";
-       foreach my $row ( @loopline ) {
+       foreach my $row (@loopline) {
                foreach my $col ( @loopcol ) {
-#                      warn " init table : $row->{rowtitle} / $col->{coltitle} ";
-                       $table{$row->{rowtitle}}->{$col->{coltitle}}=0;
+            my $rowtitle = $row->{rowtitle} // '';
+            my $coltitle = $row->{coltitle} // '';
+            $table{$rowtitle}->{$coltitle} = 0;
                }
+        $row->{rowtitle} ||= '';
                $table{$row->{rowtitle}}->{totalrow}=0;
+               $table{$row->{rowtitle}}->{rowtitle_display} = $row->{rowtitle_display};
        }
 
-# preparing calculation
-       my $strcalc .= "SELECT $linefield, $colfield, count( * ) FROM borrowers WHERE 1 ";
+    # preparing calculation
+    my $strcalc;
+    my @calcparams;
+    $strcalc = "SELECT ";
+    if ($line_attribute_type) {
+        $strcalc .= " attribute_$line_attribute_type.attribute AS line_attribute, ";
+    } else {
+        $strcalc .= " $linefield, ";
+    }
+    if ($column_attribute_type) {
+        $strcalc .= " attribute_$column_attribute_type.attribute AS column_attribute, ";
+    } else {
+        $strcalc .= " $colfield, ";
+    }
+
+    $strcalc .= " COUNT(*) FROM borrowers ";
+    foreach my $type (keys %$attr_filters) {
+        if (
+            ($line_attribute_type and $line_attribute_type eq $type)
+         or ($column_attribute_type and $column_attribute_type eq $type)
+         or ($attr_filters->{$type})
+        ) {
+            $strcalc .= " LEFT JOIN borrower_attributes AS attribute_$type
+                ON (borrowers.borrowernumber = attribute_$type.borrowernumber
+                    AND attribute_$type.code = " . $dbh->quote($type) . ") ";
+        }
+    }
+    $strcalc .= " WHERE 1 ";
+
        @$filters[0]=~ s/\*/%/g if (@$filters[0]);
        $strcalc .= " AND categorycode like '" . @$filters[0] ."'" if ( @$filters[0] );
        @$filters[1]=~ s/\*/%/g if (@$filters[1]);
        $strcalc .= " AND zipcode like '" . @$filters[1] ."'" if ( @$filters[1] );
        @$filters[2]=~ s/\*/%/g if (@$filters[2]);
-       $strcalc .= " AND sort1 like '" . @$filters[2] ."'" if ( @$filters[2] );
+       $strcalc .= " AND branchcode like '" . @$filters[2] ."'" if ( @$filters[2] );
        @$filters[3]=~ s/\*/%/g if (@$filters[3]);
-       $strcalc .= " AND sort2 like '" . @$filters[3] ."'" if ( @$filters[3] );
+       $strcalc .= " AND dateofbirth > '" . @$filters[3] ."'" if ( @$filters[3] );
+       @$filters[4]=~ s/\*/%/g if (@$filters[4]);
+       $strcalc .= " AND dateofbirth < '" . @$filters[4] ."'" if ( @$filters[4] );
+    @$filters[5]=~ s/\*/%/g if (@$filters[5]);
+    $strcalc .= " AND sex like '" . @$filters[5] ."'" if ( @$filters[5] );
+    @$filters[6]=~ s/\*/%/g if (@$filters[6]);
+       $strcalc .= " AND sort1 like '" . @$filters[6] ."'" if ( @$filters[6] );
+       @$filters[7]=~ s/\*/%/g if (@$filters[7]);
+       $strcalc .= " AND sort2 like '" . @$filters[7] ."'" if ( @$filters[7] );
+
+    foreach my $type (keys %$attr_filters) {
+        if($attr_filters->{$type}) {
+            my $filter = $attr_filters->{$type};
+            $filter =~ s/\*/%/g;
+            $strcalc .= " AND attribute_$type.attribute LIKE '" . $filter . "' ";
+        }
+    }
+       $strcalc .= " AND borrowernumber in (select distinct(borrowernumber) from old_issues where issuedate > '" . $newperioddate . "')" if ($activity eq 'active');
+       $strcalc .= " AND borrowernumber not in (select distinct(borrowernumber) from old_issues where issuedate > '" . $newperioddate . "')" if ($activity eq 'nonactive');
        $strcalc .= " AND $status='1' " if ($status);
-       $strcalc .= " group by $linefield, $colfield";
-#      warn "". $strcalc;
+
+    $strcalc .= " GROUP BY ";
+    if ($line_attribute_type) {
+        $strcalc .= " line_attribute, ";
+    } else {
+        $strcalc .= " $linefield, ";
+    }
+    if ($column_attribute_type) {
+        $strcalc .= " column_attribute ";
+    } else {
+        $strcalc .= " $colfield ";
+    }
+
+       push @loopfilter, {sql=>1, crit=>"Query", filter=>$strcalc};
        my $dbcalc = $dbh->prepare($strcalc);
-       $dbcalc->execute;
-#      warn "filling table";
+       (scalar(@calcparams)) ? $dbcalc->execute(@calcparams) : $dbcalc->execute();
        
        my $emptycol; 
        while (my ($row, $col, $value) = $dbcalc->fetchrow) {
 #              warn "filling table $row / $col / $value ";
-               $emptycol = 1 if ($col eq undef);
-               $col = "zzEMPTY" if ($col eq undef);
-               $row = "zzEMPTY" if ($row eq undef);
+               $emptycol = 1 if (!defined($col));
+               $col = "zzEMPTY" if (!defined($col));
+               $row = "zzEMPTY" if (!defined($row));
                
                $table{$row}->{$col}+=$value;
                $table{$row}->{totalrow}+=$value;
@@ -367,26 +464,33 @@ sub calculate {
        
        push @loopcol,{coltitle => "NULL"} if ($emptycol);
        
-       foreach my $row ( sort keys %table ) {
+       foreach my $row (sort keys %table) {
                my @loopcell;
                #@loopcol ensures the order for columns is common with column titles
                # and the number matches the number of columns
                foreach my $col ( @loopcol ) {
-                       my $value =$table{$row}->{($col->{coltitle} eq "NULL")?"zzEMPTY":$col->{coltitle}};
-                       push @loopcell, {value => $value  } ;
+            my $coltitle = $col->{coltitle} // '';
+            $coltitle = $coltitle eq "NULL" ? "zzEMPTY" : $coltitle;
+                       my $value =$table{$row}->{$coltitle};
+                       push @loopcell, {value => $value};
                }
-               push @looprow,{ 'rowtitle' => ($row eq "zzEMPTY")?"NULL":$row,
-                                               'loopcell' => \@loopcell,
-                                               'hilighted' => ($hilighted >0),
-                                               'totalrow' => $table{$row}->{totalrow}
-                                       };
-               $hilighted = -$hilighted;
+               push @looprow,{
+                       'rowtitle' => ($row eq "zzEMPTY")?"NULL":$row,
+                       'rowtitle_display' => $table{$row}->{rowtitle_display} || ($row eq "zzEMPTY" ? "NULL" : $row),
+                       'loopcell' => \@loopcell,
+                       'totalrow' => $table{$row}->{totalrow}
+               };
        }
        
        foreach my $col ( @loopcol ) {
                my $total=0;
                foreach my $row ( @looprow ) {
-                       $total += $table{($row->{rowtitle} eq "NULL")?"zzEMPTY":$row->{rowtitle}}->{($col->{coltitle} eq "NULL")?"zzEMPTY":$col->{coltitle}};
+            my $rowtitle = $row->{rowtitle} // '';
+            $rowtitle = ($rowtitle eq "NULL") ? "zzEMPTY" : $rowtitle;
+            my $coltitle = $col->{coltitle} // '';
+            $coltitle = ($coltitle eq "NULL") ? "zzEMPTY" : $coltitle;
+
+            $total += $table{$rowtitle}->{$coltitle} || 0;
 #                      warn "value added ".$table{$row->{rowtitle}}->{$col->{coltitle}}. "for line ".$row->{rowtitle};
                }
 #              warn "summ for column ".$col->{coltitle}."  = ".$total;
@@ -402,9 +506,66 @@ sub calculate {
 #      # the foot (totals by borrower type)
        $globalline{loopfooter} = \@loopfooter;
        $globalline{total}= $grantotal;
-       $globalline{line} = $line;
-       $globalline{column} = $column;
+       $globalline{line} = ($line_attribute_type) ? $line_attribute_type : $line;
+       $globalline{column} = ($column_attribute_type) ? $column_attribute_type : $column;
        push @mainloop,\%globalline;
        return \@mainloop;
 }
 
+sub parse_extended_patron_attributes {
+    my ($input) = @_;
+
+    my @params_names = $input->param;
+    my %attr;
+    foreach my $name (@params_names) {
+        if ($name =~ /^Filter_patron_attr\.(.*)$/) {
+            my $code = $1;
+            my $value = $input->param($name);
+            $attr{$code} = $value;
+        }
+    }
+
+    return \%attr;
+}
+
+
+sub patron_attributes_form {
+    my $template = shift;
+
+    my @types = C4::Members::AttributeTypes::GetAttributeTypes();
+
+    my %items_by_class;
+    foreach my $type (@types) {
+        my $attr_type = C4::Members::AttributeTypes->fetch($type->{code});
+        my $entry = {
+            class             => $attr_type->class(),
+            code              => $attr_type->code(),
+            description       => $attr_type->description(),
+            repeatable        => $attr_type->repeatable(),
+            category          => $attr_type->authorised_value_category(),
+            category_code     => $attr_type->category_code(),
+        };
+
+        my $newentry = { %$entry };
+        if ($attr_type->authorised_value_category()) {
+            $newentry->{use_dropdown} = 1;
+            $newentry->{auth_val_loop} = GetAuthorisedValues(
+                $attr_type->authorised_value_category()
+            );
+        }
+        push @{ $items_by_class{ $attr_type->class() } }, $newentry;
+    }
+
+    my @attribute_loop;
+    foreach my $class ( sort keys %items_by_class ) {
+        my $lib = GetAuthorisedValueByCode( 'PA_CLASS', $class ) || $class;
+        push @attribute_loop, {
+            class => $class,
+            items => $items_by_class{$class},
+            lib   => $lib,
+        };
+    }
+
+    $template->param(patron_attributes => \@attribute_loop);
+
+}