C4/Search.pm

   1 package C4::Search;
   2
   3 # This file is part of Koha.
   4 #
   5 # Koha is free software; you can redistribute it and/or modify it under the
   6 # terms of the GNU General Public License as published by the Free Software
   7 # Foundation; either version 2 of the License, or (at your option) any later
   8 # version.
   9 #
  10 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  11 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  12 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License along with
  15 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  16 # Suite 330, Boston, MA  02111-1307 USA
  17
  18 use strict;
  19 #use warnings; FIXME - Bug 2505
  20 require Exporter;
  21 use C4::Context;
  22 use C4::Biblio;    # GetMarcFromKohaField, GetBiblioData
  23 use C4::Koha;      # getFacets
  24 use Lingua::Stem;
  25 use C4::Search::PazPar2;
  26 use XML::Simple;
  27 use C4::Dates qw(format_date);
  28 use C4::XSLT;
  29 use C4::Branch;
  30 use C4::Reserves;    # CheckReserves
  31 use C4::Debug;
  32 use URI::Escape;
  33
  34 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS $DEBUG);
  35
  36 # set the version for version checking
  37 BEGIN {
  38     $VERSION = 3.01;
  39     $DEBUG = ($ENV{DEBUG}) ? 1 : 0;
  40 }
  41
  42 =head1 NAME
  43
  44 C4::Search - Functions for searching the Koha catalog.
  45
  46 =head1 SYNOPSIS
  47
  48 See opac/opac-search.pl or catalogue/search.pl for example of usage
  49
  50 =head1 DESCRIPTION
  51
  52 This module provides searching functions for Koha's bibliographic databases
  53
  54 =head1 FUNCTIONS
  55
  56 =cut
  57
  58 @ISA    = qw(Exporter);
  59 @EXPORT = qw(
  60   &FindDuplicate
  61   &SimpleSearch
  62   &searchResults
  63   &getRecords
  64   &buildQuery
  65   &NZgetRecords
  66   &AddSearchHistory
  67   &GetDistinctValues
  68   &BiblioAddAuthorities
  69 );
  70 #FIXME: i had to add BiblioAddAuthorities here because in Biblios.pm it caused circular dependencies (C4::Search uses C4::Biblio, and BiblioAddAuthorities uses SimpleSearch from C4::Search)
  71
  72 # make all your functions, whether exported or not;
  73
  74 =head2 FindDuplicate
  75
  76 ($biblionumber,$biblionumber,$title) = FindDuplicate($record);
  77
  78 This function attempts to find duplicate records using a hard-coded, fairly simplistic algorithm
  79
  80 =cut
  81
  82 sub FindDuplicate {
  83     my ($record) = @_;
  84     my $dbh = C4::Context->dbh;
  85     my $result = TransformMarcToKoha( $dbh, $record, '' );
  86     my $sth;
  87     my $query;
  88     my $search;
  89     my $type;
  90     my ( $biblionumber, $title );
  91
  92     # search duplicate on ISBN, easy and fast..
  93     # ... normalize first
  94     if ( $result->{isbn} ) {
  95         $result->{isbn} =~ s/\(.*$//;
  96         $result->{isbn} =~ s/\s+$//;
  97         $query = "isbn=$result->{isbn}";
  98     }
  99     else {
 100         $result->{title} =~ s /\\//g;
 101         $result->{title} =~ s /\"//g;
 102         $result->{title} =~ s /\(//g;
 103         $result->{title} =~ s /\)//g;
 104
 105         # FIXME: instead of removing operators, could just do
 106         # quotes around the value
 107         $result->{title} =~ s/(and|or|not)//g;
 108         $query = "ti,ext=$result->{title}";
 109         $query .= " and itemtype=$result->{itemtype}"
 110           if ( $result->{itemtype} );
 111         if   ( $result->{author} ) {
 112             $result->{author} =~ s /\\//g;
 113             $result->{author} =~ s /\"//g;
 114             $result->{author} =~ s /\(//g;
 115             $result->{author} =~ s /\)//g;
 116
 117             # remove valid operators
 118             $result->{author} =~ s/(and|or|not)//g;
 119             $query .= " and au,ext=$result->{author}";
 120         }
 121     }
 122
 123     # FIXME: add error handling
 124     my ( $error, $searchresults ) = SimpleSearch($query); # FIXME :: hardcoded !
 125     my @results;
 126     foreach my $possible_duplicate_record (@$searchresults) {
 127         my $marcrecord =
 128           MARC::Record->new_from_usmarc($possible_duplicate_record);
 129         my $result = TransformMarcToKoha( $dbh, $marcrecord, '' );
 130
 131         # FIXME :: why 2 $biblionumber ?
 132         if ($result) {
 133             push @results, $result->{'biblionumber'};
 134             push @results, $result->{'title'};
 135         }
 136     }
 137     return @results;
 138 }
 139
 140 =head2 SimpleSearch
 141
 142 ( $error, $results, $total_hits ) = SimpleSearch( $query, $offset, $max_results, [@servers] );
 143
 144 This function provides a simple search API on the bibliographic catalog
 145
 146 =over 2
 147
 148 =item C<input arg:>
 149
 150     * $query can be a simple keyword or a complete CCL query
 151     * @servers is optional. Defaults to biblioserver as found in koha-conf.xml
 152     * $offset - If present, represents the number of records at the beggining to omit. Defaults to 0
 153     * $max_results - if present, determines the maximum number of records to fetch. undef is All. defaults to undef.
 154
 155
 156 =item C<Output:>
 157
 158     * $error is a empty unless an error is detected
 159     * \@results is an array of records.
 160     * $total_hits is the number of hits that would have been returned with no limit
 161
 162 =item C<usage in the script:>
 163
 164 =back
 165
 166 my ( $error, $marcresults, $total_hits ) = SimpleSearch($query);
 167
 168 if (defined $error) {
 169     $template->param(query_error => $error);
 170     warn "error: ".$error;
 171     output_html_with_http_headers $input, $cookie, $template->output;
 172     exit;
 173 }
 174
 175 my $hits = scalar @$marcresults;
 176 my @results;
 177
 178 for my $i (0..$hits) {
 179     my %resultsloop;
 180     my $marcrecord = MARC::File::USMARC::decode($marcresults->[$i]);
 181     my $biblio = TransformMarcToKoha(C4::Context->dbh,$marcrecord,'');
 182
 183     #build the hash for the template.
 184     $resultsloop{title}           = $biblio->{'title'};
 185     $resultsloop{subtitle}        = $biblio->{'subtitle'};
 186     $resultsloop{biblionumber}    = $biblio->{'biblionumber'};
 187     $resultsloop{author}          = $biblio->{'author'};
 188     $resultsloop{publishercode}   = $biblio->{'publishercode'};
 189     $resultsloop{publicationyear} = $biblio->{'publicationyear'};
 190
 191     push @results, \%resultsloop;
 192 }
 193
 194 $template->param(result=>\@results);
 195
 196 =cut
 197
 198 sub SimpleSearch {
 199     my ( $query, $offset, $max_results, $servers )  = @_;
 200
 201     if ( C4::Context->preference('NoZebra') ) {
 202         my $result = NZorder( NZanalyse($query) )->{'biblioserver'};
 203         my $search_result =
 204           (      $result->{hits}
 205               && $result->{hits} > 0 ? $result->{'RECORDS'} : [] );
 206         return ( undef, $search_result, scalar($result->{hits}) );
 207     }
 208     else {
 209         # FIXME hardcoded value. See catalog/search.pl & opac-search.pl too.
 210         my @servers = defined ( $servers ) ? @$servers : ( "biblioserver" );
 211         my @results;
 212         my @zoom_queries;
 213         my @tmpresults;
 214         my @zconns;
 215         my $total_hits;
 216         return ( "No query entered", undef, undef ) unless $query;
 217
 218         # Initialize & Search Zebra
 219         for ( my $i = 0 ; $i < @servers ; $i++ ) {
 220             eval {
 221                 $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
 222                 $zoom_queries[$i] = new ZOOM::Query::CCL2RPN( $query, $zconns[$i]);
 223                 $tmpresults[$i] = $zconns[$i]->search( $zoom_queries[$i] );
 224
 225                 # error handling
 226                 my $error =
 227                     $zconns[$i]->errmsg() . " ("
 228                   . $zconns[$i]->errcode() . ") "
 229                   . $zconns[$i]->addinfo() . " "
 230                   . $zconns[$i]->diagset();
 231
 232                 return ( $error, undef, undef ) if $zconns[$i]->errcode();
 233             };
 234             if ($@) {
 235
 236                 # caught a ZOOM::Exception
 237                 my $error =
 238                     $@->message() . " ("
 239                   . $@->code() . ") "
 240                   . $@->addinfo() . " "
 241                   . $@->diagset();
 242                 warn $error;
 243                 return ( $error, undef, undef );
 244             }
 245         }
 246         while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
 247             my $event = $zconns[ $i - 1 ]->last_event();
 248             if ( $event == ZOOM::Event::ZEND ) {
 249
 250                 my $first_record = defined( $offset ) ? $offset+1 : 1;
 251                 my $hits = $tmpresults[ $i - 1 ]->size();
 252                 $total_hits += $hits;
 253                 my $last_record = $hits;
 254                 if ( defined $max_results && $offset + $max_results < $hits ) {
 255                     $last_record  = $offset + $max_results;
 256                 }
 257
 258                 for my $j ( $first_record..$last_record ) {
 259                     my $record = $tmpresults[ $i - 1 ]->record( $j-1 )->raw(); # 0 indexed
 260                     push @results, $record;
 261                 }
 262             }
 263         }
 264
 265         foreach my $result (@tmpresults) {
 266             $result->destroy();
 267         }
 268         foreach my $zoom_query (@zoom_queries) {
 269             $zoom_query->destroy();
 270         }
 271
 272         return ( undef, \@results, $total_hits );
 273     }
 274 }
 275
 276 =head2 getRecords
 277
 278 ( undef, $results_hashref, \@facets_loop ) = getRecords (
 279
 280         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 281         $results_per_page, $offset,       $expanded_facet, $branches,
 282         $query_type,       $scan
 283     );
 284
 285 The all singing, all dancing, multi-server, asynchronous, scanning,
 286 searching, record nabbing, facet-building
 287
 288 See verbse embedded documentation.
 289
 290 =cut
 291
 292 sub getRecords {
 293     my (
 294         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 295         $results_per_page, $offset,       $expanded_facet, $branches,
 296         $query_type,       $scan
 297     ) = @_;
 298
 299     my @servers = @$servers_ref;
 300     my @sort_by = @$sort_by_ref;
 301
 302     # Initialize variables for the ZOOM connection and results object
 303     my $zconn;
 304     my @zconns;
 305     my @results;
 306     my $results_hashref = ();
 307
 308     # Initialize variables for the faceted results objects
 309     my $facets_counter = ();
 310     my $facets_info    = ();
 311     my $facets         = getFacets();
 312
 313     my @facets_loop;    # stores the ref to array of hashes for template facets loop
 314
 315     ### LOOP THROUGH THE SERVERS
 316     for ( my $i = 0 ; $i < @servers ; $i++ ) {
 317         $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
 318
 319 # perform the search, create the results objects
 320 # if this is a local search, use the $koha-query, if it's a federated one, use the federated-query
 321         my $query_to_use = ($servers[$i] =~ /biblioserver/) ? $koha_query : $simple_query;
 322
 323         #$query_to_use = $simple_query if $scan;
 324         warn $simple_query if ( $scan and $DEBUG );
 325
 326         # Check if we've got a query_type defined, if so, use it
 327         eval {
 328             if ($query_type) {
 329                 if ($query_type =~ /^ccl/) {
 330                     $query_to_use =~ s/\:/\=/g;    # change : to = last minute (FIXME)
 331                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 332                 } elsif ($query_type =~ /^cql/) {
 333                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CQL($query_to_use, $zconns[$i]));
 334                 } elsif ($query_type =~ /^pqf/) {
 335                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::PQF($query_to_use, $zconns[$i]));
 336                 } else {
 337                     warn "Unknown query_type '$query_type'.  Results undetermined.";
 338                 }
 339             } elsif ($scan) {
 340                     $results[$i] = $zconns[$i]->scan(  new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 341             } else {
 342                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 343             }
 344         };
 345         if ($@) {
 346             warn "WARNING: query problem with $query_to_use " . $@;
 347         }
 348
 349         # Concatenate the sort_by limits and pass them to the results object
 350         # Note: sort will override rank
 351         my $sort_by;
 352         foreach my $sort (@sort_by) {
 353             if ( $sort eq "author_az" ) {
 354                 $sort_by .= "1=1003 <i ";
 355             }
 356             elsif ( $sort eq "author_za" ) {
 357                 $sort_by .= "1=1003 >i ";
 358             }
 359             elsif ( $sort eq "popularity_asc" ) {
 360                 $sort_by .= "1=9003 <i ";
 361             }
 362             elsif ( $sort eq "popularity_dsc" ) {
 363                 $sort_by .= "1=9003 >i ";
 364             }
 365             elsif ( $sort eq "call_number_asc" ) {
 366                 $sort_by .= "1=20  <i ";
 367             }
 368             elsif ( $sort eq "call_number_dsc" ) {
 369                 $sort_by .= "1=20 >i ";
 370             }
 371             elsif ( $sort eq "pubdate_asc" ) {
 372                 $sort_by .= "1=31 <i ";
 373             }
 374             elsif ( $sort eq "pubdate_dsc" ) {
 375                 $sort_by .= "1=31 >i ";
 376             }
 377             elsif ( $sort eq "acqdate_asc" ) {
 378                 $sort_by .= "1=32 <i ";
 379             }
 380             elsif ( $sort eq "acqdate_dsc" ) {
 381                 $sort_by .= "1=32 >i ";
 382             }
 383             elsif ( $sort eq "title_az" ) {
 384                 $sort_by .= "1=4 <i ";
 385             }
 386             elsif ( $sort eq "title_za" ) {
 387                 $sort_by .= "1=4 >i ";
 388             }
 389             else {
 390                 warn "Ignoring unrecognized sort '$sort' requested" if $sort_by;
 391             }
 392         }
 393         if ($sort_by) {
 394             if ( $results[$i]->sort( "yaz", $sort_by ) < 0 ) {
 395                 warn "WARNING sort $sort_by failed";
 396             }
 397         }
 398     }    # finished looping through servers
 399
 400     # The big moment: asynchronously retrieve results from all servers
 401     while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
 402         my $ev = $zconns[ $i - 1 ]->last_event();
 403         if ( $ev == ZOOM::Event::ZEND ) {
 404             next unless $results[ $i - 1 ];
 405             my $size = $results[ $i - 1 ]->size();
 406             if ( $size > 0 ) {
 407                 my $results_hash;
 408
 409                 # loop through the results
 410                 $results_hash->{'hits'} = $size;
 411                 my $times;
 412                 if ( $offset + $results_per_page <= $size ) {
 413                     $times = $offset + $results_per_page;
 414                 }
 415                 else {
 416                     $times = $size;
 417                 }
 418                 for ( my $j = $offset ; $j < $times ; $j++ ) {
 419                     my $records_hash;
 420                     my $record;
 421                     my $facet_record;
 422
 423                     ## Check if it's an index scan
 424                     if ($scan) {
 425                         my ( $term, $occ ) = $results[ $i - 1 ]->term($j);
 426
 427                  # here we create a minimal MARC record and hand it off to the
 428                  # template just like a normal result ... perhaps not ideal, but
 429                  # it works for now
 430                         my $tmprecord = MARC::Record->new();
 431                         $tmprecord->encoding('UTF-8');
 432                         my $tmptitle;
 433                         my $tmpauthor;
 434
 435                 # the minimal record in author/title (depending on MARC flavour)
 436                         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 437                             $tmptitle = MARC::Field->new('200',' ',' ', a => $term, f => $occ);
 438                             $tmprecord->append_fields($tmptitle);
 439                         } else {
 440                             $tmptitle  = MARC::Field->new('245',' ',' ', a => $term,);
 441                             $tmpauthor = MARC::Field->new('100',' ',' ', a => $occ,);
 442                             $tmprecord->append_fields($tmptitle);
 443                             $tmprecord->append_fields($tmpauthor);
 444                         }
 445                         $results_hash->{'RECORDS'}[$j] = $tmprecord->as_usmarc();
 446                     }
 447
 448                     # not an index scan
 449                     else {
 450                         $record = $results[ $i - 1 ]->record($j)->raw();
 451
 452                         # warn "RECORD $j:".$record;
 453                         $results_hash->{'RECORDS'}[$j] = $record;
 454
 455             # Fill the facets while we're looping, but only for the biblioserver
 456                         $facet_record = MARC::Record->new_from_usmarc($record)
 457                           if $servers[ $i - 1 ] =~ /biblioserver/;
 458
 459                     #warn $servers[$i-1]."\n".$record; #.$facet_record->title();
 460                         if ($facet_record) {
 461                             for ( my $k = 0 ; $k <= @$facets ; $k++ ) {
 462                                 ($facets->[$k]) or next;
 463                                 my @fields = map {$facet_record->field($_)} @{$facets->[$k]->{'tags'}} ;
 464                                 for my $field (@fields) {
 465                                     my @subfields = $field->subfields();
 466                                     for my $subfield (@subfields) {
 467                                         my ( $code, $data ) = @$subfield;
 468                                         ($code eq $facets->[$k]->{'subfield'}) or next;
 469                                         $facets_counter->{ $facets->[$k]->{'link_value'} }->{$data}++;
 470                                     }
 471                                 }
 472                                 $facets_info->{ $facets->[$k]->{'link_value'} }->{'label_value'} =
 473                                     $facets->[$k]->{'label_value'};
 474                                 $facets_info->{ $facets->[$k]->{'link_value'} }->{'expanded'} =
 475                                     $facets->[$k]->{'expanded'};
 476                             }
 477                         }
 478                     }
 479                 }
 480                 $results_hashref->{ $servers[ $i - 1 ] } = $results_hash;
 481             }
 482
 483             # warn "connection ", $i-1, ": $size hits";
 484             # warn $results[$i-1]->record(0)->render() if $size > 0;
 485
 486             # BUILD FACETS
 487             if ( $servers[ $i - 1 ] =~ /biblioserver/ ) {
 488                 for my $link_value (
 489                     sort { $facets_counter->{$b} <=> $facets_counter->{$a} }
 490                         keys %$facets_counter )
 491                 {
 492                     my $expandable;
 493                     my $number_of_facets;
 494                     my @this_facets_array;
 495                     for my $one_facet (
 496                         sort {
 497                              $facets_counter->{$link_value}->{$b}
 498                          <=> $facets_counter->{$link_value}->{$a}
 499                         } keys %{ $facets_counter->{$link_value} }
 500                       )
 501                     {
 502                         $number_of_facets++;
 503                         if (   ( $number_of_facets < 6 )
 504                             || ( $expanded_facet eq $link_value )
 505                             || ( $facets_info->{$link_value}->{'expanded'} ) )
 506                         {
 507
 508                       # Sanitize the link value ), ( will cause errors with CCL,
 509                             my $facet_link_value = $one_facet;
 510                             $facet_link_value =~ s/(\(|\))/ /g;
 511
 512                             # fix the length that will display in the label,
 513                             my $facet_label_value = $one_facet;
 514                             $facet_label_value =
 515                               substr( $one_facet, 0, 20 ) . "..."
 516                               unless length($facet_label_value) <= 20;
 517
 518                             # if it's a branch, label by the name, not the code,
 519                             if ( $link_value =~ /branch/ ) {
 520                                                                 if (defined $branches
 521                                                                         && ref($branches) eq "HASH"
 522                                                                         && defined $branches->{$one_facet}
 523                                                                         && ref ($branches->{$one_facet}) eq "HASH")
 524                                                                 {
 525                                         $facet_label_value =
 526                                                 $branches->{$one_facet}->{'branchname'};
 527                                                                 }
 528                                                                 else {
 529                                                                         $facet_label_value = "*";
 530                                                                 }
 531                             }
 532
 533                             # but we're down with the whole label being in the link's title.
 534                             push @this_facets_array, {
 535                                 facet_count       => $facets_counter->{$link_value}->{$one_facet},
 536                                 facet_label_value => $facet_label_value,
 537                                 facet_title_value => $one_facet,
 538                                 facet_link_value  => $facet_link_value,
 539                                 type_link_value   => $link_value,
 540                             };
 541                         }
 542                     }
 543
 544                     # handle expanded option
 545                     unless ( $facets_info->{$link_value}->{'expanded'} ) {
 546                         $expandable = 1
 547                           if ( ( $number_of_facets > 6 )
 548                             && ( $expanded_facet ne $link_value ) );
 549                     }
 550                     push @facets_loop, {
 551                         type_link_value => $link_value,
 552                         type_id         => $link_value . "_id",
 553                         "type_label_" . $facets_info->{$link_value}->{'label_value'} => 1,
 554                         facets     => \@this_facets_array,
 555                         expandable => $expandable,
 556                         expand     => $link_value,
 557                     } unless ( ($facets_info->{$link_value}->{'label_value'} =~ /Libraries/) and (C4::Context->preference('singleBranchMode')) );
 558                 }
 559             }
 560         }
 561     }
 562     return ( undef, $results_hashref, \@facets_loop );
 563 }
 564
 565 sub pazGetRecords {
 566     my (
 567         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 568         $results_per_page, $offset,       $expanded_facet, $branches,
 569         $query_type,       $scan
 570     ) = @_;
 571
 572     my $paz = C4::Search::PazPar2->new(C4::Context->config('pazpar2url'));
 573     $paz->init();
 574     $paz->search($simple_query);
 575     sleep 1;   # FIXME: WHY?
 576
 577     # do results
 578     my $results_hashref = {};
 579     my $stats = XMLin($paz->stat);
 580     my $results = XMLin($paz->show($offset, $results_per_page, 'work-title:1'), forcearray => 1);
 581
 582     # for a grouped search result, the number of hits
 583     # is the number of groups returned; 'bib_hits' will have
 584     # the total number of bibs.
 585     $results_hashref->{'biblioserver'}->{'hits'} = $results->{'merged'}->[0];
 586     $results_hashref->{'biblioserver'}->{'bib_hits'} = $stats->{'hits'};
 587
 588     HIT: foreach my $hit (@{ $results->{'hit'} }) {
 589         my $recid = $hit->{recid}->[0];
 590
 591         my $work_title = $hit->{'md-work-title'}->[0];
 592         my $work_author;
 593         if (exists $hit->{'md-work-author'}) {
 594             $work_author = $hit->{'md-work-author'}->[0];
 595         }
 596         my $group_label = (defined $work_author) ? "$work_title / $work_author" : $work_title;
 597
 598         my $result_group = {};
 599         $result_group->{'group_label'} = $group_label;
 600         $result_group->{'group_merge_key'} = $recid;
 601
 602         my $count = 1;
 603         if (exists $hit->{count}) {
 604             $count = $hit->{count}->[0];
 605         }
 606         $result_group->{'group_count'} = $count;
 607
 608         for (my $i = 0; $i < $count; $i++) {
 609             # FIXME -- may need to worry about diacritics here
 610             my $rec = $paz->record($recid, $i);
 611             push @{ $result_group->{'RECORDS'} }, $rec;
 612         }
 613
 614         push @{ $results_hashref->{'biblioserver'}->{'GROUPS'} }, $result_group;
 615     }
 616
 617     # pass through facets
 618     my $termlist_xml = $paz->termlist('author,subject');
 619     my $terms = XMLin($termlist_xml, forcearray => 1);
 620     my @facets_loop = ();
 621     #die Dumper($results);
 622 #    foreach my $list (sort keys %{ $terms->{'list'} }) {
 623 #        my @facets = ();
 624 #        foreach my $facet (sort @{ $terms->{'list'}->{$list}->{'term'} } ) {
 625 #            push @facets, {
 626 #                facet_label_value => $facet->{'name'}->[0],
 627 #            };
 628 #        }
 629 #        push @facets_loop, ( {
 630 #            type_label => $list,
 631 #            facets => \@facets,
 632 #        } );
 633 #    }
 634
 635     return ( undef, $results_hashref, \@facets_loop );
 636 }
 637
 638 # STOPWORDS
 639 sub _remove_stopwords {
 640     my ( $operand, $index ) = @_;
 641     my @stopwords_removed;
 642
 643     # phrase and exact-qualified indexes shouldn't have stopwords removed
 644     if ( $index !~ m/phr|ext/ ) {
 645
 646 # remove stopwords from operand : parse all stopwords & remove them (case insensitive)
 647 #       we use IsAlpha unicode definition, to deal correctly with diacritics.
 648 #       otherwise, a French word like "leçon" woudl be split into "le" "çon", "le"
 649 #       is a stopword, we'd get "çon" and wouldn't find anything...
 650 #
 651                 foreach ( keys %{ C4::Context->stopwords } ) {
 652                         next if ( $_ =~ /(and|or|not)/ );    # don't remove operators
 653                         if ( my ($matched) = ($operand =~
 654                                 /([^\X\p{isAlnum}]\Q$_\E[^\X\p{isAlnum}]|[^\X\p{isAlnum}]\Q$_\E$|^\Q$_\E[^\X\p{isAlnum}])/gi))
 655                         {
 656                                 $operand =~ s/\Q$matched\E/ /gi;
 657                                 push @stopwords_removed, $_;
 658                         }
 659                 }
 660         }
 661     return ( $operand, \@stopwords_removed );
 662 }
 663
 664 # TRUNCATION
 665 sub _detect_truncation {
 666     my ( $operand, $index ) = @_;
 667     my ( @nontruncated, @righttruncated, @lefttruncated, @rightlefttruncated,
 668         @regexpr );
 669     $operand =~ s/^ //g;
 670     my @wordlist = split( /\s/, $operand );
 671     foreach my $word (@wordlist) {
 672         if ( $word =~ s/^\*([^\*]+)\*$/$1/ ) {
 673             push @rightlefttruncated, $word;
 674         }
 675         elsif ( $word =~ s/^\*([^\*]+)$/$1/ ) {
 676             push @lefttruncated, $word;
 677         }
 678         elsif ( $word =~ s/^([^\*]+)\*$/$1/ ) {
 679             push @righttruncated, $word;
 680         }
 681         elsif ( index( $word, "*" ) < 0 ) {
 682             push @nontruncated, $word;
 683         }
 684         else {
 685             push @regexpr, $word;
 686         }
 687     }
 688     return (
 689         \@nontruncated,       \@righttruncated, \@lefttruncated,
 690         \@rightlefttruncated, \@regexpr
 691     );
 692 }
 693
 694 # STEMMING
 695 sub _build_stemmed_operand {
 696     my ($operand,$lang) = @_;
 697     require Lingua::Stem::Snowball ;
 698     my $stemmed_operand;
 699
 700     # If operand contains a digit, it is almost certainly an identifier, and should
 701     # not be stemmed.  This is particularly relevant for ISBNs and ISSNs, which
 702     # can contain the letter "X" - for example, _build_stemmend_operand would reduce
 703     # "014100018X" to "x ", which for a MARC21 database would bring up irrelevant
 704     # results (e.g., "23 x 29 cm." from the 300$c).  Bug 2098.
 705     return $operand if $operand =~ /\d/;
 706
 707 # FIXME: the locale should be set based on the user's language and/or search choice
 708     #warn "$lang";
 709     my $stemmer = Lingua::Stem::Snowball->new( lang => $lang,
 710                                                encoding => "UTF-8" );
 711
 712     my @words = split( / /, $operand );
 713     my @stems = $stemmer->stem(\@words);
 714     for my $stem (@stems) {
 715         $stemmed_operand .= "$stem";
 716         $stemmed_operand .= "?"
 717           unless ( $stem =~ /(and$|or$|not$)/ ) || ( length($stem) < 3 );
 718         $stemmed_operand .= " ";
 719     }
 720     warn "STEMMED OPERAND: $stemmed_operand" if $DEBUG;
 721     return $stemmed_operand;
 722 }
 723
 724 # FIELD WEIGHTING
 725 sub _build_weighted_query {
 726
 727 # FIELD WEIGHTING - This is largely experimental stuff. What I'm committing works
 728 # pretty well but could work much better if we had a smarter query parser
 729     my ( $operand, $stemmed_operand, $index ) = @_;
 730     my $stemming      = C4::Context->preference("QueryStemming")     || 0;
 731     my $weight_fields = C4::Context->preference("QueryWeightFields") || 0;
 732     my $fuzzy_enabled = C4::Context->preference("QueryFuzzy")        || 0;
 733
 734     my $weighted_query .= "(rk=(";    # Specifies that we're applying rank
 735
 736     # Keyword, or, no index specified
 737     if ( ( $index eq 'kw' ) || ( !$index ) ) {
 738         $weighted_query .=
 739           "Title-cover,ext,r1=\"$operand\"";    # exact title-cover
 740         $weighted_query .= " or ti,ext,r2=\"$operand\"";    # exact title
 741         $weighted_query .= " or ti,phr,r3=\"$operand\"";    # phrase title
 742           #$weighted_query .= " or any,ext,r4=$operand";               # exact any
 743           #$weighted_query .=" or kw,wrdl,r5=\"$operand\"";            # word list any
 744         $weighted_query .= " or wrdl,fuzzy,r8=\"$operand\""
 745           if $fuzzy_enabled;    # add fuzzy, word list
 746         $weighted_query .= " or wrdl,right-Truncation,r9=\"$stemmed_operand\""
 747           if ( $stemming and $stemmed_operand )
 748           ;                     # add stemming, right truncation
 749         $weighted_query .= " or wrdl,r9=\"$operand\"";
 750
 751         # embedded sorting: 0 a-z; 1 z-a
 752         # $weighted_query .= ") or (sort1,aut=1";
 753     }
 754
 755     # Barcode searches should skip this process
 756     elsif ( $index eq 'bc' ) {
 757         $weighted_query .= "bc=\"$operand\"";
 758     }
 759
 760     # Authority-number searches should skip this process
 761     elsif ( $index eq 'an' ) {
 762         $weighted_query .= "an=\"$operand\"";
 763     }
 764
 765     # If the index already has more than one qualifier, wrap the operand
 766     # in quotes and pass it back (assumption is that the user knows what they
 767     # are doing and won't appreciate us mucking up their query
 768     elsif ( $index =~ ',' ) {
 769         $weighted_query .= " $index=\"$operand\"";
 770     }
 771
 772     #TODO: build better cases based on specific search indexes
 773     else {
 774         $weighted_query .= " $index,ext,r1=\"$operand\"";    # exact index
 775           #$weighted_query .= " or (title-sort-az=0 or $index,startswithnt,st-word,r3=$operand #)";
 776         $weighted_query .= " or $index,phr,r3=\"$operand\"";    # phrase index
 777         $weighted_query .=
 778           " or $index,rt,wrdl,r3=\"$operand\"";    # word list index
 779     }
 780
 781     $weighted_query .= "))";                       # close rank specification
 782     return $weighted_query;
 783 }
 784
 785 =head2 getIndexes
 786
 787 Return an array with available indexes.
 788
 789 =cut
 790
 791 sub getIndexes{
 792     my @indexes = (
 793                     # biblio indexes
 794                     'ab',
 795                     'Abstract',
 796                     'acqdate',
 797                     'allrecords',
 798                     'an',
 799                     'Any',
 800                     'at',
 801                     'au',
 802                     'aub',
 803                     'aud',
 804                     'audience',
 805                     'auo',
 806                     'aut',
 807                     'Author',
 808                     'Author-in-order ',
 809                     'Author-personal-bibliography',
 810                     'Authority-Number',
 811                     'authtype',
 812                     'bc',
 813                     'biblionumber',
 814                     'bio',
 815                     'biography',
 816                     'callnum',
 817                     'cfn',
 818                     'Chronological-subdivision',
 819                     'cn-bib-source',
 820                     'cn-bib-sort',
 821                     'cn-class',
 822                     'cn-item',
 823                     'cn-prefix',
 824                     'cn-suffix',
 825                     'cpn',
 826                     'Code-institution',
 827                     'Conference-name',
 828                     'Conference-name-heading',
 829                     'Conference-name-see',
 830                     'Conference-name-seealso',
 831                     'Content-type',
 832                     'Control-number',
 833                     'copydate',
 834                     'Corporate-name',
 835                     'Corporate-name-heading',
 836                     'Corporate-name-see',
 837                     'Corporate-name-seealso',
 838                     'ctype',
 839                     'date-entered-on-file',
 840                     'Date-of-acquisition',
 841                     'Date-of-publication',
 842                     'Dewey-classification',
 843                     'extent',
 844                     'fic',
 845                     'fiction',
 846                     'Form-subdivision',
 847                     'format',
 848                     'Geographic-subdivision',
 849                     'he',
 850                     'Heading',
 851                     'Heading-use-main-or-added-entry',
 852                     'Heading-use-series-added-entry ',
 853                     'Heading-use-subject-added-entry',
 854                     'Host-item',
 855                     'id-other',
 856                     'Illustration-code',
 857                     'ISBN',
 858                     'isbn',
 859                     'ISSN',
 860                     'issn',
 861                     'itemtype',
 862                     'kw',
 863                     'Koha-Auth-Number',
 864                     'l-format',
 865                     'language',
 866                     'lc-card',
 867                     'LC-card-number',
 868                     'lcn',
 869                     'llength',
 870                     'ln',
 871                     'Local-classification',
 872                     'Local-number',
 873                     'Match-heading',
 874                     'Match-heading-see-from',
 875                     'Material-type',
 876                     'mc-itemtype',
 877                     'mc-rtype',
 878                     'mus',
 879                     'name',
 880                     'Name-geographic',
 881                     'Name-geographic-heading',
 882                     'Name-geographic-see',
 883                     'Name-geographic-seealso',
 884                     'nb',
 885                     'Note',
 886                     'notes',
 887                     'ns',
 888                     'nt',
 889                     'pb',
 890                     'Personal-name',
 891                     'Personal-name-heading',
 892                     'Personal-name-see',
 893                     'Personal-name-seealso',
 894                     'pl',
 895                     'Place-publication',
 896                     'pn',
 897                     'popularity',
 898                     'pubdate',
 899                     'Publisher',
 900                     'Record-control-number',
 901                     'rcn',
 902                     'Record-type',
 903                     'rtype',
 904                     'se',
 905                     'See',
 906                     'See-also',
 907                     'sn',
 908                     'Stock-number',
 909                     'su',
 910                     'Subject',
 911                     'Subject-heading-thesaurus',
 912                     'Subject-name-personal',
 913                     'Subject-subdivision',
 914                     'Summary',
 915                     'Suppress',
 916                     'su-geo',
 917                     'su-na',
 918                     'su-to',
 919                     'su-ut',
 920                     'ut',
 921                     'Term-genre-form',
 922                     'Term-genre-form-heading',
 923                     'Term-genre-form-see',
 924                     'Term-genre-form-seealso',
 925                     'ti',
 926                     'Title',
 927                     'Title-cover',
 928                     'Title-series',
 929                     'Title-uniform',
 930                     'Title-uniform-heading',
 931                     'Title-uniform-see',
 932                     'Title-uniform-seealso',
 933                     'totalissues',
 934                     'yr',
 935
 936                     # items indexes
 937                     'acqsource',
 938                     'barcode',
 939                     'bc',
 940                     'branch',
 941                     'ccode',
 942                     'classification-source',
 943                     'cn-sort',
 944                     'coded-location-qualifier',
 945                     'copynumber',
 946                     'damaged',
 947                     'datelastborrowed',
 948                     'datelastseen',
 949                     'holdingbranch',
 950                     'homebranch',
 951                     'issues',
 952                     'item',
 953                     'itemnumber',
 954                     'itype',
 955                     'Local-classification',
 956                     'location',
 957                     'lost',
 958                     'materials-specified',
 959                     'mc-ccode',
 960                     'mc-itype',
 961                     'mc-loc',
 962                     'notforloan',
 963                     'onloan',
 964                     'price',
 965                     'renewals',
 966                     'replacementprice',
 967                     'replacementpricedate',
 968                     'reserves',
 969                     'restricted',
 970                     'stack',
 971                     'uri',
 972                     'withdrawn',
 973
 974                     # subject related
 975                   );
 976
 977     return \@indexes;
 978 }
 979
 980 =head2 buildQuery
 981
 982 ( $error, $query,
 983 $simple_query, $query_cgi,
 984 $query_desc, $limit,
 985 $limit_cgi, $limit_desc,
 986 $stopwords_removed, $query_type ) = buildQuery ( $operators, $operands, $indexes, $limits, $sort_by, $scan, $lang);
 987
 988 Build queries and limits in CCL, CGI, Human,
 989 handle truncation, stemming, field weighting, stopwords, fuzziness, etc.
 990
 991 See verbose embedded documentation.
 992
 993
 994 =cut
 995
 996 sub buildQuery {
 997     my ( $operators, $operands, $indexes, $limits, $sort_by, $scan, $lang) = @_;
 998
 999     warn "---------\nEnter buildQuery\n---------" if $DEBUG;
1000
1001     # dereference
1002     my @operators = $operators ? @$operators : ();
1003     my @indexes   = $indexes   ? @$indexes   : ();
1004     my @operands  = $operands  ? @$operands  : ();
1005     my @limits    = $limits    ? @$limits    : ();
1006     my @sort_by   = $sort_by   ? @$sort_by   : ();
1007
1008     my $stemming         = C4::Context->preference("QueryStemming")        || 0;
1009     my $auto_truncation  = C4::Context->preference("QueryAutoTruncate")    || 0;
1010     my $weight_fields    = C4::Context->preference("QueryWeightFields")    || 0;
1011     my $fuzzy_enabled    = C4::Context->preference("QueryFuzzy")           || 0;
1012     my $remove_stopwords = C4::Context->preference("QueryRemoveStopwords") || 0;
1013
1014     # no stemming/weight/fuzzy in NoZebra
1015     if ( C4::Context->preference("NoZebra") ) {
1016         $stemming         = 0;
1017         $weight_fields    = 0;
1018         $fuzzy_enabled    = 0;
1019         $auto_truncation  = 0;
1020     }
1021
1022     my $query        = $operands[0];
1023     my $simple_query = $operands[0];
1024
1025     # initialize the variables we're passing back
1026     my $query_cgi;
1027     my $query_desc;
1028     my $query_type;
1029
1030     my $limit;
1031     my $limit_cgi;
1032     my $limit_desc;
1033
1034     my $stopwords_removed;    # flag to determine if stopwords have been removed
1035
1036     my $cclq;
1037     my $cclindexes = getIndexes();
1038     if( $query !~ /\s*ccl=/ ){
1039         for my $index (@$cclindexes){
1040             if($query =~ /($index)(,?\w)*[:=]/){
1041                 $cclq = 1;
1042             }
1043         }
1044         $query = "ccl=$query" if($cclq);
1045     }
1046
1047 # for handling ccl, cql, pqf queries in diagnostic mode, skip the rest of the steps
1048 # DIAGNOSTIC ONLY!!
1049     if ( $query =~ /^ccl=/ ) {
1050         my $q=$';
1051         # This is needed otherwise ccl= and &limit won't work together, and
1052         # this happens when selecting a subject on the opac-detail page
1053         if (@limits) {
1054             $q .= ' and '.join(' and ', @limits);
1055         }
1056         return ( undef, $q, $q, "q=ccl=$q", $q, '', '', '', '', 'ccl' );
1057     }
1058     if ( $query =~ /^cql=/ ) {
1059         return ( undef, $', $', "q=cql=$'", $', '', '', '', '', 'cql' );
1060     }
1061     if ( $query =~ /^pqf=/ ) {
1062         return ( undef, $', $', "q=pqf=$'", $', '', '', '', '', 'pqf' );
1063     }
1064
1065     # pass nested queries directly
1066     # FIXME: need better handling of some of these variables in this case
1067     # Nested queries aren't handled well and this implementation is flawed and causes users to be
1068     # unable to search for anything containing () commenting out, will be rewritten for 3.4.0
1069 #    if ( $query =~ /(\(|\))/ ) {
1070 #        return (
1071 #            undef,              $query, $simple_query, $query_cgi,
1072 #            $query,             $limit, $limit_cgi,    $limit_desc,
1073 #            $stopwords_removed, 'ccl'
1074 #        );
1075 #    }
1076
1077 # Form-based queries are non-nested and fixed depth, so we can easily modify the incoming
1078 # query operands and indexes and add stemming, truncation, field weighting, etc.
1079 # Once we do so, we'll end up with a value in $query, just like if we had an
1080 # incoming $query from the user
1081     else {
1082         $query = ""
1083           ; # clear it out so we can populate properly with field-weighted, stemmed, etc. query
1084         my $previous_operand
1085           ;    # a flag used to keep track if there was a previous query
1086                # if there was, we can apply the current operator
1087                # for every operand
1088         for ( my $i = 0 ; $i <= @operands ; $i++ ) {
1089
1090             # COMBINE OPERANDS, INDEXES AND OPERATORS
1091             if ( $operands[$i] ) {
1092                 $operands[$i]=~s/^\s+//;
1093
1094               # A flag to determine whether or not to add the index to the query
1095                 my $indexes_set;
1096
1097 # If the user is sophisticated enough to specify an index, turn off field weighting, stemming, and stopword handling
1098                 if ( $operands[$i] =~ /(:|=)/ || $scan ) {
1099                     $weight_fields    = 0;
1100                     $stemming         = 0;
1101                     $remove_stopwords = 0;
1102                 }
1103                 my $operand = $operands[$i];
1104                 my $index   = $indexes[$i];
1105
1106                 # Add index-specific attributes
1107                 # Date of Publication
1108                 if ( $index eq 'yr' ) {
1109                     $index .= ",st-numeric";
1110                     $indexes_set++;
1111                                         $stemming = $auto_truncation = $weight_fields = $fuzzy_enabled = $remove_stopwords = 0;
1112                 }
1113
1114                 # Date of Acquisition
1115                 elsif ( $index eq 'acqdate' ) {
1116                     $index .= ",st-date-normalized";
1117                     $indexes_set++;
1118                                         $stemming = $auto_truncation = $weight_fields = $fuzzy_enabled = $remove_stopwords = 0;
1119                 }
1120                 # ISBN,ISSN,Standard Number, don't need special treatment
1121                 elsif ( $index eq 'nb' || $index eq 'ns' ) {
1122                     $indexes_set++;
1123                     (
1124                         $stemming,      $auto_truncation,
1125                         $weight_fields, $fuzzy_enabled,
1126                         $remove_stopwords
1127                     ) = ( 0, 0, 0, 0, 0 );
1128
1129                 }
1130
1131                 if(not $index){
1132                     $index = 'kw';
1133                 }
1134
1135                 # Set default structure attribute (word list)
1136                 my $struct_attr = q{};
1137                 unless ( $indexes_set || !$index || $index =~ /(st-|phr|ext|wrdl)/ ) {
1138                     $struct_attr = ",wrdl";
1139                 }
1140
1141                 # Some helpful index variants
1142                 my $index_plus       = $index . $struct_attr . ':';
1143                 my $index_plus_comma = $index . $struct_attr . ',';
1144
1145                 # Remove Stopwords
1146                 if ($remove_stopwords) {
1147                     ( $operand, $stopwords_removed ) =
1148                       _remove_stopwords( $operand, $index );
1149                     warn "OPERAND w/out STOPWORDS: >$operand<" if $DEBUG;
1150                     warn "REMOVED STOPWORDS: @$stopwords_removed"
1151                       if ( $stopwords_removed && $DEBUG );
1152                 }
1153
1154                 if ($auto_truncation){
1155                                         unless ( $index =~ /(st-|phr|ext)/ ) {
1156                                                 #FIXME only valid with LTR scripts
1157                                                 $operand=join(" ",map{
1158                                                                                         (index($_,"*")>0?"$_":"$_*")
1159                                                                                          }split (/\s+/,$operand));
1160                                                 warn $operand if $DEBUG;
1161                                         }
1162                                 }
1163
1164                 # Detect Truncation
1165                 my $truncated_operand;
1166                 my( $nontruncated, $righttruncated, $lefttruncated,
1167                     $rightlefttruncated, $regexpr
1168                 ) = _detect_truncation( $operand, $index );
1169                 warn
1170 "TRUNCATION: NON:>@$nontruncated< RIGHT:>@$righttruncated< LEFT:>@$lefttruncated< RIGHTLEFT:>@$rightlefttruncated< REGEX:>@$regexpr<"
1171                   if $DEBUG;
1172
1173                 # Apply Truncation
1174                 if (
1175                     scalar(@$righttruncated) + scalar(@$lefttruncated) +
1176                     scalar(@$rightlefttruncated) > 0 )
1177                 {
1178
1179                # Don't field weight or add the index to the query, we do it here
1180                     $indexes_set = 1;
1181                     undef $weight_fields;
1182                     my $previous_truncation_operand;
1183                     if (scalar @$nontruncated) {
1184                         $truncated_operand .= "$index_plus @$nontruncated ";
1185                         $previous_truncation_operand = 1;
1186                     }
1187                     if (scalar @$righttruncated) {
1188                         $truncated_operand .= "and " if $previous_truncation_operand;
1189                         $truncated_operand .= $index_plus_comma . "rtrn:@$righttruncated ";
1190                         $previous_truncation_operand = 1;
1191                     }
1192                     if (scalar @$lefttruncated) {
1193                         $truncated_operand .= "and " if $previous_truncation_operand;
1194                         $truncated_operand .= $index_plus_comma . "ltrn:@$lefttruncated ";
1195                         $previous_truncation_operand = 1;
1196                     }
1197                     if (scalar @$rightlefttruncated) {
1198                         $truncated_operand .= "and " if $previous_truncation_operand;
1199                         $truncated_operand .= $index_plus_comma . "rltrn:@$rightlefttruncated ";
1200                         $previous_truncation_operand = 1;
1201                     }
1202                 }
1203                 $operand = $truncated_operand if $truncated_operand;
1204                 warn "TRUNCATED OPERAND: >$truncated_operand<" if $DEBUG;
1205
1206                 # Handle Stemming
1207                 my $stemmed_operand;
1208                 $stemmed_operand = _build_stemmed_operand($operand, $lang)
1209                                                                                 if $stemming;
1210
1211                 warn "STEMMED OPERAND: >$stemmed_operand<" if $DEBUG;
1212
1213                 # Handle Field Weighting
1214                 my $weighted_operand;
1215                 if ($weight_fields) {
1216                     $weighted_operand = _build_weighted_query( $operand, $stemmed_operand, $index );
1217                     $operand = $weighted_operand;
1218                     $indexes_set = 1;
1219                 }
1220
1221                 warn "FIELD WEIGHTED OPERAND: >$weighted_operand<" if $DEBUG;
1222
1223                 # If there's a previous operand, we need to add an operator
1224                 if ($previous_operand) {
1225
1226                     # User-specified operator
1227                     if ( $operators[ $i - 1 ] ) {
1228                         $query     .= " $operators[$i-1] ";
1229                         $query     .= " $index_plus " unless $indexes_set;
1230                         $query     .= " $operand";
1231                         $query_cgi .= "&op=$operators[$i-1]";
1232                         $query_cgi .= "&idx=$index" if $index;
1233                         $query_cgi .= "&q=$operands[$i]" if $operands[$i];
1234                         $query_desc .=
1235                           " $operators[$i-1] $index_plus $operands[$i]";
1236                     }
1237
1238                     # Default operator is and
1239                     else {
1240                         $query      .= " and ";
1241                         $query      .= "$index_plus " unless $indexes_set;
1242                         $query      .= "$operand";
1243                         $query_cgi  .= "&op=and&idx=$index" if $index;
1244                         $query_cgi  .= "&q=$operands[$i]" if $operands[$i];
1245                         $query_desc .= " and $index_plus $operands[$i]";
1246                     }
1247                 }
1248
1249                 # There isn't a pervious operand, don't need an operator
1250                 else {
1251
1252                     # Field-weighted queries already have indexes set
1253                     $query .= " $index_plus " unless $indexes_set;
1254                     $query .= $operand;
1255                     $query_desc .= " $index_plus $operands[$i]";
1256                     $query_cgi  .= "&idx=$index" if $index;
1257                     $query_cgi  .= "&q=$operands[$i]" if $operands[$i];
1258                     $previous_operand = 1;
1259                 }
1260             }    #/if $operands
1261         }    # /for
1262     }
1263     warn "QUERY BEFORE LIMITS: >$query<" if $DEBUG;
1264
1265     # add limits
1266     my $group_OR_limits;
1267     my $availability_limit;
1268     foreach my $this_limit (@limits) {
1269         if ( $this_limit =~ /available/ ) {
1270 #
1271 ## 'available' is defined as (items.onloan is NULL) and (items.itemlost = 0)
1272 ## In English:
1273 ## all records not indexed in the onloan register (zebra) and all records with a value of lost equal to 0
1274             $availability_limit .=
1275 "( ( allrecords,AlwaysMatches='' not onloan,AlwaysMatches='') and (lost,st-numeric=0) )"; #or ( allrecords,AlwaysMatches='' not lost,AlwaysMatches='')) )";
1276             $limit_cgi  .= "&limit=available";
1277             $limit_desc .= "";
1278         }
1279
1280         # group_OR_limits, prefixed by mc-
1281         # OR every member of the group
1282         elsif ( $this_limit =~ /mc/ ) {
1283
1284             if ( $this_limit =~ /mc-ccode:/ ) {
1285                 # in case the mc-ccode value has complicating chars like ()'s inside it we wrap in quotes
1286                 $this_limit =~ tr/"//d;
1287                 my ($k,$v) = split(/:/, $this_limit,2);
1288                 $this_limit = $k.":\"".$v."\"";
1289             }
1290
1291             $group_OR_limits .= " or " if $group_OR_limits;
1292             $limit_desc      .= " or " if $group_OR_limits;
1293             $group_OR_limits .= "$this_limit";
1294             $limit_cgi       .= "&limit=$this_limit";
1295             $limit_desc      .= " $this_limit";
1296         }
1297
1298         # Regular old limits
1299         else {
1300             $limit .= " and " if $limit || $query;
1301             $limit      .= "$this_limit";
1302             $limit_cgi  .= "&limit=$this_limit";
1303             if ($this_limit =~ /^branch:(.+)/) {
1304                 my $branchcode = $1;
1305                 my $branchname = GetBranchName($branchcode);
1306                 if (defined $branchname) {
1307                     $limit_desc .= " branch:$branchname";
1308                 } else {
1309                     $limit_desc .= " $this_limit";
1310                 }
1311             } else {
1312                 $limit_desc .= " $this_limit";
1313             }
1314         }
1315     }
1316     if ($group_OR_limits) {
1317         $limit .= " and " if ( $query || $limit );
1318         $limit .= "($group_OR_limits)";
1319     }
1320     if ($availability_limit) {
1321         $limit .= " and " if ( $query || $limit );
1322         $limit .= "($availability_limit)";
1323     }
1324
1325     # Normalize the query and limit strings
1326     # This is flawed , means we can't search anything with : in it
1327     # if user wants to do ccl or cql, start the query with that
1328 #    $query =~ s/:/=/g;
1329     $query =~ s/(?<=(ti|au|pb|su|an|kw|mc)):/=/g;
1330     $query =~ s/(?<=(wrdl)):/=/g;
1331     $query =~ s/(?<=(trn|phr)):/=/g;
1332     $limit =~ s/:/=/g;
1333     for ( $query, $query_desc, $limit, $limit_desc ) {
1334         s/  +/ /g;    # remove extra spaces
1335         s/^ //g;     # remove any beginning spaces
1336         s/ $//g;     # remove any ending spaces
1337         s/==/=/g;    # remove double == from query
1338     }
1339     $query_cgi =~ s/^&//; # remove unnecessary & from beginning of the query cgi
1340
1341     for ($query_cgi,$simple_query) {
1342         s/"//g;
1343     }
1344     # append the limit to the query
1345     $query .= " " . $limit;
1346
1347     # Warnings if DEBUG
1348     if ($DEBUG) {
1349         warn "QUERY:" . $query;
1350         warn "QUERY CGI:" . $query_cgi;
1351         warn "QUERY DESC:" . $query_desc;
1352         warn "LIMIT:" . $limit;
1353         warn "LIMIT CGI:" . $limit_cgi;
1354         warn "LIMIT DESC:" . $limit_desc;
1355         warn "---------\nLeave buildQuery\n---------";
1356     }
1357     return (
1358         undef,              $query, $simple_query, $query_cgi,
1359         $query_desc,        $limit, $limit_cgi,    $limit_desc,
1360         $stopwords_removed, $query_type
1361     );
1362 }
1363
1364 =head2 searchResults
1365
1366   my @search_results = searchResults($search_context, $searchdesc, $hits,
1367                                      $results_per_page, $offset, $scan,
1368                                      @marcresults, $hidelostitems);
1369
1370 Format results in a form suitable for passing to the template
1371
1372 =cut
1373
1374 # IMO this subroutine is pretty messy still -- it's responsible for
1375 # building the HTML output for the template
1376 sub searchResults {
1377     my ( $search_context, $searchdesc, $hits, $results_per_page, $offset, $scan, @marcresults, $hidelostitems ) = @_;
1378     my $dbh = C4::Context->dbh;
1379     my @newresults;
1380
1381     $search_context = 'opac' unless $search_context eq 'opac' or $search_context eq 'intranet';
1382
1383     #Build branchnames hash
1384     #find branchname
1385     #get branch information.....
1386     my %branches;
1387     my $bsth =$dbh->prepare("SELECT branchcode,branchname FROM branches"); # FIXME : use C4::Branch::GetBranches
1388     $bsth->execute();
1389     while ( my $bdata = $bsth->fetchrow_hashref ) {
1390         $branches{ $bdata->{'branchcode'} } = $bdata->{'branchname'};
1391     }
1392 # FIXME - We build an authorised values hash here, using the default framework
1393 # though it is possible to have different authvals for different fws.
1394
1395     my $shelflocations =GetKohaAuthorisedValues('items.location','');
1396
1397     # get notforloan authorised value list (see $shelflocations  FIXME)
1398     my $notforloan_authorised_value = GetAuthValCode('items.notforloan','');
1399
1400     #Build itemtype hash
1401     #find itemtype & itemtype image
1402     my %itemtypes;
1403     $bsth =
1404       $dbh->prepare(
1405         "SELECT itemtype,description,imageurl,summary,notforloan FROM itemtypes"
1406       );
1407     $bsth->execute();
1408     while ( my $bdata = $bsth->fetchrow_hashref ) {
1409                 foreach (qw(description imageurl summary notforloan)) {
1410                 $itemtypes{ $bdata->{'itemtype'} }->{$_} = $bdata->{$_};
1411                 }
1412     }
1413
1414     #search item field code
1415     my $sth =
1416       $dbh->prepare(
1417 "SELECT tagfield FROM marc_subfield_structure WHERE kohafield LIKE 'items.itemnumber'"
1418       );
1419     $sth->execute;
1420     my ($itemtag) = $sth->fetchrow;
1421
1422     ## find column names of items related to MARC
1423     my $sth2 = $dbh->prepare("SHOW COLUMNS FROM items");
1424     $sth2->execute;
1425     my %subfieldstosearch;
1426     while ( ( my $column ) = $sth2->fetchrow ) {
1427         my ( $tagfield, $tagsubfield ) =
1428           &GetMarcFromKohaField( "items." . $column, "" );
1429         $subfieldstosearch{$column} = $tagsubfield;
1430     }
1431
1432     # handle which records to actually retrieve
1433     my $times;
1434     if ( $hits && $offset + $results_per_page <= $hits ) {
1435         $times = $offset + $results_per_page;
1436     }
1437     else {
1438         $times = $hits;  # FIXME: if $hits is undefined, why do we want to equal it?
1439     }
1440
1441         my $marcflavour = C4::Context->preference("marcflavour");
1442     # We get the biblionumber position in MARC
1443     my ($bibliotag,$bibliosubf)=GetMarcFromKohaField('biblio.biblionumber','');
1444     my $fw;
1445
1446     # loop through all of the records we've retrieved
1447     for ( my $i = $offset ; $i <= $times - 1 ; $i++ ) {
1448         my $marcrecord = MARC::File::USMARC::decode( $marcresults[$i] );
1449         $fw = $scan
1450              ? undef
1451              : $bibliotag < 10
1452                ? GetFrameworkCode($marcrecord->field($bibliotag)->data)
1453                : GetFrameworkCode($marcrecord->subfield($bibliotag,$bibliosubf));
1454         my $oldbiblio = TransformMarcToKoha( $dbh, $marcrecord, $fw );
1455         $oldbiblio->{subtitle} = GetRecordValue('subtitle', $marcrecord, $fw);
1456         $oldbiblio->{result_number} = $i + 1;
1457
1458         # add imageurl to itemtype if there is one
1459         $oldbiblio->{imageurl} = getitemtypeimagelocation( 'opac', $itemtypes{ $oldbiblio->{itemtype} }->{imageurl} );
1460
1461         $oldbiblio->{'authorised_value_images'}  = C4::Items::get_authorised_value_images( C4::Biblio::get_biblio_authorised_values( $oldbiblio->{'biblionumber'}, $marcrecord ) );
1462                 $oldbiblio->{normalized_upc}  = GetNormalizedUPC(       $marcrecord,$marcflavour);
1463                 $oldbiblio->{normalized_ean}  = GetNormalizedEAN(       $marcrecord,$marcflavour);
1464                 $oldbiblio->{normalized_oclc} = GetNormalizedOCLCNumber($marcrecord,$marcflavour);
1465                 $oldbiblio->{normalized_isbn} = GetNormalizedISBN(undef,$marcrecord,$marcflavour);
1466                 $oldbiblio->{content_identifier_exists} = 1 if ($oldbiblio->{normalized_isbn} or $oldbiblio->{normalized_oclc} or $oldbiblio->{normalized_ean} or $oldbiblio->{normalized_upc});
1467
1468                 # edition information, if any
1469         $oldbiblio->{edition} = $oldbiblio->{editionstatement};
1470                 $oldbiblio->{description} = $itemtypes{ $oldbiblio->{itemtype} }->{description};
1471  # Build summary if there is one (the summary is defined in the itemtypes table)
1472  # FIXME: is this used anywhere, I think it can be commented out? -- JF
1473         if ( $itemtypes{ $oldbiblio->{itemtype} }->{summary} ) {
1474             my $summary = $itemtypes{ $oldbiblio->{itemtype} }->{summary};
1475             my @fields  = $marcrecord->fields();
1476
1477             my $newsummary;
1478             foreach my $line ( "$summary\n" =~ /(.*)\n/g ){
1479                 my $tags = {};
1480                 foreach my $tag ( $line =~ /\[(\d{3}[\w|\d])\]/ ) {
1481                     $tag =~ /(.{3})(.)/;
1482                     if($marcrecord->field($1)){
1483                         my @abc = $marcrecord->field($1)->subfield($2);
1484                         $tags->{$tag} = $#abc + 1 ;
1485                     }
1486                 }
1487
1488                 # We catch how many times to repeat this line
1489                 my $max = 0;
1490                 foreach my $tag (keys(%$tags)){
1491                     $max = $tags->{$tag} if($tags->{$tag} > $max);
1492                  }
1493
1494                 # we replace, and repeat each line
1495                 for (my $i = 0 ; $i < $max ; $i++){
1496                     my $newline = $line;
1497
1498                     foreach my $tag ( $newline =~ /\[(\d{3}[\w|\d])\]/g ) {
1499                         $tag =~ /(.{3})(.)/;
1500
1501                         if($marcrecord->field($1)){
1502                             my @repl = $marcrecord->field($1)->subfield($2);
1503                             my $subfieldvalue = $repl[$i];
1504
1505                             if (! utf8::is_utf8($subfieldvalue)) {
1506                                 utf8::decode($subfieldvalue);
1507                             }
1508
1509                              $newline =~ s/\[$tag\]/$subfieldvalue/g;
1510                         }
1511                     }
1512                     $newsummary .= "$newline\n";
1513                 }
1514             }
1515
1516             $newsummary =~ s/\[(.*?)]//g;
1517             $newsummary =~ s/\n/<br\/>/g;
1518             $oldbiblio->{summary} = $newsummary;
1519         }
1520
1521         # Pull out the items fields
1522         my @fields = $marcrecord->field($itemtag);
1523
1524         # Setting item statuses for display
1525         my @available_items_loop;
1526         my @onloan_items_loop;
1527         my @other_items_loop;
1528
1529         my $available_items;
1530         my $onloan_items;
1531         my $other_items;
1532
1533         my $ordered_count         = 0;
1534         my $available_count       = 0;
1535         my $onloan_count          = 0;
1536         my $longoverdue_count     = 0;
1537         my $other_count           = 0;
1538         my $wthdrawn_count        = 0;
1539         my $itemlost_count        = 0;
1540         my $itembinding_count     = 0;
1541         my $itemdamaged_count     = 0;
1542         my $item_in_transit_count = 0;
1543         my $can_place_holds       = 0;
1544         my $item_onhold_count     = 0;
1545         my $items_count           = scalar(@fields);
1546         my $maxitems =
1547           ( C4::Context->preference('maxItemsinSearchResults') )
1548           ? C4::Context->preference('maxItemsinSearchResults') - 1
1549           : 1;
1550
1551         # loop through every item
1552         foreach my $field (@fields) {
1553             my $item;
1554
1555             # populate the items hash
1556             foreach my $code ( keys %subfieldstosearch ) {
1557                 $item->{$code} = $field->subfield( $subfieldstosearch{$code} );
1558             }
1559
1560                         my $hbranch     = C4::Context->preference('HomeOrHoldingBranch') eq 'homebranch' ? 'homebranch'    : 'holdingbranch';
1561                         my $otherbranch = C4::Context->preference('HomeOrHoldingBranch') eq 'homebranch' ? 'holdingbranch' : 'homebranch';
1562             # set item's branch name, use HomeOrHoldingBranch syspref first, fall back to the other one
1563             if ($item->{$hbranch}) {
1564                 $item->{'branchname'} = $branches{$item->{$hbranch}};
1565             }
1566             elsif ($item->{$otherbranch}) {     # Last resort
1567                 $item->{'branchname'} = $branches{$item->{$otherbranch}};
1568             }
1569
1570                         my $prefix = $item->{$hbranch} . '--' . $item->{location} . $item->{itype} . $item->{itemcallnumber};
1571 # For each grouping of items (onloan, available, unavailable), we build a key to store relevant info about that item
1572             if ( $item->{onloan} ) {
1573                 $onloan_count++;
1574                                 my $key = $prefix . $item->{onloan} . $item->{barcode};
1575                                 $onloan_items->{$key}->{due_date} = format_date($item->{onloan});
1576                                 $onloan_items->{$key}->{count}++ if $item->{$hbranch};
1577                                 $onloan_items->{$key}->{branchname} = $item->{branchname};
1578                                 $onloan_items->{$key}->{location} = $shelflocations->{ $item->{location} };
1579                                 $onloan_items->{$key}->{itemcallnumber} = $item->{itemcallnumber};
1580                                 $onloan_items->{$key}->{imageurl} = getitemtypeimagelocation( 'opac', $itemtypes{ $item->{itype} }->{imageurl} );
1581                 # if something's checked out and lost, mark it as 'long overdue'
1582                 if ( $item->{itemlost} ) {
1583                     $onloan_items->{$prefix}->{longoverdue}++;
1584                     $longoverdue_count++;
1585                 } else {        # can place holds as long as item isn't lost
1586                     $can_place_holds = 1;
1587                 }
1588             }
1589
1590          # items not on loan, but still unavailable ( lost, withdrawn, damaged )
1591             else {
1592
1593                 # item is on order
1594                 if ( $item->{notforloan} == -1 ) {
1595                     $ordered_count++;
1596                 }
1597
1598                 # is item in transit?
1599                 my $transfertwhen = '';
1600                 my ($transfertfrom, $transfertto);
1601
1602                 # is item on the reserve shelf?
1603                 my $reservestatus = 0;
1604                 my $reserveitem;
1605
1606                 unless ($item->{wthdrawn}
1607                         || $item->{itemlost}
1608                         || $item->{damaged}
1609                         || $item->{notforloan}
1610                         || $items_count > 20) {
1611
1612                     # A couple heuristics to limit how many times
1613                     # we query the database for item transfer information, sacrificing
1614                     # accuracy in some cases for speed;
1615                     #
1616                     # 1. don't query if item has one of the other statuses
1617                     # 2. don't check transit status if the bib has
1618                     #    more than 20 items
1619                     #
1620                     # FIXME: to avoid having the query the database like this, and to make
1621                     #        the in transit status count as unavailable for search limiting,
1622                     #        should map transit status to record indexed in Zebra.
1623                     #
1624                     ($transfertwhen, $transfertfrom, $transfertto) = C4::Circulation::GetTransfers($item->{itemnumber});
1625                     ($reservestatus, $reserveitem) = C4::Reserves::CheckReserves($item->{itemnumber});
1626                 }
1627
1628                 # item is withdrawn, lost or damaged
1629                 if (   $item->{wthdrawn}
1630                     || $item->{itemlost}
1631                     || $item->{damaged}
1632                     || $item->{notforloan} > 0
1633                     || $reservestatus eq 'Waiting'
1634                     || ($transfertwhen ne ''))
1635                 {
1636                     $wthdrawn_count++        if $item->{wthdrawn};
1637                     $itemlost_count++        if $item->{itemlost};
1638                     $itemdamaged_count++     if $item->{damaged};
1639                     $item_in_transit_count++ if $transfertwhen ne '';
1640                     $item_onhold_count++     if $reservestatus eq 'Waiting';
1641                     $item->{status} = $item->{wthdrawn} . "-" . $item->{itemlost} . "-" . $item->{damaged} . "-" . $item->{notforloan};
1642                     $other_count++;
1643
1644                                         my $key = $prefix . $item->{status};
1645                                         foreach (qw(wthdrawn itemlost damaged branchname itemcallnumber)) {
1646                         $other_items->{$key}->{$_} = $item->{$_};
1647                                         }
1648                     $other_items->{$key}->{intransit} = ($transfertwhen ne '') ? 1 : 0;
1649                     $other_items->{$key}->{onhold} = ($reservestatus) ? 1 : 0;
1650                                         $other_items->{$key}->{notforloan} = GetAuthorisedValueDesc('','',$item->{notforloan},'','',$notforloan_authorised_value) if $notforloan_authorised_value;
1651                                         $other_items->{$key}->{count}++ if $item->{$hbranch};
1652                                         $other_items->{$key}->{location} = $shelflocations->{ $item->{location} };
1653                                         $other_items->{$key}->{imageurl} = getitemtypeimagelocation( 'opac', $itemtypes{ $item->{itype} }->{imageurl} );
1654                 }
1655                 # item is available
1656                 else {
1657                     $can_place_holds = 1;
1658                     $available_count++;
1659                                         $available_items->{$prefix}->{count}++ if $item->{$hbranch};
1660                                         foreach (qw(branchname itemcallnumber)) {
1661                         $available_items->{$prefix}->{$_} = $item->{$_};
1662                                         }
1663                                         $available_items->{$prefix}->{location} = $shelflocations->{ $item->{location} };
1664                                         $available_items->{$prefix}->{imageurl} = getitemtypeimagelocation( 'opac', $itemtypes{ $item->{itype} }->{imageurl} );
1665                 }
1666             }
1667         }    # notforloan, item level and biblioitem level
1668         my ( $availableitemscount, $onloanitemscount, $otheritemscount );
1669         $maxitems =
1670           ( C4::Context->preference('maxItemsinSearchResults') )
1671           ? C4::Context->preference('maxItemsinSearchResults') - 1
1672           : 1;
1673         for my $key ( sort keys %$onloan_items ) {
1674             (++$onloanitemscount > $maxitems) and last;
1675             push @onloan_items_loop, $onloan_items->{$key};
1676         }
1677         for my $key ( sort keys %$other_items ) {
1678             (++$otheritemscount > $maxitems) and last;
1679             push @other_items_loop, $other_items->{$key};
1680         }
1681         for my $key ( sort keys %$available_items ) {
1682             (++$availableitemscount > $maxitems) and last;
1683             push @available_items_loop, $available_items->{$key}
1684         }
1685
1686         # XSLT processing of some stuff
1687         use C4::Charset;
1688         SetUTF8Flag($marcrecord);
1689         $debug && warn $marcrecord->as_formatted;
1690         if (!$scan && $search_context eq 'opac' && C4::Context->preference("OPACXSLTResultsDisplay")) {
1691             # FIXME note that XSLTResultsDisplay (use of XSLT to format staff interface bib search results)
1692             # is not implemented yet
1693             $oldbiblio->{XSLTResultsRecord} = XSLTParse4Display($oldbiblio->{biblionumber}, $marcrecord, 'Results',
1694                                                                 $search_context, 1);
1695                 # the last parameter tells Koha to clean up the problematic ampersand entities that Zebra outputs
1696
1697         }
1698
1699         # last check for norequest : if itemtype is notforloan, it can't be reserved either, whatever the items
1700         $can_place_holds = 0
1701           if $itemtypes{ $oldbiblio->{itemtype} }->{notforloan};
1702         $oldbiblio->{norequests} = 1 unless $can_place_holds;
1703         $oldbiblio->{itemsplural}          = 1 if $items_count > 1;
1704         $oldbiblio->{items_count}          = $items_count;
1705         $oldbiblio->{available_items_loop} = \@available_items_loop;
1706         $oldbiblio->{onloan_items_loop}    = \@onloan_items_loop;
1707         $oldbiblio->{other_items_loop}     = \@other_items_loop;
1708         $oldbiblio->{availablecount}       = $available_count;
1709         $oldbiblio->{availableplural}      = 1 if $available_count > 1;
1710         $oldbiblio->{onloancount}          = $onloan_count;
1711         $oldbiblio->{onloanplural}         = 1 if $onloan_count > 1;
1712         $oldbiblio->{othercount}           = $other_count;
1713         $oldbiblio->{otherplural}          = 1 if $other_count > 1;
1714         $oldbiblio->{wthdrawncount}        = $wthdrawn_count;
1715         $oldbiblio->{itemlostcount}        = $itemlost_count;
1716         $oldbiblio->{damagedcount}         = $itemdamaged_count;
1717         $oldbiblio->{intransitcount}       = $item_in_transit_count;
1718         $oldbiblio->{onholdcount}          = $item_onhold_count;
1719         $oldbiblio->{orderedcount}         = $ordered_count;
1720         $oldbiblio->{isbn} =~
1721           s/-//g;    # deleting - in isbn to enable amazon content
1722         push( @newresults, $oldbiblio )
1723             if(not $hidelostitems
1724                or (($items_count > $itemlost_count )
1725                     && $hidelostitems));
1726     }
1727
1728     return @newresults;
1729 }
1730
1731 =head2 SearchAcquisitions
1732     Search for acquisitions
1733 =cut
1734
1735 sub SearchAcquisitions{
1736     my ($datebegin, $dateend, $itemtypes,$criteria, $orderby) = @_;
1737
1738     my $dbh=C4::Context->dbh;
1739     # Variable initialization
1740     my $str=qq|
1741     SELECT marcxml
1742     FROM biblio
1743     LEFT JOIN biblioitems ON biblioitems.biblionumber=biblio.biblionumber
1744     LEFT JOIN items ON items.biblionumber=biblio.biblionumber
1745     WHERE dateaccessioned BETWEEN ? AND ?
1746     |;
1747
1748     my (@params,@loopcriteria);
1749
1750     push @params, $datebegin->output("iso");
1751     push @params, $dateend->output("iso");
1752
1753     if (scalar(@$itemtypes)>0 and $criteria ne "itemtype" ){
1754         if(C4::Context->preference("item-level_itypes")){
1755             $str .= "AND items.itype IN (?".( ',?' x scalar @$itemtypes - 1 ).") ";
1756         }else{
1757             $str .= "AND biblioitems.itemtype IN (?".( ',?' x scalar @$itemtypes - 1 ).") ";
1758         }
1759         push @params, @$itemtypes;
1760     }
1761
1762     if ($criteria =~/itemtype/){
1763         if(C4::Context->preference("item-level_itypes")){
1764             $str .= "AND items.itype=? ";
1765         }else{
1766             $str .= "AND biblioitems.itemtype=? ";
1767         }
1768
1769         if(scalar(@$itemtypes) == 0){
1770             my $itypes = GetItemTypes();
1771             for my $key (keys %$itypes){
1772                 push @$itemtypes, $key;
1773             }
1774         }
1775
1776         @loopcriteria= @$itemtypes;
1777     }elsif ($criteria=~/itemcallnumber/){
1778         $str .= "AND (items.itemcallnumber LIKE CONCAT(?,'%')
1779                  OR items.itemcallnumber is NULL
1780                  OR items.itemcallnumber = '')";
1781
1782         @loopcriteria = ("AA".."ZZ", "") unless (scalar(@loopcriteria)>0);
1783     }else {
1784         $str .= "AND biblio.title LIKE CONCAT(?,'%') ";
1785         @loopcriteria = ("A".."z") unless (scalar(@loopcriteria)>0);
1786     }
1787
1788     if ($orderby =~ /date_desc/){
1789         $str.=" ORDER BY dateaccessioned DESC";
1790     } else {
1791         $str.=" ORDER BY title";
1792     }
1793
1794     my $qdataacquisitions=$dbh->prepare($str);
1795
1796     my @loopacquisitions;
1797     foreach my $value(@loopcriteria){
1798         push @params,$value;
1799         my %cell;
1800         $cell{"title"}=$value;
1801         $cell{"titlecode"}=$value;
1802
1803         eval{$qdataacquisitions->execute(@params);};
1804
1805         if ($@){ warn "recentacquisitions Error :$@";}
1806         else {
1807             my @loopdata;
1808             while (my $data=$qdataacquisitions->fetchrow_hashref){
1809                 push @loopdata, {"summary"=>GetBiblioSummary( $data->{'marcxml'} ) };
1810             }
1811             $cell{"loopdata"}=\@loopdata;
1812         }
1813         push @loopacquisitions,\%cell if (scalar(@{$cell{loopdata}})>0);
1814         pop @params;
1815     }
1816     $qdataacquisitions->finish;
1817     return \@loopacquisitions;
1818 }
1819 #----------------------------------------------------------------------
1820 #
1821 # Non-Zebra GetRecords#
1822 #----------------------------------------------------------------------
1823
1824 =head2 NZgetRecords
1825
1826   NZgetRecords has the same API as zera getRecords, even if some parameters are not managed
1827
1828 =cut
1829
1830 sub NZgetRecords {
1831     my (
1832         $query,            $simple_query, $sort_by_ref,    $servers_ref,
1833         $results_per_page, $offset,       $expanded_facet, $branches,
1834         $query_type,       $scan
1835     ) = @_;
1836     warn "query =$query" if $DEBUG;
1837     my $result = NZanalyse($query);
1838     warn "results =$result" if $DEBUG;
1839     return ( undef,
1840         NZorder( $result, @$sort_by_ref[0], $results_per_page, $offset ),
1841         undef );
1842 }
1843
1844 =head2 NZanalyse
1845
1846   NZanalyse : get a CQL string as parameter, and returns a list of biblionumber;title,biblionumber;title,...
1847   the list is built from an inverted index in the nozebra SQL table
1848   note that title is here only for convenience : the sorting will be very fast when requested on title
1849   if the sorting is requested on something else, we will have to reread all results, and that may be longer.
1850
1851 =cut
1852
1853 sub NZanalyse {
1854     my ( $string, $server ) = @_;
1855 #     warn "---------"       if $DEBUG;
1856     warn " NZanalyse" if $DEBUG;
1857 #     warn "---------"       if $DEBUG;
1858
1859  # $server contains biblioserver or authorities, depending on what we search on.
1860  #warn "querying : $string on $server";
1861     $server = 'biblioserver' unless $server;
1862
1863 # if we have a ", replace the content to discard temporarily any and/or/not inside
1864     my $commacontent;
1865     if ( $string =~ /"/ ) {
1866         $string =~ s/"(.*?)"/__X__/;
1867         $commacontent = $1;
1868         warn "commacontent : $commacontent" if $DEBUG;
1869     }
1870
1871 # split the query string in 3 parts : X AND Y means : $left="X", $operand="AND" and $right="Y"
1872 # then, call again NZanalyse with $left and $right
1873 # (recursive until we find a leaf (=> something without and/or/not)
1874 # delete repeated operator... Would then go in infinite loop
1875     while ( $string =~ s/( and| or| not| AND| OR| NOT)\1/$1/g ) {
1876     }
1877
1878     #process parenthesis before.
1879     if ( $string =~ /^\s*\((.*)\)(( and | or | not | AND | OR | NOT )(.*))?/ ) {
1880         my $left     = $1;
1881         my $right    = $4;
1882         my $operator = lc($3);   # FIXME: and/or/not are operators, not operands
1883         warn
1884 "dealing w/parenthesis before recursive sub call. left :$left operator:$operator right:$right"
1885           if $DEBUG;
1886         my $leftresult = NZanalyse( $left, $server );
1887         if ($operator) {
1888             my $rightresult = NZanalyse( $right, $server );
1889
1890             # OK, we have the results for right and left part of the query
1891             # depending of operand, intersect, union or exclude both lists
1892             # to get a result list
1893             if ( $operator eq ' and ' ) {
1894                 return NZoperatorAND($leftresult,$rightresult);
1895             }
1896             elsif ( $operator eq ' or ' ) {
1897
1898                 # just merge the 2 strings
1899                 return $leftresult . $rightresult;
1900             }
1901             elsif ( $operator eq ' not ' ) {
1902                 return NZoperatorNOT($leftresult,$rightresult);
1903             }
1904         }
1905         else {
1906 # this error is impossible, because of the regexp that isolate the operand, but just in case...
1907             return $leftresult;
1908         }
1909     }
1910     warn "string :" . $string if $DEBUG;
1911     my $left = "";
1912     my $right = "";
1913     my $operator = "";
1914     if ($string =~ /(.*?)( and | or | not | AND | OR | NOT )(.*)/) {
1915         $left     = $1;
1916         $right    = $3;
1917         $operator = lc($2);    # FIXME: and/or/not are operators, not operands
1918     }
1919     warn "no parenthesis. left : $left operator: $operator right: $right"
1920       if $DEBUG;
1921
1922     # it's not a leaf, we have a and/or/not
1923     if ($operator) {
1924
1925         # reintroduce comma content if needed
1926         $right =~ s/__X__/"$commacontent"/ if $commacontent;
1927         $left  =~ s/__X__/"$commacontent"/ if $commacontent;
1928         warn "node : $left / $operator / $right\n" if $DEBUG;
1929         my $leftresult  = NZanalyse( $left,  $server );
1930         my $rightresult = NZanalyse( $right, $server );
1931         warn " leftresult : $leftresult" if $DEBUG;
1932         warn " rightresult : $rightresult" if $DEBUG;
1933         # OK, we have the results for right and left part of the query
1934         # depending of operand, intersect, union or exclude both lists
1935         # to get a result list
1936         if ( $operator eq ' and ' ) {
1937             return NZoperatorAND($leftresult,$rightresult);
1938         }
1939         elsif ( $operator eq ' or ' ) {
1940
1941             # just merge the 2 strings
1942             return $leftresult . $rightresult;
1943         }
1944         elsif ( $operator eq ' not ' ) {
1945             return NZoperatorNOT($leftresult,$rightresult);
1946         }
1947         else {
1948
1949 # this error is impossible, because of the regexp that isolate the operand, but just in case...
1950             die "error : operand unknown : $operator for $string";
1951         }
1952
1953         # it's a leaf, do the real SQL query and return the result
1954     }
1955     else {
1956         $string =~ s/__X__/"$commacontent"/ if $commacontent;
1957         $string =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|&|\+|\*|\// /g;
1958         #remove trailing blank at the beginning
1959         $string =~ s/^ //g;
1960         warn "leaf:$string" if $DEBUG;
1961
1962         # parse the string in in operator/operand/value again
1963         my $left = "";
1964         my $operator = "";
1965         my $right = "";
1966         if ($string =~ /(.*)(>=|<=)(.*)/) {
1967             $left     = $1;
1968             $operator = $2;
1969             $right    = $3;
1970         } else {
1971             $left = $string;
1972         }
1973 #         warn "handling leaf... left:$left operator:$operator right:$right"
1974 #           if $DEBUG;
1975         unless ($operator) {
1976             if ($string =~ /(.*)(>|<|=)(.*)/) {
1977                 $left     = $1;
1978                 $operator = $2;
1979                 $right    = $3;
1980                 warn
1981     "handling unless (operator)... left:$left operator:$operator right:$right"
1982                 if $DEBUG;
1983             } else {
1984                 $left = $string;
1985             }
1986         }
1987         my $results;
1988
1989 # strip adv, zebra keywords, currently not handled in nozebra: wrdl, ext, phr...
1990         $left =~ s/ .*$//;
1991
1992         # automatic replace for short operators
1993         $left = 'title'            if $left =~ '^ti$';
1994         $left = 'author'           if $left =~ '^au$';
1995         $left = 'publisher'        if $left =~ '^pb$';
1996         $left = 'subject'          if $left =~ '^su$';
1997         $left = 'koha-Auth-Number' if $left =~ '^an$';
1998         $left = 'keyword'          if $left =~ '^kw$';
1999         $left = 'itemtype'         if $left =~ '^mc$'; # Fix for Bug 2599 - Search limits not working for NoZebra
2000         warn "handling leaf... left:$left operator:$operator right:$right" if $DEBUG;
2001         my $dbh = C4::Context->dbh;
2002         if ( $operator && $left ne 'keyword' ) {
2003             #do a specific search
2004             $operator = 'LIKE' if $operator eq '=' and $right =~ /%/;
2005             my $sth = $dbh->prepare(
2006 "SELECT biblionumbers,value FROM nozebra WHERE server=? AND indexname=? AND value $operator ?"
2007             );
2008             warn "$left / $operator / $right\n" if $DEBUG;
2009
2010             # split each word, query the DB and build the biblionumbers result
2011             #sanitizing leftpart
2012             $left =~ s/^\s+|\s+$//;
2013             foreach ( split / /, $right ) {
2014                 my $biblionumbers;
2015                 $_ =~ s/^\s+|\s+$//;
2016                 next unless $_;
2017                 warn "EXECUTE : $server, $left, $_" if $DEBUG;
2018                 $sth->execute( $server, $left, $_ )
2019                   or warn "execute failed: $!";
2020                 while ( my ( $line, $value ) = $sth->fetchrow ) {
2021
2022 # if we are dealing with a numeric value, use only numeric results (in case of >=, <=, > or <)
2023 # otherwise, fill the result
2024                     $biblionumbers .= $line
2025                       unless ( $right =~ /^\d+$/ && $value =~ /\D/ );
2026                     warn "result : $value "
2027                       . ( $right  =~ /\d/ ) . "=="
2028                       . ( $value =~ /\D/?$line:"" ) if $DEBUG;         #= $line";
2029                 }
2030
2031 # do a AND with existing list if there is one, otherwise, use the biblionumbers list as 1st result list
2032                 if ($results) {
2033                     warn "NZAND" if $DEBUG;
2034                     $results = NZoperatorAND($biblionumbers,$results);
2035                 } else {
2036                     $results = $biblionumbers;
2037                 }
2038             }
2039         }
2040         else {
2041       #do a complete search (all indexes), if index='kw' do complete search too.
2042             my $sth = $dbh->prepare(
2043 "SELECT biblionumbers FROM nozebra WHERE server=? AND value LIKE ?"
2044             );
2045
2046             # split each word, query the DB and build the biblionumbers result
2047             foreach ( split / /, $string ) {
2048                 next if C4::Context->stopwords->{ uc($_) };   # skip if stopword
2049                 warn "search on all indexes on $_" if $DEBUG;
2050                 my $biblionumbers;
2051                 next unless $_;
2052                 $sth->execute( $server, $_ );
2053                 while ( my $line = $sth->fetchrow ) {
2054                     $biblionumbers .= $line;
2055                 }
2056
2057 # do a AND with existing list if there is one, otherwise, use the biblionumbers list as 1st result list
2058                 if ($results) {
2059                     $results = NZoperatorAND($biblionumbers,$results);
2060                 }
2061                 else {
2062                     warn "NEW RES for $_ = $biblionumbers" if $DEBUG;
2063                     $results = $biblionumbers;
2064                 }
2065             }
2066         }
2067         warn "return : $results for LEAF : $string" if $DEBUG;
2068         return $results;
2069     }
2070     warn "---------\nLeave NZanalyse\n---------" if $DEBUG;
2071 }
2072
2073 sub NZoperatorAND{
2074     my ($rightresult, $leftresult)=@_;
2075
2076     my @leftresult = split /;/, $leftresult;
2077     warn " @leftresult / $rightresult \n" if $DEBUG;
2078
2079     #             my @rightresult = split /;/,$leftresult;
2080     my $finalresult;
2081
2082 # parse the left results, and if the biblionumber exist in the right result, save it in finalresult
2083 # the result is stored twice, to have the same weight for AND than OR.
2084 # example : TWO : 61,61,64,121 (two is twice in the biblio #61) / TOWER : 61,64,130
2085 # result : 61,61,61,61,64,64 for two AND tower : 61 has more weight than 64
2086     foreach (@leftresult) {
2087         my $value = $_;
2088         my $countvalue;
2089         ( $value, $countvalue ) = ( $1, $2 ) if ($value=~/(.*)-(\d+)$/);
2090         if ( $rightresult =~ /\Q$value\E-(\d+);/ ) {
2091             $countvalue = ( $1 > $countvalue ? $countvalue : $1 );
2092             $finalresult .=
2093                 "$value-$countvalue;$value-$countvalue;";
2094         }
2095     }
2096     warn "NZAND DONE : $finalresult \n" if $DEBUG;
2097     return $finalresult;
2098 }
2099
2100 sub NZoperatorOR{
2101     my ($rightresult, $leftresult)=@_;
2102     return $rightresult.$leftresult;
2103 }
2104
2105 sub NZoperatorNOT{
2106     my ($leftresult, $rightresult)=@_;
2107
2108     my @leftresult = split /;/, $leftresult;
2109
2110     #             my @rightresult = split /;/,$leftresult;
2111     my $finalresult;
2112     foreach (@leftresult) {
2113         my $value=$_;
2114         $value=$1 if $value=~m/(.*)-\d+$/;
2115         unless ($rightresult =~ "$value-") {
2116             $finalresult .= "$_;";
2117         }
2118     }
2119     return $finalresult;
2120 }
2121
2122 =head2 NZorder
2123
2124   $finalresult = NZorder($biblionumbers, $ordering,$results_per_page,$offset);
2125
2126   TODO :: Description
2127
2128 =cut
2129
2130 sub NZorder {
2131     my ( $biblionumbers, $ordering, $results_per_page, $offset ) = @_;
2132     warn "biblionumbers = $biblionumbers and ordering = $ordering\n" if $DEBUG;
2133
2134     # order title asc by default
2135     #     $ordering = '1=36 <i' unless $ordering;
2136     $results_per_page = 20 unless $results_per_page;
2137     $offset           = 0  unless $offset;
2138     my $dbh = C4::Context->dbh;
2139
2140     #
2141     # order by POPULARITY
2142     #
2143     if ( $ordering =~ /popularity/ ) {
2144         my %result;
2145         my %popularity;
2146
2147         # popularity is not in MARC record, it's builded from a specific query
2148         my $sth =
2149           $dbh->prepare("select sum(issues) from items where biblionumber=?");
2150         foreach ( split /;/, $biblionumbers ) {
2151             my ( $biblionumber, $title ) = split /,/, $_;
2152             $result{$biblionumber} = GetMarcBiblio($biblionumber);
2153             $sth->execute($biblionumber);
2154             my $popularity = $sth->fetchrow || 0;
2155
2156 # hint : the key is popularity.title because we can have
2157 # many results with the same popularity. In this case, sub-ordering is done by title
2158 # we also have biblionumber to avoid bug for 2 biblios with the same title & popularity
2159 # (un-frequent, I agree, but we won't forget anything that way ;-)
2160             $popularity{ sprintf( "%10d", $popularity ) . $title
2161                   . $biblionumber } = $biblionumber;
2162         }
2163
2164     # sort the hash and return the same structure as GetRecords (Zebra querying)
2165         my $result_hash;
2166         my $numbers = 0;
2167         if ( $ordering eq 'popularity_dsc' ) {    # sort popularity DESC
2168             foreach my $key ( sort { $b cmp $a } ( keys %popularity ) ) {
2169                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2170                   $result{ $popularity{$key} }->as_usmarc();
2171             }
2172         }
2173         else {                                    # sort popularity ASC
2174             foreach my $key ( sort ( keys %popularity ) ) {
2175                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2176                   $result{ $popularity{$key} }->as_usmarc();
2177             }
2178         }
2179         my $finalresult = ();
2180         $result_hash->{'hits'}         = $numbers;
2181         $finalresult->{'biblioserver'} = $result_hash;
2182         return $finalresult;
2183
2184         #
2185         # ORDER BY author
2186         #
2187     }
2188     elsif ( $ordering =~ /author/ ) {
2189         my %result;
2190         foreach ( split /;/, $biblionumbers ) {
2191             my ( $biblionumber, $title ) = split /,/, $_;
2192             my $record = GetMarcBiblio($biblionumber);
2193             my $author;
2194             if ( C4::Context->preference('marcflavour') eq 'UNIMARC' ) {
2195                 $author = $record->subfield( '200', 'f' );
2196                 $author = $record->subfield( '700', 'a' ) unless $author;
2197             }
2198             else {
2199                 $author = $record->subfield( '100', 'a' );
2200             }
2201
2202 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2203 # and we don't want to get only 1 result for each of them !!!
2204             $result{ $author . $biblionumber } = $record;
2205         }
2206
2207     # sort the hash and return the same structure as GetRecords (Zebra querying)
2208         my $result_hash;
2209         my $numbers = 0;
2210         if ( $ordering eq 'author_za' ) {    # sort by author desc
2211             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2212                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2213                   $result{$key}->as_usmarc();
2214             }
2215         }
2216         else {                               # sort by author ASC
2217             foreach my $key ( sort ( keys %result ) ) {
2218                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2219                   $result{$key}->as_usmarc();
2220             }
2221         }
2222         my $finalresult = ();
2223         $result_hash->{'hits'}         = $numbers;
2224         $finalresult->{'biblioserver'} = $result_hash;
2225         return $finalresult;
2226
2227         #
2228         # ORDER BY callnumber
2229         #
2230     }
2231     elsif ( $ordering =~ /callnumber/ ) {
2232         my %result;
2233         foreach ( split /;/, $biblionumbers ) {
2234             my ( $biblionumber, $title ) = split /,/, $_;
2235             my $record = GetMarcBiblio($biblionumber);
2236             my $callnumber;
2237             my $frameworkcode = GetFrameworkCode($biblionumber);
2238             my ( $callnumber_tag, $callnumber_subfield ) = GetMarcFromKohaField(  'items.itemcallnumber', $frameworkcode);
2239                ( $callnumber_tag, $callnumber_subfield ) = GetMarcFromKohaField('biblioitems.callnumber', $frameworkcode)
2240                 unless $callnumber_tag;
2241             if ( C4::Context->preference('marcflavour') eq 'UNIMARC' ) {
2242                 $callnumber = $record->subfield( '200', 'f' );
2243             } else {
2244                 $callnumber = $record->subfield( '100', 'a' );
2245             }
2246
2247 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2248 # and we don't want to get only 1 result for each of them !!!
2249             $result{ $callnumber . $biblionumber } = $record;
2250         }
2251
2252     # sort the hash and return the same structure as GetRecords (Zebra querying)
2253         my $result_hash;
2254         my $numbers = 0;
2255         if ( $ordering eq 'call_number_dsc' ) {    # sort by title desc
2256             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2257                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2258                   $result{$key}->as_usmarc();
2259             }
2260         }
2261         else {                                     # sort by title ASC
2262             foreach my $key ( sort { $a cmp $b } ( keys %result ) ) {
2263                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2264                   $result{$key}->as_usmarc();
2265             }
2266         }
2267         my $finalresult = ();
2268         $result_hash->{'hits'}         = $numbers;
2269         $finalresult->{'biblioserver'} = $result_hash;
2270         return $finalresult;
2271     }
2272     elsif ( $ordering =~ /pubdate/ ) {             #pub year
2273         my %result;
2274         foreach ( split /;/, $biblionumbers ) {
2275             my ( $biblionumber, $title ) = split /,/, $_;
2276             my $record = GetMarcBiblio($biblionumber);
2277             my ( $publicationyear_tag, $publicationyear_subfield ) =
2278               GetMarcFromKohaField( 'biblioitems.publicationyear', '' );
2279             my $publicationyear =
2280               $record->subfield( $publicationyear_tag,
2281                 $publicationyear_subfield );
2282
2283 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2284 # and we don't want to get only 1 result for each of them !!!
2285             $result{ $publicationyear . $biblionumber } = $record;
2286         }
2287
2288     # sort the hash and return the same structure as GetRecords (Zebra querying)
2289         my $result_hash;
2290         my $numbers = 0;
2291         if ( $ordering eq 'pubdate_dsc' ) {    # sort by pubyear desc
2292             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2293                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2294                   $result{$key}->as_usmarc();
2295             }
2296         }
2297         else {                                 # sort by pub year ASC
2298             foreach my $key ( sort ( keys %result ) ) {
2299                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2300                   $result{$key}->as_usmarc();
2301             }
2302         }
2303         my $finalresult = ();
2304         $result_hash->{'hits'}         = $numbers;
2305         $finalresult->{'biblioserver'} = $result_hash;
2306         return $finalresult;
2307
2308         #
2309         # ORDER BY title
2310         #
2311     }
2312     elsif ( $ordering =~ /title/ ) {
2313
2314 # the title is in the biblionumbers string, so we just need to build a hash, sort it and return
2315         my %result;
2316         foreach ( split /;/, $biblionumbers ) {
2317             my ( $biblionumber, $title ) = split /,/, $_;
2318
2319 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2320 # and we don't want to get only 1 result for each of them !!!
2321 # hint & speed improvement : we can order without reading the record
2322 # so order, and read records only for the requested page !
2323             $result{ $title . $biblionumber } = $biblionumber;
2324         }
2325
2326     # sort the hash and return the same structure as GetRecords (Zebra querying)
2327         my $result_hash;
2328         my $numbers = 0;
2329         if ( $ordering eq 'title_az' ) {    # sort by title desc
2330             foreach my $key ( sort ( keys %result ) ) {
2331                 $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2332             }
2333         }
2334         else {                              # sort by title ASC
2335             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2336                 $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2337             }
2338         }
2339
2340         # limit the $results_per_page to result size if it's more
2341         $results_per_page = $numbers - 1 if $numbers < $results_per_page;
2342
2343         # for the requested page, replace biblionumber by the complete record
2344         # speed improvement : avoid reading too much things
2345         for (
2346             my $counter = $offset ;
2347             $counter <= $offset + $results_per_page ;
2348             $counter++
2349           )
2350         {
2351             $result_hash->{'RECORDS'}[$counter] =
2352               GetMarcBiblio( $result_hash->{'RECORDS'}[$counter] )->as_usmarc;
2353         }
2354         my $finalresult = ();
2355         $result_hash->{'hits'}         = $numbers;
2356         $finalresult->{'biblioserver'} = $result_hash;
2357         return $finalresult;
2358     }
2359     else {
2360
2361 #
2362 # order by ranking
2363 #
2364 # we need 2 hashes to order by ranking : the 1st one to count the ranking, the 2nd to order by ranking
2365         my %result;
2366         my %count_ranking;
2367         foreach ( split /;/, $biblionumbers ) {
2368             my ( $biblionumber, $title ) = split /,/, $_;
2369             $title =~ /(.*)-(\d)/;
2370
2371             # get weight
2372             my $ranking = $2;
2373
2374 # note that we + the ranking because ranking is calculated on weight of EACH term requested.
2375 # if we ask for "two towers", and "two" has weight 2 in biblio N, and "towers" has weight 4 in biblio N
2376 # biblio N has ranking = 6
2377             $count_ranking{$biblionumber} += $ranking;
2378         }
2379
2380 # build the result by "inverting" the count_ranking hash
2381 # hing : as usual, we don't order by ranking only, to avoid having only 1 result for each rank. We build an hash on concat(ranking,biblionumber) instead
2382 #         warn "counting";
2383         foreach ( keys %count_ranking ) {
2384             $result{ sprintf( "%10d", $count_ranking{$_} ) . '-' . $_ } = $_;
2385         }
2386
2387     # sort the hash and return the same structure as GetRecords (Zebra querying)
2388         my $result_hash;
2389         my $numbers = 0;
2390         foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2391             $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2392         }
2393
2394         # limit the $results_per_page to result size if it's more
2395         $results_per_page = $numbers - 1 if $numbers < $results_per_page;
2396
2397         # for the requested page, replace biblionumber by the complete record
2398         # speed improvement : avoid reading too much things
2399         for (
2400             my $counter = $offset ;
2401             $counter <= $offset + $results_per_page ;
2402             $counter++
2403           )
2404         {
2405             $result_hash->{'RECORDS'}[$counter] =
2406               GetMarcBiblio( $result_hash->{'RECORDS'}[$counter] )->as_usmarc
2407               if $result_hash->{'RECORDS'}[$counter];
2408         }
2409         my $finalresult = ();
2410         $result_hash->{'hits'}         = $numbers;
2411         $finalresult->{'biblioserver'} = $result_hash;
2412         return $finalresult;
2413     }
2414 }
2415
2416 =head2 enabled_staff_search_views
2417
2418 %hash = enabled_staff_search_views()
2419
2420 This function returns a hash that contains three flags obtained from the system
2421 preferences, used to determine whether a particular staff search results view
2422 is enabled.
2423
2424 =over 2
2425
2426 =item C<Output arg:>
2427
2428     * $hash{can_view_MARC} is true only if the MARC view is enabled
2429     * $hash{can_view_ISBD} is true only if the ISBD view is enabled
2430     * $hash{can_view_labeledMARC} is true only if the Labeled MARC view is enabled
2431
2432 =item C<usage in the script:>
2433
2434 =back
2435
2436 $template->param ( C4::Search::enabled_staff_search_views );
2437
2438 =cut
2439
2440 sub enabled_staff_search_views
2441 {
2442         return (
2443                 can_view_MARC                   => C4::Context->preference('viewMARC'),                 # 1 if the staff search allows the MARC view
2444                 can_view_ISBD                   => C4::Context->preference('viewISBD'),                 # 1 if the staff search allows the ISBD view
2445                 can_view_labeledMARC    => C4::Context->preference('viewLabeledMARC'),  # 1 if the staff search allows the Labeled MARC view
2446         );
2447 }
2448
2449 sub AddSearchHistory{
2450         my ($borrowernumber,$session,$query_desc,$query_cgi, $total)=@_;
2451     my $dbh = C4::Context->dbh;
2452
2453     # Add the request the user just made
2454     my $sql = "INSERT INTO search_history(userid, sessionid, query_desc, query_cgi, total, time) VALUES(?, ?, ?, ?, ?, NOW())";
2455     my $sth   = $dbh->prepare($sql);
2456     $sth->execute($borrowernumber, $session, $query_desc, $query_cgi, $total);
2457         return $dbh->last_insert_id(undef, 'search_history', undef,undef,undef);
2458 }
2459
2460 sub GetSearchHistory{
2461         my ($borrowernumber,$session)=@_;
2462     my $dbh = C4::Context->dbh;
2463
2464     # Add the request the user just made
2465     my $query = "SELECT FROM search_history WHERE (userid=? OR sessionid=?)";
2466     my $sth   = $dbh->prepare($query);
2467         $sth->execute($borrowernumber, $session);
2468     return  $sth->fetchall_hashref({});
2469 }
2470
2471 =head2 z3950_search_args
2472
2473 $arrayref = z3950_search_args($matchpoints)
2474
2475 This function returns an array reference that contains the search parameters to be
2476 passed to the Z39.50 search script (z3950_search.pl). The array elements
2477 are hash refs whose keys are name, value and encvalue, and whose values are the
2478 name of a search parameter, the value of that search parameter and the URL encoded
2479 value of that parameter.
2480
2481 The search parameter names are lccn, isbn, issn, title, author, dewey and subject.
2482
2483 The search parameter values are obtained from the bibliographic record whose
2484 data is in a hash reference in $matchpoints, as returned by Biblio::GetBiblioData().
2485
2486 If $matchpoints is a scalar, it is assumed to be an unnamed query descriptor, e.g.
2487 a general purpose search argument. In this case, the returned array contains only
2488 entry: the key is 'title' and the value and encvalue are derived from $matchpoints.
2489
2490 If a search parameter value is undefined or empty, it is not included in the returned
2491 array.
2492
2493 The returned array reference may be passed directly to the template parameters.
2494
2495 =over 2
2496
2497 =item C<Output arg:>
2498
2499     * $array containing hash refs as described above
2500
2501 =item C<usage in the script:>
2502
2503 =back
2504
2505 $data = Biblio::GetBiblioData($bibno);
2506 $template->param ( MYLOOP => C4::Search::z3950_search_args($data) )
2507
2508 *OR*
2509
2510 $template->param ( MYLOOP => C4::Search::z3950_search_args($searchscalar) )
2511
2512 =cut
2513
2514 sub z3950_search_args {
2515     my $bibrec = shift;
2516     $bibrec = { title => $bibrec } if !ref $bibrec;
2517     my $array = [];
2518     for my $field (qw/ lccn isbn issn title author dewey subject /)
2519     {
2520         my $encvalue = URI::Escape::uri_escape_utf8($bibrec->{$field});
2521         push @$array, { name=>$field, value=>$bibrec->{$field}, encvalue=>$encvalue } if defined $bibrec->{$field};
2522     }
2523     return $array;
2524 }
2525
2526 =head2 BiblioAddAuthorities
2527
2528 ( $countlinked, $countcreated ) = BiblioAddAuthorities($record, $frameworkcode);
2529
2530 this function finds the authorities linked to the biblio
2531     * search in the authority DB for the same authid (in $9 of the biblio)
2532     * search in the authority DB for the same 001 (in $3 of the biblio in UNIMARC)
2533     * search in the authority DB for the same values (exactly) (in all subfields of the biblio)
2534 OR adds a new authority record
2535
2536 =over 2
2537
2538 =item C<input arg:>
2539
2540     * $record is the MARC record in question (marc blob)
2541     * $frameworkcode is the bibliographic framework to use (if it is "" it uses the default framework)
2542
2543 =item C<Output arg:>
2544
2545     * $countlinked is the number of authorities records that are linked to this authority
2546     * $countcreated
2547
2548 =item C<BUGS>
2549     * I had to add this to Search.pm (instead of the logical Biblio.pm) because of a circular dependency (this sub uses SimpleSearch, and Search.pm uses Biblio.pm)
2550
2551 =back
2552
2553 =cut
2554
2555
2556 sub BiblioAddAuthorities{
2557   my ( $record, $frameworkcode ) = @_;
2558   my $dbh=C4::Context->dbh;
2559   my $query=$dbh->prepare(qq|
2560 SELECT authtypecode,tagfield
2561 FROM marc_subfield_structure
2562 WHERE frameworkcode=?
2563 AND (authtypecode IS NOT NULL AND authtypecode<>\"\")|);
2564 # SELECT authtypecode,tagfield
2565 # FROM marc_subfield_structure
2566 # WHERE frameworkcode=?
2567 # AND (authtypecode IS NOT NULL OR authtypecode<>\"\")|);
2568   $query->execute($frameworkcode);
2569   my ($countcreated,$countlinked);
2570   while (my $data=$query->fetchrow_hashref){
2571     foreach my $field ($record->field($data->{tagfield})){
2572       next if ($field->subfield('3')||$field->subfield('9'));
2573       # No authorities id in the tag.
2574       # Search if there is any authorities to link to.
2575       my $query='at='.$data->{authtypecode}.' ';
2576       map {$query.= ' and he,ext="'.$_->[1].'"' if ($_->[0]=~/[A-z]/)}  $field->subfields();
2577       my ($error, $results, $total_hits)=SimpleSearch( $query, undef, undef, [ "authorityserver" ] );
2578     # there is only 1 result
2579           if ( $error ) {
2580         warn "BIBLIOADDSAUTHORITIES: $error";
2581             return (0,0) ;
2582           }
2583       if ($results && scalar(@$results)==1) {
2584         my $marcrecord = MARC::File::USMARC::decode($results->[0]);
2585         $field->add_subfields('9'=>$marcrecord->field('001')->data);
2586         $countlinked++;
2587       } elsif (scalar(@$results)>1) {
2588    #More than One result
2589    #This can comes out of a lack of a subfield.
2590 #         my $marcrecord = MARC::File::USMARC::decode($results->[0]);
2591 #         $record->field($data->{tagfield})->add_subfields('9'=>$marcrecord->field('001')->data);
2592   $countlinked++;
2593       } else {
2594   #There are no results, build authority record, add it to Authorities, get authid and add it to 9
2595   ###NOTICE : This is only valid if a subfield is linked to one and only one authtypecode
2596   ###NOTICE : This can be a problem. We should also look into other types and rejected forms.
2597          my $authtypedata=C4::AuthoritiesMarc::GetAuthType($data->{authtypecode});
2598          next unless $authtypedata;
2599          my $marcrecordauth=MARC::Record->new();
2600          my $authfield=MARC::Field->new($authtypedata->{auth_tag_to_report},'','',"a"=>"".$field->subfield('a'));
2601          map { $authfield->add_subfields($_->[0]=>$_->[1]) if ($_->[0]=~/[A-z]/ && $_->[0] ne "a" )}  $field->subfields();
2602          $marcrecordauth->insert_fields_ordered($authfield);
2603
2604          # bug 2317: ensure new authority knows it's using UTF-8; currently
2605          # only need to do this for MARC21, as MARC::Record->as_xml_record() handles
2606          # automatically for UNIMARC (by not transcoding)
2607          # FIXME: AddAuthority() instead should simply explicitly require that the MARC::Record
2608          # use UTF-8, but as of 2008-08-05, did not want to introduce that kind
2609          # of change to a core API just before the 3.0 release.
2610          if (C4::Context->preference('marcflavour') eq 'MARC21') {
2611             SetMarcUnicodeFlag($marcrecordauth, 'MARC21');
2612          }
2613
2614 #          warn "AUTH RECORD ADDED : ".$marcrecordauth->as_formatted;
2615
2616          my $authid=AddAuthority($marcrecordauth,'',$data->{authtypecode});
2617          $countcreated++;
2618          $field->add_subfields('9'=>$authid);
2619       }
2620     }
2621   }
2622   return ($countlinked,$countcreated);
2623 }
2624
2625 =head2 GetDistinctValues($field);
2626
2627 C<$field> is a reference to the fields array
2628
2629 =cut
2630
2631 sub GetDistinctValues {
2632     my ($fieldname,$string)=@_;
2633     # returns a reference to a hash of references to branches...
2634     if ($fieldname=~/\./){
2635                         my ($table,$column)=split /\./, $fieldname;
2636                         my $dbh = C4::Context->dbh;
2637                         warn "select DISTINCT($column) as value, count(*) as cnt from $table group by lib order by $column " if $DEBUG;
2638                         my $sth = $dbh->prepare("select DISTINCT($column) as value, count(*) as cnt from $table ".($string?" where $column like \"$string%\"":"")."group by value order by $column ");
2639                         $sth->execute;
2640                         my $elements=$sth->fetchall_arrayref({});
2641                         return $elements;
2642    }
2643    else {
2644                 $string||= qq("");
2645                 my @servers=qw<biblioserver authorityserver>;
2646                 my (@zconns,@results);
2647         for ( my $i = 0 ; $i < @servers ; $i++ ) {
2648                 $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
2649                         $results[$i] =
2650                       $zconns[$i]->scan(
2651                         ZOOM::Query::CCL2RPN->new( qq"$fieldname $string", $zconns[$i])
2652                       );
2653                 }
2654                 # The big moment: asynchronously retrieve results from all servers
2655                 my @elements;
2656                 while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
2657                         my $ev = $zconns[ $i - 1 ]->last_event();
2658                         if ( $ev == ZOOM::Event::ZEND ) {
2659                                 next unless $results[ $i - 1 ];
2660                                 my $size = $results[ $i - 1 ]->size();
2661                                 if ( $size > 0 ) {
2662                       for (my $j=0;$j<$size;$j++){
2663                                                 my %hashscan;
2664                                                 @hashscan{qw(value cnt)}=$results[ $i - 1 ]->display_term($j);
2665                                                 push @elements, \%hashscan;
2666                                           }
2667                                 }
2668                         }
2669                 }
2670                 return \@elements;
2671    }
2672 }
2673
2674
2675 END { }    # module clean-up code here (global destructor)
2676
2677 1;
2678 __END__
2679
2680 =head1 AUTHOR
2681
2682 Koha Development Team <http://koha-community.org/>
2683
2684 =cut