C4/Search.pm

   1 package C4::Search;
   2
   3 # This file is part of Koha.
   4 #
   5 # Koha is free software; you can redistribute it and/or modify it under the
   6 # terms of the GNU General Public License as published by the Free Software
   7 # Foundation; either version 2 of the License, or (at your option) any later
   8 # version.
   9 #
  10 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  11 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  12 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License along with
  15 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  16 # Suite 330, Boston, MA  02111-1307 USA
  17
  18 use strict;
  19 #use warnings; FIXME - Bug 2505
  20 require Exporter;
  21 use C4::Context;
  22 use C4::Biblio;    # GetMarcFromKohaField, GetBiblioData
  23 use C4::Koha;      # getFacets
  24 use Lingua::Stem;
  25 use C4::Search::PazPar2;
  26 use XML::Simple;
  27 use C4::Dates qw(format_date);
  28 use C4::XSLT;
  29 use C4::Branch;
  30 use C4::Reserves;    # CheckReserves
  31 use C4::Debug;
  32 use URI::Escape;
  33
  34 use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS $DEBUG);
  35
  36 # set the version for version checking
  37 BEGIN {
  38     $VERSION = 3.01;
  39     $DEBUG = ($ENV{DEBUG}) ? 1 : 0;
  40 }
  41
  42 =head1 NAME
  43
  44 C4::Search - Functions for searching the Koha catalog.
  45
  46 =head1 SYNOPSIS
  47
  48 See opac/opac-search.pl or catalogue/search.pl for example of usage
  49
  50 =head1 DESCRIPTION
  51
  52 This module provides searching functions for Koha's bibliographic databases
  53
  54 =head1 FUNCTIONS
  55
  56 =cut
  57
  58 @ISA    = qw(Exporter);
  59 @EXPORT = qw(
  60   &FindDuplicate
  61   &SimpleSearch
  62   &searchResults
  63   &getRecords
  64   &buildQuery
  65   &NZgetRecords
  66   &AddSearchHistory
  67   &GetDistinctValues
  68   &BiblioAddAuthorities
  69 );
  70 #FIXME: i had to add BiblioAddAuthorities here because in Biblios.pm it caused circular dependencies (C4::Search uses C4::Biblio, and BiblioAddAuthorities uses SimpleSearch from C4::Search)
  71
  72 # make all your functions, whether exported or not;
  73
  74 =head2 FindDuplicate
  75
  76 ($biblionumber,$biblionumber,$title) = FindDuplicate($record);
  77
  78 This function attempts to find duplicate records using a hard-coded, fairly simplistic algorithm
  79
  80 =cut
  81
  82 sub FindDuplicate {
  83     my ($record) = @_;
  84     my $dbh = C4::Context->dbh;
  85     my $result = TransformMarcToKoha( $dbh, $record, '' );
  86     my $sth;
  87     my $query;
  88     my $search;
  89     my $type;
  90     my ( $biblionumber, $title );
  91
  92     # search duplicate on ISBN, easy and fast..
  93     # ... normalize first
  94     if ( $result->{isbn} ) {
  95         $result->{isbn} =~ s/\(.*$//;
  96         $result->{isbn} =~ s/\s+$//;
  97         $query = "isbn=$result->{isbn}";
  98     }
  99     else {
 100         $result->{title} =~ s /\\//g;
 101         $result->{title} =~ s /\"//g;
 102         $result->{title} =~ s /\(//g;
 103         $result->{title} =~ s /\)//g;
 104
 105         # FIXME: instead of removing operators, could just do
 106         # quotes around the value
 107         $result->{title} =~ s/(and|or|not)//g;
 108         $query = "ti,ext=$result->{title}";
 109         $query .= " and itemtype=$result->{itemtype}"
 110           if ( $result->{itemtype} );
 111         if   ( $result->{author} ) {
 112             $result->{author} =~ s /\\//g;
 113             $result->{author} =~ s /\"//g;
 114             $result->{author} =~ s /\(//g;
 115             $result->{author} =~ s /\)//g;
 116
 117             # remove valid operators
 118             $result->{author} =~ s/(and|or|not)//g;
 119             $query .= " and au,ext=$result->{author}";
 120         }
 121     }
 122
 123     # FIXME: add error handling
 124     my ( $error, $searchresults ) = SimpleSearch($query); # FIXME :: hardcoded !
 125     my @results;
 126     foreach my $possible_duplicate_record (@$searchresults) {
 127         my $marcrecord =
 128           MARC::Record->new_from_usmarc($possible_duplicate_record);
 129         my $result = TransformMarcToKoha( $dbh, $marcrecord, '' );
 130
 131         # FIXME :: why 2 $biblionumber ?
 132         if ($result) {
 133             push @results, $result->{'biblionumber'};
 134             push @results, $result->{'title'};
 135         }
 136     }
 137     return @results;
 138 }
 139
 140 =head2 SimpleSearch
 141
 142 ( $error, $results, $total_hits ) = SimpleSearch( $query, $offset, $max_results, [@servers] );
 143
 144 This function provides a simple search API on the bibliographic catalog
 145
 146 =over 2
 147
 148 =item C<input arg:>
 149
 150     * $query can be a simple keyword or a complete CCL query
 151     * @servers is optional. Defaults to biblioserver as found in koha-conf.xml
 152     * $offset - If present, represents the number of records at the beggining to omit. Defaults to 0
 153     * $max_results - if present, determines the maximum number of records to fetch. undef is All. defaults to undef.
 154
 155
 156 =item C<Output:>
 157
 158     * $error is a empty unless an error is detected
 159     * \@results is an array of records.
 160     * $total_hits is the number of hits that would have been returned with no limit
 161
 162 =item C<usage in the script:>
 163
 164 =back
 165
 166 my ( $error, $marcresults, $total_hits ) = SimpleSearch($query);
 167
 168 if (defined $error) {
 169     $template->param(query_error => $error);
 170     warn "error: ".$error;
 171     output_html_with_http_headers $input, $cookie, $template->output;
 172     exit;
 173 }
 174
 175 my $hits = scalar @$marcresults;
 176 my @results;
 177
 178 for my $i (0..$hits) {
 179     my %resultsloop;
 180     my $marcrecord = MARC::File::USMARC::decode($marcresults->[$i]);
 181     my $biblio = TransformMarcToKoha(C4::Context->dbh,$marcrecord,'');
 182
 183     #build the hash for the template.
 184     $resultsloop{title}           = $biblio->{'title'};
 185     $resultsloop{subtitle}        = $biblio->{'subtitle'};
 186     $resultsloop{biblionumber}    = $biblio->{'biblionumber'};
 187     $resultsloop{author}          = $biblio->{'author'};
 188     $resultsloop{publishercode}   = $biblio->{'publishercode'};
 189     $resultsloop{publicationyear} = $biblio->{'publicationyear'};
 190
 191     push @results, \%resultsloop;
 192 }
 193
 194 $template->param(result=>\@results);
 195
 196 =cut
 197
 198 sub SimpleSearch {
 199     my ( $query, $offset, $max_results, $servers )  = @_;
 200
 201     if ( C4::Context->preference('NoZebra') ) {
 202         my $result = NZorder( NZanalyse($query) )->{'biblioserver'};
 203         my $search_result =
 204           (      $result->{hits}
 205               && $result->{hits} > 0 ? $result->{'RECORDS'} : [] );
 206         return ( undef, $search_result, scalar($result->{hits}) );
 207     }
 208     else {
 209         # FIXME hardcoded value. See catalog/search.pl & opac-search.pl too.
 210         my @servers = defined ( $servers ) ? @$servers : ( "biblioserver" );
 211         my @results;
 212         my @zoom_queries;
 213         my @tmpresults;
 214         my @zconns;
 215         my $total_hits;
 216         return ( "No query entered", undef, undef ) unless $query;
 217
 218         # Initialize & Search Zebra
 219         for ( my $i = 0 ; $i < @servers ; $i++ ) {
 220             eval {
 221                 $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
 222                 $zoom_queries[$i] = new ZOOM::Query::CCL2RPN( $query, $zconns[$i]);
 223                 $tmpresults[$i] = $zconns[$i]->search( $zoom_queries[$i] );
 224
 225                 # error handling
 226                 my $error =
 227                     $zconns[$i]->errmsg() . " ("
 228                   . $zconns[$i]->errcode() . ") "
 229                   . $zconns[$i]->addinfo() . " "
 230                   . $zconns[$i]->diagset();
 231
 232                 return ( $error, undef, undef ) if $zconns[$i]->errcode();
 233             };
 234             if ($@) {
 235
 236                 # caught a ZOOM::Exception
 237                 my $error =
 238                     $@->message() . " ("
 239                   . $@->code() . ") "
 240                   . $@->addinfo() . " "
 241                   . $@->diagset();
 242                 warn $error;
 243                 return ( $error, undef, undef );
 244             }
 245         }
 246         while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
 247             my $event = $zconns[ $i - 1 ]->last_event();
 248             if ( $event == ZOOM::Event::ZEND ) {
 249
 250                 my $first_record = defined( $offset ) ? $offset+1 : 1;
 251                 my $hits = $tmpresults[ $i - 1 ]->size();
 252                 $total_hits += $hits;
 253                 my $last_record = $hits;
 254                 if ( defined $max_results && $offset + $max_results < $hits ) {
 255                     $last_record  = $offset + $max_results;
 256                 }
 257
 258                 for my $j ( $first_record..$last_record ) {
 259                     my $record = $tmpresults[ $i - 1 ]->record( $j-1 )->raw(); # 0 indexed
 260                     push @results, $record;
 261                 }
 262             }
 263         }
 264
 265         foreach my $result (@tmpresults) {
 266             $result->destroy();
 267         }
 268         foreach my $zoom_query (@zoom_queries) {
 269             $zoom_query->destroy();
 270         }
 271
 272         return ( undef, \@results, $total_hits );
 273     }
 274 }
 275
 276 =head2 getRecords
 277
 278 ( undef, $results_hashref, \@facets_loop ) = getRecords (
 279
 280         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 281         $results_per_page, $offset,       $expanded_facet, $branches,
 282         $query_type,       $scan
 283     );
 284
 285 The all singing, all dancing, multi-server, asynchronous, scanning,
 286 searching, record nabbing, facet-building
 287
 288 See verbse embedded documentation.
 289
 290 =cut
 291
 292 sub getRecords {
 293     my (
 294         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 295         $results_per_page, $offset,       $expanded_facet, $branches,
 296         $query_type,       $scan
 297     ) = @_;
 298
 299     my @servers = @$servers_ref;
 300     my @sort_by = @$sort_by_ref;
 301
 302     # Initialize variables for the ZOOM connection and results object
 303     my $zconn;
 304     my @zconns;
 305     my @results;
 306     my $results_hashref = ();
 307
 308     # Initialize variables for the faceted results objects
 309     my $facets_counter = ();
 310     my $facets_info    = ();
 311     my $facets         = getFacets();
 312
 313     my @facets_loop;    # stores the ref to array of hashes for template facets loop
 314
 315     ### LOOP THROUGH THE SERVERS
 316     for ( my $i = 0 ; $i < @servers ; $i++ ) {
 317         $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
 318
 319 # perform the search, create the results objects
 320 # if this is a local search, use the $koha-query, if it's a federated one, use the federated-query
 321         my $query_to_use = ($servers[$i] =~ /biblioserver/) ? $koha_query : $simple_query;
 322
 323         #$query_to_use = $simple_query if $scan;
 324         warn $simple_query if ( $scan and $DEBUG );
 325
 326         # Check if we've got a query_type defined, if so, use it
 327         eval {
 328             if ($query_type) {
 329                 if ($query_type =~ /^ccl/) {
 330                     $query_to_use =~ s/\:/\=/g;    # change : to = last minute (FIXME)
 331                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 332                 } elsif ($query_type =~ /^cql/) {
 333                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CQL($query_to_use, $zconns[$i]));
 334                 } elsif ($query_type =~ /^pqf/) {
 335                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::PQF($query_to_use, $zconns[$i]));
 336                 } else {
 337                     warn "Unknown query_type '$query_type'.  Results undetermined.";
 338                 }
 339             } elsif ($scan) {
 340                     $results[$i] = $zconns[$i]->scan(  new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 341             } else {
 342                     $results[$i] = $zconns[$i]->search(new ZOOM::Query::CCL2RPN($query_to_use, $zconns[$i]));
 343             }
 344         };
 345         if ($@) {
 346             warn "WARNING: query problem with $query_to_use " . $@;
 347         }
 348
 349         # Concatenate the sort_by limits and pass them to the results object
 350         # Note: sort will override rank
 351         my $sort_by;
 352         foreach my $sort (@sort_by) {
 353             if ( $sort eq "author_az" || $sort eq "author_asc" ) {
 354                 $sort_by .= "1=1003 <i ";
 355             }
 356             elsif ( $sort eq "author_za" || $sort eq "author_dsc" ) {
 357                 $sort_by .= "1=1003 >i ";
 358             }
 359             elsif ( $sort eq "popularity_asc" ) {
 360                 $sort_by .= "1=9003 <i ";
 361             }
 362             elsif ( $sort eq "popularity_dsc" ) {
 363                 $sort_by .= "1=9003 >i ";
 364             }
 365             elsif ( $sort eq "call_number_asc" ) {
 366                 $sort_by .= "1=8007  <i ";
 367             }
 368             elsif ( $sort eq "call_number_dsc" ) {
 369                 $sort_by .= "1=8007 >i ";
 370             }
 371             elsif ( $sort eq "pubdate_asc" ) {
 372                 $sort_by .= "1=31 <i ";
 373             }
 374             elsif ( $sort eq "pubdate_dsc" ) {
 375                 $sort_by .= "1=31 >i ";
 376             }
 377             elsif ( $sort eq "acqdate_asc" ) {
 378                 $sort_by .= "1=32 <i ";
 379             }
 380             elsif ( $sort eq "acqdate_dsc" ) {
 381                 $sort_by .= "1=32 >i ";
 382             }
 383             elsif ( $sort eq "title_az" || $sort eq "title_asc" ) {
 384                 $sort_by .= "1=4 <i ";
 385             }
 386             elsif ( $sort eq "title_za" || $sort eq "title_dsc" ) {
 387                 $sort_by .= "1=4 >i ";
 388             }
 389             else {
 390                 warn "Ignoring unrecognized sort '$sort' requested" if $sort_by;
 391             }
 392         }
 393         if ($sort_by && !$scan) {
 394             if ( $results[$i]->sort( "yaz", $sort_by ) < 0 ) {
 395                 warn "WARNING sort $sort_by failed";
 396             }
 397         }
 398     }    # finished looping through servers
 399
 400     # The big moment: asynchronously retrieve results from all servers
 401     while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
 402         my $ev = $zconns[ $i - 1 ]->last_event();
 403         if ( $ev == ZOOM::Event::ZEND ) {
 404             next unless $results[ $i - 1 ];
 405             my $size = $results[ $i - 1 ]->size();
 406             if ( $size > 0 ) {
 407                 my $results_hash;
 408
 409                 # loop through the results
 410                 $results_hash->{'hits'} = $size;
 411                 my $times;
 412                 if ( $offset + $results_per_page <= $size ) {
 413                     $times = $offset + $results_per_page;
 414                 }
 415                 else {
 416                     $times = $size;
 417                 }
 418                 for ( my $j = $offset ; $j < $times ; $j++ ) {
 419                     my $records_hash;
 420                     my $record;
 421                     my $facet_record;
 422
 423                     ## Check if it's an index scan
 424                     if ($scan) {
 425                         my ( $term, $occ ) = $results[ $i - 1 ]->term($j);
 426
 427                  # here we create a minimal MARC record and hand it off to the
 428                  # template just like a normal result ... perhaps not ideal, but
 429                  # it works for now
 430                         my $tmprecord = MARC::Record->new();
 431                         $tmprecord->encoding('UTF-8');
 432                         my $tmptitle;
 433                         my $tmpauthor;
 434
 435                 # the minimal record in author/title (depending on MARC flavour)
 436                         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
 437                             $tmptitle = MARC::Field->new('200',' ',' ', a => $term, f => $occ);
 438                             $tmprecord->append_fields($tmptitle);
 439                         } else {
 440                             $tmptitle  = MARC::Field->new('245',' ',' ', a => $term,);
 441                             $tmpauthor = MARC::Field->new('100',' ',' ', a => $occ,);
 442                             $tmprecord->append_fields($tmptitle);
 443                             $tmprecord->append_fields($tmpauthor);
 444                         }
 445                         $results_hash->{'RECORDS'}[$j] = $tmprecord->as_usmarc();
 446                     }
 447
 448                     # not an index scan
 449                     else {
 450                         $record = $results[ $i - 1 ]->record($j)->raw();
 451
 452                         # warn "RECORD $j:".$record;
 453                         $results_hash->{'RECORDS'}[$j] = $record;
 454
 455             # Fill the facets while we're looping, but only for the biblioserver
 456                         $facet_record = MARC::Record->new_from_usmarc($record)
 457                           if $servers[ $i - 1 ] =~ /biblioserver/;
 458
 459                     #warn $servers[$i-1]."\n".$record; #.$facet_record->title();
 460                         if ($facet_record) {
 461                             for ( my $k = 0 ; $k <= @$facets ; $k++ ) {
 462                                 ($facets->[$k]) or next;
 463                                 my @fields = map {$facet_record->field($_)} @{$facets->[$k]->{'tags'}} ;
 464                                 for my $field (@fields) {
 465                                     my @subfields = $field->subfields();
 466                                     for my $subfield (@subfields) {
 467                                         my ( $code, $data ) = @$subfield;
 468                                         ($code eq $facets->[$k]->{'subfield'}) or next;
 469                                         $facets_counter->{ $facets->[$k]->{'link_value'} }->{$data}++;
 470                                     }
 471                                 }
 472                                 $facets_info->{ $facets->[$k]->{'link_value'} }->{'label_value'} =
 473                                     $facets->[$k]->{'label_value'};
 474                                 $facets_info->{ $facets->[$k]->{'link_value'} }->{'expanded'} =
 475                                     $facets->[$k]->{'expanded'};
 476                             }
 477                         }
 478                     }
 479                 }
 480                 $results_hashref->{ $servers[ $i - 1 ] } = $results_hash;
 481             }
 482
 483             # warn "connection ", $i-1, ": $size hits";
 484             # warn $results[$i-1]->record(0)->render() if $size > 0;
 485
 486             # BUILD FACETS
 487             if ( $servers[ $i - 1 ] =~ /biblioserver/ ) {
 488                 for my $link_value (
 489                     sort { $facets_counter->{$b} <=> $facets_counter->{$a} }
 490                         keys %$facets_counter )
 491                 {
 492                     my $expandable;
 493                     my $number_of_facets;
 494                     my @this_facets_array;
 495                     for my $one_facet (
 496                         sort {
 497                              $facets_counter->{$link_value}->{$b}
 498                          <=> $facets_counter->{$link_value}->{$a}
 499                         } keys %{ $facets_counter->{$link_value} }
 500                       )
 501                     {
 502                         $number_of_facets++;
 503                         if (   ( $number_of_facets < 6 )
 504                             || ( $expanded_facet eq $link_value )
 505                             || ( $facets_info->{$link_value}->{'expanded'} ) )
 506                         {
 507
 508                       # Sanitize the link value ), ( will cause errors with CCL,
 509                             my $facet_link_value = $one_facet;
 510                             $facet_link_value =~ s/(\(|\))/ /g;
 511
 512                             # fix the length that will display in the label,
 513                             my $facet_label_value = $one_facet;
 514                             $facet_label_value =
 515                               substr( $one_facet, 0, 20 ) . "..."
 516                               unless length($facet_label_value) <= 20;
 517
 518                             # if it's a branch, label by the name, not the code,
 519                             if ( $link_value =~ /branch/ ) {
 520                                                                 if (defined $branches
 521                                                                         && ref($branches) eq "HASH"
 522                                                                         && defined $branches->{$one_facet}
 523                                                                         && ref ($branches->{$one_facet}) eq "HASH")
 524                                                                 {
 525                                         $facet_label_value =
 526                                                 $branches->{$one_facet}->{'branchname'};
 527                                                                 }
 528                                                                 else {
 529                                                                         $facet_label_value = "*";
 530                                                                 }
 531                             }
 532
 533                             # but we're down with the whole label being in the link's title.
 534                             push @this_facets_array, {
 535                                 facet_count       => $facets_counter->{$link_value}->{$one_facet},
 536                                 facet_label_value => $facet_label_value,
 537                                 facet_title_value => $one_facet,
 538                                 facet_link_value  => $facet_link_value,
 539                                 type_link_value   => $link_value,
 540                             };
 541                         }
 542                     }
 543
 544                     # handle expanded option
 545                     unless ( $facets_info->{$link_value}->{'expanded'} ) {
 546                         $expandable = 1
 547                           if ( ( $number_of_facets > 6 )
 548                             && ( $expanded_facet ne $link_value ) );
 549                     }
 550                     push @facets_loop, {
 551                         type_link_value => $link_value,
 552                         type_id         => $link_value . "_id",
 553                         "type_label_" . $facets_info->{$link_value}->{'label_value'} => 1,
 554                         facets     => \@this_facets_array,
 555                         expandable => $expandable,
 556                         expand     => $link_value,
 557                     } unless ( ($facets_info->{$link_value}->{'label_value'} =~ /Libraries/) and (C4::Context->preference('singleBranchMode')) );
 558                 }
 559             }
 560         }
 561     }
 562     return ( undef, $results_hashref, \@facets_loop );
 563 }
 564
 565 sub pazGetRecords {
 566     my (
 567         $koha_query,       $simple_query, $sort_by_ref,    $servers_ref,
 568         $results_per_page, $offset,       $expanded_facet, $branches,
 569         $query_type,       $scan
 570     ) = @_;
 571
 572     my $paz = C4::Search::PazPar2->new(C4::Context->config('pazpar2url'));
 573     $paz->init();
 574     $paz->search($simple_query);
 575     sleep 1;   # FIXME: WHY?
 576
 577     # do results
 578     my $results_hashref = {};
 579     my $stats = XMLin($paz->stat);
 580     my $results = XMLin($paz->show($offset, $results_per_page, 'work-title:1'), forcearray => 1);
 581
 582     # for a grouped search result, the number of hits
 583     # is the number of groups returned; 'bib_hits' will have
 584     # the total number of bibs.
 585     $results_hashref->{'biblioserver'}->{'hits'} = $results->{'merged'}->[0];
 586     $results_hashref->{'biblioserver'}->{'bib_hits'} = $stats->{'hits'};
 587
 588     HIT: foreach my $hit (@{ $results->{'hit'} }) {
 589         my $recid = $hit->{recid}->[0];
 590
 591         my $work_title = $hit->{'md-work-title'}->[0];
 592         my $work_author;
 593         if (exists $hit->{'md-work-author'}) {
 594             $work_author = $hit->{'md-work-author'}->[0];
 595         }
 596         my $group_label = (defined $work_author) ? "$work_title / $work_author" : $work_title;
 597
 598         my $result_group = {};
 599         $result_group->{'group_label'} = $group_label;
 600         $result_group->{'group_merge_key'} = $recid;
 601
 602         my $count = 1;
 603         if (exists $hit->{count}) {
 604             $count = $hit->{count}->[0];
 605         }
 606         $result_group->{'group_count'} = $count;
 607
 608         for (my $i = 0; $i < $count; $i++) {
 609             # FIXME -- may need to worry about diacritics here
 610             my $rec = $paz->record($recid, $i);
 611             push @{ $result_group->{'RECORDS'} }, $rec;
 612         }
 613
 614         push @{ $results_hashref->{'biblioserver'}->{'GROUPS'} }, $result_group;
 615     }
 616
 617     # pass through facets
 618     my $termlist_xml = $paz->termlist('author,subject');
 619     my $terms = XMLin($termlist_xml, forcearray => 1);
 620     my @facets_loop = ();
 621     #die Dumper($results);
 622 #    foreach my $list (sort keys %{ $terms->{'list'} }) {
 623 #        my @facets = ();
 624 #        foreach my $facet (sort @{ $terms->{'list'}->{$list}->{'term'} } ) {
 625 #            push @facets, {
 626 #                facet_label_value => $facet->{'name'}->[0],
 627 #            };
 628 #        }
 629 #        push @facets_loop, ( {
 630 #            type_label => $list,
 631 #            facets => \@facets,
 632 #        } );
 633 #    }
 634
 635     return ( undef, $results_hashref, \@facets_loop );
 636 }
 637
 638 # STOPWORDS
 639 sub _remove_stopwords {
 640     my ( $operand, $index ) = @_;
 641     my @stopwords_removed;
 642
 643     # phrase and exact-qualified indexes shouldn't have stopwords removed
 644     if ( $index !~ m/phr|ext/ ) {
 645
 646 # remove stopwords from operand : parse all stopwords & remove them (case insensitive)
 647 #       we use IsAlpha unicode definition, to deal correctly with diacritics.
 648 #       otherwise, a French word like "leçon" woudl be split into "le" "çon", "le"
 649 #       is a stopword, we'd get "çon" and wouldn't find anything...
 650 #
 651                 foreach ( keys %{ C4::Context->stopwords } ) {
 652                         next if ( $_ =~ /(and|or|not)/ );    # don't remove operators
 653                         if ( my ($matched) = ($operand =~
 654                                 /([^\X\p{isAlnum}]\Q$_\E[^\X\p{isAlnum}]|[^\X\p{isAlnum}]\Q$_\E$|^\Q$_\E[^\X\p{isAlnum}])/gi))
 655                         {
 656                                 $operand =~ s/\Q$matched\E/ /gi;
 657                                 push @stopwords_removed, $_;
 658                         }
 659                 }
 660         }
 661     return ( $operand, \@stopwords_removed );
 662 }
 663
 664 # TRUNCATION
 665 sub _detect_truncation {
 666     my ( $operand, $index ) = @_;
 667     my ( @nontruncated, @righttruncated, @lefttruncated, @rightlefttruncated,
 668         @regexpr );
 669     $operand =~ s/^ //g;
 670     my @wordlist = split( /\s/, $operand );
 671     foreach my $word (@wordlist) {
 672         if ( $word =~ s/^\*([^\*]+)\*$/$1/ ) {
 673             push @rightlefttruncated, $word;
 674         }
 675         elsif ( $word =~ s/^\*([^\*]+)$/$1/ ) {
 676             push @lefttruncated, $word;
 677         }
 678         elsif ( $word =~ s/^([^\*]+)\*$/$1/ ) {
 679             push @righttruncated, $word;
 680         }
 681         elsif ( index( $word, "*" ) < 0 ) {
 682             push @nontruncated, $word;
 683         }
 684         else {
 685             push @regexpr, $word;
 686         }
 687     }
 688     return (
 689         \@nontruncated,       \@righttruncated, \@lefttruncated,
 690         \@rightlefttruncated, \@regexpr
 691     );
 692 }
 693
 694 # STEMMING
 695 sub _build_stemmed_operand {
 696     my ($operand,$lang) = @_;
 697     require Lingua::Stem::Snowball ;
 698     my $stemmed_operand;
 699
 700     # If operand contains a digit, it is almost certainly an identifier, and should
 701     # not be stemmed.  This is particularly relevant for ISBNs and ISSNs, which
 702     # can contain the letter "X" - for example, _build_stemmend_operand would reduce
 703     # "014100018X" to "x ", which for a MARC21 database would bring up irrelevant
 704     # results (e.g., "23 x 29 cm." from the 300$c).  Bug 2098.
 705     return $operand if $operand =~ /\d/;
 706
 707 # FIXME: the locale should be set based on the user's language and/or search choice
 708     #warn "$lang";
 709     my $stemmer = Lingua::Stem::Snowball->new( lang => $lang,
 710                                                encoding => "UTF-8" );
 711
 712     my @words = split( / /, $operand );
 713     my @stems = $stemmer->stem(\@words);
 714     for my $stem (@stems) {
 715         $stemmed_operand .= "$stem";
 716         $stemmed_operand .= "?"
 717           unless ( $stem =~ /(and$|or$|not$)/ ) || ( length($stem) < 3 );
 718         $stemmed_operand .= " ";
 719     }
 720     warn "STEMMED OPERAND: $stemmed_operand" if $DEBUG;
 721     return $stemmed_operand;
 722 }
 723
 724 # FIELD WEIGHTING
 725 sub _build_weighted_query {
 726
 727 # FIELD WEIGHTING - This is largely experimental stuff. What I'm committing works
 728 # pretty well but could work much better if we had a smarter query parser
 729     my ( $operand, $stemmed_operand, $index ) = @_;
 730     my $stemming      = C4::Context->preference("QueryStemming")     || 0;
 731     my $weight_fields = C4::Context->preference("QueryWeightFields") || 0;
 732     my $fuzzy_enabled = C4::Context->preference("QueryFuzzy")        || 0;
 733
 734     my $weighted_query .= "(rk=(";    # Specifies that we're applying rank
 735
 736     # Keyword, or, no index specified
 737     if ( ( $index eq 'kw' ) || ( !$index ) ) {
 738         $weighted_query .=
 739           "Title-cover,ext,r1=\"$operand\"";    # exact title-cover
 740         $weighted_query .= " or ti,ext,r2=\"$operand\"";    # exact title
 741         $weighted_query .= " or ti,phr,r3=\"$operand\"";    # phrase title
 742           #$weighted_query .= " or any,ext,r4=$operand";               # exact any
 743           #$weighted_query .=" or kw,wrdl,r5=\"$operand\"";            # word list any
 744         $weighted_query .= " or wrdl,fuzzy,r8=\"$operand\""
 745           if $fuzzy_enabled;    # add fuzzy, word list
 746         $weighted_query .= " or wrdl,right-Truncation,r9=\"$stemmed_operand\""
 747           if ( $stemming and $stemmed_operand )
 748           ;                     # add stemming, right truncation
 749         $weighted_query .= " or wrdl,r9=\"$operand\"";
 750
 751         # embedded sorting: 0 a-z; 1 z-a
 752         # $weighted_query .= ") or (sort1,aut=1";
 753     }
 754
 755     # Barcode searches should skip this process
 756     elsif ( $index eq 'bc' ) {
 757         $weighted_query .= "bc=\"$operand\"";
 758     }
 759
 760     # Authority-number searches should skip this process
 761     elsif ( $index eq 'an' ) {
 762         $weighted_query .= "an=\"$operand\"";
 763     }
 764
 765     # If the index already has more than one qualifier, wrap the operand
 766     # in quotes and pass it back (assumption is that the user knows what they
 767     # are doing and won't appreciate us mucking up their query
 768     elsif ( $index =~ ',' ) {
 769         $weighted_query .= " $index=\"$operand\"";
 770     }
 771
 772     #TODO: build better cases based on specific search indexes
 773     else {
 774         $weighted_query .= " $index,ext,r1=\"$operand\"";    # exact index
 775           #$weighted_query .= " or (title-sort-az=0 or $index,startswithnt,st-word,r3=$operand #)";
 776         $weighted_query .= " or $index,phr,r3=\"$operand\"";    # phrase index
 777         $weighted_query .=
 778           " or $index,rt,wrdl,r3=\"$operand\"";    # word list index
 779     }
 780
 781     $weighted_query .= "))";                       # close rank specification
 782     return $weighted_query;
 783 }
 784
 785 =head2 getIndexes
 786
 787 Return an array with available indexes.
 788
 789 =cut
 790
 791 sub getIndexes{
 792     my @indexes = (
 793                     # biblio indexes
 794                     'ab',
 795                     'Abstract',
 796                     'acqdate',
 797                     'allrecords',
 798                     'an',
 799                     'Any',
 800                     'at',
 801                     'au',
 802                     'aub',
 803                     'aud',
 804                     'audience',
 805                     'auo',
 806                     'aut',
 807                     'Author',
 808                     'Author-in-order ',
 809                     'Author-personal-bibliography',
 810                     'Authority-Number',
 811                     'authtype',
 812                     'bc',
 813                     'biblionumber',
 814                     'bio',
 815                     'biography',
 816                     'callnum',
 817                     'cfn',
 818                     'Chronological-subdivision',
 819                     'cn-bib-source',
 820                     'cn-bib-sort',
 821                     'cn-class',
 822                     'cn-item',
 823                     'cn-prefix',
 824                     'cn-suffix',
 825                     'cpn',
 826                     'Code-institution',
 827                     'Conference-name',
 828                     'Conference-name-heading',
 829                     'Conference-name-see',
 830                     'Conference-name-seealso',
 831                     'Content-type',
 832                     'Control-number',
 833                     'copydate',
 834                     'Corporate-name',
 835                     'Corporate-name-heading',
 836                     'Corporate-name-see',
 837                     'Corporate-name-seealso',
 838                     'ctype',
 839                     'date-entered-on-file',
 840                     'Date-of-acquisition',
 841                     'Date-of-publication',
 842                     'Dewey-classification',
 843                     'extent',
 844                     'fic',
 845                     'fiction',
 846                     'Form-subdivision',
 847                     'format',
 848                     'Geographic-subdivision',
 849                     'he',
 850                     'Heading',
 851                     'Heading-use-main-or-added-entry',
 852                     'Heading-use-series-added-entry ',
 853                     'Heading-use-subject-added-entry',
 854                     'Host-item',
 855                     'id-other',
 856                     'Illustration-code',
 857                     'ISBN',
 858                     'isbn',
 859                     'ISSN',
 860                     'issn',
 861                     'itemtype',
 862                     'kw',
 863                     'Koha-Auth-Number',
 864                     'l-format',
 865                     'language',
 866                     'lc-card',
 867                     'LC-card-number',
 868                     'lcn',
 869                     'llength',
 870                     'ln',
 871                     'Local-classification',
 872                     'Local-number',
 873                     'Match-heading',
 874                     'Match-heading-see-from',
 875                     'Material-type',
 876                     'mc-itemtype',
 877                     'mc-rtype',
 878                     'mus',
 879                     'name',
 880                     'Name-geographic',
 881                     'Name-geographic-heading',
 882                     'Name-geographic-see',
 883                     'Name-geographic-seealso',
 884                     'nb',
 885                     'Note',
 886                     'notes',
 887                     'ns',
 888                     'nt',
 889                     'pb',
 890                     'Personal-name',
 891                     'Personal-name-heading',
 892                     'Personal-name-see',
 893                     'Personal-name-seealso',
 894                     'pl',
 895                     'Place-publication',
 896                     'pn',
 897                     'popularity',
 898                     'pubdate',
 899                     'Publisher',
 900                     'Record-type',
 901                     'rtype',
 902                     'se',
 903                     'See',
 904                     'See-also',
 905                     'sn',
 906                     'Stock-number',
 907                     'su',
 908                     'Subject',
 909                     'Subject-heading-thesaurus',
 910                     'Subject-name-personal',
 911                     'Subject-subdivision',
 912                     'Summary',
 913                     'Suppress',
 914                     'su-geo',
 915                     'su-na',
 916                     'su-to',
 917                     'su-ut',
 918                     'ut',
 919                     'Term-genre-form',
 920                     'Term-genre-form-heading',
 921                     'Term-genre-form-see',
 922                     'Term-genre-form-seealso',
 923                     'ti',
 924                     'Title',
 925                     'Title-cover',
 926                     'Title-series',
 927                     'Title-host',
 928                     'Title-uniform',
 929                     'Title-uniform-heading',
 930                     'Title-uniform-see',
 931                     'Title-uniform-seealso',
 932                     'totalissues',
 933                     'yr',
 934
 935                     # items indexes
 936                     'acqsource',
 937                     'barcode',
 938                     'bc',
 939                     'branch',
 940                     'ccode',
 941                     'classification-source',
 942                     'cn-sort',
 943                     'coded-location-qualifier',
 944                     'copynumber',
 945                     'damaged',
 946                     'datelastborrowed',
 947                     'datelastseen',
 948                     'holdingbranch',
 949                     'homebranch',
 950                     'issues',
 951                     'item',
 952                     'itemnumber',
 953                     'itype',
 954                     'Local-classification',
 955                     'location',
 956                     'lost',
 957                     'materials-specified',
 958                     'mc-ccode',
 959                     'mc-itype',
 960                     'mc-loc',
 961                     'notforloan',
 962                     'onloan',
 963                     'price',
 964                     'renewals',
 965                     'replacementprice',
 966                     'replacementpricedate',
 967                     'reserves',
 968                     'restricted',
 969                     'stack',
 970                     'uri',
 971                     'withdrawn',
 972
 973                     # subject related
 974                   );
 975
 976     return \@indexes;
 977 }
 978
 979 =head2 buildQuery
 980
 981 ( $error, $query,
 982 $simple_query, $query_cgi,
 983 $query_desc, $limit,
 984 $limit_cgi, $limit_desc,
 985 $stopwords_removed, $query_type ) = buildQuery ( $operators, $operands, $indexes, $limits, $sort_by, $scan, $lang);
 986
 987 Build queries and limits in CCL, CGI, Human,
 988 handle truncation, stemming, field weighting, stopwords, fuzziness, etc.
 989
 990 See verbose embedded documentation.
 991
 992
 993 =cut
 994
 995 sub buildQuery {
 996     my ( $operators, $operands, $indexes, $limits, $sort_by, $scan, $lang) = @_;
 997
 998     warn "---------\nEnter buildQuery\n---------" if $DEBUG;
 999
1000     # dereference
1001     my @operators = $operators ? @$operators : ();
1002     my @indexes   = $indexes   ? @$indexes   : ();
1003     my @operands  = $operands  ? @$operands  : ();
1004     my @limits    = $limits    ? @$limits    : ();
1005     my @sort_by   = $sort_by   ? @$sort_by   : ();
1006
1007     my $stemming         = C4::Context->preference("QueryStemming")        || 0;
1008     my $auto_truncation  = C4::Context->preference("QueryAutoTruncate")    || 0;
1009     my $weight_fields    = C4::Context->preference("QueryWeightFields")    || 0;
1010     my $fuzzy_enabled    = C4::Context->preference("QueryFuzzy")           || 0;
1011     my $remove_stopwords = C4::Context->preference("QueryRemoveStopwords") || 0;
1012
1013     # no stemming/weight/fuzzy in NoZebra
1014     if ( C4::Context->preference("NoZebra") ) {
1015         $stemming         = 0;
1016         $weight_fields    = 0;
1017         $fuzzy_enabled    = 0;
1018         $auto_truncation  = 0;
1019     }
1020
1021     my $query        = $operands[0];
1022     my $simple_query = $operands[0];
1023
1024     # initialize the variables we're passing back
1025     my $query_cgi;
1026     my $query_desc;
1027     my $query_type;
1028
1029     my $limit;
1030     my $limit_cgi;
1031     my $limit_desc;
1032
1033     my $stopwords_removed;    # flag to determine if stopwords have been removed
1034
1035     my $cclq;
1036     my $cclindexes = getIndexes();
1037     if( $query !~ /\s*ccl=/ ){
1038         for my $index (@$cclindexes){
1039             if($query =~ /($index)(,?\w)*[:=]/){
1040                 $cclq = 1;
1041             }
1042         }
1043         $query = "ccl=$query" if($cclq);
1044     }
1045
1046 # for handling ccl, cql, pqf queries in diagnostic mode, skip the rest of the steps
1047 # DIAGNOSTIC ONLY!!
1048     if ( $query =~ /^ccl=/ ) {
1049         my $q=$';
1050         # This is needed otherwise ccl= and &limit won't work together, and
1051         # this happens when selecting a subject on the opac-detail page
1052         if (@limits) {
1053             $q .= ' and '.join(' and ', @limits);
1054         }
1055         return ( undef, $q, $q, "q=ccl=$q", $q, '', '', '', '', 'ccl' );
1056     }
1057     if ( $query =~ /^cql=/ ) {
1058         return ( undef, $', $', "q=cql=$'", $', '', '', '', '', 'cql' );
1059     }
1060     if ( $query =~ /^pqf=/ ) {
1061         return ( undef, $', $', "q=pqf=$'", $', '', '', '', '', 'pqf' );
1062     }
1063
1064     # pass nested queries directly
1065     # FIXME: need better handling of some of these variables in this case
1066     # Nested queries aren't handled well and this implementation is flawed and causes users to be
1067     # unable to search for anything containing () commenting out, will be rewritten for 3.4.0
1068 #    if ( $query =~ /(\(|\))/ ) {
1069 #        return (
1070 #            undef,              $query, $simple_query, $query_cgi,
1071 #            $query,             $limit, $limit_cgi,    $limit_desc,
1072 #            $stopwords_removed, 'ccl'
1073 #        );
1074 #    }
1075
1076 # Form-based queries are non-nested and fixed depth, so we can easily modify the incoming
1077 # query operands and indexes and add stemming, truncation, field weighting, etc.
1078 # Once we do so, we'll end up with a value in $query, just like if we had an
1079 # incoming $query from the user
1080     else {
1081         $query = ""
1082           ; # clear it out so we can populate properly with field-weighted, stemmed, etc. query
1083         my $previous_operand
1084           ;    # a flag used to keep track if there was a previous query
1085                # if there was, we can apply the current operator
1086                # for every operand
1087         for ( my $i = 0 ; $i <= @operands ; $i++ ) {
1088
1089             # COMBINE OPERANDS, INDEXES AND OPERATORS
1090             if ( $operands[$i] ) {
1091                 $operands[$i]=~s/^\s+//;
1092
1093               # A flag to determine whether or not to add the index to the query
1094                 my $indexes_set;
1095
1096 # If the user is sophisticated enough to specify an index, turn off field weighting, stemming, and stopword handling
1097                 if ( $operands[$i] =~ /\w(:|=)/ || $scan ) {
1098                     $weight_fields    = 0;
1099                     $stemming         = 0;
1100                     $remove_stopwords = 0;
1101                 } else {
1102                     $operands[$i] =~ s/\?/{?}/g; # need to escape question marks
1103                 }
1104                 my $operand = $operands[$i];
1105                 my $index   = $indexes[$i];
1106
1107                 # Add index-specific attributes
1108                 # Date of Publication
1109                 if ( $index eq 'yr' ) {
1110                     $index .= ",st-numeric";
1111                     $indexes_set++;
1112                                         $stemming = $auto_truncation = $weight_fields = $fuzzy_enabled = $remove_stopwords = 0;
1113                 }
1114
1115                 # Date of Acquisition
1116                 elsif ( $index eq 'acqdate' ) {
1117                     $index .= ",st-date-normalized";
1118                     $indexes_set++;
1119                                         $stemming = $auto_truncation = $weight_fields = $fuzzy_enabled = $remove_stopwords = 0;
1120                 }
1121                 # ISBN,ISSN,Standard Number, don't need special treatment
1122                 elsif ( $index eq 'nb' || $index eq 'ns' ) {
1123                     (
1124                         $stemming,      $auto_truncation,
1125                         $weight_fields, $fuzzy_enabled,
1126                         $remove_stopwords
1127                     ) = ( 0, 0, 0, 0, 0 );
1128
1129                 }
1130
1131                 if(not $index){
1132                     $index = 'kw';
1133                 }
1134
1135                 # Set default structure attribute (word list)
1136                 my $struct_attr = q{};
1137                 unless ( $indexes_set || !$index || $index =~ /(st-|phr|ext|wrdl|nb|ns)/ ) {
1138                     $struct_attr = ",wrdl";
1139                 }
1140
1141                 # Some helpful index variants
1142                 my $index_plus       = $index . $struct_attr . ':';
1143                 my $index_plus_comma = $index . $struct_attr . ',';
1144
1145                 # Remove Stopwords
1146                 if ($remove_stopwords) {
1147                     ( $operand, $stopwords_removed ) =
1148                       _remove_stopwords( $operand, $index );
1149                     warn "OPERAND w/out STOPWORDS: >$operand<" if $DEBUG;
1150                     warn "REMOVED STOPWORDS: @$stopwords_removed"
1151                       if ( $stopwords_removed && $DEBUG );
1152                 }
1153
1154                 if ($auto_truncation){
1155                                         unless ( $index =~ /(st-|phr|ext)/ ) {
1156                                                 #FIXME only valid with LTR scripts
1157                                                 $operand=join(" ",map{
1158                                                                                         (index($_,"*")>0?"$_":"$_*")
1159                                                                                          }split (/\s+/,$operand));
1160                                                 warn $operand if $DEBUG;
1161                                         }
1162                                 }
1163
1164                 # Detect Truncation
1165                 my $truncated_operand;
1166                 my( $nontruncated, $righttruncated, $lefttruncated,
1167                     $rightlefttruncated, $regexpr
1168                 ) = _detect_truncation( $operand, $index );
1169                 warn
1170 "TRUNCATION: NON:>@$nontruncated< RIGHT:>@$righttruncated< LEFT:>@$lefttruncated< RIGHTLEFT:>@$rightlefttruncated< REGEX:>@$regexpr<"
1171                   if $DEBUG;
1172
1173                 # Apply Truncation
1174                 if (
1175                     scalar(@$righttruncated) + scalar(@$lefttruncated) +
1176                     scalar(@$rightlefttruncated) > 0 )
1177                 {
1178
1179                # Don't field weight or add the index to the query, we do it here
1180                     $indexes_set = 1;
1181                     undef $weight_fields;
1182                     my $previous_truncation_operand;
1183                     if (scalar @$nontruncated) {
1184                         $truncated_operand .= "$index_plus @$nontruncated ";
1185                         $previous_truncation_operand = 1;
1186                     }
1187                     if (scalar @$righttruncated) {
1188                         $truncated_operand .= "and " if $previous_truncation_operand;
1189                         $truncated_operand .= $index_plus_comma . "rtrn:@$righttruncated ";
1190                         $previous_truncation_operand = 1;
1191                     }
1192                     if (scalar @$lefttruncated) {
1193                         $truncated_operand .= "and " if $previous_truncation_operand;
1194                         $truncated_operand .= $index_plus_comma . "ltrn:@$lefttruncated ";
1195                         $previous_truncation_operand = 1;
1196                     }
1197                     if (scalar @$rightlefttruncated) {
1198                         $truncated_operand .= "and " if $previous_truncation_operand;
1199                         $truncated_operand .= $index_plus_comma . "rltrn:@$rightlefttruncated ";
1200                         $previous_truncation_operand = 1;
1201                     }
1202                 }
1203                 $operand = $truncated_operand if $truncated_operand;
1204                 warn "TRUNCATED OPERAND: >$truncated_operand<" if $DEBUG;
1205
1206                 # Handle Stemming
1207                 my $stemmed_operand;
1208                 $stemmed_operand = _build_stemmed_operand($operand, $lang)
1209                                                                                 if $stemming;
1210
1211                 warn "STEMMED OPERAND: >$stemmed_operand<" if $DEBUG;
1212
1213                 # Handle Field Weighting
1214                 my $weighted_operand;
1215                 if ($weight_fields) {
1216                     $weighted_operand = _build_weighted_query( $operand, $stemmed_operand, $index );
1217                     $operand = $weighted_operand;
1218                     $indexes_set = 1;
1219                 }
1220
1221                 warn "FIELD WEIGHTED OPERAND: >$weighted_operand<" if $DEBUG;
1222
1223                 # If there's a previous operand, we need to add an operator
1224                 if ($previous_operand) {
1225
1226                     # User-specified operator
1227                     if ( $operators[ $i - 1 ] ) {
1228                         $query     .= " $operators[$i-1] ";
1229                         $query     .= " $index_plus " unless $indexes_set;
1230                         $query     .= " $operand";
1231                         $query_cgi .= "&op=$operators[$i-1]";
1232                         $query_cgi .= "&idx=$index" if $index;
1233                         $query_cgi .= "&q=$operands[$i]" if $operands[$i];
1234                         $query_desc .=
1235                           " $operators[$i-1] $index_plus $operands[$i]";
1236                     }
1237
1238                     # Default operator is and
1239                     else {
1240                         $query      .= " and ";
1241                         $query      .= "$index_plus " unless $indexes_set;
1242                         $query      .= "$operand";
1243                         $query_cgi  .= "&op=and&idx=$index" if $index;
1244                         $query_cgi  .= "&q=$operands[$i]" if $operands[$i];
1245                         $query_desc .= " and $index_plus $operands[$i]";
1246                     }
1247                 }
1248
1249                 # There isn't a pervious operand, don't need an operator
1250                 else {
1251
1252                     # Field-weighted queries already have indexes set
1253                     $query .= " $index_plus " unless $indexes_set;
1254                     $query .= $operand;
1255                     $query_desc .= " $index_plus $operands[$i]";
1256                     $query_cgi  .= "&idx=$index" if $index;
1257                     $query_cgi  .= "&q=$operands[$i]" if $operands[$i];
1258                     $previous_operand = 1;
1259                 }
1260             }    #/if $operands
1261         }    # /for
1262     }
1263     warn "QUERY BEFORE LIMITS: >$query<" if $DEBUG;
1264
1265     # add limits
1266     my $group_OR_limits;
1267     my $availability_limit;
1268     foreach my $this_limit (@limits) {
1269         if ( $this_limit =~ /available/ ) {
1270 #
1271 ## 'available' is defined as (items.onloan is NULL) and (items.itemlost = 0)
1272 ## In English:
1273 ## all records not indexed in the onloan register (zebra) and all records with a value of lost equal to 0
1274             $availability_limit .=
1275 "( ( allrecords,AlwaysMatches='' not onloan,AlwaysMatches='') and (lost,st-numeric=0) )"; #or ( allrecords,AlwaysMatches='' not lost,AlwaysMatches='')) )";
1276             $limit_cgi  .= "&limit=available";
1277             $limit_desc .= "";
1278         }
1279
1280         # group_OR_limits, prefixed by mc-
1281         # OR every member of the group
1282         elsif ( $this_limit =~ /mc/ ) {
1283
1284             if ( $this_limit =~ /mc-ccode:/ ) {
1285                 # in case the mc-ccode value has complicating chars like ()'s inside it we wrap in quotes
1286                 $this_limit =~ tr/"//d;
1287                 my ($k,$v) = split(/:/, $this_limit,2);
1288                 $this_limit = $k.":\"".$v."\"";
1289             }
1290
1291             $group_OR_limits .= " or " if $group_OR_limits;
1292             $limit_desc      .= " or " if $group_OR_limits;
1293             $group_OR_limits .= "$this_limit";
1294             $limit_cgi       .= "&limit=$this_limit";
1295             $limit_desc      .= " $this_limit";
1296         }
1297
1298         # Regular old limits
1299         else {
1300             $limit .= " and " if $limit || $query;
1301             $limit      .= "$this_limit";
1302             $limit_cgi  .= "&limit=$this_limit";
1303             if ($this_limit =~ /^branch:(.+)/) {
1304                 my $branchcode = $1;
1305                 my $branchname = GetBranchName($branchcode);
1306                 if (defined $branchname) {
1307                     $limit_desc .= " branch:$branchname";
1308                 } else {
1309                     $limit_desc .= " $this_limit";
1310                 }
1311             } else {
1312                 $limit_desc .= " $this_limit";
1313             }
1314         }
1315     }
1316     if ($group_OR_limits) {
1317         $limit .= " and " if ( $query || $limit );
1318         $limit .= "($group_OR_limits)";
1319     }
1320     if ($availability_limit) {
1321         $limit .= " and " if ( $query || $limit );
1322         $limit .= "($availability_limit)";
1323     }
1324
1325     # Normalize the query and limit strings
1326     # This is flawed , means we can't search anything with : in it
1327     # if user wants to do ccl or cql, start the query with that
1328 #    $query =~ s/:/=/g;
1329     $query =~ s/(?<=(ti|au|pb|su|an|kw|mc|nb|ns)):/=/g;
1330     $query =~ s/(?<=(wrdl)):/=/g;
1331     $query =~ s/(?<=(trn|phr)):/=/g;
1332     $limit =~ s/:/=/g;
1333     for ( $query, $query_desc, $limit, $limit_desc ) {
1334         s/  +/ /g;    # remove extra spaces
1335         s/^ //g;     # remove any beginning spaces
1336         s/ $//g;     # remove any ending spaces
1337         s/==/=/g;    # remove double == from query
1338     }
1339     $query_cgi =~ s/^&//; # remove unnecessary & from beginning of the query cgi
1340
1341     for ($query_cgi,$simple_query) {
1342         s/"//g;
1343     }
1344     # append the limit to the query
1345     $query .= " " . $limit;
1346
1347     # Warnings if DEBUG
1348     if ($DEBUG) {
1349         warn "QUERY:" . $query;
1350         warn "QUERY CGI:" . $query_cgi;
1351         warn "QUERY DESC:" . $query_desc;
1352         warn "LIMIT:" . $limit;
1353         warn "LIMIT CGI:" . $limit_cgi;
1354         warn "LIMIT DESC:" . $limit_desc;
1355         warn "---------\nLeave buildQuery\n---------";
1356     }
1357     return (
1358         undef,              $query, $simple_query, $query_cgi,
1359         $query_desc,        $limit, $limit_cgi,    $limit_desc,
1360         $stopwords_removed, $query_type
1361     );
1362 }
1363
1364 =head2 searchResults
1365
1366   my @search_results = searchResults($search_context, $searchdesc, $hits,
1367                                      $results_per_page, $offset, $scan,
1368                                      @marcresults, $hidelostitems);
1369
1370 Format results in a form suitable for passing to the template
1371
1372 =cut
1373
1374 # IMO this subroutine is pretty messy still -- it's responsible for
1375 # building the HTML output for the template
1376 sub searchResults {
1377     my ( $search_context, $searchdesc, $hits, $results_per_page, $offset, $scan, @marcresults, $hidelostitems ) = @_;
1378     my $dbh = C4::Context->dbh;
1379     my @newresults;
1380
1381     $search_context = 'opac' unless $search_context eq 'opac' or $search_context eq 'intranet';
1382
1383     #Build branchnames hash
1384     #find branchname
1385     #get branch information.....
1386     my %branches;
1387     my $bsth =$dbh->prepare("SELECT branchcode,branchname FROM branches"); # FIXME : use C4::Branch::GetBranches
1388     $bsth->execute();
1389     while ( my $bdata = $bsth->fetchrow_hashref ) {
1390         $branches{ $bdata->{'branchcode'} } = $bdata->{'branchname'};
1391     }
1392 # FIXME - We build an authorised values hash here, using the default framework
1393 # though it is possible to have different authvals for different fws.
1394
1395     my $shelflocations =GetKohaAuthorisedValues('items.location','');
1396
1397     # get notforloan authorised value list (see $shelflocations  FIXME)
1398     my $notforloan_authorised_value = GetAuthValCode('items.notforloan','');
1399
1400     #Build itemtype hash
1401     #find itemtype & itemtype image
1402     my %itemtypes;
1403     $bsth =
1404       $dbh->prepare(
1405         "SELECT itemtype,description,imageurl,summary,notforloan FROM itemtypes"
1406       );
1407     $bsth->execute();
1408     while ( my $bdata = $bsth->fetchrow_hashref ) {
1409                 foreach (qw(description imageurl summary notforloan)) {
1410                 $itemtypes{ $bdata->{'itemtype'} }->{$_} = $bdata->{$_};
1411                 }
1412     }
1413
1414     #search item field code
1415     my $sth =
1416       $dbh->prepare(
1417 "SELECT tagfield FROM marc_subfield_structure WHERE kohafield LIKE 'items.itemnumber'"
1418       );
1419     $sth->execute;
1420     my ($itemtag) = $sth->fetchrow;
1421
1422     ## find column names of items related to MARC
1423     my $sth2 = $dbh->prepare("SHOW COLUMNS FROM items");
1424     $sth2->execute;
1425     my %subfieldstosearch;
1426     while ( ( my $column ) = $sth2->fetchrow ) {
1427         my ( $tagfield, $tagsubfield ) =
1428           &GetMarcFromKohaField( "items." . $column, "" );
1429         $subfieldstosearch{$column} = $tagsubfield;
1430     }
1431
1432     # handle which records to actually retrieve
1433     my $times;
1434     if ( $hits && $offset + $results_per_page <= $hits ) {
1435         $times = $offset + $results_per_page;
1436     }
1437     else {
1438         $times = $hits;  # FIXME: if $hits is undefined, why do we want to equal it?
1439     }
1440
1441         my $marcflavour = C4::Context->preference("marcflavour");
1442     # We get the biblionumber position in MARC
1443     my ($bibliotag,$bibliosubf)=GetMarcFromKohaField('biblio.biblionumber','');
1444     my $fw;
1445
1446     # loop through all of the records we've retrieved
1447     for ( my $i = $offset ; $i <= $times - 1 ; $i++ ) {
1448         my $marcrecord = MARC::File::USMARC::decode( $marcresults[$i] );
1449         $fw = $scan
1450              ? undef
1451              : $bibliotag < 10
1452                ? GetFrameworkCode($marcrecord->field($bibliotag)->data)
1453                : GetFrameworkCode($marcrecord->subfield($bibliotag,$bibliosubf));
1454         my $oldbiblio = TransformMarcToKoha( $dbh, $marcrecord, $fw );
1455         $oldbiblio->{subtitle} = GetRecordValue('subtitle', $marcrecord, $fw);
1456         $oldbiblio->{result_number} = $i + 1;
1457
1458         # add imageurl to itemtype if there is one
1459         $oldbiblio->{imageurl} = getitemtypeimagelocation( $search_context, $itemtypes{ $oldbiblio->{itemtype} }->{imageurl} );
1460
1461         $oldbiblio->{'authorised_value_images'}  = C4::Items::get_authorised_value_images( C4::Biblio::get_biblio_authorised_values( $oldbiblio->{'biblionumber'}, $marcrecord ) );
1462                 $oldbiblio->{normalized_upc}  = GetNormalizedUPC(       $marcrecord,$marcflavour);
1463                 $oldbiblio->{normalized_ean}  = GetNormalizedEAN(       $marcrecord,$marcflavour);
1464                 $oldbiblio->{normalized_oclc} = GetNormalizedOCLCNumber($marcrecord,$marcflavour);
1465                 $oldbiblio->{normalized_isbn} = GetNormalizedISBN(undef,$marcrecord,$marcflavour);
1466                 $oldbiblio->{content_identifier_exists} = 1 if ($oldbiblio->{normalized_isbn} or $oldbiblio->{normalized_oclc} or $oldbiblio->{normalized_ean} or $oldbiblio->{normalized_upc});
1467
1468                 # edition information, if any
1469         $oldbiblio->{edition} = $oldbiblio->{editionstatement};
1470                 $oldbiblio->{description} = $itemtypes{ $oldbiblio->{itemtype} }->{description};
1471  # Build summary if there is one (the summary is defined in the itemtypes table)
1472  # FIXME: is this used anywhere, I think it can be commented out? -- JF
1473         if ( $itemtypes{ $oldbiblio->{itemtype} }->{summary} ) {
1474             my $summary = $itemtypes{ $oldbiblio->{itemtype} }->{summary};
1475             my @fields  = $marcrecord->fields();
1476
1477             my $newsummary;
1478             foreach my $line ( "$summary\n" =~ /(.*)\n/g ){
1479                 my $tags = {};
1480                 foreach my $tag ( $line =~ /\[(\d{3}[\w|\d])\]/ ) {
1481                     $tag =~ /(.{3})(.)/;
1482                     if($marcrecord->field($1)){
1483                         my @abc = $marcrecord->field($1)->subfield($2);
1484                         $tags->{$tag} = $#abc + 1 ;
1485                     }
1486                 }
1487
1488                 # We catch how many times to repeat this line
1489                 my $max = 0;
1490                 foreach my $tag (keys(%$tags)){
1491                     $max = $tags->{$tag} if($tags->{$tag} > $max);
1492                  }
1493
1494                 # we replace, and repeat each line
1495                 for (my $i = 0 ; $i < $max ; $i++){
1496                     my $newline = $line;
1497
1498                     foreach my $tag ( $newline =~ /\[(\d{3}[\w|\d])\]/g ) {
1499                         $tag =~ /(.{3})(.)/;
1500
1501                         if($marcrecord->field($1)){
1502                             my @repl = $marcrecord->field($1)->subfield($2);
1503                             my $subfieldvalue = $repl[$i];
1504
1505                             if (! utf8::is_utf8($subfieldvalue)) {
1506                                 utf8::decode($subfieldvalue);
1507                             }
1508
1509                              $newline =~ s/\[$tag\]/$subfieldvalue/g;
1510                         }
1511                     }
1512                     $newsummary .= "$newline\n";
1513                 }
1514             }
1515
1516             $newsummary =~ s/\[(.*?)]//g;
1517             $newsummary =~ s/\n/<br\/>/g;
1518             $oldbiblio->{summary} = $newsummary;
1519         }
1520
1521         # Pull out the items fields
1522         my @fields = $marcrecord->field($itemtag);
1523
1524         # Setting item statuses for display
1525         my @available_items_loop;
1526         my @onloan_items_loop;
1527         my @other_items_loop;
1528
1529         my $available_items;
1530         my $onloan_items;
1531         my $other_items;
1532
1533         my $ordered_count         = 0;
1534         my $available_count       = 0;
1535         my $onloan_count          = 0;
1536         my $longoverdue_count     = 0;
1537         my $other_count           = 0;
1538         my $wthdrawn_count        = 0;
1539         my $itemlost_count        = 0;
1540         my $itembinding_count     = 0;
1541         my $itemdamaged_count     = 0;
1542         my $item_in_transit_count = 0;
1543         my $can_place_holds       = 0;
1544         my $item_onhold_count     = 0;
1545         my $items_count           = scalar(@fields);
1546         my $maxitems =
1547           ( C4::Context->preference('maxItemsinSearchResults') )
1548           ? C4::Context->preference('maxItemsinSearchResults') - 1
1549           : 1;
1550
1551         # loop through every item
1552         foreach my $field (@fields) {
1553             my $item;
1554
1555             # populate the items hash
1556             foreach my $code ( keys %subfieldstosearch ) {
1557                 $item->{$code} = $field->subfield( $subfieldstosearch{$code} );
1558             }
1559
1560                         my $hbranch     = C4::Context->preference('HomeOrHoldingBranch') eq 'homebranch' ? 'homebranch'    : 'holdingbranch';
1561                         my $otherbranch = C4::Context->preference('HomeOrHoldingBranch') eq 'homebranch' ? 'holdingbranch' : 'homebranch';
1562             # set item's branch name, use HomeOrHoldingBranch syspref first, fall back to the other one
1563             if ($item->{$hbranch}) {
1564                 $item->{'branchname'} = $branches{$item->{$hbranch}};
1565             }
1566             elsif ($item->{$otherbranch}) {     # Last resort
1567                 $item->{'branchname'} = $branches{$item->{$otherbranch}};
1568             }
1569
1570                         my $prefix = $item->{$hbranch} . '--' . $item->{location} . $item->{itype} . $item->{itemcallnumber};
1571 # For each grouping of items (onloan, available, unavailable), we build a key to store relevant info about that item
1572             if ( $item->{onloan} ) {
1573                 $onloan_count++;
1574                                 my $key = $prefix . $item->{onloan} . $item->{barcode};
1575                                 $onloan_items->{$key}->{due_date} = format_date($item->{onloan});
1576                                 $onloan_items->{$key}->{count}++ if $item->{$hbranch};
1577                                 $onloan_items->{$key}->{branchname} = $item->{branchname};
1578                                 $onloan_items->{$key}->{location} = $shelflocations->{ $item->{location} };
1579                                 $onloan_items->{$key}->{itemcallnumber} = $item->{itemcallnumber};
1580                                 $onloan_items->{$key}->{imageurl} = getitemtypeimagelocation( $search_context, $itemtypes{ $item->{itype} }->{imageurl} );
1581                 # if something's checked out and lost, mark it as 'long overdue'
1582                 if ( $item->{itemlost} ) {
1583                     $onloan_items->{$prefix}->{longoverdue}++;
1584                     $longoverdue_count++;
1585                 } else {        # can place holds as long as item isn't lost
1586                     $can_place_holds = 1;
1587                 }
1588             }
1589
1590          # items not on loan, but still unavailable ( lost, withdrawn, damaged )
1591             else {
1592
1593                 # item is on order
1594                 if ( $item->{notforloan} == -1 ) {
1595                     $ordered_count++;
1596                 }
1597
1598                 # is item in transit?
1599                 my $transfertwhen = '';
1600                 my ($transfertfrom, $transfertto);
1601
1602                 # is item on the reserve shelf?
1603                 my $reservestatus = 0;
1604                 my $reserveitem;
1605
1606                 unless ($item->{wthdrawn}
1607                         || $item->{itemlost}
1608                         || $item->{damaged}
1609                         || $item->{notforloan}
1610                         || $items_count > 20) {
1611
1612                     # A couple heuristics to limit how many times
1613                     # we query the database for item transfer information, sacrificing
1614                     # accuracy in some cases for speed;
1615                     #
1616                     # 1. don't query if item has one of the other statuses
1617                     # 2. don't check transit status if the bib has
1618                     #    more than 20 items
1619                     #
1620                     # FIXME: to avoid having the query the database like this, and to make
1621                     #        the in transit status count as unavailable for search limiting,
1622                     #        should map transit status to record indexed in Zebra.
1623                     #
1624                     ($transfertwhen, $transfertfrom, $transfertto) = C4::Circulation::GetTransfers($item->{itemnumber});
1625                     ($reservestatus, $reserveitem) = C4::Reserves::CheckReserves($item->{itemnumber});
1626                 }
1627
1628                 # item is withdrawn, lost or damaged
1629                 if (   $item->{wthdrawn}
1630                     || $item->{itemlost}
1631                     || $item->{damaged}
1632                     || $item->{notforloan} > 0
1633                     || $reservestatus eq 'Waiting'
1634                     || ($transfertwhen ne ''))
1635                 {
1636                     $wthdrawn_count++        if $item->{wthdrawn};
1637                     $itemlost_count++        if $item->{itemlost};
1638                     $itemdamaged_count++     if $item->{damaged};
1639                     $item_in_transit_count++ if $transfertwhen ne '';
1640                     $item_onhold_count++     if $reservestatus eq 'Waiting';
1641                     $item->{status} = $item->{wthdrawn} . "-" . $item->{itemlost} . "-" . $item->{damaged} . "-" . $item->{notforloan};
1642                     $other_count++;
1643
1644                                         my $key = $prefix . $item->{status};
1645                                         foreach (qw(wthdrawn itemlost damaged branchname itemcallnumber)) {
1646                         $other_items->{$key}->{$_} = $item->{$_};
1647                                         }
1648                     $other_items->{$key}->{intransit} = ($transfertwhen ne '') ? 1 : 0;
1649                     $other_items->{$key}->{onhold} = ($reservestatus) ? 1 : 0;
1650                                         $other_items->{$key}->{notforloan} = GetAuthorisedValueDesc('','',$item->{notforloan},'','',$notforloan_authorised_value) if $notforloan_authorised_value;
1651                                         $other_items->{$key}->{count}++ if $item->{$hbranch};
1652                                         $other_items->{$key}->{location} = $shelflocations->{ $item->{location} };
1653                                         $other_items->{$key}->{imageurl} = getitemtypeimagelocation( $search_context, $itemtypes{ $item->{itype} }->{imageurl} );
1654                 }
1655                 # item is available
1656                 else {
1657                     $can_place_holds = 1;
1658                     $available_count++;
1659                                         $available_items->{$prefix}->{count}++ if $item->{$hbranch};
1660                                         foreach (qw(branchname itemcallnumber)) {
1661                         $available_items->{$prefix}->{$_} = $item->{$_};
1662                                         }
1663                                         $available_items->{$prefix}->{location} = $shelflocations->{ $item->{location} };
1664                                         $available_items->{$prefix}->{imageurl} = getitemtypeimagelocation( $search_context, $itemtypes{ $item->{itype} }->{imageurl} );
1665                 }
1666             }
1667         }    # notforloan, item level and biblioitem level
1668         my ( $availableitemscount, $onloanitemscount, $otheritemscount );
1669         $maxitems =
1670           ( C4::Context->preference('maxItemsinSearchResults') )
1671           ? C4::Context->preference('maxItemsinSearchResults') - 1
1672           : 1;
1673         for my $key ( sort keys %$onloan_items ) {
1674             (++$onloanitemscount > $maxitems) and last;
1675             push @onloan_items_loop, $onloan_items->{$key};
1676         }
1677         for my $key ( sort keys %$other_items ) {
1678             (++$otheritemscount > $maxitems) and last;
1679             push @other_items_loop, $other_items->{$key};
1680         }
1681         for my $key ( sort keys %$available_items ) {
1682             (++$availableitemscount > $maxitems) and last;
1683             push @available_items_loop, $available_items->{$key}
1684         }
1685
1686         # XSLT processing of some stuff
1687         use C4::Charset;
1688         SetUTF8Flag($marcrecord);
1689         $debug && warn $marcrecord->as_formatted;
1690         if (!$scan && $search_context eq 'opac' && C4::Context->preference("OPACXSLTResultsDisplay")) {
1691             # FIXME note that XSLTResultsDisplay (use of XSLT to format staff interface bib search results)
1692             # is not implemented yet
1693             $oldbiblio->{XSLTResultsRecord} = XSLTParse4Display($oldbiblio->{biblionumber}, $marcrecord, 'Results',
1694                                                                 $search_context, 1);
1695                 # the last parameter tells Koha to clean up the problematic ampersand entities that Zebra outputs
1696
1697         }
1698
1699         # if biblio level itypes are used and itemtype is notforloan, it can't be reserved either
1700         if (!C4::Context->preference("item-level_itypes")) {
1701             if ($itemtypes{ $oldbiblio->{itemtype} }->{notforloan}) {
1702                 $can_place_holds = 0;
1703             }
1704         }
1705         $oldbiblio->{norequests} = 1 unless $can_place_holds;
1706         $oldbiblio->{itemsplural}          = 1 if $items_count > 1;
1707         $oldbiblio->{items_count}          = $items_count;
1708         $oldbiblio->{available_items_loop} = \@available_items_loop;
1709         $oldbiblio->{onloan_items_loop}    = \@onloan_items_loop;
1710         $oldbiblio->{other_items_loop}     = \@other_items_loop;
1711         $oldbiblio->{availablecount}       = $available_count;
1712         $oldbiblio->{availableplural}      = 1 if $available_count > 1;
1713         $oldbiblio->{onloancount}          = $onloan_count;
1714         $oldbiblio->{onloanplural}         = 1 if $onloan_count > 1;
1715         $oldbiblio->{othercount}           = $other_count;
1716         $oldbiblio->{otherplural}          = 1 if $other_count > 1;
1717         $oldbiblio->{wthdrawncount}        = $wthdrawn_count;
1718         $oldbiblio->{itemlostcount}        = $itemlost_count;
1719         $oldbiblio->{damagedcount}         = $itemdamaged_count;
1720         $oldbiblio->{intransitcount}       = $item_in_transit_count;
1721         $oldbiblio->{onholdcount}          = $item_onhold_count;
1722         $oldbiblio->{orderedcount}         = $ordered_count;
1723         $oldbiblio->{isbn} =~
1724           s/-//g;    # deleting - in isbn to enable amazon content
1725         push( @newresults, $oldbiblio )
1726             if(not $hidelostitems
1727                or (($items_count > $itemlost_count )
1728                     && $hidelostitems));
1729     }
1730
1731     return @newresults;
1732 }
1733
1734 =head2 SearchAcquisitions
1735     Search for acquisitions
1736 =cut
1737
1738 sub SearchAcquisitions{
1739     my ($datebegin, $dateend, $itemtypes,$criteria, $orderby) = @_;
1740
1741     my $dbh=C4::Context->dbh;
1742     # Variable initialization
1743     my $str=qq|
1744     SELECT marcxml
1745     FROM biblio
1746     LEFT JOIN biblioitems ON biblioitems.biblionumber=biblio.biblionumber
1747     LEFT JOIN items ON items.biblionumber=biblio.biblionumber
1748     WHERE dateaccessioned BETWEEN ? AND ?
1749     |;
1750
1751     my (@params,@loopcriteria);
1752
1753     push @params, $datebegin->output("iso");
1754     push @params, $dateend->output("iso");
1755
1756     if (scalar(@$itemtypes)>0 and $criteria ne "itemtype" ){
1757         if(C4::Context->preference("item-level_itypes")){
1758             $str .= "AND items.itype IN (?".( ',?' x scalar @$itemtypes - 1 ).") ";
1759         }else{
1760             $str .= "AND biblioitems.itemtype IN (?".( ',?' x scalar @$itemtypes - 1 ).") ";
1761         }
1762         push @params, @$itemtypes;
1763     }
1764
1765     if ($criteria =~/itemtype/){
1766         if(C4::Context->preference("item-level_itypes")){
1767             $str .= "AND items.itype=? ";
1768         }else{
1769             $str .= "AND biblioitems.itemtype=? ";
1770         }
1771
1772         if(scalar(@$itemtypes) == 0){
1773             my $itypes = GetItemTypes();
1774             for my $key (keys %$itypes){
1775                 push @$itemtypes, $key;
1776             }
1777         }
1778
1779         @loopcriteria= @$itemtypes;
1780     }elsif ($criteria=~/itemcallnumber/){
1781         $str .= "AND (items.itemcallnumber LIKE CONCAT(?,'%')
1782                  OR items.itemcallnumber is NULL
1783                  OR items.itemcallnumber = '')";
1784
1785         @loopcriteria = ("AA".."ZZ", "") unless (scalar(@loopcriteria)>0);
1786     }else {
1787         $str .= "AND biblio.title LIKE CONCAT(?,'%') ";
1788         @loopcriteria = ("A".."z") unless (scalar(@loopcriteria)>0);
1789     }
1790
1791     if ($orderby =~ /date_desc/){
1792         $str.=" ORDER BY dateaccessioned DESC";
1793     } else {
1794         $str.=" ORDER BY title";
1795     }
1796
1797     my $qdataacquisitions=$dbh->prepare($str);
1798
1799     my @loopacquisitions;
1800     foreach my $value(@loopcriteria){
1801         push @params,$value;
1802         my %cell;
1803         $cell{"title"}=$value;
1804         $cell{"titlecode"}=$value;
1805
1806         eval{$qdataacquisitions->execute(@params);};
1807
1808         if ($@){ warn "recentacquisitions Error :$@";}
1809         else {
1810             my @loopdata;
1811             while (my $data=$qdataacquisitions->fetchrow_hashref){
1812                 push @loopdata, {"summary"=>GetBiblioSummary( $data->{'marcxml'} ) };
1813             }
1814             $cell{"loopdata"}=\@loopdata;
1815         }
1816         push @loopacquisitions,\%cell if (scalar(@{$cell{loopdata}})>0);
1817         pop @params;
1818     }
1819     $qdataacquisitions->finish;
1820     return \@loopacquisitions;
1821 }
1822 #----------------------------------------------------------------------
1823 #
1824 # Non-Zebra GetRecords#
1825 #----------------------------------------------------------------------
1826
1827 =head2 NZgetRecords
1828
1829   NZgetRecords has the same API as zera getRecords, even if some parameters are not managed
1830
1831 =cut
1832
1833 sub NZgetRecords {
1834     my (
1835         $query,            $simple_query, $sort_by_ref,    $servers_ref,
1836         $results_per_page, $offset,       $expanded_facet, $branches,
1837         $query_type,       $scan
1838     ) = @_;
1839     warn "query =$query" if $DEBUG;
1840     my $result = NZanalyse($query);
1841     warn "results =$result" if $DEBUG;
1842     return ( undef,
1843         NZorder( $result, @$sort_by_ref[0], $results_per_page, $offset ),
1844         undef );
1845 }
1846
1847 =head2 NZanalyse
1848
1849   NZanalyse : get a CQL string as parameter, and returns a list of biblionumber;title,biblionumber;title,...
1850   the list is built from an inverted index in the nozebra SQL table
1851   note that title is here only for convenience : the sorting will be very fast when requested on title
1852   if the sorting is requested on something else, we will have to reread all results, and that may be longer.
1853
1854 =cut
1855
1856 sub NZanalyse {
1857     my ( $string, $server ) = @_;
1858 #     warn "---------"       if $DEBUG;
1859     warn " NZanalyse" if $DEBUG;
1860 #     warn "---------"       if $DEBUG;
1861
1862  # $server contains biblioserver or authorities, depending on what we search on.
1863  #warn "querying : $string on $server";
1864     $server = 'biblioserver' unless $server;
1865
1866 # if we have a ", replace the content to discard temporarily any and/or/not inside
1867     my $commacontent;
1868     if ( $string =~ /"/ ) {
1869         $string =~ s/"(.*?)"/__X__/;
1870         $commacontent = $1;
1871         warn "commacontent : $commacontent" if $DEBUG;
1872     }
1873
1874 # split the query string in 3 parts : X AND Y means : $left="X", $operand="AND" and $right="Y"
1875 # then, call again NZanalyse with $left and $right
1876 # (recursive until we find a leaf (=> something without and/or/not)
1877 # delete repeated operator... Would then go in infinite loop
1878     while ( $string =~ s/( and| or| not| AND| OR| NOT)\1/$1/g ) {
1879     }
1880
1881     #process parenthesis before.
1882     if ( $string =~ /^\s*\((.*)\)(( and | or | not | AND | OR | NOT )(.*))?/ ) {
1883         my $left     = $1;
1884         my $right    = $4;
1885         my $operator = lc($3);   # FIXME: and/or/not are operators, not operands
1886         warn
1887 "dealing w/parenthesis before recursive sub call. left :$left operator:$operator right:$right"
1888           if $DEBUG;
1889         my $leftresult = NZanalyse( $left, $server );
1890         if ($operator) {
1891             my $rightresult = NZanalyse( $right, $server );
1892
1893             # OK, we have the results for right and left part of the query
1894             # depending of operand, intersect, union or exclude both lists
1895             # to get a result list
1896             if ( $operator eq ' and ' ) {
1897                 return NZoperatorAND($leftresult,$rightresult);
1898             }
1899             elsif ( $operator eq ' or ' ) {
1900
1901                 # just merge the 2 strings
1902                 return $leftresult . $rightresult;
1903             }
1904             elsif ( $operator eq ' not ' ) {
1905                 return NZoperatorNOT($leftresult,$rightresult);
1906             }
1907         }
1908         else {
1909 # this error is impossible, because of the regexp that isolate the operand, but just in case...
1910             return $leftresult;
1911         }
1912     }
1913     warn "string :" . $string if $DEBUG;
1914     my $left = "";
1915     my $right = "";
1916     my $operator = "";
1917     if ($string =~ /(.*?)( and | or | not | AND | OR | NOT )(.*)/) {
1918         $left     = $1;
1919         $right    = $3;
1920         $operator = lc($2);    # FIXME: and/or/not are operators, not operands
1921     }
1922     warn "no parenthesis. left : $left operator: $operator right: $right"
1923       if $DEBUG;
1924
1925     # it's not a leaf, we have a and/or/not
1926     if ($operator) {
1927
1928         # reintroduce comma content if needed
1929         $right =~ s/__X__/"$commacontent"/ if $commacontent;
1930         $left  =~ s/__X__/"$commacontent"/ if $commacontent;
1931         warn "node : $left / $operator / $right\n" if $DEBUG;
1932         my $leftresult  = NZanalyse( $left,  $server );
1933         my $rightresult = NZanalyse( $right, $server );
1934         warn " leftresult : $leftresult" if $DEBUG;
1935         warn " rightresult : $rightresult" if $DEBUG;
1936         # OK, we have the results for right and left part of the query
1937         # depending of operand, intersect, union or exclude both lists
1938         # to get a result list
1939         if ( $operator eq ' and ' ) {
1940             return NZoperatorAND($leftresult,$rightresult);
1941         }
1942         elsif ( $operator eq ' or ' ) {
1943
1944             # just merge the 2 strings
1945             return $leftresult . $rightresult;
1946         }
1947         elsif ( $operator eq ' not ' ) {
1948             return NZoperatorNOT($leftresult,$rightresult);
1949         }
1950         else {
1951
1952 # this error is impossible, because of the regexp that isolate the operand, but just in case...
1953             die "error : operand unknown : $operator for $string";
1954         }
1955
1956         # it's a leaf, do the real SQL query and return the result
1957     }
1958     else {
1959         $string =~ s/__X__/"$commacontent"/ if $commacontent;
1960         $string =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|&|\+|\*|\// /g;
1961         #remove trailing blank at the beginning
1962         $string =~ s/^ //g;
1963         warn "leaf:$string" if $DEBUG;
1964
1965         # parse the string in in operator/operand/value again
1966         my $left = "";
1967         my $operator = "";
1968         my $right = "";
1969         if ($string =~ /(.*)(>=|<=)(.*)/) {
1970             $left     = $1;
1971             $operator = $2;
1972             $right    = $3;
1973         } else {
1974             $left = $string;
1975         }
1976 #         warn "handling leaf... left:$left operator:$operator right:$right"
1977 #           if $DEBUG;
1978         unless ($operator) {
1979             if ($string =~ /(.*)(>|<|=)(.*)/) {
1980                 $left     = $1;
1981                 $operator = $2;
1982                 $right    = $3;
1983                 warn
1984     "handling unless (operator)... left:$left operator:$operator right:$right"
1985                 if $DEBUG;
1986             } else {
1987                 $left = $string;
1988             }
1989         }
1990         my $results;
1991
1992 # strip adv, zebra keywords, currently not handled in nozebra: wrdl, ext, phr...
1993         $left =~ s/ .*$//;
1994
1995         # automatic replace for short operators
1996         $left = 'title'            if $left =~ '^ti$';
1997         $left = 'author'           if $left =~ '^au$';
1998         $left = 'publisher'        if $left =~ '^pb$';
1999         $left = 'subject'          if $left =~ '^su$';
2000         $left = 'koha-Auth-Number' if $left =~ '^an$';
2001         $left = 'keyword'          if $left =~ '^kw$';
2002         $left = 'itemtype'         if $left =~ '^mc$'; # Fix for Bug 2599 - Search limits not working for NoZebra
2003         warn "handling leaf... left:$left operator:$operator right:$right" if $DEBUG;
2004         my $dbh = C4::Context->dbh;
2005         if ( $operator && $left ne 'keyword' ) {
2006             #do a specific search
2007             $operator = 'LIKE' if $operator eq '=' and $right =~ /%/;
2008             my $sth = $dbh->prepare(
2009 "SELECT biblionumbers,value FROM nozebra WHERE server=? AND indexname=? AND value $operator ?"
2010             );
2011             warn "$left / $operator / $right\n" if $DEBUG;
2012
2013             # split each word, query the DB and build the biblionumbers result
2014             #sanitizing leftpart
2015             $left =~ s/^\s+|\s+$//;
2016             foreach ( split / /, $right ) {
2017                 my $biblionumbers;
2018                 $_ =~ s/^\s+|\s+$//;
2019                 next unless $_;
2020                 warn "EXECUTE : $server, $left, $_" if $DEBUG;
2021                 $sth->execute( $server, $left, $_ )
2022                   or warn "execute failed: $!";
2023                 while ( my ( $line, $value ) = $sth->fetchrow ) {
2024
2025 # if we are dealing with a numeric value, use only numeric results (in case of >=, <=, > or <)
2026 # otherwise, fill the result
2027                     $biblionumbers .= $line
2028                       unless ( $right =~ /^\d+$/ && $value =~ /\D/ );
2029                     warn "result : $value "
2030                       . ( $right  =~ /\d/ ) . "=="
2031                       . ( $value =~ /\D/?$line:"" ) if $DEBUG;         #= $line";
2032                 }
2033
2034 # do a AND with existing list if there is one, otherwise, use the biblionumbers list as 1st result list
2035                 if ($results) {
2036                     warn "NZAND" if $DEBUG;
2037                     $results = NZoperatorAND($biblionumbers,$results);
2038                 } else {
2039                     $results = $biblionumbers;
2040                 }
2041             }
2042         }
2043         else {
2044       #do a complete search (all indexes), if index='kw' do complete search too.
2045             my $sth = $dbh->prepare(
2046 "SELECT biblionumbers FROM nozebra WHERE server=? AND value LIKE ?"
2047             );
2048
2049             # split each word, query the DB and build the biblionumbers result
2050             foreach ( split / /, $string ) {
2051                 next if C4::Context->stopwords->{ uc($_) };   # skip if stopword
2052                 warn "search on all indexes on $_" if $DEBUG;
2053                 my $biblionumbers;
2054                 next unless $_;
2055                 $sth->execute( $server, $_ );
2056                 while ( my $line = $sth->fetchrow ) {
2057                     $biblionumbers .= $line;
2058                 }
2059
2060 # do a AND with existing list if there is one, otherwise, use the biblionumbers list as 1st result list
2061                 if ($results) {
2062                     $results = NZoperatorAND($biblionumbers,$results);
2063                 }
2064                 else {
2065                     warn "NEW RES for $_ = $biblionumbers" if $DEBUG;
2066                     $results = $biblionumbers;
2067                 }
2068             }
2069         }
2070         warn "return : $results for LEAF : $string" if $DEBUG;
2071         return $results;
2072     }
2073     warn "---------\nLeave NZanalyse\n---------" if $DEBUG;
2074 }
2075
2076 sub NZoperatorAND{
2077     my ($rightresult, $leftresult)=@_;
2078
2079     my @leftresult = split /;/, $leftresult;
2080     warn " @leftresult / $rightresult \n" if $DEBUG;
2081
2082     #             my @rightresult = split /;/,$leftresult;
2083     my $finalresult;
2084
2085 # parse the left results, and if the biblionumber exist in the right result, save it in finalresult
2086 # the result is stored twice, to have the same weight for AND than OR.
2087 # example : TWO : 61,61,64,121 (two is twice in the biblio #61) / TOWER : 61,64,130
2088 # result : 61,61,61,61,64,64 for two AND tower : 61 has more weight than 64
2089     foreach (@leftresult) {
2090         my $value = $_;
2091         my $countvalue;
2092         ( $value, $countvalue ) = ( $1, $2 ) if ($value=~/(.*)-(\d+)$/);
2093         if ( $rightresult =~ /\Q$value\E-(\d+);/ ) {
2094             $countvalue = ( $1 > $countvalue ? $countvalue : $1 );
2095             $finalresult .=
2096                 "$value-$countvalue;$value-$countvalue;";
2097         }
2098     }
2099     warn "NZAND DONE : $finalresult \n" if $DEBUG;
2100     return $finalresult;
2101 }
2102
2103 sub NZoperatorOR{
2104     my ($rightresult, $leftresult)=@_;
2105     return $rightresult.$leftresult;
2106 }
2107
2108 sub NZoperatorNOT{
2109     my ($leftresult, $rightresult)=@_;
2110
2111     my @leftresult = split /;/, $leftresult;
2112
2113     #             my @rightresult = split /;/,$leftresult;
2114     my $finalresult;
2115     foreach (@leftresult) {
2116         my $value=$_;
2117         $value=$1 if $value=~m/(.*)-\d+$/;
2118         unless ($rightresult =~ "$value-") {
2119             $finalresult .= "$_;";
2120         }
2121     }
2122     return $finalresult;
2123 }
2124
2125 =head2 NZorder
2126
2127   $finalresult = NZorder($biblionumbers, $ordering,$results_per_page,$offset);
2128
2129   TODO :: Description
2130
2131 =cut
2132
2133 sub NZorder {
2134     my ( $biblionumbers, $ordering, $results_per_page, $offset ) = @_;
2135     warn "biblionumbers = $biblionumbers and ordering = $ordering\n" if $DEBUG;
2136
2137     # order title asc by default
2138     #     $ordering = '1=36 <i' unless $ordering;
2139     $results_per_page = 20 unless $results_per_page;
2140     $offset           = 0  unless $offset;
2141     my $dbh = C4::Context->dbh;
2142
2143     #
2144     # order by POPULARITY
2145     #
2146     if ( $ordering =~ /popularity/ ) {
2147         my %result;
2148         my %popularity;
2149
2150         # popularity is not in MARC record, it's builded from a specific query
2151         my $sth =
2152           $dbh->prepare("select sum(issues) from items where biblionumber=?");
2153         foreach ( split /;/, $biblionumbers ) {
2154             my ( $biblionumber, $title ) = split /,/, $_;
2155             $result{$biblionumber} = GetMarcBiblio($biblionumber);
2156             $sth->execute($biblionumber);
2157             my $popularity = $sth->fetchrow || 0;
2158
2159 # hint : the key is popularity.title because we can have
2160 # many results with the same popularity. In this case, sub-ordering is done by title
2161 # we also have biblionumber to avoid bug for 2 biblios with the same title & popularity
2162 # (un-frequent, I agree, but we won't forget anything that way ;-)
2163             $popularity{ sprintf( "%10d", $popularity ) . $title
2164                   . $biblionumber } = $biblionumber;
2165         }
2166
2167     # sort the hash and return the same structure as GetRecords (Zebra querying)
2168         my $result_hash;
2169         my $numbers = 0;
2170         if ( $ordering eq 'popularity_dsc' ) {    # sort popularity DESC
2171             foreach my $key ( sort { $b cmp $a } ( keys %popularity ) ) {
2172                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2173                   $result{ $popularity{$key} }->as_usmarc();
2174             }
2175         }
2176         else {                                    # sort popularity ASC
2177             foreach my $key ( sort ( keys %popularity ) ) {
2178                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2179                   $result{ $popularity{$key} }->as_usmarc();
2180             }
2181         }
2182         my $finalresult = ();
2183         $result_hash->{'hits'}         = $numbers;
2184         $finalresult->{'biblioserver'} = $result_hash;
2185         return $finalresult;
2186
2187         #
2188         # ORDER BY author
2189         #
2190     }
2191     elsif ( $ordering =~ /author/ ) {
2192         my %result;
2193         foreach ( split /;/, $biblionumbers ) {
2194             my ( $biblionumber, $title ) = split /,/, $_;
2195             my $record = GetMarcBiblio($biblionumber);
2196             my $author;
2197             if ( C4::Context->preference('marcflavour') eq 'UNIMARC' ) {
2198                 $author = $record->subfield( '200', 'f' );
2199                 $author = $record->subfield( '700', 'a' ) unless $author;
2200             }
2201             else {
2202                 $author = $record->subfield( '100', 'a' );
2203             }
2204
2205 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2206 # and we don't want to get only 1 result for each of them !!!
2207             $result{ $author . $biblionumber } = $record;
2208         }
2209
2210     # sort the hash and return the same structure as GetRecords (Zebra querying)
2211         my $result_hash;
2212         my $numbers = 0;
2213         if ( $ordering eq 'author_za' || $ordering eq 'author_dsc' ) {    # sort by author desc
2214             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2215                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2216                   $result{$key}->as_usmarc();
2217             }
2218         }
2219         else {                               # sort by author ASC
2220             foreach my $key ( sort ( keys %result ) ) {
2221                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2222                   $result{$key}->as_usmarc();
2223             }
2224         }
2225         my $finalresult = ();
2226         $result_hash->{'hits'}         = $numbers;
2227         $finalresult->{'biblioserver'} = $result_hash;
2228         return $finalresult;
2229
2230         #
2231         # ORDER BY callnumber
2232         #
2233     }
2234     elsif ( $ordering =~ /callnumber/ ) {
2235         my %result;
2236         foreach ( split /;/, $biblionumbers ) {
2237             my ( $biblionumber, $title ) = split /,/, $_;
2238             my $record = GetMarcBiblio($biblionumber);
2239             my $callnumber;
2240             my $frameworkcode = GetFrameworkCode($biblionumber);
2241             my ( $callnumber_tag, $callnumber_subfield ) = GetMarcFromKohaField(  'items.itemcallnumber', $frameworkcode);
2242                ( $callnumber_tag, $callnumber_subfield ) = GetMarcFromKohaField('biblioitems.callnumber', $frameworkcode)
2243                 unless $callnumber_tag;
2244             if ( C4::Context->preference('marcflavour') eq 'UNIMARC' ) {
2245                 $callnumber = $record->subfield( '200', 'f' );
2246             } else {
2247                 $callnumber = $record->subfield( '100', 'a' );
2248             }
2249
2250 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2251 # and we don't want to get only 1 result for each of them !!!
2252             $result{ $callnumber . $biblionumber } = $record;
2253         }
2254
2255     # sort the hash and return the same structure as GetRecords (Zebra querying)
2256         my $result_hash;
2257         my $numbers = 0;
2258         if ( $ordering eq 'call_number_dsc' ) {    # sort by title desc
2259             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2260                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2261                   $result{$key}->as_usmarc();
2262             }
2263         }
2264         else {                                     # sort by title ASC
2265             foreach my $key ( sort { $a cmp $b } ( keys %result ) ) {
2266                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2267                   $result{$key}->as_usmarc();
2268             }
2269         }
2270         my $finalresult = ();
2271         $result_hash->{'hits'}         = $numbers;
2272         $finalresult->{'biblioserver'} = $result_hash;
2273         return $finalresult;
2274     }
2275     elsif ( $ordering =~ /pubdate/ ) {             #pub year
2276         my %result;
2277         foreach ( split /;/, $biblionumbers ) {
2278             my ( $biblionumber, $title ) = split /,/, $_;
2279             my $record = GetMarcBiblio($biblionumber);
2280             my ( $publicationyear_tag, $publicationyear_subfield ) =
2281               GetMarcFromKohaField( 'biblioitems.publicationyear', '' );
2282             my $publicationyear =
2283               $record->subfield( $publicationyear_tag,
2284                 $publicationyear_subfield );
2285
2286 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2287 # and we don't want to get only 1 result for each of them !!!
2288             $result{ $publicationyear . $biblionumber } = $record;
2289         }
2290
2291     # sort the hash and return the same structure as GetRecords (Zebra querying)
2292         my $result_hash;
2293         my $numbers = 0;
2294         if ( $ordering eq 'pubdate_dsc' ) {    # sort by pubyear desc
2295             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2296                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2297                   $result{$key}->as_usmarc();
2298             }
2299         }
2300         else {                                 # sort by pub year ASC
2301             foreach my $key ( sort ( keys %result ) ) {
2302                 $result_hash->{'RECORDS'}[ $numbers++ ] =
2303                   $result{$key}->as_usmarc();
2304             }
2305         }
2306         my $finalresult = ();
2307         $result_hash->{'hits'}         = $numbers;
2308         $finalresult->{'biblioserver'} = $result_hash;
2309         return $finalresult;
2310
2311         #
2312         # ORDER BY title
2313         #
2314     }
2315     elsif ( $ordering =~ /title/ ) {
2316
2317 # the title is in the biblionumbers string, so we just need to build a hash, sort it and return
2318         my %result;
2319         foreach ( split /;/, $biblionumbers ) {
2320             my ( $biblionumber, $title ) = split /,/, $_;
2321
2322 # hint : the result is sorted by title.biblionumber because we can have X biblios with the same title
2323 # and we don't want to get only 1 result for each of them !!!
2324 # hint & speed improvement : we can order without reading the record
2325 # so order, and read records only for the requested page !
2326             $result{ $title . $biblionumber } = $biblionumber;
2327         }
2328
2329     # sort the hash and return the same structure as GetRecords (Zebra querying)
2330         my $result_hash;
2331         my $numbers = 0;
2332         if ( $ordering eq 'title_az' ) {    # sort by title desc
2333             foreach my $key ( sort ( keys %result ) ) {
2334                 $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2335             }
2336         }
2337         else {                              # sort by title ASC
2338             foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2339                 $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2340             }
2341         }
2342
2343         # limit the $results_per_page to result size if it's more
2344         $results_per_page = $numbers - 1 if $numbers < $results_per_page;
2345
2346         # for the requested page, replace biblionumber by the complete record
2347         # speed improvement : avoid reading too much things
2348         for (
2349             my $counter = $offset ;
2350             $counter <= $offset + $results_per_page ;
2351             $counter++
2352           )
2353         {
2354             $result_hash->{'RECORDS'}[$counter] =
2355               GetMarcBiblio( $result_hash->{'RECORDS'}[$counter] )->as_usmarc;
2356         }
2357         my $finalresult = ();
2358         $result_hash->{'hits'}         = $numbers;
2359         $finalresult->{'biblioserver'} = $result_hash;
2360         return $finalresult;
2361     }
2362     else {
2363
2364 #
2365 # order by ranking
2366 #
2367 # we need 2 hashes to order by ranking : the 1st one to count the ranking, the 2nd to order by ranking
2368         my %result;
2369         my %count_ranking;
2370         foreach ( split /;/, $biblionumbers ) {
2371             my ( $biblionumber, $title ) = split /,/, $_;
2372             $title =~ /(.*)-(\d)/;
2373
2374             # get weight
2375             my $ranking = $2;
2376
2377 # note that we + the ranking because ranking is calculated on weight of EACH term requested.
2378 # if we ask for "two towers", and "two" has weight 2 in biblio N, and "towers" has weight 4 in biblio N
2379 # biblio N has ranking = 6
2380             $count_ranking{$biblionumber} += $ranking;
2381         }
2382
2383 # build the result by "inverting" the count_ranking hash
2384 # hing : as usual, we don't order by ranking only, to avoid having only 1 result for each rank. We build an hash on concat(ranking,biblionumber) instead
2385 #         warn "counting";
2386         foreach ( keys %count_ranking ) {
2387             $result{ sprintf( "%10d", $count_ranking{$_} ) . '-' . $_ } = $_;
2388         }
2389
2390     # sort the hash and return the same structure as GetRecords (Zebra querying)
2391         my $result_hash;
2392         my $numbers = 0;
2393         foreach my $key ( sort { $b cmp $a } ( keys %result ) ) {
2394             $result_hash->{'RECORDS'}[ $numbers++ ] = $result{$key};
2395         }
2396
2397         # limit the $results_per_page to result size if it's more
2398         $results_per_page = $numbers - 1 if $numbers < $results_per_page;
2399
2400         # for the requested page, replace biblionumber by the complete record
2401         # speed improvement : avoid reading too much things
2402         for (
2403             my $counter = $offset ;
2404             $counter <= $offset + $results_per_page ;
2405             $counter++
2406           )
2407         {
2408             $result_hash->{'RECORDS'}[$counter] =
2409               GetMarcBiblio( $result_hash->{'RECORDS'}[$counter] )->as_usmarc
2410               if $result_hash->{'RECORDS'}[$counter];
2411         }
2412         my $finalresult = ();
2413         $result_hash->{'hits'}         = $numbers;
2414         $finalresult->{'biblioserver'} = $result_hash;
2415         return $finalresult;
2416     }
2417 }
2418
2419 =head2 enabled_staff_search_views
2420
2421 %hash = enabled_staff_search_views()
2422
2423 This function returns a hash that contains three flags obtained from the system
2424 preferences, used to determine whether a particular staff search results view
2425 is enabled.
2426
2427 =over 2
2428
2429 =item C<Output arg:>
2430
2431     * $hash{can_view_MARC} is true only if the MARC view is enabled
2432     * $hash{can_view_ISBD} is true only if the ISBD view is enabled
2433     * $hash{can_view_labeledMARC} is true only if the Labeled MARC view is enabled
2434
2435 =item C<usage in the script:>
2436
2437 =back
2438
2439 $template->param ( C4::Search::enabled_staff_search_views );
2440
2441 =cut
2442
2443 sub enabled_staff_search_views
2444 {
2445         return (
2446                 can_view_MARC                   => C4::Context->preference('viewMARC'),                 # 1 if the staff search allows the MARC view
2447                 can_view_ISBD                   => C4::Context->preference('viewISBD'),                 # 1 if the staff search allows the ISBD view
2448                 can_view_labeledMARC    => C4::Context->preference('viewLabeledMARC'),  # 1 if the staff search allows the Labeled MARC view
2449         );
2450 }
2451
2452 sub AddSearchHistory{
2453         my ($borrowernumber,$session,$query_desc,$query_cgi, $total)=@_;
2454     my $dbh = C4::Context->dbh;
2455
2456     # Add the request the user just made
2457     my $sql = "INSERT INTO search_history(userid, sessionid, query_desc, query_cgi, total, time) VALUES(?, ?, ?, ?, ?, NOW())";
2458     my $sth   = $dbh->prepare($sql);
2459     $sth->execute($borrowernumber, $session, $query_desc, $query_cgi, $total);
2460         return $dbh->last_insert_id(undef, 'search_history', undef,undef,undef);
2461 }
2462
2463 sub GetSearchHistory{
2464         my ($borrowernumber,$session)=@_;
2465     my $dbh = C4::Context->dbh;
2466
2467     # Add the request the user just made
2468     my $query = "SELECT FROM search_history WHERE (userid=? OR sessionid=?)";
2469     my $sth   = $dbh->prepare($query);
2470         $sth->execute($borrowernumber, $session);
2471     return  $sth->fetchall_hashref({});
2472 }
2473
2474 =head2 z3950_search_args
2475
2476 $arrayref = z3950_search_args($matchpoints)
2477
2478 This function returns an array reference that contains the search parameters to be
2479 passed to the Z39.50 search script (z3950_search.pl). The array elements
2480 are hash refs whose keys are name, value and encvalue, and whose values are the
2481 name of a search parameter, the value of that search parameter and the URL encoded
2482 value of that parameter.
2483
2484 The search parameter names are lccn, isbn, issn, title, author, dewey and subject.
2485
2486 The search parameter values are obtained from the bibliographic record whose
2487 data is in a hash reference in $matchpoints, as returned by Biblio::GetBiblioData().
2488
2489 If $matchpoints is a scalar, it is assumed to be an unnamed query descriptor, e.g.
2490 a general purpose search argument. In this case, the returned array contains only
2491 entry: the key is 'title' and the value and encvalue are derived from $matchpoints.
2492
2493 If a search parameter value is undefined or empty, it is not included in the returned
2494 array.
2495
2496 The returned array reference may be passed directly to the template parameters.
2497
2498 =over 2
2499
2500 =item C<Output arg:>
2501
2502     * $array containing hash refs as described above
2503
2504 =item C<usage in the script:>
2505
2506 =back
2507
2508 $data = Biblio::GetBiblioData($bibno);
2509 $template->param ( MYLOOP => C4::Search::z3950_search_args($data) )
2510
2511 *OR*
2512
2513 $template->param ( MYLOOP => C4::Search::z3950_search_args($searchscalar) )
2514
2515 =cut
2516
2517 sub z3950_search_args {
2518     my $bibrec = shift;
2519     $bibrec = { title => $bibrec } if !ref $bibrec;
2520     my $array = [];
2521     for my $field (qw/ lccn isbn issn title author dewey subject /)
2522     {
2523         my $encvalue = URI::Escape::uri_escape_utf8($bibrec->{$field});
2524         push @$array, { name=>$field, value=>$bibrec->{$field}, encvalue=>$encvalue } if defined $bibrec->{$field};
2525     }
2526     return $array;
2527 }
2528
2529 =head2 BiblioAddAuthorities
2530
2531 ( $countlinked, $countcreated ) = BiblioAddAuthorities($record, $frameworkcode);
2532
2533 this function finds the authorities linked to the biblio
2534     * search in the authority DB for the same authid (in $9 of the biblio)
2535     * search in the authority DB for the same 001 (in $3 of the biblio in UNIMARC)
2536     * search in the authority DB for the same values (exactly) (in all subfields of the biblio)
2537 OR adds a new authority record
2538
2539 =over 2
2540
2541 =item C<input arg:>
2542
2543     * $record is the MARC record in question (marc blob)
2544     * $frameworkcode is the bibliographic framework to use (if it is "" it uses the default framework)
2545
2546 =item C<Output arg:>
2547
2548     * $countlinked is the number of authorities records that are linked to this authority
2549     * $countcreated
2550
2551 =item C<BUGS>
2552     * I had to add this to Search.pm (instead of the logical Biblio.pm) because of a circular dependency (this sub uses SimpleSearch, and Search.pm uses Biblio.pm)
2553
2554 =back
2555
2556 =cut
2557
2558
2559 sub BiblioAddAuthorities{
2560   my ( $record, $frameworkcode ) = @_;
2561   my $dbh=C4::Context->dbh;
2562   my $query=$dbh->prepare(qq|
2563 SELECT authtypecode,tagfield
2564 FROM marc_subfield_structure
2565 WHERE frameworkcode=?
2566 AND (authtypecode IS NOT NULL AND authtypecode<>\"\")|);
2567 # SELECT authtypecode,tagfield
2568 # FROM marc_subfield_structure
2569 # WHERE frameworkcode=?
2570 # AND (authtypecode IS NOT NULL OR authtypecode<>\"\")|);
2571   $query->execute($frameworkcode);
2572   my ($countcreated,$countlinked);
2573   while (my $data=$query->fetchrow_hashref){
2574     foreach my $field ($record->field($data->{tagfield})){
2575       next if ($field->subfield('3')||$field->subfield('9'));
2576       # No authorities id in the tag.
2577       # Search if there is any authorities to link to.
2578       my $query='at='.$data->{authtypecode}.' ';
2579       map {$query.= ' and he,ext="'.$_->[1].'"' if ($_->[0]=~/[A-z]/)}  $field->subfields();
2580       my ($error, $results, $total_hits)=SimpleSearch( $query, undef, undef, [ "authorityserver" ] );
2581     # there is only 1 result
2582           if ( $error ) {
2583         warn "BIBLIOADDSAUTHORITIES: $error";
2584             return (0,0) ;
2585           }
2586       if ($results && scalar(@$results)==1) {
2587         my $marcrecord = MARC::File::USMARC::decode($results->[0]);
2588         $field->add_subfields('9'=>$marcrecord->field('001')->data);
2589         $countlinked++;
2590       } elsif (scalar(@$results)>1) {
2591    #More than One result
2592    #This can comes out of a lack of a subfield.
2593 #         my $marcrecord = MARC::File::USMARC::decode($results->[0]);
2594 #         $record->field($data->{tagfield})->add_subfields('9'=>$marcrecord->field('001')->data);
2595   $countlinked++;
2596       } else {
2597   #There are no results, build authority record, add it to Authorities, get authid and add it to 9
2598   ###NOTICE : This is only valid if a subfield is linked to one and only one authtypecode
2599   ###NOTICE : This can be a problem. We should also look into other types and rejected forms.
2600          my $authtypedata=C4::AuthoritiesMarc::GetAuthType($data->{authtypecode});
2601          next unless $authtypedata;
2602          my $marcrecordauth=MARC::Record->new();
2603          my $authfield=MARC::Field->new($authtypedata->{auth_tag_to_report},'','',"a"=>"".$field->subfield('a'));
2604          map { $authfield->add_subfields($_->[0]=>$_->[1]) if ($_->[0]=~/[A-z]/ && $_->[0] ne "a" )}  $field->subfields();
2605          $marcrecordauth->insert_fields_ordered($authfield);
2606
2607          # bug 2317: ensure new authority knows it's using UTF-8; currently
2608          # only need to do this for MARC21, as MARC::Record->as_xml_record() handles
2609          # automatically for UNIMARC (by not transcoding)
2610          # FIXME: AddAuthority() instead should simply explicitly require that the MARC::Record
2611          # use UTF-8, but as of 2008-08-05, did not want to introduce that kind
2612          # of change to a core API just before the 3.0 release.
2613          if (C4::Context->preference('marcflavour') eq 'MARC21') {
2614             SetMarcUnicodeFlag($marcrecordauth, 'MARC21');
2615          }
2616
2617 #          warn "AUTH RECORD ADDED : ".$marcrecordauth->as_formatted;
2618
2619          my $authid=AddAuthority($marcrecordauth,'',$data->{authtypecode});
2620          $countcreated++;
2621          $field->add_subfields('9'=>$authid);
2622       }
2623     }
2624   }
2625   return ($countlinked,$countcreated);
2626 }
2627
2628 =head2 GetDistinctValues($field);
2629
2630 C<$field> is a reference to the fields array
2631
2632 =cut
2633
2634 sub GetDistinctValues {
2635     my ($fieldname,$string)=@_;
2636     # returns a reference to a hash of references to branches...
2637     if ($fieldname=~/\./){
2638                         my ($table,$column)=split /\./, $fieldname;
2639                         my $dbh = C4::Context->dbh;
2640                         warn "select DISTINCT($column) as value, count(*) as cnt from $table group by lib order by $column " if $DEBUG;
2641                         my $sth = $dbh->prepare("select DISTINCT($column) as value, count(*) as cnt from $table ".($string?" where $column like \"$string%\"":"")."group by value order by $column ");
2642                         $sth->execute;
2643                         my $elements=$sth->fetchall_arrayref({});
2644                         return $elements;
2645    }
2646    else {
2647                 $string||= qq("");
2648                 my @servers=qw<biblioserver authorityserver>;
2649                 my (@zconns,@results);
2650         for ( my $i = 0 ; $i < @servers ; $i++ ) {
2651                 $zconns[$i] = C4::Context->Zconn( $servers[$i], 1 );
2652                         $results[$i] =
2653                       $zconns[$i]->scan(
2654                         ZOOM::Query::CCL2RPN->new( qq"$fieldname $string", $zconns[$i])
2655                       );
2656                 }
2657                 # The big moment: asynchronously retrieve results from all servers
2658                 my @elements;
2659                 while ( ( my $i = ZOOM::event( \@zconns ) ) != 0 ) {
2660                         my $ev = $zconns[ $i - 1 ]->last_event();
2661                         if ( $ev == ZOOM::Event::ZEND ) {
2662                                 next unless $results[ $i - 1 ];
2663                                 my $size = $results[ $i - 1 ]->size();
2664                                 if ( $size > 0 ) {
2665                       for (my $j=0;$j<$size;$j++){
2666                                                 my %hashscan;
2667                                                 @hashscan{qw(value cnt)}=$results[ $i - 1 ]->display_term($j);
2668                                                 push @elements, \%hashscan;
2669                                           }
2670                                 }
2671                         }
2672                 }
2673                 return \@elements;
2674    }
2675 }
2676
2677
2678 END { }    # module clean-up code here (global destructor)
2679
2680 1;
2681 __END__
2682
2683 =head1 AUTHOR
2684
2685 Koha Development Team <http://koha-community.org/>
2686
2687 =cut