C4/Biblio.pm

   1 package C4::Biblio;
   2
   3 # Copyright 2000-2002 Katipo Communications
   4 #
   5 # This file is part of Koha.
   6 #
   7 # Koha is free software; you can redistribute it and/or modify it under the
   8 # terms of the GNU General Public License as published by the Free Software
   9 # Foundation; either version 2 of the License, or (at your option) any later
  10 # version.
  11 #
  12 # Koha is distributed in the hope that it will be useful, but WITHOUT ANY
  13 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
  14 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU General Public License along with
  17 # Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
  18 # Suite 330, Boston, MA  02111-1307 USA
  19
  20 use strict;
  21 use warnings;
  22 # use utf8;
  23 use MARC::Record;
  24 use MARC::File::USMARC;
  25 # Force MARC::File::XML to use LibXML SAX Parser
  26 #$XML::SAX::ParserPackage = "XML::LibXML::SAX";
  27 use MARC::File::XML;
  28 use ZOOM;
  29
  30 use C4::Koha;
  31 use C4::Dates qw/format_date/;
  32 use C4::Log; # logaction
  33 use C4::ClassSource;
  34 use C4::Charset;
  35 require C4::Heading;
  36 require C4::Serials;
  37
  38 use vars qw($VERSION @ISA @EXPORT);
  39
  40 BEGIN {
  41         $VERSION = 1.00;
  42
  43         require Exporter;
  44         @ISA = qw( Exporter );
  45
  46         # to add biblios
  47 # EXPORTED FUNCTIONS.
  48         push @EXPORT, qw(
  49                 &AddBiblio
  50         );
  51
  52         # to get something
  53         push @EXPORT, qw(
  54                 &GetBiblio
  55                 &GetBiblioData
  56                 &GetBiblioItemData
  57                 &GetBiblioItemInfosOf
  58                 &GetBiblioItemByBiblioNumber
  59                 &GetBiblioFromItemNumber
  60
  61                 &GetMarcNotes
  62                 &GetMarcSubjects
  63                 &GetMarcBiblio
  64                 &GetMarcAuthors
  65                 &GetMarcSeries
  66                 GetMarcUrls
  67                 &GetUsedMarcStructure
  68                 &GetXmlBiblio
  69         &GetCOinSBiblio
  70
  71                 &GetAuthorisedValueDesc
  72                 &GetMarcStructure
  73                 &GetMarcFromKohaField
  74                 &GetFrameworkCode
  75                 &GetPublisherNameFromIsbn
  76                 &TransformKohaToMarc
  77         );
  78
  79         # To modify something
  80         push @EXPORT, qw(
  81                 &ModBiblio
  82                 &ModBiblioframework
  83                 &ModZebra
  84         );
  85         # To delete something
  86         push @EXPORT, qw(
  87                 &DelBiblio
  88         );
  89
  90     # To link headings in a bib record
  91     # to authority records.
  92     push @EXPORT, qw(
  93         &LinkBibHeadingsToAuthorities
  94     );
  95
  96         # Internal functions
  97         # those functions are exported but should not be used
  98         # they are usefull is few circumstances, so are exported.
  99         # but don't use them unless you're a core developer ;-)
 100         push @EXPORT, qw(
 101                 &ModBiblioMarc
 102         );
 103         # Others functions
 104         push @EXPORT, qw(
 105                 &TransformMarcToKoha
 106                 &TransformHtmlToMarc2
 107                 &TransformHtmlToMarc
 108                 &TransformHtmlToXml
 109                 &PrepareItemrecordDisplay
 110                 &GetNoZebraIndexes
 111         );
 112 }
 113
 114 =head1 NAME
 115
 116 C4::Biblio - cataloging management functions
 117
 118 =head1 DESCRIPTION
 119
 120 Biblio.pm contains functions for managing storage and editing of bibliographic data within Koha. Most of the functions in this module are used for cataloging records: adding, editing, or removing biblios, biblioitems, or items. Koha's stores bibliographic information in three places:
 121
 122 =over 4
 123
 124 =item 1. in the biblio,biblioitems,items, etc tables, which are limited to a one-to-one mapping to underlying MARC data
 125
 126 =item 2. as raw MARC in the Zebra index and storage engine
 127
 128 =item 3. as raw MARC the biblioitems.marc and biblioitems.marcxml
 129
 130 =back
 131
 132 In the 3.0 version of Koha, the authoritative record-level information is in biblioitems.marcxml
 133
 134 Because the data isn't completely normalized there's a chance for information to get out of sync. The design choice to go with a un-normalized schema was driven by performance and stability concerns. However, if this occur, it can be considered as a bug : The API is (or should be) complete & the only entry point for all biblio/items managements.
 135
 136 =over 4
 137
 138 =item 1. Compared with MySQL, Zebra is slow to update an index for small data changes -- especially for proc-intensive operations like circulation
 139
 140 =item 2. Zebra's index has been known to crash and a backup of the data is necessary to rebuild it in such cases
 141
 142 =back
 143
 144 Because of this design choice, the process of managing storage and editing is a bit convoluted. Historically, Biblio.pm's grown to an unmanagable size and as a result we have several types of functions currently:
 145
 146 =over 4
 147
 148 =item 1. Add*/Mod*/Del*/ - high-level external functions suitable for being called from external scripts to manage the collection
 149
 150 =item 2. _koha_* - low-level internal functions for managing the koha tables
 151
 152 =item 3. Marc management function : as the MARC record is stored in biblioitems.marc(xml), some subs dedicated to it's management are in this package. They should be used only internally by Biblio.pm, the only official entry points being AddBiblio, AddItem, ModBiblio, ModItem.
 153
 154 =item 4. Zebra functions used to update the Zebra index
 155
 156 =item 5. internal helper functions such as char_decode, checkitems, etc. Some of these probably belong in Koha.pm
 157
 158 =back
 159
 160 The MARC record (in biblioitems.marcxml) contains the complete marc record, including items. It also contains the biblionumber. That is the reason why it is not stored directly by AddBiblio, with all other fields . To save a biblio, we need to :
 161
 162 =over 4
 163
 164 =item 1. save datas in biblio and biblioitems table, that gives us a biblionumber and a biblioitemnumber
 165
 166 =item 2. add the biblionumber and biblioitemnumber into the MARC records
 167
 168 =item 3. save the marc record
 169
 170 =back
 171
 172 When dealing with items, we must :
 173
 174 =over 4
 175
 176 =item 1. save the item in items table, that gives us an itemnumber
 177
 178 =item 2. add the itemnumber to the item MARC field
 179
 180 =item 3. overwrite the MARC record (with the added item) into biblioitems.marc(xml)
 181
 182 When modifying a biblio or an item, the behaviour is quite similar.
 183
 184 =back
 185
 186 =head1 EXPORTED FUNCTIONS
 187
 188 =head2 AddBiblio
 189
 190 =over 4
 191
 192 ($biblionumber,$biblioitemnumber) = AddBiblio($record,$frameworkcode);
 193
 194 =back
 195
 196 Exported function (core API) for adding a new biblio to koha.
 197
 198 The first argument is a C<MARC::Record> object containing the
 199 bib to add, while the second argument is the desired MARC
 200 framework code.
 201
 202 This function also accepts a third, optional argument: a hashref
 203 to additional options.  The only defined option is C<defer_marc_save>,
 204 which if present and mapped to a true value, causes C<AddBiblio>
 205 to omit the call to save the MARC in C<bibilioitems.marc>
 206 and C<biblioitems.marcxml>  This option is provided B<only>
 207 for the use of scripts such as C<bulkmarcimport.pl> that may need
 208 to do some manipulation of the MARC record for item parsing before
 209 saving it and which cannot afford the performance hit of saving
 210 the MARC record twice.  Consequently, do not use that option
 211 unless you can guarantee that C<ModBiblioMarc> will be called.
 212
 213 =cut
 214
 215 sub AddBiblio {
 216     my $record = shift;
 217     my $frameworkcode = shift;
 218     my $options = @_ ? shift : undef;
 219     my $defer_marc_save = 0;
 220     if (defined $options and exists $options->{'defer_marc_save'} and $options->{'defer_marc_save'}) {
 221         $defer_marc_save = 1;
 222     }
 223
 224     my ($biblionumber,$biblioitemnumber,$error);
 225     my $dbh = C4::Context->dbh;
 226     # transform the data into koha-table style data
 227     my $olddata = TransformMarcToKoha( $dbh, $record, $frameworkcode );
 228     ($biblionumber,$error) = _koha_add_biblio( $dbh, $olddata, $frameworkcode );
 229     $olddata->{'biblionumber'} = $biblionumber;
 230     ($biblioitemnumber,$error) = _koha_add_biblioitem( $dbh, $olddata );
 231
 232     _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
 233
 234     # update MARC subfield that stores biblioitems.cn_sort
 235     _koha_marc_update_biblioitem_cn_sort($record, $olddata, $frameworkcode);
 236
 237     # now add the record
 238     $biblionumber = ModBiblioMarc( $record, $biblionumber, $frameworkcode ) unless $defer_marc_save;
 239
 240     logaction("CATALOGUING", "ADD", $biblionumber, "biblio") if C4::Context->preference("CataloguingLog");
 241
 242     return ( $biblionumber, $biblioitemnumber );
 243 }
 244
 245 =head2 ModBiblio
 246
 247 =over 4
 248
 249     ModBiblio( $record,$biblionumber,$frameworkcode);
 250
 251 =back
 252
 253 Replace an existing bib record identified by C<$biblionumber>
 254 with one supplied by the MARC::Record object C<$record>.  The embedded
 255 item, biblioitem, and biblionumber fields from the previous
 256 version of the bib record replace any such fields of those tags that
 257 are present in C<$record>.  Consequently, ModBiblio() is not
 258 to be used to try to modify item records.
 259
 260 C<$frameworkcode> specifies the MARC framework to use
 261 when storing the modified bib record; among other things,
 262 this controls how MARC fields get mapped to display columns
 263 in the C<biblio> and C<biblioitems> tables, as well as
 264 which fields are used to store embedded item, biblioitem,
 265 and biblionumber data for indexing.
 266
 267 =cut
 268
 269 sub ModBiblio {
 270     my ( $record, $biblionumber, $frameworkcode ) = @_;
 271     if (C4::Context->preference("CataloguingLog")) {
 272         my $newrecord = GetMarcBiblio($biblionumber);
 273         logaction("CATALOGUING", "MODIFY", $biblionumber, "BEFORE=>".$newrecord->as_formatted);
 274     }
 275
 276     my $dbh = C4::Context->dbh;
 277
 278     $frameworkcode = "" unless $frameworkcode;
 279
 280     # get the items before and append them to the biblio before updating the record, atm we just have the biblio
 281     my ( $itemtag, $itemsubfield ) = GetMarcFromKohaField("items.itemnumber",$frameworkcode);
 282     my $oldRecord = GetMarcBiblio( $biblionumber );
 283
 284     # delete any item fields from incoming record to avoid
 285     # duplication or incorrect data - use AddItem() or ModItem()
 286     # to change items
 287     foreach my $field ($record->field($itemtag)) {
 288         $record->delete_field($field);
 289     }
 290
 291     # once all the items fields are removed, copy the old ones, in order to keep synchronize
 292     $record->append_fields($oldRecord->field( $itemtag ));
 293
 294     # update biblionumber and biblioitemnumber in MARC
 295     # FIXME - this is assuming a 1 to 1 relationship between
 296     # biblios and biblioitems
 297     my $sth =  $dbh->prepare("select biblioitemnumber from biblioitems where biblionumber=?");
 298     $sth->execute($biblionumber);
 299     my ($biblioitemnumber) = $sth->fetchrow;
 300     $sth->finish();
 301     _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
 302
 303     # load the koha-table data object
 304     my $oldbiblio = TransformMarcToKoha( $dbh, $record, $frameworkcode );
 305
 306     # update MARC subfield that stores biblioitems.cn_sort
 307     _koha_marc_update_biblioitem_cn_sort($record, $oldbiblio, $frameworkcode);
 308
 309     # update the MARC record (that now contains biblio and items) with the new record data
 310     &ModBiblioMarc( $record, $biblionumber, $frameworkcode );
 311
 312     # modify the other koha tables
 313     _koha_modify_biblio( $dbh, $oldbiblio, $frameworkcode );
 314     _koha_modify_biblioitem_nonmarc( $dbh, $oldbiblio );
 315     return 1;
 316 }
 317
 318 =head2 ModBiblioframework
 319
 320     ModBiblioframework($biblionumber,$frameworkcode);
 321     Exported function to modify a biblio framework
 322
 323 =cut
 324
 325 sub ModBiblioframework {
 326     my ( $biblionumber, $frameworkcode ) = @_;
 327     my $dbh = C4::Context->dbh;
 328     my $sth = $dbh->prepare(
 329         "UPDATE biblio SET frameworkcode=? WHERE biblionumber=?"
 330     );
 331     $sth->execute($frameworkcode, $biblionumber);
 332     return 1;
 333 }
 334
 335 =head2 DelBiblio
 336
 337 =over
 338
 339 my $error = &DelBiblio($dbh,$biblionumber);
 340 Exported function (core API) for deleting a biblio in koha.
 341 Deletes biblio record from Zebra and Koha tables (biblio,biblioitems,items)
 342 Also backs it up to deleted* tables
 343 Checks to make sure there are not issues on any of the items
 344 return:
 345 C<$error> : undef unless an error occurs
 346
 347 =back
 348
 349 =cut
 350
 351 sub DelBiblio {
 352     my ( $biblionumber ) = @_;
 353     my $dbh = C4::Context->dbh;
 354     my $error;    # for error handling
 355
 356     # First make sure this biblio has no items attached
 357     my $sth = $dbh->prepare("SELECT itemnumber FROM items WHERE biblionumber=?");
 358     $sth->execute($biblionumber);
 359     if (my $itemnumber = $sth->fetchrow){
 360         # Fix this to use a status the template can understand
 361         $error .= "This Biblio has items attached, please delete them first before deleting this biblio ";
 362     }
 363
 364     return $error if $error;
 365
 366     # We delete attached subscriptions
 367     if(C4::Serials::CountSubscriptionFromBiblionumber($biblionumber) != 0){
 368         my $subscriptions = &C4::Serials::GetFullSubscriptionsFromBiblionumber($biblionumber);
 369         foreach my $subscription (@$subscriptions){
 370             &C4::Serials::DelSubscription($subscription->{subscriptionid});
 371         }
 372     }
 373
 374     # Delete in Zebra. Be careful NOT to move this line after _koha_delete_biblio
 375     # for at least 2 reasons :
 376     # - we need to read the biblio if NoZebra is set (to remove it from the indexes
 377     # - if something goes wrong, the biblio may be deleted from Koha but not from zebra
 378     #   and we would have no way to remove it (except manually in zebra, but I bet it would be very hard to handle the problem)
 379     my $oldRecord;
 380     if (C4::Context->preference("NoZebra")) {
 381         # only NoZebra indexing needs to have
 382         # the previous version of the record
 383         $oldRecord = GetMarcBiblio($biblionumber);
 384     }
 385     ModZebra($biblionumber, "recordDelete", "biblioserver", $oldRecord, undef);
 386
 387     # delete biblioitems and items from Koha tables and save in deletedbiblioitems,deleteditems
 388     $sth =
 389       $dbh->prepare(
 390         "SELECT biblioitemnumber FROM biblioitems WHERE biblionumber=?");
 391     $sth->execute($biblionumber);
 392     while ( my $biblioitemnumber = $sth->fetchrow ) {
 393
 394         # delete this biblioitem
 395         $error = _koha_delete_biblioitems( $dbh, $biblioitemnumber );
 396         return $error if $error;
 397     }
 398
 399     # delete biblio from Koha tables and save in deletedbiblio
 400     # must do this *after* _koha_delete_biblioitems, otherwise
 401     # delete cascade will prevent deletedbiblioitems rows
 402     # from being generated by _koha_delete_biblioitems
 403     $error = _koha_delete_biblio( $dbh, $biblionumber );
 404
 405     logaction("CATALOGUING", "DELETE", $biblionumber, "") if C4::Context->preference("CataloguingLog");
 406
 407     return;
 408 }
 409
 410 =head2 LinkBibHeadingsToAuthorities
 411
 412 =over 4
 413
 414 my $headings_linked = LinkBibHeadingsToAuthorities($marc);
 415
 416 =back
 417
 418 Links bib headings to authority records by checking
 419 each authority-controlled field in the C<MARC::Record>
 420 object C<$marc>, looking for a matching authority record,
 421 and setting the linking subfield $9 to the ID of that
 422 authority record.
 423
 424 If no matching authority exists, or if multiple
 425 authorities match, no $9 will be added, and any
 426 existing one inthe field will be deleted.
 427
 428 Returns the number of heading links changed in the
 429 MARC record.
 430
 431 =cut
 432
 433 sub LinkBibHeadingsToAuthorities {
 434     my $bib = shift;
 435
 436     my $num_headings_changed = 0;
 437     foreach my $field ($bib->fields()) {
 438         my $heading = C4::Heading->new_from_bib_field($field);
 439         next unless defined $heading;
 440
 441         # check existing $9
 442         my $current_link = $field->subfield('9');
 443
 444         # look for matching authorities
 445         my $authorities = $heading->authorities();
 446
 447         # want only one exact match
 448         if ($#{ $authorities } == 0) {
 449             my $authority = MARC::Record->new_from_usmarc($authorities->[0]);
 450             my $authid = $authority->field('001')->data();
 451             next if defined $current_link and $current_link eq $authid;
 452
 453             $field->delete_subfield(code => '9') if defined $current_link;
 454             $field->add_subfields('9', $authid);
 455             $num_headings_changed++;
 456         } else {
 457             if (defined $current_link) {
 458                 $field->delete_subfield(code => '9');
 459                 $num_headings_changed++;
 460             }
 461         }
 462
 463     }
 464     return $num_headings_changed;
 465 }
 466
 467 =head2 GetBiblioData
 468
 469 =over 4
 470
 471 $data = &GetBiblioData($biblionumber);
 472 Returns information about the book with the given biblionumber.
 473 C<&GetBiblioData> returns a reference-to-hash. The keys are the fields in
 474 the C<biblio> and C<biblioitems> tables in the
 475 Koha database.
 476 In addition, C<$data-E<gt>{subject}> is the list of the book's
 477 subjects, separated by C<" , "> (space, comma, space).
 478 If there are multiple biblioitems with the given biblionumber, only
 479 the first one is considered.
 480
 481 =back
 482
 483 =cut
 484
 485 sub GetBiblioData {
 486     my ( $bibnum ) = @_;
 487     my $dbh = C4::Context->dbh;
 488
 489   #  my $query =  C4::Context->preference('item-level_itypes') ?
 490     #   " SELECT * , biblioitems.notes AS bnotes, biblio.notes
 491     #       FROM biblio
 492     #        LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
 493     #       WHERE biblio.biblionumber = ?
 494     #        AND biblioitems.biblionumber = biblio.biblionumber
 495     #";
 496
 497     my $query = " SELECT * , biblioitems.notes AS bnotes, itemtypes.notforloan as bi_notforloan, biblio.notes
 498             FROM biblio
 499             LEFT JOIN biblioitems ON biblio.biblionumber = biblioitems.biblionumber
 500             LEFT JOIN itemtypes ON biblioitems.itemtype = itemtypes.itemtype
 501             WHERE biblio.biblionumber = ?
 502             AND biblioitems.biblionumber = biblio.biblionumber ";
 503
 504     my $sth = $dbh->prepare($query);
 505     $sth->execute($bibnum);
 506     my $data;
 507     $data = $sth->fetchrow_hashref;
 508     $sth->finish;
 509
 510     return ($data);
 511 }    # sub GetBiblioData
 512
 513 =head2 &GetBiblioItemData
 514
 515 =over 4
 516
 517 $itemdata = &GetBiblioItemData($biblioitemnumber);
 518
 519 Looks up the biblioitem with the given biblioitemnumber. Returns a
 520 reference-to-hash. The keys are the fields from the C<biblio>,
 521 C<biblioitems>, and C<itemtypes> tables in the Koha database, except
 522 that C<biblioitems.notes> is given as C<$itemdata-E<gt>{bnotes}>.
 523
 524 =back
 525
 526 =cut
 527
 528 #'
 529 sub GetBiblioItemData {
 530     my ($biblioitemnumber) = @_;
 531     my $dbh       = C4::Context->dbh;
 532     my $query = "SELECT *,biblioitems.notes AS bnotes
 533         FROM biblio LEFT JOIN biblioitems on biblio.biblionumber=biblioitems.biblionumber ";
 534     unless(C4::Context->preference('item-level_itypes')) {
 535         $query .= "LEFT JOIN itemtypes on biblioitems.itemtype=itemtypes.itemtype ";
 536     }
 537     $query .= " WHERE biblioitemnumber = ? ";
 538     my $sth       =  $dbh->prepare($query);
 539     my $data;
 540     $sth->execute($biblioitemnumber);
 541     $data = $sth->fetchrow_hashref;
 542     $sth->finish;
 543     return ($data);
 544 }    # sub &GetBiblioItemData
 545
 546 =head2 GetBiblioItemByBiblioNumber
 547
 548 =over 4
 549
 550 NOTE : This function has been copy/paste from C4/Biblio.pm from head before zebra integration.
 551
 552 =back
 553
 554 =cut
 555
 556 sub GetBiblioItemByBiblioNumber {
 557     my ($biblionumber) = @_;
 558     my $dbh = C4::Context->dbh;
 559     my $sth = $dbh->prepare("Select * FROM biblioitems WHERE biblionumber = ?");
 560     my $count = 0;
 561     my @results;
 562
 563     $sth->execute($biblionumber);
 564
 565     while ( my $data = $sth->fetchrow_hashref ) {
 566         push @results, $data;
 567     }
 568
 569     $sth->finish;
 570     return @results;
 571 }
 572
 573 =head2 GetBiblioFromItemNumber
 574
 575 =over 4
 576
 577 $item = &GetBiblioFromItemNumber($itemnumber,$barcode);
 578
 579 Looks up the item with the given itemnumber. if undef, try the barcode.
 580
 581 C<&itemnodata> returns a reference-to-hash whose keys are the fields
 582 from the C<biblio>, C<biblioitems>, and C<items> tables in the Koha
 583 database.
 584
 585 =back
 586
 587 =cut
 588
 589 #'
 590 sub GetBiblioFromItemNumber {
 591     my ( $itemnumber, $barcode ) = @_;
 592     my $dbh = C4::Context->dbh;
 593     my $sth;
 594     if($itemnumber) {
 595         $sth=$dbh->prepare(  "SELECT * FROM items
 596             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
 597             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
 598              WHERE items.itemnumber = ?") ;
 599         $sth->execute($itemnumber);
 600     } else {
 601         $sth=$dbh->prepare(  "SELECT * FROM items
 602             LEFT JOIN biblio ON biblio.biblionumber = items.biblionumber
 603             LEFT JOIN biblioitems ON biblioitems.biblioitemnumber = items.biblioitemnumber
 604              WHERE items.barcode = ?") ;
 605         $sth->execute($barcode);
 606     }
 607     my $data = $sth->fetchrow_hashref;
 608     $sth->finish;
 609     return ($data);
 610 }
 611
 612 =head2 GetBiblio
 613
 614 =over 4
 615
 616 ( $count, @results ) = &GetBiblio($biblionumber);
 617
 618 =back
 619
 620 =cut
 621
 622 sub GetBiblio {
 623     my ($biblionumber) = @_;
 624     my $dbh = C4::Context->dbh;
 625     my $sth = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber = ?");
 626     my $count = 0;
 627     my @results;
 628     $sth->execute($biblionumber);
 629     while ( my $data = $sth->fetchrow_hashref ) {
 630         $results[$count] = $data;
 631         $count++;
 632     }    # while
 633     $sth->finish;
 634     return ( $count, @results );
 635 }    # sub GetBiblio
 636
 637 =head2 GetBiblioItemInfosOf
 638
 639 =over 4
 640
 641 GetBiblioItemInfosOf(@biblioitemnumbers);
 642
 643 =back
 644
 645 =cut
 646
 647 sub GetBiblioItemInfosOf {
 648     my @biblioitemnumbers = @_;
 649
 650     my $query = '
 651         SELECT biblioitemnumber,
 652             publicationyear,
 653             itemtype
 654         FROM biblioitems
 655         WHERE biblioitemnumber IN (' . join( ',', @biblioitemnumbers ) . ')
 656     ';
 657     return get_infos_of( $query, 'biblioitemnumber' );
 658 }
 659
 660 =head1 FUNCTIONS FOR HANDLING MARC MANAGEMENT
 661
 662 =head2 GetMarcStructure
 663
 664 =over 4
 665
 666 $res = GetMarcStructure($forlibrarian,$frameworkcode);
 667
 668 Returns a reference to a big hash of hash, with the Marc structure for the given frameworkcode
 669 $forlibrarian  :if set to 1, the MARC descriptions are the librarians ones, otherwise it's the public (OPAC) ones
 670 $frameworkcode : the framework code to read
 671
 672 =back
 673
 674 =cut
 675
 676 # cache for results of GetMarcStructure -- needed
 677 # for batch jobs
 678 our $marc_structure_cache;
 679
 680 sub GetMarcStructure {
 681     my ( $forlibrarian, $frameworkcode ) = @_;
 682     my $dbh=C4::Context->dbh;
 683     $frameworkcode = "" unless $frameworkcode;
 684
 685     if (defined $marc_structure_cache and exists $marc_structure_cache->{$forlibrarian}->{$frameworkcode}) {
 686         return $marc_structure_cache->{$forlibrarian}->{$frameworkcode};
 687     }
 688
 689     my $sth;
 690     my $libfield = ( $forlibrarian eq 1 ) ? 'liblibrarian' : 'libopac';
 691
 692     # check that framework exists
 693     $sth =
 694       $dbh->prepare(
 695         "SELECT COUNT(*) FROM marc_tag_structure WHERE frameworkcode=?");
 696     $sth->execute($frameworkcode);
 697     my ($total) = $sth->fetchrow;
 698     $frameworkcode = "" unless ( $total > 0 );
 699     $sth =
 700       $dbh->prepare(
 701         "SELECT tagfield,liblibrarian,libopac,mandatory,repeatable
 702         FROM marc_tag_structure
 703         WHERE frameworkcode=?
 704         ORDER BY tagfield"
 705       );
 706     $sth->execute($frameworkcode);
 707     my ( $liblibrarian, $libopac, $tag, $res, $tab, $mandatory, $repeatable );
 708
 709     while ( ( $tag, $liblibrarian, $libopac, $mandatory, $repeatable ) =
 710         $sth->fetchrow )
 711     {
 712         $res->{$tag}->{lib} =
 713           ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
 714         $res->{$tag}->{tab}        = "";
 715         $res->{$tag}->{mandatory}  = $mandatory;
 716         $res->{$tag}->{repeatable} = $repeatable;
 717     }
 718
 719     $sth =
 720       $dbh->prepare(
 721             "SELECT tagfield,tagsubfield,liblibrarian,libopac,tab,mandatory,repeatable,authorised_value,authtypecode,value_builder,kohafield,seealso,hidden,isurl,link,defaultvalue
 722                 FROM marc_subfield_structure
 723             WHERE frameworkcode=?
 724                 ORDER BY tagfield,tagsubfield
 725             "
 726     );
 727
 728     $sth->execute($frameworkcode);
 729
 730     my $subfield;
 731     my $authorised_value;
 732     my $authtypecode;
 733     my $value_builder;
 734     my $kohafield;
 735     my $seealso;
 736     my $hidden;
 737     my $isurl;
 738     my $link;
 739     my $defaultvalue;
 740
 741     while (
 742         (
 743             $tag,          $subfield,      $liblibrarian,
 744             ,              $libopac,       $tab,
 745             $mandatory,    $repeatable,    $authorised_value,
 746             $authtypecode, $value_builder, $kohafield,
 747             $seealso,      $hidden,        $isurl,
 748             $link,$defaultvalue
 749         )
 750         = $sth->fetchrow
 751       )
 752     {
 753         $res->{$tag}->{$subfield}->{lib} =
 754           ( $forlibrarian or !$libopac ) ? $liblibrarian : $libopac;
 755         $res->{$tag}->{$subfield}->{tab}              = $tab;
 756         $res->{$tag}->{$subfield}->{mandatory}        = $mandatory;
 757         $res->{$tag}->{$subfield}->{repeatable}       = $repeatable;
 758         $res->{$tag}->{$subfield}->{authorised_value} = $authorised_value;
 759         $res->{$tag}->{$subfield}->{authtypecode}     = $authtypecode;
 760         $res->{$tag}->{$subfield}->{value_builder}    = $value_builder;
 761         $res->{$tag}->{$subfield}->{kohafield}        = $kohafield;
 762         $res->{$tag}->{$subfield}->{seealso}          = $seealso;
 763         $res->{$tag}->{$subfield}->{hidden}           = $hidden;
 764         $res->{$tag}->{$subfield}->{isurl}            = $isurl;
 765         $res->{$tag}->{$subfield}->{'link'}           = $link;
 766         $res->{$tag}->{$subfield}->{defaultvalue}     = $defaultvalue;
 767     }
 768
 769     $marc_structure_cache->{$forlibrarian}->{$frameworkcode} = $res;
 770
 771     return $res;
 772 }
 773
 774 =head2 GetUsedMarcStructure
 775
 776     the same function as GetMarcStructure expcet it just take field
 777     in tab 0-9. (used field)
 778
 779     my $results = GetUsedMarcStructure($frameworkcode);
 780
 781     L<$results> is a ref to an array which each case containts a ref
 782     to a hash which each keys is the columns from marc_subfield_structure
 783
 784     L<$frameworkcode> is the framework code.
 785
 786 =cut
 787
 788 sub GetUsedMarcStructure($){
 789     my $frameworkcode = shift || '';
 790     my $dbh           = C4::Context->dbh;
 791     my $query         = qq/
 792         SELECT *
 793         FROM   marc_subfield_structure
 794         WHERE   tab > -1
 795             AND frameworkcode = ?
 796     /;
 797     my @results;
 798     my $sth = $dbh->prepare($query);
 799     $sth->execute($frameworkcode);
 800     while (my $row = $sth->fetchrow_hashref){
 801         push @results,$row;
 802     }
 803     return \@results;
 804 }
 805
 806 =head2 GetMarcFromKohaField
 807
 808 =over 4
 809
 810 ($MARCfield,$MARCsubfield)=GetMarcFromKohaField($kohafield,$frameworkcode);
 811 Returns the MARC fields & subfields mapped to the koha field
 812 for the given frameworkcode
 813
 814 =back
 815
 816 =cut
 817
 818 sub GetMarcFromKohaField {
 819     my ( $kohafield, $frameworkcode ) = @_;
 820     return 0, 0 unless $kohafield and defined $frameworkcode;
 821     my $relations = C4::Context->marcfromkohafield;
 822     return (
 823         $relations->{$frameworkcode}->{$kohafield}->[0],
 824         $relations->{$frameworkcode}->{$kohafield}->[1]
 825     );
 826 }
 827
 828 =head2 GetMarcBiblio
 829
 830 =over 4
 831
 832 my $record = GetMarcBiblio($biblionumber);
 833
 834 =back
 835
 836 Returns MARC::Record representing bib identified by
 837 C<$biblionumber>.  If no bib exists, returns undef.
 838 The MARC record contains both biblio & item data.
 839
 840 =cut
 841
 842 sub GetMarcBiblio {
 843     my $biblionumber = shift;
 844     my $dbh          = C4::Context->dbh;
 845     my $sth          =
 846       $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
 847     $sth->execute($biblionumber);
 848     my $row = $sth->fetchrow_hashref;
 849     my $marcxml = StripNonXmlChars($row->{'marcxml'});
 850      MARC::File::XML->default_record_format(C4::Context->preference('marcflavour'));
 851     my $record = MARC::Record->new();
 852     if ($marcxml) {
 853         $record = eval {MARC::Record::new_from_xml( $marcxml, "utf8", C4::Context->preference('marcflavour'))};
 854         if ($@) {warn " problem with :$biblionumber : $@ \n$marcxml";}
 855 #      $record = MARC::Record::new_from_usmarc( $marc) if $marc;
 856         return $record;
 857     } else {
 858         return undef;
 859     }
 860 }
 861
 862 =head2 GetXmlBiblio
 863
 864 =over 4
 865
 866 my $marcxml = GetXmlBiblio($biblionumber);
 867
 868 Returns biblioitems.marcxml of the biblionumber passed in parameter.
 869 The XML contains both biblio & item datas
 870
 871 =back
 872
 873 =cut
 874
 875 sub GetXmlBiblio {
 876     my ( $biblionumber ) = @_;
 877     my $dbh = C4::Context->dbh;
 878     my $sth =
 879       $dbh->prepare("SELECT marcxml FROM biblioitems WHERE biblionumber=? ");
 880     $sth->execute($biblionumber);
 881     my ($marcxml) = $sth->fetchrow;
 882     return $marcxml;
 883 }
 884
 885 =head2 GetCOinSBiblio
 886
 887 =over 4
 888
 889 my $coins = GetCOinSBiblio($biblionumber);
 890
 891 Returns the COinS(a span) which can be included in a biblio record
 892
 893 =back
 894
 895 =cut
 896
 897 sub GetCOinSBiblio {
 898     my ( $biblionumber ) = @_;
 899     my $record = GetMarcBiblio($biblionumber);
 900     my $coins_value;
 901     if (defined $record){
 902     # get the coin format
 903     my $pos7 = substr $record->leader(), 7,1;
 904     my $pos6 = substr $record->leader(), 6,1;
 905     my $mtx;
 906     my $genre;
 907     my ($aulast, $aufirst);
 908     my $oauthors;
 909     my $title;
 910     my $pubyear;
 911     my $isbn;
 912     my $issn;
 913     my $publisher;
 914
 915     if ( C4::Context->preference("marcflavour") eq "UNIMARC" ){
 916         my $fmts6;
 917         my $fmts7;
 918         %$fmts6 = (
 919                     'a' => 'book',
 920                     'b' => 'manuscript',
 921                     'c' => 'book',
 922                     'd' => 'manuscript',
 923                     'e' => 'map',
 924                     'f' => 'map',
 925                     'g' => 'film',
 926                     'i' => 'audioRecording',
 927                     'j' => 'audioRecording',
 928                     'k' => 'artwork',
 929                     'l' => 'document',
 930                     'm' => 'computerProgram',
 931                     'r' => 'document',
 932
 933                 );
 934         %$fmts7 = (
 935                     'a' => 'journalArticle',
 936                     's' => 'journal',
 937                 );
 938
 939         $genre =  $fmts6->{$pos6} ? $fmts6->{$pos6} : 'book' ;
 940
 941         if( $genre eq 'book' ){
 942             $genre =  $fmts7->{$pos7} if $fmts7->{$pos7};
 943         }
 944
 945         ##### We must transform mtx to a valable mtx and document type ####
 946         if( $genre eq 'book' ){
 947             $mtx = 'book';
 948         }elsif( $genre eq 'journal' ){
 949             $mtx = 'journal';
 950         }elsif( $genre eq 'journalArticle' ){
 951             $mtx = 'journal';
 952             $genre = 'article';
 953         }else{
 954             $mtx = 'dc';
 955         }
 956
 957         $genre = ($mtx eq 'dc') ? "&rft.type=$genre" : "&rft.genre=$genre";
 958
 959         # Setting datas
 960         $aulast     = $record->subfield('700','a');
 961         $aufirst    = $record->subfield('700','b');
 962         $oauthors   = "&rft.au=$aufirst $aulast";
 963         # others authors
 964         if($record->field('200')){
 965             for my $au ($record->field('200')->subfield('g')){
 966                 $oauthors .= "&rft.au=$au";
 967             }
 968         }
 969         $title      = ( $mtx eq 'dc' ) ? "&rft.title=".$record->subfield('200','a') :
 970                                          "&rft.title=".$record->subfield('200','a')."&rft.btitle=".$record->subfield('200','a');
 971         $pubyear    = $record->subfield('210','d');
 972         $publisher  = $record->subfield('210','c');
 973         $isbn       = $record->subfield('010','a');
 974         $issn       = $record->subfield('011','a');
 975     }else{
 976         # MARC21 need some improve
 977         my $fmts;
 978         $mtx = 'book';
 979         $genre = "&rft.genre=book";
 980
 981         # Setting datas
 982         $oauthors .= "&rft.au=".$record->subfield('100','a');
 983         # others authors
 984         if($record->field('700')){
 985             for my $au ($record->field('700')->subfield('a')){
 986                 $oauthors .= "&rft.au=$au";
 987             }
 988         }
 989         $title      = "&rft.btitle=".$record->subfield('245','a');
 990         $pubyear    = $record->subfield('260','c');
 991         $publisher  = $record->subfield('260','b');
 992         $isbn       = $record->subfield('020','a');
 993         $issn       = $record->subfield('022','a');
 994
 995     }
 996     $coins_value = "ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3A$mtx$genre$title&rft.isbn=$isbn&rft.issn=$issn&rft.aulast=$aulast&rft.aufirst=$aufirst$oauthors&rft.pub=$publisher&rft.date=$pubyear";
 997     $coins_value =~ s/\ /\+/g;
 998     #<!-- TMPL_VAR NAME="ocoins_format" -->&amp;rft.au=<!-- TMPL_VAR NAME="author" -->&amp;rft.btitle=<!-- TMPL_VAR NAME="title" -->&amp;rft.date=<!-- TMPL_VAR NAME="publicationyear" -->&amp;rft.pages=<!-- TMPL_VAR NAME="pages" -->&amp;rft.isbn=<!-- TMPL_VAR NAME=amazonisbn -->&amp;rft.aucorp=&amp;rft.place=<!-- TMPL_VAR NAME="place" -->&amp;rft.pub=<!-- TMPL_VAR NAME="publishercode" -->&amp;rft.edition=<!-- TMPL_VAR NAME="edition" -->&amp;rft.series=<!-- TMPL_VAR NAME="series" -->&amp;rft.genre="
 999     }
1000     return $coins_value;
1001 }
1002
1003 =head2 GetAuthorisedValueDesc
1004
1005 =over 4
1006
1007 my $subfieldvalue =get_authorised_value_desc(
1008     $tag, $subf[$i][0],$subf[$i][1], '', $taglib, $category);
1009 Retrieve the complete description for a given authorised value.
1010
1011 Now takes $category and $value pair too.
1012 my $auth_value_desc =GetAuthorisedValueDesc(
1013     '','', 'DVD' ,'','','CCODE');
1014
1015 =back
1016
1017 =cut
1018
1019 sub GetAuthorisedValueDesc {
1020     my ( $tag, $subfield, $value, $framework, $tagslib, $category ) = @_;
1021     my $dbh = C4::Context->dbh;
1022
1023     if (!$category) {
1024
1025         return $value unless defined $tagslib->{$tag}->{$subfield}->{'authorised_value'};
1026
1027 #---- branch
1028         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "branches" ) {
1029             return C4::Branch::GetBranchName($value);
1030         }
1031
1032 #---- itemtypes
1033         if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq "itemtypes" ) {
1034             return getitemtypeinfo($value)->{description};
1035         }
1036
1037 #---- "true" authorized value
1038         $category = $tagslib->{$tag}->{$subfield}->{'authorised_value'}
1039     }
1040
1041     if ( $category ne "" ) {
1042         my $sth =
1043             $dbh->prepare(
1044                     "SELECT lib FROM authorised_values WHERE category = ? AND authorised_value = ?"
1045                     );
1046         $sth->execute( $category, $value );
1047         my $data = $sth->fetchrow_hashref;
1048         return $data->{'lib'};
1049     }
1050     else {
1051         return $value;    # if nothing is found return the original value
1052     }
1053 }
1054
1055 =head2 GetMarcNotes
1056
1057 =over 4
1058
1059 $marcnotesarray = GetMarcNotes( $record, $marcflavour );
1060 Get all notes from the MARC record and returns them in an array.
1061 The note are stored in differents places depending on MARC flavour
1062
1063 =back
1064
1065 =cut
1066
1067 sub GetMarcNotes {
1068     my ( $record, $marcflavour ) = @_;
1069     my $scope;
1070     if ( $marcflavour eq "MARC21" ) {
1071         $scope = '5..';
1072     }
1073     else {    # assume unimarc if not marc21
1074         $scope = '3..';
1075     }
1076     my @marcnotes;
1077     my $note = "";
1078     my $tag  = "";
1079     my $marcnote;
1080     foreach my $field ( $record->field($scope) ) {
1081         my $value = $field->as_string();
1082         $value =~ s/\n/<br \/>/g ;
1083
1084         if ( $note ne "" ) {
1085             $marcnote = { marcnote => $note, };
1086             push @marcnotes, $marcnote;
1087             $note = $value;
1088         }
1089         if ( $note ne $value ) {
1090             $note = $note . " " . $value;
1091         }
1092     }
1093
1094     if ( $note ) {
1095         $marcnote = { marcnote => $note };
1096         push @marcnotes, $marcnote;    #load last tag into array
1097     }
1098     return \@marcnotes;
1099 }    # end GetMarcNotes
1100
1101 =head2 GetMarcSubjects
1102
1103 =over 4
1104
1105 $marcsubjcts = GetMarcSubjects($record,$marcflavour);
1106 Get all subjects from the MARC record and returns them in an array.
1107 The subjects are stored in differents places depending on MARC flavour
1108
1109 =back
1110
1111 =cut
1112
1113 sub GetMarcSubjects {
1114     my ( $record, $marcflavour ) = @_;
1115     my ( $mintag, $maxtag );
1116     if ( $marcflavour eq "MARC21" ) {
1117         $mintag = "600";
1118         $maxtag = "699";
1119     }
1120     else {    # assume unimarc if not marc21
1121         $mintag = "600";
1122         $maxtag = "611";
1123     }
1124
1125     my @marcsubjects;
1126     my $subject = "";
1127     my $subfield = "";
1128     my $marcsubject;
1129
1130     foreach my $field ( $record->field('6..' )) {
1131         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
1132         my @subfields_loop;
1133         my @subfields = $field->subfields();
1134         my $counter = 0;
1135         my @link_loop;
1136         # if there is an authority link, build the link with an= subfield9
1137         my $subfield9 = $field->subfield('9');
1138         for my $subject_subfield (@subfields ) {
1139             # don't load unimarc subfields 3,4,5
1140             next if (($marcflavour eq "UNIMARC") and ($subject_subfield->[0] =~ /3|4|5/ ) );
1141             my $code = $subject_subfield->[0];
1142             my $value = $subject_subfield->[1];
1143             my $linkvalue = $value;
1144             $linkvalue =~ s/(\(|\))//g;
1145             my $operator = " and " unless $counter==0;
1146             if ($subfield9) {
1147                 @link_loop = ({'limit' => 'an' ,link => "$subfield9" });
1148             } else {
1149                 push @link_loop, {'limit' => 'su', link => $linkvalue, operator => $operator };
1150             }
1151             my $separator = C4::Context->preference("authoritysep") unless $counter==0;
1152             # ignore $9
1153             my @this_link_loop = @link_loop;
1154             push @subfields_loop, {code => $code, value => $value, link_loop => \@this_link_loop, separator => $separator} unless ($subject_subfield->[0] eq 9 );
1155             $counter++;
1156         }
1157
1158         push @marcsubjects, { MARCSUBJECT_SUBFIELDS_LOOP => \@subfields_loop };
1159
1160     }
1161         return \@marcsubjects;
1162 }  #end getMARCsubjects
1163
1164 =head2 GetMarcAuthors
1165
1166 =over 4
1167
1168 authors = GetMarcAuthors($record,$marcflavour);
1169 Get all authors from the MARC record and returns them in an array.
1170 The authors are stored in differents places depending on MARC flavour
1171
1172 =back
1173
1174 =cut
1175
1176 sub GetMarcAuthors {
1177     my ( $record, $marcflavour ) = @_;
1178     my ( $mintag, $maxtag );
1179     # tagslib useful for UNIMARC author reponsabilities
1180     my $tagslib = &GetMarcStructure( 1, '' ); # FIXME : we don't have the framework available, we take the default framework. May be bugguy on some setups, will be usually correct.
1181     if ( $marcflavour eq "MARC21" ) {
1182         $mintag = "700";
1183         $maxtag = "720";
1184     }
1185     elsif ( $marcflavour eq "UNIMARC" ) {    # assume unimarc if not marc21
1186         $mintag = "700";
1187         $maxtag = "712";
1188     }
1189     else {
1190         return;
1191     }
1192     my @marcauthors;
1193
1194     foreach my $field ( $record->fields ) {
1195         next unless $field->tag() >= $mintag && $field->tag() <= $maxtag;
1196         my @subfields_loop;
1197         my @link_loop;
1198         my @subfields = $field->subfields();
1199         my $count_auth = 0;
1200         # if there is an authority link, build the link with Koha-Auth-Number: subfield9
1201         my $subfield9 = $field->subfield('9');
1202         for my $authors_subfield (@subfields) {
1203             # don't load unimarc subfields 3, 5
1204             next if ($marcflavour eq 'UNIMARC' and ($authors_subfield->[0] =~ /3|5/ ) );
1205             my $subfieldcode = $authors_subfield->[0];
1206             my $value = $authors_subfield->[1];
1207             my $linkvalue = $value;
1208             $linkvalue =~ s/(\(|\))//g;
1209             my $operator = " and " unless $count_auth==0;
1210             # if we have an authority link, use that as the link, otherwise use standard searching
1211             if ($subfield9) {
1212                 @link_loop = ({'limit' => 'an' ,link => "$subfield9" });
1213             }
1214             else {
1215                 # reset $linkvalue if UNIMARC author responsibility
1216                 if ( $marcflavour eq 'UNIMARC' and ($authors_subfield->[0] eq "4")) {
1217                     $linkvalue = "(".GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib ).")";
1218                 }
1219                 push @link_loop, {'limit' => 'au', link => $linkvalue, operator => $operator };
1220             }
1221             $value = GetAuthorisedValueDesc( $field->tag(), $authors_subfield->[0], $authors_subfield->[1], '', $tagslib ) if ( $marcflavour eq 'UNIMARC' and ($authors_subfield->[0] =~/4/));
1222             my @this_link_loop = @link_loop;
1223             my $separator = C4::Context->preference("authoritysep") unless $count_auth==0;
1224             push @subfields_loop, {code => $subfieldcode, value => $value, link_loop => \@this_link_loop, separator => $separator} unless ($authors_subfield->[0] eq '9' );
1225             $count_auth++;
1226         }
1227         push @marcauthors, { MARCAUTHOR_SUBFIELDS_LOOP => \@subfields_loop };
1228     }
1229     return \@marcauthors;
1230 }
1231
1232 =head2 GetMarcUrls
1233
1234 =over 4
1235
1236 $marcurls = GetMarcUrls($record,$marcflavour);
1237 Returns arrayref of URLs from MARC data, suitable to pass to tmpl loop.
1238 Assumes web resources (not uncommon in MARC21 to omit resource type ind)
1239
1240 =back
1241
1242 =cut
1243
1244 sub GetMarcUrls {
1245     my ($record, $marcflavour) = @_;
1246     my @marcurls;
1247     for my $field ($record->field('856')) {
1248         my $marcurl;
1249         my $url = $field->subfield('u');
1250         my @notes;
1251         for my $note ( $field->subfield('z')) {
1252             push @notes , {note => $note};
1253         }
1254         if($marcflavour eq 'MARC21') {
1255             my $s3 = $field->subfield('3');
1256             my $link = $field->subfield('y');
1257                         unless($url =~ /^\w+:/) {
1258                                 if($field->indicator(1) eq '7') {
1259                                         $url = $field->subfield('2') . "://" . $url;
1260                                 } elsif ($field->indicator(1) eq '1') {
1261                                         $url = 'ftp://' . $url;
1262                                 } else {
1263                                         #  properly, this should be if ind1=4,
1264                                         #  however we will assume http protocol since we're building a link.
1265                                         $url = 'http://' . $url;
1266                                 }
1267                         }
1268                         # TODO handle ind 2 (relationship)
1269                 $marcurl = {  MARCURL => $url,
1270                       notes => \@notes,
1271             };
1272             $marcurl->{'linktext'} = $link || $s3 || C4::Context->preference('URLLinkText') || $url ;
1273             $marcurl->{'part'} = $s3 if($link);
1274             $marcurl->{'toc'} = 1 if($s3 =~ /^[Tt]able/) ;
1275         } else {
1276             $marcurl->{'linktext'} = $field->subfield('2') || C4::Context->preference('URLLinkText') || $url;
1277             $marcurl->{'MARCURL'} = $url ;
1278         }
1279         push @marcurls, $marcurl;
1280     }
1281     return \@marcurls;
1282 }  #end GetMarcUrls
1283
1284 =head2 GetMarcSeries
1285
1286 =over 4
1287
1288 $marcseriesarray = GetMarcSeries($record,$marcflavour);
1289 Get all series from the MARC record and returns them in an array.
1290 The series are stored in differents places depending on MARC flavour
1291
1292 =back
1293
1294 =cut
1295
1296 sub GetMarcSeries {
1297     my ($record, $marcflavour) = @_;
1298     my ($mintag, $maxtag);
1299     if ($marcflavour eq "MARC21") {
1300         $mintag = "440";
1301         $maxtag = "490";
1302     } else {           # assume unimarc if not marc21
1303         $mintag = "600";
1304         $maxtag = "619";
1305     }
1306
1307     my @marcseries;
1308     my $subjct = "";
1309     my $subfield = "";
1310     my $marcsubjct;
1311
1312     foreach my $field ($record->field('440'), $record->field('490')) {
1313         my @subfields_loop;
1314         #my $value = $field->subfield('a');
1315         #$marcsubjct = {MARCSUBJCT => $value,};
1316         my @subfields = $field->subfields();
1317         #warn "subfields:".join " ", @$subfields;
1318         my $counter = 0;
1319         my @link_loop;
1320         for my $series_subfield (@subfields) {
1321             my $volume_number;
1322             undef $volume_number;
1323             # see if this is an instance of a volume
1324             if ($series_subfield->[0] eq 'v') {
1325                 $volume_number=1;
1326             }
1327
1328             my $code = $series_subfield->[0];
1329             my $value = $series_subfield->[1];
1330             my $linkvalue = $value;
1331             $linkvalue =~ s/(\(|\))//g;
1332             my $operator = " and " unless $counter==0;
1333             push @link_loop, {link => $linkvalue, operator => $operator };
1334             my $separator = C4::Context->preference("authoritysep") unless $counter==0;
1335             if ($volume_number) {
1336             push @subfields_loop, {volumenum => $value};
1337             }
1338             else {
1339             push @subfields_loop, {code => $code, value => $value, link_loop => \@link_loop, separator => $separator, volumenum => $volume_number};
1340             }
1341             $counter++;
1342         }
1343         push @marcseries, { MARCSERIES_SUBFIELDS_LOOP => \@subfields_loop };
1344         #$marcsubjct = {MARCSUBJCT => $field->as_string(),};
1345         #push @marcsubjcts, $marcsubjct;
1346         #$subjct = $value;
1347
1348     }
1349     my $marcseriessarray=\@marcseries;
1350     return $marcseriessarray;
1351 }  #end getMARCseriess
1352
1353 =head2 GetFrameworkCode
1354
1355 =over 4
1356
1357     $frameworkcode = GetFrameworkCode( $biblionumber )
1358
1359 =back
1360
1361 =cut
1362
1363 sub GetFrameworkCode {
1364     my ( $biblionumber ) = @_;
1365     my $dbh = C4::Context->dbh;
1366     my $sth = $dbh->prepare("SELECT frameworkcode FROM biblio WHERE biblionumber=?");
1367     $sth->execute($biblionumber);
1368     my ($frameworkcode) = $sth->fetchrow;
1369     return $frameworkcode;
1370 }
1371
1372 =head2 GetPublisherNameFromIsbn
1373
1374     $name = GetPublishercodeFromIsbn($isbn);
1375     if(defined $name){
1376         ...
1377     }
1378
1379 =cut
1380
1381 sub GetPublisherNameFromIsbn($){
1382     my $isbn = shift;
1383     $isbn =~ s/[- _]//g;
1384     $isbn =~ s/^0*//;
1385     my @codes = (split '-', DisplayISBN($isbn));
1386     my $code = $codes[0].$codes[1].$codes[2];
1387     my $dbh  = C4::Context->dbh;
1388     my $query = qq{
1389         SELECT distinct publishercode
1390         FROM   biblioitems
1391         WHERE  isbn LIKE ?
1392         AND    publishercode IS NOT NULL
1393         LIMIT 1
1394     };
1395     my $sth = $dbh->prepare($query);
1396     $sth->execute("$code%");
1397     my $name = $sth->fetchrow;
1398     return $name if length $name;
1399     return undef;
1400 }
1401
1402 =head2 TransformKohaToMarc
1403
1404 =over 4
1405
1406     $record = TransformKohaToMarc( $hash )
1407     This function builds partial MARC::Record from a hash
1408     Hash entries can be from biblio or biblioitems.
1409     This function is called in acquisition module, to create a basic catalogue entry from user entry
1410
1411 =back
1412
1413 =cut
1414
1415 sub TransformKohaToMarc {
1416
1417     my ( $hash ) = @_;
1418     my $dbh = C4::Context->dbh;
1419     my $sth =
1420     $dbh->prepare(
1421         "SELECT tagfield,tagsubfield FROM marc_subfield_structure WHERE frameworkcode=? AND kohafield=?"
1422     );
1423     my $record = MARC::Record->new();
1424     foreach (keys %{$hash}) {
1425         &TransformKohaToMarcOneField( $sth, $record, $_,
1426             $hash->{$_}, '' );
1427         }
1428     return $record;
1429 }
1430
1431 =head2 TransformKohaToMarcOneField
1432
1433 =over 4
1434
1435     $record = TransformKohaToMarcOneField( $sth, $record, $kohafieldname, $value, $frameworkcode );
1436
1437 =back
1438
1439 =cut
1440
1441 sub TransformKohaToMarcOneField {
1442     my ( $sth, $record, $kohafieldname, $value, $frameworkcode ) = @_;
1443     $frameworkcode='' unless $frameworkcode;
1444     my $tagfield;
1445     my $tagsubfield;
1446
1447     if ( !defined $sth ) {
1448         my $dbh = C4::Context->dbh;
1449         $sth = $dbh->prepare(
1450             "SELECT tagfield,tagsubfield FROM marc_subfield_structure WHERE frameworkcode=? AND kohafield=?"
1451         );
1452     }
1453     $sth->execute( $frameworkcode, $kohafieldname );
1454     if ( ( $tagfield, $tagsubfield ) = $sth->fetchrow ) {
1455         my $tag = $record->field($tagfield);
1456         if ($tag) {
1457             $tag->update( $tagsubfield => $value );
1458             $record->delete_field($tag);
1459             $record->insert_fields_ordered($tag);
1460         }
1461         else {
1462             $record->add_fields( $tagfield, " ", " ", $tagsubfield => $value );
1463         }
1464     }
1465     return $record;
1466 }
1467
1468 =head2 TransformHtmlToXml
1469
1470 =over 4
1471
1472 $xml = TransformHtmlToXml( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type )
1473
1474 $auth_type contains :
1475 - nothing : rebuild a biblio, un UNIMARC the encoding is in 100$a pos 26/27
1476 - UNIMARCAUTH : rebuild an authority. In UNIMARC, the encoding is in 100$a pos 13/14
1477 - ITEM : rebuild an item : in UNIMARC, 100$a, it's in the biblio ! (otherwise, we would get 2 100 fields !)
1478
1479 =back
1480
1481 =cut
1482
1483 sub TransformHtmlToXml {
1484     my ( $tags, $subfields, $values, $indicator, $ind_tag, $auth_type ) = @_;
1485     my $xml = MARC::File::XML::header('UTF-8');
1486     $auth_type = C4::Context->preference('marcflavour') unless $auth_type;
1487     MARC::File::XML->default_record_format($auth_type);
1488     # in UNIMARC, field 100 contains the encoding
1489     # check that there is one, otherwise the
1490     # MARC::Record->new_from_xml will fail (and Koha will die)
1491     my $unimarc_and_100_exist=0;
1492     $unimarc_and_100_exist=1 if $auth_type eq 'ITEM'; # if we rebuild an item, no need of a 100 field
1493     my $prevvalue;
1494     my $prevtag = -1;
1495     my $first   = 1;
1496     my $j       = -1;
1497     for ( my $i = 0 ; $i < @$tags ; $i++ ) {
1498         if (C4::Context->preference('marcflavour') eq 'UNIMARC' and @$tags[$i] eq "100" and @$subfields[$i] eq "a") {
1499             # if we have a 100 field and it's values are not correct, skip them.
1500             # if we don't have any valid 100 field, we will create a default one at the end
1501             my $enc = substr( @$values[$i], 26, 2 );
1502             if ($enc eq '01' or $enc eq '50' or $enc eq '03') {
1503                 $unimarc_and_100_exist=1;
1504             } else {
1505                 next;
1506             }
1507         }
1508         @$values[$i] =~ s/&/&amp;/g;
1509         @$values[$i] =~ s/</&lt;/g;
1510         @$values[$i] =~ s/>/&gt;/g;
1511         @$values[$i] =~ s/"/&quot;/g;
1512         @$values[$i] =~ s/'/&apos;/g;
1513 #         if ( !utf8::is_utf8( @$values[$i] ) ) {
1514 #             utf8::decode( @$values[$i] );
1515 #         }
1516         if ( ( @$tags[$i] ne $prevtag ) ) {
1517             $j++ unless ( @$tags[$i] eq "" );
1518             if ( !$first ) {
1519                 $xml .= "</datafield>\n";
1520                 if (   ( @$tags[$i] && @$tags[$i] > 10 )
1521                     && ( @$values[$i] ne "" ) )
1522                 {
1523                     my $ind1 = substr( @$indicator[$j], 0, 1 );
1524                     my $ind2;
1525                     if ( @$indicator[$j] ) {
1526                         $ind2 = substr( @$indicator[$j], 1, 1 );
1527                     }
1528                     else {
1529                         warn "Indicator in @$tags[$i] is empty";
1530                         $ind2 = " ";
1531                     }
1532                     $xml .=
1533 "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
1534                     $xml .=
1535 "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
1536                     $first = 0;
1537                 }
1538                 else {
1539                     $first = 1;
1540                 }
1541             }
1542             else {
1543                 if ( @$values[$i] ne "" ) {
1544
1545                     # leader
1546                     if ( @$tags[$i] eq "000" ) {
1547                         $xml .= "<leader>@$values[$i]</leader>\n";
1548                         $first = 1;
1549
1550                         # rest of the fixed fields
1551                     }
1552                     elsif ( @$tags[$i] < 10 ) {
1553                         $xml .=
1554 "<controlfield tag=\"@$tags[$i]\">@$values[$i]</controlfield>\n";
1555                         $first = 1;
1556                     }
1557                     else {
1558                         my $ind1 = substr( @$indicator[$j], 0, 1 );
1559                         my $ind2 = substr( @$indicator[$j], 1, 1 );
1560                         $xml .=
1561 "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
1562                         $xml .=
1563 "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
1564                         $first = 0;
1565                     }
1566                 }
1567             }
1568         }
1569         else {    # @$tags[$i] eq $prevtag
1570             if ( @$values[$i] eq "" ) {
1571             }
1572             else {
1573                 if ($first) {
1574                     my $ind1 = substr( @$indicator[$j], 0, 1 );
1575                     my $ind2 = substr( @$indicator[$j], 1, 1 );
1576                     $xml .=
1577 "<datafield tag=\"@$tags[$i]\" ind1=\"$ind1\" ind2=\"$ind2\">\n";
1578                     $first = 0;
1579                 }
1580                 $xml .=
1581 "<subfield code=\"@$subfields[$i]\">@$values[$i]</subfield>\n";
1582             }
1583         }
1584         $prevtag = @$tags[$i];
1585     }
1586     $xml .= "</datafield>\n" if @$tags > 0;
1587     if (C4::Context->preference('marcflavour') eq 'UNIMARC' and !$unimarc_and_100_exist) {
1588 #     warn "SETTING 100 for $auth_type";
1589         use POSIX qw(strftime);
1590         my $string = strftime( "%Y%m%d", localtime(time) );
1591         # set 50 to position 26 is biblios, 13 if authorities
1592         my $pos=26;
1593         $pos=13 if $auth_type eq 'UNIMARCAUTH';
1594         $string = sprintf( "%-*s", 35, $string );
1595         substr( $string, $pos , 6, "50" );
1596         $xml .= "<datafield tag=\"100\" ind1=\"\" ind2=\"\">\n";
1597         $xml .= "<subfield code=\"a\">$string</subfield>\n";
1598         $xml .= "</datafield>\n";
1599     }
1600     $xml .= MARC::File::XML::footer();
1601     return $xml;
1602 }
1603
1604 =head2 TransformHtmlToMarc
1605
1606     L<$record> = TransformHtmlToMarc(L<$params>,L<$cgi>)
1607     L<$params> is a ref to an array as below:
1608     {
1609         'tag_010_indicator1_531951' ,
1610         'tag_010_indicator2_531951' ,
1611         'tag_010_code_a_531951_145735' ,
1612         'tag_010_subfield_a_531951_145735' ,
1613         'tag_200_indicator1_873510' ,
1614         'tag_200_indicator2_873510' ,
1615         'tag_200_code_a_873510_673465' ,
1616         'tag_200_subfield_a_873510_673465' ,
1617         'tag_200_code_b_873510_704318' ,
1618         'tag_200_subfield_b_873510_704318' ,
1619         'tag_200_code_e_873510_280822' ,
1620         'tag_200_subfield_e_873510_280822' ,
1621         'tag_200_code_f_873510_110730' ,
1622         'tag_200_subfield_f_873510_110730' ,
1623     }
1624     L<$cgi> is the CGI object which containts the value.
1625     L<$record> is the MARC::Record object.
1626
1627 =cut
1628
1629 sub TransformHtmlToMarc {
1630     my $params = shift;
1631     my $cgi    = shift;
1632
1633     # explicitly turn on the UTF-8 flag for all
1634     # 'tag_' parameters to avoid incorrect character
1635     # conversion later on
1636     my $cgi_params = $cgi->Vars;
1637     foreach my $param_name (keys %$cgi_params) {
1638         if ($param_name =~ /^tag_/) {
1639             my $param_value = $cgi_params->{$param_name};
1640             if (utf8::decode($param_value)) {
1641                 $cgi_params->{$param_name} = $param_value;
1642             }
1643             # FIXME - need to do something if string is not valid UTF-8
1644         }
1645     }
1646
1647     # creating a new record
1648     my $record  = MARC::Record->new();
1649     my $i=0;
1650     my @fields;
1651     while ($params->[$i]){ # browse all CGI params
1652         my $param = $params->[$i];
1653         my $newfield=0;
1654         # if we are on biblionumber, store it in the MARC::Record (it may not be in the edited fields)
1655         if ($param eq 'biblionumber') {
1656             my ( $biblionumbertagfield, $biblionumbertagsubfield ) =
1657                 &GetMarcFromKohaField( "biblio.biblionumber", '' );
1658             if ($biblionumbertagfield < 10) {
1659                 $newfield = MARC::Field->new(
1660                     $biblionumbertagfield,
1661                     $cgi->param($param),
1662                 );
1663             } else {
1664                 $newfield = MARC::Field->new(
1665                     $biblionumbertagfield,
1666                     '',
1667                     '',
1668                     "$biblionumbertagsubfield" => $cgi->param($param),
1669                 );
1670             }
1671             push @fields,$newfield if($newfield);
1672         }
1673         elsif ($param =~ /^tag_(\d*)_indicator1_/){ # new field start when having 'input name="..._indicator1_..."
1674             my $tag  = $1;
1675
1676             my $ind1 = substr($cgi->param($param),0,1);
1677             my $ind2 = substr($cgi->param($params->[$i+1]),0,1);
1678             $newfield=0;
1679             my $j=$i+2;
1680
1681             if($tag < 10){ # no code for theses fields
1682     # in MARC editor, 000 contains the leader.
1683                 if ($tag eq '000' ) {
1684                     $record->leader($cgi->param($params->[$j+1])) if length($cgi->param($params->[$j+1]))==24;
1685     # between 001 and 009 (included)
1686                 } elsif ($cgi->param($params->[$j+1]) ne '') {
1687                     $newfield = MARC::Field->new(
1688                         $tag,
1689                         $cgi->param($params->[$j+1]),
1690                     );
1691                 }
1692     # > 009, deal with subfields
1693             } else {
1694                 while(defined $params->[$j] && $params->[$j] =~ /_code_/){ # browse all it's subfield
1695                     my $inner_param = $params->[$j];
1696                     if ($newfield){
1697                         if($cgi->param($params->[$j+1]) ne ''){  # only if there is a value (code => value)
1698                             $newfield->add_subfields(
1699                                 $cgi->param($inner_param) => $cgi->param($params->[$j+1])
1700                             );
1701                         }
1702                     } else {
1703                         if ( $cgi->param($params->[$j+1]) ne '' ) { # creating only if there is a value (code => value)
1704                             $newfield = MARC::Field->new(
1705                                 $tag,
1706                                 ''.$ind1,
1707                                 ''.$ind2,
1708                                 $cgi->param($inner_param) => $cgi->param($params->[$j+1]),
1709                             );
1710                         }
1711                     }
1712                     $j+=2;
1713                 }
1714             }
1715             push @fields,$newfield if($newfield);
1716         }
1717         $i++;
1718     }
1719
1720     $record->append_fields(@fields);
1721     return $record;
1722 }
1723
1724 # cache inverted MARC field map
1725 our $inverted_field_map;
1726
1727 =head2 TransformMarcToKoha
1728
1729 =over 4
1730
1731     $result = TransformMarcToKoha( $dbh, $record, $frameworkcode )
1732
1733 =back
1734
1735 Extract data from a MARC bib record into a hashref representing
1736 Koha biblio, biblioitems, and items fields.
1737
1738 =cut
1739 sub TransformMarcToKoha {
1740     my ( $dbh, $record, $frameworkcode, $limit_table ) = @_;
1741
1742     my $result;
1743     $limit_table=$limit_table||0;
1744     $frameworkcode = '' unless defined $frameworkcode;
1745
1746     unless (defined $inverted_field_map) {
1747         $inverted_field_map = _get_inverted_marc_field_map();
1748     }
1749
1750     my %tables = ();
1751     if ( defined $limit_table && $limit_table eq 'items') {
1752         $tables{'items'} = 1;
1753     } else {
1754         $tables{'items'} = 1;
1755         $tables{'biblio'} = 1;
1756         $tables{'biblioitems'} = 1;
1757     }
1758
1759     # traverse through record
1760     MARCFIELD: foreach my $field ($record->fields()) {
1761         my $tag = $field->tag();
1762         next MARCFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag};
1763         if ($field->is_control_field()) {
1764             my $kohafields = $inverted_field_map->{$frameworkcode}->{$tag}->{list};
1765             ENTRY: foreach my $entry (@{ $kohafields }) {
1766                 my ($subfield, $table, $column) = @{ $entry };
1767                 next ENTRY unless exists $tables{$table};
1768                 my $key = _disambiguate($table, $column);
1769                 if ($result->{$key}) {
1770                     unless (($key eq "biblionumber" or $key eq "biblioitemnumber") and ($field->data() eq "")) {
1771                         $result->{$key} .= " | " . $field->data();
1772                     }
1773                 } else {
1774                     $result->{$key} = $field->data();
1775                 }
1776             }
1777         } else {
1778             # deal with subfields
1779             MARCSUBFIELD: foreach my $sf ($field->subfields()) {
1780                 my $code = $sf->[0];
1781                 next MARCSUBFIELD unless exists $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code};
1782                 my $value = $sf->[1];
1783                 SFENTRY: foreach my $entry (@{ $inverted_field_map->{$frameworkcode}->{$tag}->{sfs}->{$code} }) {
1784                     my ($table, $column) = @{ $entry };
1785                     next SFENTRY unless exists $tables{$table};
1786                     my $key = _disambiguate($table, $column);
1787                     if ($result->{$key}) {
1788                         unless (($key eq "biblionumber" or $key eq "biblioitemnumber") and ($value eq "")) {
1789                             $result->{$key} .= " | " . $value;
1790                         }
1791                     } else {
1792                         $result->{$key} = $value;
1793                     }
1794                 }
1795             }
1796         }
1797     }
1798
1799     # modify copyrightdate to keep only the 1st year found
1800     if (exists $result->{'copyrightdate'}) {
1801         my $temp = $result->{'copyrightdate'};
1802         $temp =~ m/c(\d\d\d\d)/;
1803         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) { # search cYYYY first
1804             $result->{'copyrightdate'} = $1;
1805         }
1806         else {                      # if no cYYYY, get the 1st date.
1807             $temp =~ m/(\d\d\d\d)/;
1808             $result->{'copyrightdate'} = $1;
1809         }
1810     }
1811
1812     # modify publicationyear to keep only the 1st year found
1813     if (exists $result->{'publicationyear'}) {
1814         my $temp = $result->{'publicationyear'};
1815         if ( $temp =~ m/c(\d\d\d\d)/ and $1 > 0 ) { # search cYYYY first
1816             $result->{'publicationyear'} = $1;
1817         }
1818         else {                      # if no cYYYY, get the 1st date.
1819             $temp =~ m/(\d\d\d\d)/;
1820             $result->{'publicationyear'} = $1;
1821         }
1822     }
1823
1824     return $result;
1825 }
1826
1827 sub _get_inverted_marc_field_map {
1828     my $field_map = {};
1829     my $relations = C4::Context->marcfromkohafield;
1830
1831     foreach my $frameworkcode (keys %{ $relations }) {
1832         foreach my $kohafield (keys %{ $relations->{$frameworkcode} }) {
1833             next unless @{ $relations->{$frameworkcode}->{$kohafield} }; # not all columns are mapped to MARC tag & subfield
1834             my $tag = $relations->{$frameworkcode}->{$kohafield}->[0];
1835             my $subfield = $relations->{$frameworkcode}->{$kohafield}->[1];
1836             my ($table, $column) = split /[.]/, $kohafield, 2;
1837             push @{ $field_map->{$frameworkcode}->{$tag}->{list} }, [ $subfield, $table, $column ];
1838             push @{ $field_map->{$frameworkcode}->{$tag}->{sfs}->{$subfield} }, [ $table, $column ];
1839         }
1840     }
1841     return $field_map;
1842 }
1843
1844 =head2 _disambiguate
1845
1846 =over 4
1847
1848 $newkey = _disambiguate($table, $field);
1849
1850 This is a temporary hack to distinguish between the
1851 following sets of columns when using TransformMarcToKoha.
1852
1853 items.cn_source & biblioitems.cn_source
1854 items.cn_sort & biblioitems.cn_sort
1855
1856 Columns that are currently NOT distinguished (FIXME
1857 due to lack of time to fully test) are:
1858
1859 biblio.notes and biblioitems.notes
1860 biblionumber
1861 timestamp
1862 biblioitemnumber
1863
1864 FIXME - this is necessary because prefixing each column
1865 name with the table name would require changing lots
1866 of code and templates, and exposing more of the DB
1867 structure than is good to the UI templates, particularly
1868 since biblio and bibloitems may well merge in a future
1869 version.  In the future, it would also be good to
1870 separate DB access and UI presentation field names
1871 more.
1872
1873 =back
1874
1875 =cut
1876
1877 sub _disambiguate {
1878     my ($table, $column) = @_;
1879     if ($column eq "cn_sort" or $column eq "cn_source") {
1880         return $table . '.' . $column;
1881     } else {
1882         return $column;
1883     }
1884
1885 }
1886
1887 =head2 get_koha_field_from_marc
1888
1889 =over 4
1890
1891 $result->{_disambiguate($table, $field)} = get_koha_field_from_marc($table,$field,$record,$frameworkcode);
1892
1893 Internal function to map data from the MARC record to a specific non-MARC field.
1894 FIXME: this is meant to replace TransformMarcToKohaOneField after more testing.
1895
1896 =back
1897
1898 =cut
1899
1900 sub get_koha_field_from_marc {
1901     my ($koha_table,$koha_column,$record,$frameworkcode) = @_;
1902     my ( $tagfield, $subfield ) = GetMarcFromKohaField( $koha_table.'.'.$koha_column, $frameworkcode );
1903     my $kohafield;
1904     foreach my $field ( $record->field($tagfield) ) {
1905         if ( $field->tag() < 10 ) {
1906             if ( $kohafield ) {
1907                 $kohafield .= " | " . $field->data();
1908             }
1909             else {
1910                 $kohafield = $field->data();
1911             }
1912         }
1913         else {
1914             if ( $field->subfields ) {
1915                 my @subfields = $field->subfields();
1916                 foreach my $subfieldcount ( 0 .. $#subfields ) {
1917                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
1918                         if ( $kohafield ) {
1919                             $kohafield .=
1920                               " | " . $subfields[$subfieldcount][1];
1921                         }
1922                         else {
1923                             $kohafield =
1924                               $subfields[$subfieldcount][1];
1925                         }
1926                     }
1927                 }
1928             }
1929         }
1930     }
1931     return $kohafield;
1932 }
1933
1934
1935 =head2 TransformMarcToKohaOneField
1936
1937 =over 4
1938
1939 $result = TransformMarcToKohaOneField( $kohatable, $kohafield, $record, $result, $frameworkcode )
1940
1941 =back
1942
1943 =cut
1944
1945 sub TransformMarcToKohaOneField {
1946
1947     # FIXME ? if a field has a repeatable subfield that is used in old-db,
1948     # only the 1st will be retrieved...
1949     my ( $kohatable, $kohafield, $record, $result, $frameworkcode ) = @_;
1950     my $res = "";
1951     my ( $tagfield, $subfield ) =
1952       GetMarcFromKohaField( $kohatable . "." . $kohafield,
1953         $frameworkcode );
1954     foreach my $field ( $record->field($tagfield) ) {
1955         if ( $field->tag() < 10 ) {
1956             if ( $result->{$kohafield} ) {
1957                 $result->{$kohafield} .= " | " . $field->data();
1958             }
1959             else {
1960                 $result->{$kohafield} = $field->data();
1961             }
1962         }
1963         else {
1964             if ( $field->subfields ) {
1965                 my @subfields = $field->subfields();
1966                 foreach my $subfieldcount ( 0 .. $#subfields ) {
1967                     if ( $subfields[$subfieldcount][0] eq $subfield ) {
1968                         if ( $result->{$kohafield} ) {
1969                             $result->{$kohafield} .=
1970                               " | " . $subfields[$subfieldcount][1];
1971                         }
1972                         else {
1973                             $result->{$kohafield} =
1974                               $subfields[$subfieldcount][1];
1975                         }
1976                     }
1977                 }
1978             }
1979         }
1980     }
1981     return $result;
1982 }
1983
1984 =head1  OTHER FUNCTIONS
1985
1986
1987 =head2 PrepareItemrecordDisplay
1988
1989 =over 4
1990
1991 PrepareItemrecordDisplay($itemrecord,$bibnum,$itemumber);
1992
1993 Returns a hash with all the fields for Display a given item data in a template
1994
1995 =back
1996
1997 =cut
1998
1999 sub PrepareItemrecordDisplay {
2000
2001     my ( $bibnum, $itemnum, $defaultvalues ) = @_;
2002
2003     my $dbh = C4::Context->dbh;
2004     my $frameworkcode = &GetFrameworkCode( $bibnum );
2005     my ( $itemtagfield, $itemtagsubfield ) =
2006       &GetMarcFromKohaField( "items.itemnumber", $frameworkcode );
2007     my $tagslib = &GetMarcStructure( 1, $frameworkcode );
2008     my $itemrecord = C4::Items::GetMarcItem( $bibnum, $itemnum) if ($itemnum);
2009     my @loop_data;
2010     my $authorised_values_sth =
2011       $dbh->prepare(
2012 "SELECT authorised_value,lib FROM authorised_values WHERE category=? ORDER BY lib"
2013       );
2014     foreach my $tag ( sort keys %{$tagslib} ) {
2015         my $previous_tag = '';
2016         if ( $tag ne '' ) {
2017             # loop through each subfield
2018             my $cntsubf;
2019             foreach my $subfield ( sort keys %{ $tagslib->{$tag} } ) {
2020                 next if ( subfield_is_koha_internal_p($subfield) );
2021                 next if ( $tagslib->{$tag}->{$subfield}->{'tab'} ne "10" );
2022                 my %subfield_data;
2023                 $subfield_data{tag}           = $tag;
2024                 $subfield_data{subfield}      = $subfield;
2025                 $subfield_data{countsubfield} = $cntsubf++;
2026                 $subfield_data{kohafield}     =
2027                   $tagslib->{$tag}->{$subfield}->{'kohafield'};
2028
2029          #        $subfield_data{marc_lib}=$tagslib->{$tag}->{$subfield}->{lib};
2030                 $subfield_data{marc_lib} = $tagslib->{$tag}->{$subfield}->{lib};
2031                 $subfield_data{mandatory} =
2032                   $tagslib->{$tag}->{$subfield}->{mandatory};
2033                 $subfield_data{repeatable} =
2034                   $tagslib->{$tag}->{$subfield}->{repeatable};
2035                 $subfield_data{hidden} = "display:none"
2036                   if $tagslib->{$tag}->{$subfield}->{hidden};
2037                 my ( $x, $value );
2038                 ( $x, $value ) = _find_value( $tag, $subfield, $itemrecord )
2039                   if ($itemrecord);
2040                 $value =~ s/"/&quot;/g;
2041
2042                 # search for itemcallnumber if applicable
2043                 if ( $tagslib->{$tag}->{$subfield}->{kohafield} eq
2044                     'items.itemcallnumber'
2045                     && C4::Context->preference('itemcallnumber') )
2046                 {
2047                     my $CNtag =
2048                       substr( C4::Context->preference('itemcallnumber'), 0, 3 );
2049                     my $CNsubfield =
2050                       substr( C4::Context->preference('itemcallnumber'), 3, 1 );
2051                     my $temp = $itemrecord->field($CNtag) if ($itemrecord);
2052                     if ($temp) {
2053                         $value = $temp->subfield($CNsubfield);
2054                     }
2055                 }
2056                 if ( $tagslib->{$tag}->{$subfield}->{kohafield} eq
2057                     'items.itemcallnumber'
2058                     && $defaultvalues->{'callnumber'} )
2059                 {
2060                     my $temp = $itemrecord->field($subfield) if ($itemrecord);
2061                     unless ($temp) {
2062                         $value = $defaultvalues->{'callnumber'};
2063                     }
2064                 }
2065                 if ( ($tagslib->{$tag}->{$subfield}->{kohafield} eq
2066                     'items.holdingbranch' ||
2067                     $tagslib->{$tag}->{$subfield}->{kohafield} eq
2068                     'items.homebranch')
2069                     && $defaultvalues->{'branchcode'} )
2070                 {
2071                     my $temp = $itemrecord->field($subfield) if ($itemrecord);
2072                     unless ($temp) {
2073                         $value = $defaultvalues->{branchcode};
2074                     }
2075                 }
2076                 if ( $tagslib->{$tag}->{$subfield}->{authorised_value} ) {
2077                     my @authorised_values;
2078                     my %authorised_lib;
2079
2080                     # builds list, depending on authorised value...
2081                     #---- branch
2082                     if ( $tagslib->{$tag}->{$subfield}->{'authorised_value'} eq
2083                         "branches" )
2084                     {
2085                         if ( ( C4::Context->preference("IndependantBranches") )
2086                             && ( C4::Context->userenv->{flags} != 1 ) )
2087                         {
2088                             my $sth =
2089                               $dbh->prepare(
2090                                 "SELECT branchcode,branchname FROM branches WHERE branchcode = ? ORDER BY branchname"
2091                               );
2092                             $sth->execute( C4::Context->userenv->{branch} );
2093                             push @authorised_values, ""
2094                               unless (
2095                                 $tagslib->{$tag}->{$subfield}->{mandatory} );
2096                             while ( my ( $branchcode, $branchname ) =
2097                                 $sth->fetchrow_array )
2098                             {
2099                                 push @authorised_values, $branchcode;
2100                                 $authorised_lib{$branchcode} = $branchname;
2101                             }
2102                         }
2103                         else {
2104                             my $sth =
2105                               $dbh->prepare(
2106                                 "SELECT branchcode,branchname FROM branches ORDER BY branchname"
2107                               );
2108                             $sth->execute;
2109                             push @authorised_values, ""
2110                               unless (
2111                                 $tagslib->{$tag}->{$subfield}->{mandatory} );
2112                             while ( my ( $branchcode, $branchname ) =
2113                                 $sth->fetchrow_array )
2114                             {
2115                                 push @authorised_values, $branchcode;
2116                                 $authorised_lib{$branchcode} = $branchname;
2117                             }
2118                         }
2119
2120                         #----- itemtypes
2121                     }
2122                     elsif ( $tagslib->{$tag}->{$subfield}->{authorised_value} eq
2123                         "itemtypes" )
2124                     {
2125                         my $sth =
2126                           $dbh->prepare(
2127                             "SELECT itemtype,description FROM itemtypes ORDER BY description"
2128                           );
2129                         $sth->execute;
2130                         push @authorised_values, ""
2131                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2132                         while ( my ( $itemtype, $description ) =
2133                             $sth->fetchrow_array )
2134                         {
2135                             push @authorised_values, $itemtype;
2136                             $authorised_lib{$itemtype} = $description;
2137                         }
2138
2139                         #---- "true" authorised value
2140                     }
2141                     else {
2142                         $authorised_values_sth->execute(
2143                             $tagslib->{$tag}->{$subfield}->{authorised_value} );
2144                         push @authorised_values, ""
2145                           unless ( $tagslib->{$tag}->{$subfield}->{mandatory} );
2146                         while ( my ( $value, $lib ) =
2147                             $authorised_values_sth->fetchrow_array )
2148                         {
2149                             push @authorised_values, $value;
2150                             $authorised_lib{$value} = $lib;
2151                         }
2152                     }
2153                     $subfield_data{marc_value} = CGI::scrolling_list(
2154                         -name     => 'field_value',
2155                         -values   => \@authorised_values,
2156                         -default  => "$value",
2157                         -labels   => \%authorised_lib,
2158                         -size     => 1,
2159                         -tabindex => '',
2160                         -multiple => 0,
2161                     );
2162                 }
2163                 elsif ( $tagslib->{$tag}->{$subfield}->{thesaurus_category} ) {
2164                     $subfield_data{marc_value} =
2165 "<input type=\"text\" name=\"field_value\"  size=\"47\" maxlength=\"255\" /> <a href=\"javascript:Dopop('cataloguing/thesaurus_popup.pl?category=$tagslib->{$tag}->{$subfield}->{thesaurus_category}&index=',)\">...</a>";
2166
2167 #"
2168 # COMMENTED OUT because No $i is provided with this API.
2169 # And thus, no value_builder can be activated.
2170 # BUT could be thought over.
2171 #         } elsif ($tagslib->{$tag}->{$subfield}->{'value_builder'}) {
2172 #             my $plugin="value_builder/".$tagslib->{$tag}->{$subfield}->{'value_builder'};
2173 #             require $plugin;
2174 #             my $extended_param = plugin_parameters($dbh,$itemrecord,$tagslib,$i,0);
2175 #             my ($function_name,$javascript) = plugin_javascript($dbh,$record,$tagslib,$i,0);
2176 #             $subfield_data{marc_value}="<input type=\"text\" value=\"$value\" name=\"field_value\"  size=47 maxlength=255 DISABLE READONLY OnFocus=\"javascript:Focus$function_name()\" OnBlur=\"javascript:Blur$function_name()\"> <a href=\"javascript:Clic$function_name()\">...</a> $javascript";
2177                 }
2178                 else {
2179                     $subfield_data{marc_value} =
2180 "<input type=\"text\" name=\"field_value\" value=\"$value\" size=\"50\" maxlength=\"255\" />";
2181                 }
2182                 push( @loop_data, \%subfield_data );
2183             }
2184         }
2185     }
2186     my $itemnumber = $itemrecord->subfield( $itemtagfield, $itemtagsubfield )
2187       if ( $itemrecord && $itemrecord->field($itemtagfield) );
2188     return {
2189         'itemtagfield'    => $itemtagfield,
2190         'itemtagsubfield' => $itemtagsubfield,
2191         'itemnumber'      => $itemnumber,
2192         'iteminformation' => \@loop_data
2193     };
2194 }
2195 #"
2196
2197 #
2198 # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2199 # at the same time
2200 # replaced by a zebraqueue table, that is filled with ModZebra to run.
2201 # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
2202 # =head2 ModZebrafiles
2203 #
2204 # &ModZebrafiles( $dbh, $biblionumber, $record, $folder, $server );
2205 #
2206 # =cut
2207 #
2208 # sub ModZebrafiles {
2209 #
2210 #     my ( $dbh, $biblionumber, $record, $folder, $server ) = @_;
2211 #
2212 #     my $op;
2213 #     my $zebradir =
2214 #       C4::Context->zebraconfig($server)->{directory} . "/" . $folder . "/";
2215 #     unless ( opendir( DIR, "$zebradir" ) ) {
2216 #         warn "$zebradir not found";
2217 #         return;
2218 #     }
2219 #     closedir DIR;
2220 #     my $filename = $zebradir . $biblionumber;
2221 #
2222 #     if ($record) {
2223 #         open( OUTPUT, ">", $filename . ".xml" );
2224 #         print OUTPUT $record;
2225 #         close OUTPUT;
2226 #     }
2227 # }
2228
2229 =head2 ModZebra
2230
2231 =over 4
2232
2233 ModZebra( $biblionumber, $op, $server, $oldRecord, $newRecord );
2234
2235     $biblionumber is the biblionumber we want to index
2236     $op is specialUpdate or delete, and is used to know what we want to do
2237     $server is the server that we want to update
2238     $oldRecord is the MARC::Record containing the previous version of the record.  This is used only when
2239       NoZebra=1, as NoZebra indexing needs to know the previous version of a record in order to
2240       do an update.
2241     $newRecord is the MARC::Record containing the new record. It is usefull only when NoZebra=1, and is used to know what to add to the nozebra database. (the record in mySQL being, if it exist, the previous record, the one just before the modif. We need both : the previous and the new one.
2242
2243 =back
2244
2245 =cut
2246
2247 sub ModZebra {
2248 ###Accepts a $server variable thus we can use it for biblios authorities or other zebra dbs
2249     my ( $biblionumber, $op, $server, $oldRecord, $newRecord ) = @_;
2250     my $dbh=C4::Context->dbh;
2251
2252     # true ModZebra commented until indexdata fixes zebraDB crashes (it seems they occur on multiple updates
2253     # at the same time
2254     # replaced by a zebraqueue table, that is filled with ModZebra to run.
2255     # the table is emptied by misc/cronjobs/zebraqueue_start.pl script
2256
2257     if (C4::Context->preference("NoZebra")) {
2258         # lock the nozebra table : we will read index lines, update them in Perl process
2259         # and write everything in 1 transaction.
2260         # lock the table to avoid someone else overwriting what we are doing
2261         $dbh->do('LOCK TABLES nozebra WRITE,biblio WRITE,biblioitems WRITE, systempreferences WRITE, auth_types WRITE, auth_header WRITE, auth_subfield_structure READ');
2262         my %result; # the result hash that will be built by deletion / add, and written on mySQL at the end, to improve speed
2263         if ($op eq 'specialUpdate') {
2264             # OK, we have to add or update the record
2265             # 1st delete (virtually, in indexes), if record actually exists
2266             if ($oldRecord) {
2267                 %result = _DelBiblioNoZebra($biblionumber,$oldRecord,$server);
2268             }
2269             # ... add the record
2270             %result=_AddBiblioNoZebra($biblionumber,$newRecord, $server, %result);
2271         } else {
2272             # it's a deletion, delete the record...
2273             # warn "DELETE the record $biblionumber on $server".$record->as_formatted;
2274             %result=_DelBiblioNoZebra($biblionumber,$oldRecord,$server);
2275         }
2276         # ok, now update the database...
2277         my $sth = $dbh->prepare("UPDATE nozebra SET biblionumbers=? WHERE server=? AND indexname=? AND value=?");
2278         foreach my $key (keys %result) {
2279             foreach my $index (keys %{$result{$key}}) {
2280                 $sth->execute($result{$key}->{$index}, $server, $key, $index);
2281             }
2282         }
2283         $dbh->do('UNLOCK TABLES');
2284     } else {
2285         #
2286         # we use zebra, just fill zebraqueue table
2287         #
2288         my $check_sql = "SELECT COUNT(*) FROM zebraqueue
2289                          WHERE server = ?
2290                          AND   biblio_auth_number = ?
2291                          AND   operation = ?
2292                          AND   done = 0";
2293         my $check_sth = $dbh->prepare_cached($check_sql);
2294         $check_sth->execute($server, $biblionumber, $op);
2295         my ($count) = $check_sth->fetchrow_array;
2296         $check_sth->finish();
2297         if ($count == 0) {
2298             my $sth=$dbh->prepare("INSERT INTO zebraqueue  (biblio_auth_number,server,operation) VALUES(?,?,?)");
2299             $sth->execute($biblionumber,$server,$op);
2300             $sth->finish;
2301         }
2302     }
2303 }
2304
2305 =head2 GetNoZebraIndexes
2306
2307     %indexes = GetNoZebraIndexes;
2308
2309     return the data from NoZebraIndexes syspref.
2310
2311 =cut
2312
2313 sub GetNoZebraIndexes {
2314     my $no_zebra_indexes = C4::Context->preference('NoZebraIndexes');
2315     my %indexes;
2316     INDEX: foreach my $line (split /['"],[\n\r]*/,$no_zebra_indexes) {
2317         $line =~ /(.*)=>(.*)/;
2318         my $index = $1; # initial ' or " is removed afterwards
2319         my $fields = $2;
2320         $index =~ s/'|"|\s//g;
2321         $fields =~ s/'|"|\s//g;
2322         $indexes{$index}=$fields;
2323     }
2324     return %indexes;
2325 }
2326
2327 =head1 INTERNAL FUNCTIONS
2328
2329 =head2 _DelBiblioNoZebra($biblionumber,$record,$server);
2330
2331     function to delete a biblio in NoZebra indexes
2332     This function does NOT delete anything in database : it reads all the indexes entries
2333     that have to be deleted & delete them in the hash
2334     The SQL part is done either :
2335     - after the Add if we are modifying a biblio (delete + add again)
2336     - immediatly after this sub if we are doing a true deletion.
2337     $server can be 'biblioserver' or 'authorityserver' : it indexes biblios or authorities (in the same table, $server being part of the table itself
2338
2339 =cut
2340
2341
2342 sub _DelBiblioNoZebra {
2343     my ($biblionumber, $record, $server)=@_;
2344
2345     # Get the indexes
2346     my $dbh = C4::Context->dbh;
2347     # Get the indexes
2348     my %index;
2349     my $title;
2350     if ($server eq 'biblioserver') {
2351         %index=GetNoZebraIndexes;
2352         # get title of the record (to store the 10 first letters with the index)
2353         my ($titletag,$titlesubfield) = GetMarcFromKohaField('biblio.title','');
2354         $title = lc($record->subfield($titletag,$titlesubfield));
2355     } else {
2356         # for authorities, the "title" is the $a mainentry
2357         my ($auth_type_tag, $auth_type_sf) = C4::AuthoritiesMarc::get_auth_type_location();
2358         my $authref = C4::AuthoritiesMarc::GetAuthType($record->subfield($auth_type_tag, $auth_type_sf));
2359         warn "ERROR : authtype undefined for ".$record->as_formatted unless $authref;
2360         $title = $record->subfield($authref->{auth_tag_to_report},'a');
2361         $index{'mainmainentry'}= $authref->{'auth_tag_to_report'}.'a';
2362         $index{'mainentry'}    = $authref->{'auth_tag_to_report'}.'*';
2363         $index{'auth_type'}    = "${auth_type_tag}${auth_type_sf}";
2364     }
2365
2366     my %result;
2367     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
2368     $title =~ s/ |,|;|\[|\]|\(|\)|\*|-|'|=//g;
2369     # limit to 10 char, should be enough, and limit the DB size
2370     $title = substr($title,0,10);
2371     #parse each field
2372     my $sth2=$dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
2373     foreach my $field ($record->fields()) {
2374         #parse each subfield
2375         next if $field->tag <10;
2376         foreach my $subfield ($field->subfields()) {
2377             my $tag = $field->tag();
2378             my $subfieldcode = $subfield->[0];
2379             my $indexed=0;
2380             # check each index to see if the subfield is stored somewhere
2381             # otherwise, store it in __RAW__ index
2382             foreach my $key (keys %index) {
2383 #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
2384                 if ($index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/) {
2385                     $indexed=1;
2386                     my $line= lc $subfield->[1];
2387                     # remove meaningless value in the field...
2388                     $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
2389                     # ... and split in words
2390                     foreach (split / /,$line) {
2391                         next unless $_; # skip  empty values (multiple spaces)
2392                         # if the entry is already here, do nothing, the biblionumber has already be removed
2393                         unless ( defined( $result{$key}->{$_} ) && ( $result{$key}->{$_} =~ /$biblionumber,$title\-(\d);/) ) {
2394                             # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
2395                             $sth2->execute($server,$key,$_);
2396                             my $existing_biblionumbers = $sth2->fetchrow;
2397                             # it exists
2398                             if ($existing_biblionumbers) {
2399 #                                 warn " existing for $key $_: $existing_biblionumbers";
2400                                 $result{$key}->{$_} =$existing_biblionumbers;
2401                                 $result{$key}->{$_} =~ s/$biblionumber,$title\-(\d);//;
2402                             }
2403                         }
2404                     }
2405                 }
2406             }
2407             # the subfield is not indexed, store it in __RAW__ index anyway
2408             unless ($indexed) {
2409                 my $line= lc $subfield->[1];
2410                 $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:/ /g;
2411                 # ... and split in words
2412                 foreach (split / /,$line) {
2413                     next unless $_; # skip  empty values (multiple spaces)
2414                     # if the entry is already here, do nothing, the biblionumber has already be removed
2415                     unless ($result{'__RAW__'}->{$_} =~ /$biblionumber,$title\-(\d);/) {
2416                         # get the index value if it exist in the nozebra table and remove the entry, otherwise, do nothing
2417                         $sth2->execute($server,'__RAW__',$_);
2418                         my $existing_biblionumbers = $sth2->fetchrow;
2419                         # it exists
2420                         if ($existing_biblionumbers) {
2421                             $result{'__RAW__'}->{$_} =$existing_biblionumbers;
2422                             $result{'__RAW__'}->{$_} =~ s/$biblionumber,$title\-(\d);//;
2423                         }
2424                     }
2425                 }
2426             }
2427         }
2428     }
2429     return %result;
2430 }
2431
2432 =head2 _AddBiblioNoZebra($biblionumber, $record, $server, %result);
2433
2434     function to add a biblio in NoZebra indexes
2435
2436 =cut
2437
2438 sub _AddBiblioNoZebra {
2439     my ($biblionumber, $record, $server, %result)=@_;
2440     my $dbh = C4::Context->dbh;
2441     # Get the indexes
2442     my %index;
2443     my $title;
2444     if ($server eq 'biblioserver') {
2445         %index=GetNoZebraIndexes;
2446         # get title of the record (to store the 10 first letters with the index)
2447         my ($titletag,$titlesubfield) = GetMarcFromKohaField('biblio.title','');
2448         $title = lc($record->subfield($titletag,$titlesubfield));
2449     } else {
2450         # warn "server : $server";
2451         # for authorities, the "title" is the $a mainentry
2452         my ($auth_type_tag, $auth_type_sf) = C4::AuthoritiesMarc::get_auth_type_location();
2453         my $authref = C4::AuthoritiesMarc::GetAuthType($record->subfield($auth_type_tag, $auth_type_sf));
2454         warn "ERROR : authtype undefined for ".$record->as_formatted unless $authref;
2455         $title = $record->subfield($authref->{auth_tag_to_report},'a');
2456         $index{'mainmainentry'} = $authref->{auth_tag_to_report}.'a';
2457         $index{'mainentry'}     = $authref->{auth_tag_to_report}.'*';
2458         $index{'auth_type'}    = "${auth_type_tag}${auth_type_sf}";
2459     }
2460
2461     # remove blancks comma (that could cause problem when decoding the string for CQL retrieval) and regexp specific values
2462     $title =~ s/ |\.|,|;|\[|\]|\(|\)|\*|-|'|:|=|\r|\n//g;
2463     # limit to 10 char, should be enough, and limit the DB size
2464     $title = substr($title,0,10);
2465     #parse each field
2466     my $sth2=$dbh->prepare('SELECT biblionumbers FROM nozebra WHERE server=? AND indexname=? AND value=?');
2467     foreach my $field ($record->fields()) {
2468         #parse each subfield
2469         ###FIXME: impossible to index a 001-009 value with NoZebra
2470         next if $field->tag <10;
2471         foreach my $subfield ($field->subfields()) {
2472             my $tag = $field->tag();
2473             my $subfieldcode = $subfield->[0];
2474             my $indexed=0;
2475 #             warn "INDEXING :".$subfield->[1];
2476             # check each index to see if the subfield is stored somewhere
2477             # otherwise, store it in __RAW__ index
2478             foreach my $key (keys %index) {
2479 #                 warn "examining $key index : ".$index{$key}." for $tag $subfieldcode";
2480                 if ($index{$key} =~ /$tag\*/ or $index{$key} =~ /$tag$subfieldcode/) {
2481                     $indexed=1;
2482                     my $line= lc $subfield->[1];
2483                     # remove meaningless value in the field...
2484                     $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
2485                     # ... and split in words
2486                     foreach (split / /,$line) {
2487                         next unless $_; # skip  empty values (multiple spaces)
2488                         # if the entry is already here, improve weight
2489 #                         warn "managing $_";
2490                         if ( exists $result{$key}->{$_} && $result{$key}->{"$_"} =~ /$biblionumber,\Q$title\E\-(\d+);/) {
2491                             my $weight = $1 + 1;
2492                             $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
2493                             $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
2494                         } else {
2495                             # get the value if it exist in the nozebra table, otherwise, create it
2496                             $sth2->execute($server,$key,$_);
2497                             my $existing_biblionumbers = $sth2->fetchrow;
2498                             # it exists
2499                             if ($existing_biblionumbers) {
2500                                 $result{$key}->{"$_"} =$existing_biblionumbers;
2501                                 my $weight = defined $1 ? $1 + 1 : 1;
2502                                 $result{$key}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//g;
2503                                 $result{$key}->{"$_"} .= "$biblionumber,$title-$weight;";
2504                             # create a new ligne for this entry
2505                             } else {
2506 #                             warn "INSERT : $server / $key / $_";
2507                                 $dbh->do('INSERT INTO nozebra SET server='.$dbh->quote($server).', indexname='.$dbh->quote($key).',value='.$dbh->quote($_));
2508                                 $result{$key}->{"$_"}.="$biblionumber,$title-1;";
2509                             }
2510                         }
2511                     }
2512                 }
2513             }
2514             # the subfield is not indexed, store it in __RAW__ index anyway
2515             unless ($indexed) {
2516                 my $line= lc $subfield->[1];
2517                 $line =~ s/-|\.|\?|,|;|!|'|\(|\)|\[|\]|{|}|"|<|>|&|\+|\*|\/|=|:|\r|\n/ /g;
2518                 # ... and split in words
2519                 foreach (split / /,$line) {
2520                     next unless $_; # skip  empty values (multiple spaces)
2521                     # if the entry is already here, improve weight
2522                     if ($result{'__RAW__'}->{"$_"} =~ /$biblionumber,\Q$title\E\-(\d+);/) {
2523                         my $weight=$1+1;
2524                         $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
2525                         $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
2526                     } else {
2527                         # get the value if it exist in the nozebra table, otherwise, create it
2528                         $sth2->execute($server,'__RAW__',$_);
2529                         my $existing_biblionumbers = $sth2->fetchrow;
2530                         # it exists
2531                         if ($existing_biblionumbers) {
2532                             $result{'__RAW__'}->{"$_"} =$existing_biblionumbers;
2533                             my $weight=$1+1;
2534                             $result{'__RAW__'}->{"$_"} =~ s/$biblionumber,\Q$title\E\-(\d+);//;
2535                             $result{'__RAW__'}->{"$_"} .= "$biblionumber,$title-$weight;";
2536                         # create a new ligne for this entry
2537                         } else {
2538                             $dbh->do('INSERT INTO nozebra SET server='.$dbh->quote($server).',  indexname="__RAW__",value='.$dbh->quote($_));
2539                             $result{'__RAW__'}->{"$_"}.="$biblionumber,$title-1;";
2540                         }
2541                     }
2542                 }
2543             }
2544         }
2545     }
2546     return %result;
2547 }
2548
2549
2550 =head2 _find_value
2551
2552 =over 4
2553
2554 ($indicators, $value) = _find_value($tag, $subfield, $record,$encoding);
2555
2556 Find the given $subfield in the given $tag in the given
2557 MARC::Record $record.  If the subfield is found, returns
2558 the (indicators, value) pair; otherwise, (undef, undef) is
2559 returned.
2560
2561 PROPOSITION :
2562 Such a function is used in addbiblio AND additem and serial-edit and maybe could be used in Authorities.
2563 I suggest we export it from this module.
2564
2565 =back
2566
2567 =cut
2568
2569 sub _find_value {
2570     my ( $tagfield, $insubfield, $record, $encoding ) = @_;
2571     my @result;
2572     my $indicator;
2573     if ( $tagfield < 10 ) {
2574         if ( $record->field($tagfield) ) {
2575             push @result, $record->field($tagfield)->data();
2576         }
2577         else {
2578             push @result, "";
2579         }
2580     }
2581     else {
2582         foreach my $field ( $record->field($tagfield) ) {
2583             my @subfields = $field->subfields();
2584             foreach my $subfield (@subfields) {
2585                 if ( @$subfield[0] eq $insubfield ) {
2586                     push @result, @$subfield[1];
2587                     $indicator = $field->indicator(1) . $field->indicator(2);
2588                 }
2589             }
2590         }
2591     }
2592     return ( $indicator, @result );
2593 }
2594
2595 =head2 _koha_marc_update_bib_ids
2596
2597 =over 4
2598
2599 _koha_marc_update_bib_ids($record, $frameworkcode, $biblionumber, $biblioitemnumber);
2600
2601 Internal function to add or update biblionumber and biblioitemnumber to
2602 the MARC XML.
2603
2604 =back
2605
2606 =cut
2607
2608 sub _koha_marc_update_bib_ids {
2609     my ($record, $frameworkcode, $biblionumber, $biblioitemnumber) = @_;
2610
2611     # we must add bibnum and bibitemnum in MARC::Record...
2612     # we build the new field with biblionumber and biblioitemnumber
2613     # we drop the original field
2614     # we add the new builded field.
2615     my ($biblio_tag, $biblio_subfield ) = GetMarcFromKohaField("biblio.biblionumber",$frameworkcode);
2616     my ($biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField("biblioitems.biblioitemnumber",$frameworkcode);
2617
2618     if ($biblio_tag != $biblioitem_tag) {
2619         # biblionumber & biblioitemnumber are in different fields
2620
2621         # deal with biblionumber
2622         my ($new_field, $old_field);
2623         if ($biblio_tag < 10) {
2624             $new_field = MARC::Field->new( $biblio_tag, $biblionumber );
2625         } else {
2626             $new_field =
2627               MARC::Field->new( $biblio_tag, '', '',
2628                 "$biblio_subfield" => $biblionumber );
2629         }
2630
2631         # drop old field and create new one...
2632         $old_field = $record->field($biblio_tag);
2633         $record->delete_field($old_field) if $old_field;
2634         $record->append_fields($new_field);
2635
2636         # deal with biblioitemnumber
2637         if ($biblioitem_tag < 10) {
2638             $new_field = MARC::Field->new( $biblioitem_tag, $biblioitemnumber, );
2639         } else {
2640             $new_field =
2641               MARC::Field->new( $biblioitem_tag, '', '',
2642                 "$biblioitem_subfield" => $biblioitemnumber, );
2643         }
2644         # drop old field and create new one...
2645         $old_field = $record->field($biblioitem_tag);
2646         $record->delete_field($old_field) if $old_field;
2647         $record->insert_fields_ordered($new_field);
2648
2649     } else {
2650         # biblionumber & biblioitemnumber are in the same field (can't be <10 as fields <10 have only 1 value)
2651         my $new_field = MARC::Field->new(
2652             $biblio_tag, '', '',
2653             "$biblio_subfield" => $biblionumber,
2654             "$biblioitem_subfield" => $biblioitemnumber
2655         );
2656
2657         # drop old field and create new one...
2658         my $old_field = $record->field($biblio_tag);
2659         $record->delete_field($old_field) if $old_field;
2660         $record->insert_fields_ordered($new_field);
2661     }
2662 }
2663
2664 =head2 _koha_marc_update_biblioitem_cn_sort
2665
2666 =over 4
2667
2668 _koha_marc_update_biblioitem_cn_sort($marc, $biblioitem, $frameworkcode);
2669
2670 =back
2671
2672 Given a MARC bib record and the biblioitem hash, update the
2673 subfield that contains a copy of the value of biblioitems.cn_sort.
2674
2675 =cut
2676
2677 sub _koha_marc_update_biblioitem_cn_sort {
2678     my $marc = shift;
2679     my $biblioitem = shift;
2680     my $frameworkcode= shift;
2681
2682     my ($biblioitem_tag, $biblioitem_subfield ) = GetMarcFromKohaField("biblioitems.cn_sort",$frameworkcode);
2683     return unless $biblioitem_tag;
2684
2685     my ($cn_sort) = GetClassSort($biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
2686
2687     if (my $field = $marc->field($biblioitem_tag)) {
2688         $field->delete_subfield(code => $biblioitem_subfield);
2689         if ($cn_sort ne '') {
2690             $field->add_subfields($biblioitem_subfield => $cn_sort);
2691         }
2692     } else {
2693         # if we get here, no biblioitem tag is present in the MARC record, so
2694         # we'll create it if $cn_sort is not empty -- this would be
2695         # an odd combination of events, however
2696         if ($cn_sort) {
2697             $marc->insert_grouped_field(MARC::Field->new($biblioitem_tag, ' ', ' ', $biblioitem_subfield => $cn_sort));
2698         }
2699     }
2700 }
2701
2702 =head2 _koha_add_biblio
2703
2704 =over 4
2705
2706 my ($biblionumber,$error) = _koha_add_biblio($dbh,$biblioitem);
2707
2708 Internal function to add a biblio ($biblio is a hash with the values)
2709
2710 =back
2711
2712 =cut
2713
2714 sub _koha_add_biblio {
2715     my ( $dbh, $biblio, $frameworkcode ) = @_;
2716
2717     my $error;
2718
2719     # set the series flag
2720     my $serial = 0;
2721     if ( $biblio->{'seriestitle'} ) { $serial = 1 };
2722
2723     my $query =
2724         "INSERT INTO biblio
2725         SET frameworkcode = ?,
2726             author = ?,
2727             title = ?,
2728             unititle =?,
2729             notes = ?,
2730             serial = ?,
2731             seriestitle = ?,
2732             copyrightdate = ?,
2733             datecreated=NOW(),
2734             abstract = ?
2735         ";
2736     my $sth = $dbh->prepare($query);
2737     $sth->execute(
2738         $frameworkcode,
2739         $biblio->{'author'},
2740         $biblio->{'title'},
2741         $biblio->{'unititle'},
2742         $biblio->{'notes'},
2743         $serial,
2744         $biblio->{'seriestitle'},
2745         $biblio->{'copyrightdate'},
2746         $biblio->{'abstract'}
2747     );
2748
2749     my $biblionumber = $dbh->{'mysql_insertid'};
2750     if ( $dbh->errstr ) {
2751         $error.="ERROR in _koha_add_biblio $query".$dbh->errstr;
2752         warn $error;
2753     }
2754
2755     $sth->finish();
2756     #warn "LEAVING _koha_add_biblio: ".$biblionumber."\n";
2757     return ($biblionumber,$error);
2758 }
2759
2760 =head2 _koha_modify_biblio
2761
2762 =over 4
2763
2764 my ($biblionumber,$error) == _koha_modify_biblio($dbh,$biblio,$frameworkcode);
2765
2766 Internal function for updating the biblio table
2767
2768 =back
2769
2770 =cut
2771
2772 sub _koha_modify_biblio {
2773     my ( $dbh, $biblio, $frameworkcode ) = @_;
2774     my $error;
2775
2776     my $query = "
2777         UPDATE biblio
2778         SET    frameworkcode = ?,
2779                author = ?,
2780                title = ?,
2781                unititle = ?,
2782                notes = ?,
2783                serial = ?,
2784                seriestitle = ?,
2785                copyrightdate = ?,
2786                abstract = ?
2787         WHERE  biblionumber = ?
2788         "
2789     ;
2790     my $sth = $dbh->prepare($query);
2791
2792     $sth->execute(
2793         $frameworkcode,
2794         $biblio->{'author'},
2795         $biblio->{'title'},
2796         $biblio->{'unititle'},
2797         $biblio->{'notes'},
2798         $biblio->{'serial'},
2799         $biblio->{'seriestitle'},
2800         $biblio->{'copyrightdate'},
2801         $biblio->{'abstract'},
2802         $biblio->{'biblionumber'}
2803     ) if $biblio->{'biblionumber'};
2804
2805     if ( $dbh->errstr || !$biblio->{'biblionumber'} ) {
2806         $error.="ERROR in _koha_modify_biblio $query".$dbh->errstr;
2807         warn $error;
2808     }
2809     return ( $biblio->{'biblionumber'},$error );
2810 }
2811
2812 =head2 _koha_modify_biblioitem_nonmarc
2813
2814 =over 4
2815
2816 my ($biblioitemnumber,$error) = _koha_modify_biblioitem_nonmarc( $dbh, $biblioitem );
2817
2818 Updates biblioitems row except for marc and marcxml, which should be changed
2819 via ModBiblioMarc
2820
2821 =back
2822
2823 =cut
2824
2825 sub _koha_modify_biblioitem_nonmarc {
2826     my ( $dbh, $biblioitem ) = @_;
2827     my $error;
2828
2829     # re-calculate the cn_sort, it may have changed
2830     my ($cn_sort) = GetClassSort($biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
2831
2832     my $query =
2833     "UPDATE biblioitems
2834     SET biblionumber    = ?,
2835         volume          = ?,
2836         number          = ?,
2837         itemtype        = ?,
2838         isbn            = ?,
2839         issn            = ?,
2840         publicationyear = ?,
2841         publishercode   = ?,
2842         volumedate      = ?,
2843         volumedesc      = ?,
2844         collectiontitle = ?,
2845         collectionissn  = ?,
2846         collectionvolume= ?,
2847         editionstatement= ?,
2848         editionresponsibility = ?,
2849         illus           = ?,
2850         pages           = ?,
2851         notes           = ?,
2852         size            = ?,
2853         place           = ?,
2854         lccn            = ?,
2855         url             = ?,
2856         cn_source       = ?,
2857         cn_class        = ?,
2858         cn_item         = ?,
2859         cn_suffix       = ?,
2860         cn_sort         = ?,
2861         totalissues     = ?
2862         where biblioitemnumber = ?
2863         ";
2864     my $sth = $dbh->prepare($query);
2865     $sth->execute(
2866         $biblioitem->{'biblionumber'},
2867         $biblioitem->{'volume'},
2868         $biblioitem->{'number'},
2869         $biblioitem->{'itemtype'},
2870         $biblioitem->{'isbn'},
2871         $biblioitem->{'issn'},
2872         $biblioitem->{'publicationyear'},
2873         $biblioitem->{'publishercode'},
2874         $biblioitem->{'volumedate'},
2875         $biblioitem->{'volumedesc'},
2876         $biblioitem->{'collectiontitle'},
2877         $biblioitem->{'collectionissn'},
2878         $biblioitem->{'collectionvolume'},
2879         $biblioitem->{'editionstatement'},
2880         $biblioitem->{'editionresponsibility'},
2881         $biblioitem->{'illus'},
2882         $biblioitem->{'pages'},
2883         $biblioitem->{'bnotes'},
2884         $biblioitem->{'size'},
2885         $biblioitem->{'place'},
2886         $biblioitem->{'lccn'},
2887         $biblioitem->{'url'},
2888         $biblioitem->{'biblioitems.cn_source'},
2889         $biblioitem->{'cn_class'},
2890         $biblioitem->{'cn_item'},
2891         $biblioitem->{'cn_suffix'},
2892         $cn_sort,
2893         $biblioitem->{'totalissues'},
2894         $biblioitem->{'biblioitemnumber'}
2895     );
2896     if ( $dbh->errstr ) {
2897         $error.="ERROR in _koha_modify_biblioitem_nonmarc $query".$dbh->errstr;
2898         warn $error;
2899     }
2900     return ($biblioitem->{'biblioitemnumber'},$error);
2901 }
2902
2903 =head2 _koha_add_biblioitem
2904
2905 =over 4
2906
2907 my ($biblioitemnumber,$error) = _koha_add_biblioitem( $dbh, $biblioitem );
2908
2909 Internal function to add a biblioitem
2910
2911 =back
2912
2913 =cut
2914
2915 sub _koha_add_biblioitem {
2916     my ( $dbh, $biblioitem ) = @_;
2917     my $error;
2918
2919     my ($cn_sort) = GetClassSort($biblioitem->{'biblioitems.cn_source'}, $biblioitem->{'cn_class'}, $biblioitem->{'cn_item'} );
2920     my $query =
2921     "INSERT INTO biblioitems SET
2922         biblionumber    = ?,
2923         volume          = ?,
2924         number          = ?,
2925         itemtype        = ?,
2926         isbn            = ?,
2927         issn            = ?,
2928         publicationyear = ?,
2929         publishercode   = ?,
2930         volumedate      = ?,
2931         volumedesc      = ?,
2932         collectiontitle = ?,
2933         collectionissn  = ?,
2934         collectionvolume= ?,
2935         editionstatement= ?,
2936         editionresponsibility = ?,
2937         illus           = ?,
2938         pages           = ?,
2939         notes           = ?,
2940         size            = ?,
2941         place           = ?,
2942         lccn            = ?,
2943         marc            = ?,
2944         url             = ?,
2945         cn_source       = ?,
2946         cn_class        = ?,
2947         cn_item         = ?,
2948         cn_suffix       = ?,
2949         cn_sort         = ?,
2950         totalissues     = ?
2951         ";
2952     my $sth = $dbh->prepare($query);
2953     $sth->execute(
2954         $biblioitem->{'biblionumber'},
2955         $biblioitem->{'volume'},
2956         $biblioitem->{'number'},
2957         $biblioitem->{'itemtype'},
2958         $biblioitem->{'isbn'},
2959         $biblioitem->{'issn'},
2960         $biblioitem->{'publicationyear'},
2961         $biblioitem->{'publishercode'},
2962         $biblioitem->{'volumedate'},
2963         $biblioitem->{'volumedesc'},
2964         $biblioitem->{'collectiontitle'},
2965         $biblioitem->{'collectionissn'},
2966         $biblioitem->{'collectionvolume'},
2967         $biblioitem->{'editionstatement'},
2968         $biblioitem->{'editionresponsibility'},
2969         $biblioitem->{'illus'},
2970         $biblioitem->{'pages'},
2971         $biblioitem->{'bnotes'},
2972         $biblioitem->{'size'},
2973         $biblioitem->{'place'},
2974         $biblioitem->{'lccn'},
2975         $biblioitem->{'marc'},
2976         $biblioitem->{'url'},
2977         $biblioitem->{'biblioitems.cn_source'},
2978         $biblioitem->{'cn_class'},
2979         $biblioitem->{'cn_item'},
2980         $biblioitem->{'cn_suffix'},
2981         $cn_sort,
2982         $biblioitem->{'totalissues'}
2983     );
2984     my $bibitemnum = $dbh->{'mysql_insertid'};
2985     if ( $dbh->errstr ) {
2986         $error.="ERROR in _koha_add_biblioitem $query".$dbh->errstr;
2987         warn $error;
2988     }
2989     $sth->finish();
2990     return ($bibitemnum,$error);
2991 }
2992
2993 =head2 _koha_delete_biblio
2994
2995 =over 4
2996
2997 $error = _koha_delete_biblio($dbh,$biblionumber);
2998
2999 Internal sub for deleting from biblio table -- also saves to deletedbiblio
3000
3001 C<$dbh> - the database handle
3002 C<$biblionumber> - the biblionumber of the biblio to be deleted
3003
3004 =back
3005
3006 =cut
3007
3008 # FIXME: add error handling
3009
3010 sub _koha_delete_biblio {
3011     my ( $dbh, $biblionumber ) = @_;
3012
3013     # get all the data for this biblio
3014     my $sth = $dbh->prepare("SELECT * FROM biblio WHERE biblionumber=?");
3015     $sth->execute($biblionumber);
3016
3017     if ( my $data = $sth->fetchrow_hashref ) {
3018
3019         # save the record in deletedbiblio
3020         # find the fields to save
3021         my $query = "INSERT INTO deletedbiblio SET ";
3022         my @bind  = ();
3023         foreach my $temp ( keys %$data ) {
3024             $query .= "$temp = ?,";
3025             push( @bind, $data->{$temp} );
3026         }
3027
3028         # replace the last , by ",?)"
3029         $query =~ s/\,$//;
3030         my $bkup_sth = $dbh->prepare($query);
3031         $bkup_sth->execute(@bind);
3032         $bkup_sth->finish;
3033
3034         # delete the biblio
3035         my $del_sth = $dbh->prepare("DELETE FROM biblio WHERE biblionumber=?");
3036         $del_sth->execute($biblionumber);
3037         $del_sth->finish;
3038     }
3039     $sth->finish;
3040     return undef;
3041 }
3042
3043 =head2 _koha_delete_biblioitems
3044
3045 =over 4
3046
3047 $error = _koha_delete_biblioitems($dbh,$biblioitemnumber);
3048
3049 Internal sub for deleting from biblioitems table -- also saves to deletedbiblioitems
3050
3051 C<$dbh> - the database handle
3052 C<$biblionumber> - the biblioitemnumber of the biblioitem to be deleted
3053
3054 =back
3055
3056 =cut
3057
3058 # FIXME: add error handling
3059
3060 sub _koha_delete_biblioitems {
3061     my ( $dbh, $biblioitemnumber ) = @_;
3062
3063     # get all the data for this biblioitem
3064     my $sth =
3065       $dbh->prepare("SELECT * FROM biblioitems WHERE biblioitemnumber=?");
3066     $sth->execute($biblioitemnumber);
3067
3068     if ( my $data = $sth->fetchrow_hashref ) {
3069
3070         # save the record in deletedbiblioitems
3071         # find the fields to save
3072         my $query = "INSERT INTO deletedbiblioitems SET ";
3073         my @bind  = ();
3074         foreach my $temp ( keys %$data ) {
3075             $query .= "$temp = ?,";
3076             push( @bind, $data->{$temp} );
3077         }
3078
3079         # replace the last , by ",?)"
3080         $query =~ s/\,$//;
3081         my $bkup_sth = $dbh->prepare($query);
3082         $bkup_sth->execute(@bind);
3083         $bkup_sth->finish;
3084
3085         # delete the biblioitem
3086         my $del_sth =
3087           $dbh->prepare("DELETE FROM biblioitems WHERE biblioitemnumber=?");
3088         $del_sth->execute($biblioitemnumber);
3089         $del_sth->finish;
3090     }
3091     $sth->finish;
3092     return undef;
3093 }
3094
3095 =head1 UNEXPORTED FUNCTIONS
3096
3097 =head2 ModBiblioMarc
3098
3099     &ModBiblioMarc($newrec,$biblionumber,$frameworkcode);
3100
3101     Add MARC data for a biblio to koha
3102
3103     Function exported, but should NOT be used, unless you really know what you're doing
3104
3105 =cut
3106
3107 sub ModBiblioMarc {
3108
3109 # pass the MARC::Record to this function, and it will create the records in the marc field
3110     my ( $record, $biblionumber, $frameworkcode ) = @_;
3111     my $dbh = C4::Context->dbh;
3112     my @fields = $record->fields();
3113     if ( !$frameworkcode ) {
3114         $frameworkcode = "";
3115     }
3116     my $sth =
3117       $dbh->prepare("UPDATE biblio SET frameworkcode=? WHERE biblionumber=?");
3118     $sth->execute( $frameworkcode, $biblionumber );
3119     $sth->finish;
3120     my $encoding = C4::Context->preference("marcflavour");
3121
3122     # deal with UNIMARC field 100 (encoding) : create it if needed & set encoding to unicode
3123     if ( $encoding eq "UNIMARC" ) {
3124         my $string;
3125         if ( length($record->subfield( 100, "a" )) == 35 ) {
3126             $string = $record->subfield( 100, "a" );
3127             my $f100 = $record->field(100);
3128             $record->delete_field($f100);
3129         }
3130         else {
3131             $string = POSIX::strftime( "%Y%m%d", localtime );
3132             $string =~ s/\-//g;
3133             $string = sprintf( "%-*s", 35, $string );
3134         }
3135         substr( $string, 22, 6, "frey50" );
3136         unless ( $record->subfield( 100, "a" ) ) {
3137             $record->insert_grouped_field(
3138                 MARC::Field->new( 100, "", "", "a" => $string ) );
3139         }
3140     }
3141     my $oldRecord;
3142     if (C4::Context->preference("NoZebra")) {
3143         # only NoZebra indexing needs to have
3144         # the previous version of the record
3145         $oldRecord = GetMarcBiblio($biblionumber);
3146     }
3147     $sth =
3148       $dbh->prepare(
3149         "UPDATE biblioitems SET marc=?,marcxml=? WHERE biblionumber=?");
3150     $sth->execute( $record->as_usmarc(), $record->as_xml_record($encoding),
3151         $biblionumber );
3152     $sth->finish;
3153     ModZebra($biblionumber,"specialUpdate","biblioserver",$oldRecord,$record);
3154     return $biblionumber;
3155 }
3156
3157 =head2 z3950_extended_services
3158
3159 z3950_extended_services($serviceType,$serviceOptions,$record);
3160
3161     z3950_extended_services is used to handle all interactions with Zebra's extended serices package, which is employed to perform all management of the MARC data stored in Zebra.
3162
3163 C<$serviceType> one of: itemorder,create,drop,commit,update,xmlupdate
3164
3165 C<$serviceOptions> a has of key/value pairs. For instance, if service_type is 'update', $service_options should contain:
3166
3167     action => update action, one of specialUpdate, recordInsert, recordReplace, recordDelete, elementUpdate.
3168
3169 and maybe
3170
3171     recordidOpaque => Opaque Record ID (user supplied) or recordidNumber => Record ID number (system number).
3172     syntax => the record syntax (transfer syntax)
3173     databaseName = Database from connection object
3174
3175     To set serviceOptions, call set_service_options($serviceType)
3176
3177 C<$record> the record, if one is needed for the service type
3178
3179     A record should be in XML. You can convert it to XML from MARC by running it through marc2xml().
3180
3181 =cut
3182
3183 sub z3950_extended_services {
3184     my ( $server, $serviceType, $action, $serviceOptions ) = @_;
3185
3186     # get our connection object
3187     my $Zconn = C4::Context->Zconn( $server, 0, 1 );
3188
3189     # create a new package object
3190     my $Zpackage = $Zconn->package();
3191
3192     # set our options
3193     $Zpackage->option( action => $action );
3194
3195     if ( $serviceOptions->{'databaseName'} ) {
3196         $Zpackage->option( databaseName => $serviceOptions->{'databaseName'} );
3197     }
3198     if ( $serviceOptions->{'recordIdNumber'} ) {
3199         $Zpackage->option(
3200             recordIdNumber => $serviceOptions->{'recordIdNumber'} );
3201     }
3202     if ( $serviceOptions->{'recordIdOpaque'} ) {
3203         $Zpackage->option(
3204             recordIdOpaque => $serviceOptions->{'recordIdOpaque'} );
3205     }
3206
3207  # this is an ILL request (Zebra doesn't support it, but Koha could eventually)
3208  #if ($serviceType eq 'itemorder') {
3209  #   $Zpackage->option('contact-name' => $serviceOptions->{'contact-name'});
3210  #   $Zpackage->option('contact-phone' => $serviceOptions->{'contact-phone'});
3211  #   $Zpackage->option('contact-email' => $serviceOptions->{'contact-email'});
3212  #   $Zpackage->option('itemorder-item' => $serviceOptions->{'itemorder-item'});
3213  #}
3214
3215     if ( $serviceOptions->{record} ) {
3216         $Zpackage->option( record => $serviceOptions->{record} );
3217
3218         # can be xml or marc
3219         if ( $serviceOptions->{'syntax'} ) {
3220             $Zpackage->option( syntax => $serviceOptions->{'syntax'} );
3221         }
3222     }
3223
3224     # send the request, handle any exception encountered
3225     eval { $Zpackage->send($serviceType) };
3226     if ( $@ && $@->isa("ZOOM::Exception") ) {
3227         return "error:  " . $@->code() . " " . $@->message() . "\n";
3228     }
3229
3230     # free up package resources
3231     $Zpackage->destroy();
3232 }
3233
3234 =head2 set_service_options
3235
3236 my $serviceOptions = set_service_options($serviceType);
3237
3238 C<$serviceType> itemorder,create,drop,commit,update,xmlupdate
3239
3240 Currently, we only support 'create', 'commit', and 'update'. 'drop' support will be added as soon as Zebra supports it.
3241
3242 =cut
3243
3244 sub set_service_options {
3245     my ($serviceType) = @_;
3246     my $serviceOptions;
3247
3248 # FIXME: This needs to be an OID ... if we ever need 'syntax' this sub will need to change
3249 #   $serviceOptions->{ 'syntax' } = ''; #zebra doesn't support syntaxes other than xml
3250
3251     if ( $serviceType eq 'commit' ) {
3252
3253         # nothing to do
3254     }
3255     if ( $serviceType eq 'create' ) {
3256
3257         # nothing to do
3258     }
3259     if ( $serviceType eq 'drop' ) {
3260         die "ERROR: 'drop' not currently supported (by Zebra)";
3261     }
3262     return $serviceOptions;
3263 }
3264
3265 =head3 get_biblio_authorised_values
3266
3267   find the types and values for all authorised values assigned to this biblio.
3268
3269   parameters:
3270     biblionumber
3271
3272   returns: a hashref malling the authorised value to the value set for this biblionumber
3273
3274       $authorised_values = {
3275                              'Scent'     => 'flowery',
3276                              'Audience'  => 'Young Adult',
3277                              'itemtypes' => 'SER',
3278                            };
3279
3280   Notes: forlibrarian should probably be passed in, and called something different.
3281
3282
3283 =cut
3284
3285 sub get_biblio_authorised_values {
3286     my $biblionumber = shift;
3287
3288     my $forlibrarian = 1; # are we in staff or opac?
3289     my $frameworkcode = GetFrameworkCode( $biblionumber );
3290
3291     my $authorised_values;
3292
3293     my $record  = GetMarcBiblio( $biblionumber )
3294       or return $authorised_values;
3295     my $tagslib = GetMarcStructure( $forlibrarian, $frameworkcode )
3296       or return $authorised_values;
3297
3298     # assume that these entries in the authorised_value table are bibliolevel.
3299     # ones that start with 'item%' are item level.
3300     my $query = q(SELECT distinct authorised_value, kohafield
3301                     FROM marc_subfield_structure
3302                     WHERE authorised_value !=''
3303                       AND (kohafield like 'biblio%'
3304                        OR  kohafield like '') );
3305     my $bibliolevel_authorised_values = C4::Context->dbh->selectall_hashref( $query, 'authorised_value' );
3306
3307     foreach my $tag ( keys( %$tagslib ) ) {
3308         foreach my $subfield ( keys( %{$tagslib->{ $tag }} ) ) {
3309             # warn "checking $subfield. type is: " . ref $tagslib->{ $tag }{ $subfield };
3310             if ( 'HASH' eq ref $tagslib->{ $tag }{ $subfield } ) {
3311                 if ( defined $tagslib->{ $tag }{ $subfield }{'authorised_value'} && exists $bibliolevel_authorised_values->{ $tagslib->{ $tag }{ $subfield }{'authorised_value'} } ) {
3312                     if ( defined $record->field( $tag ) ) {
3313                         my $this_subfield_value = $record->field( $tag )->subfield( $subfield );
3314                         if ( defined $this_subfield_value ) {
3315                             $authorised_values->{ $tagslib->{ $tag }{ $subfield }{'authorised_value'} } = $this_subfield_value;
3316                         }
3317                     }
3318                 }
3319             }
3320         }
3321     }
3322     # warn ( Data::Dumper->Dump( [ $authorised_values ], [ 'authorised_values' ] ) );
3323     return $authorised_values;
3324 }
3325
3326
3327 1;
3328
3329 __END__
3330
3331 =head1 AUTHOR
3332
3333 Koha Developement team <info@koha.org>
3334
3335 Paul POULAIN paul.poulain@free.fr
3336
3337 Joshua Ferraro jmf@liblime.com
3338
3339 =cut