Bug 8761 Dont inadvertantly use slices
[koha.git] / C4 / ImportBatch.pm
index bf4e186..a64a0d2 100644 (file)
@@ -13,11 +13,13 @@ package C4::ImportBatch;
 # WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
 # A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
 #
-# You should have received a copy of the GNU General Public License along with
-# Koha; if not, write to the Free Software Foundation, Inc., 59 Temple Place,
-# Suite 330, Boston, MA  02111-1307 USA
+# You should have received a copy of the GNU General Public License along
+# with Koha; if not, write to the Free Software Foundation, Inc.,
+# 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
 
 use strict;
+use warnings;
+
 use C4::Context;
 use C4::Koha;
 use C4::Biblio;
@@ -28,23 +30,28 @@ use vars qw($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
 
 BEGIN {
        # set the version for version checking
-       $VERSION = 3.01;
+    $VERSION = 3.07.00.049;
        require Exporter;
        @ISA    = qw(Exporter);
        @EXPORT = qw(
     GetZ3950BatchId
+    GetWebserviceBatchId
     GetImportRecordMarc
+    GetImportRecordMarcXML
     AddImportBatch
     GetImportBatch
     AddBiblioToBatch
+    AddItemsToImportBiblio
     ModBiblioInBatch
 
     BatchStageMarcRecords
     BatchFindBibDuplicates
     BatchCommitBibRecords
     BatchRevertBibRecords
+    CleanBatch
 
     GetAllImportBatches
+    GetStagedWebserviceBatches
     GetImportBatchRangeDesc
     GetNumberOfNonZ3950ImportBatches
     GetImportBibliosRange
@@ -54,6 +61,10 @@ BEGIN {
     SetImportBatchStatus
     GetImportBatchOverlayAction
     SetImportBatchOverlayAction
+    GetImportBatchNoMatchAction
+    SetImportBatchNoMatchAction
+    GetImportBatchItemAction
+    SetImportBatchItemAction
     GetImportBatchMatcher
     SetImportBatchMatcher
     GetImportRecordOverlayStatus
@@ -71,21 +82,13 @@ C4::ImportBatch - manage batches of imported MARC records
 
 =head1 SYNOPSIS
 
-=over 4
-
 use C4::ImportBatch;
 
-=back
-
 =head1 FUNCTIONS
 
 =head2 GetZ3950BatchId
 
-=over 4
-
-my $batchid = GetZ3950BatchId($z3950server);
-
-=back
+  my $batchid = GetZ3950BatchId($z3950server);
 
 Retrieves the ID of the import batch for the Z39.50
 reservoir for the given target.  If necessary,
@@ -106,19 +109,54 @@ sub GetZ3950BatchId {
     if (defined $rowref) {
         return $rowref->[0];
     } else {
-        my $batch_id = AddImportBatch('create_new', 'staged', 'z3950', $z3950server, '');
+        my $batch_id = AddImportBatch( {
+                overlay_action => 'create_new',
+                import_status => 'staged',
+                batch_type => 'z3950',
+                file_name => $z3950server,
+            } );
         return $batch_id;
     }
     
 }
 
-=head2 GetImportRecordMarc
+=head2 GetWebserviceBatchId
+
+  my $batchid = GetWebserviceBatchId();
+
+Retrieves the ID of the import batch for webservice.
+If necessary, creates the import batch.
+
+=cut
+
+my $WEBSERVICE_BASE_QRY = <<EOQ;
+SELECT import_batch_id FROM import_batches
+WHERE  batch_type = 'webservice'
+AND    import_status = 'staged'
+EOQ
+sub GetWebserviceBatchId {
+    my ($params) = @_;
+
+    my $dbh = C4::Context->dbh;
+    my $sql = $WEBSERVICE_BASE_QRY;
+    my @args;
+    foreach my $field (qw(matcher_id overlay_action nomatch_action item_action)) {
+        if (my $val = $params->{$field}) {
+            $sql .= " AND $field = ?";
+            push @args, $val;
+        }
+    }
+    my $id = $dbh->selectrow_array($sql, undef, @args);
+    return $id if $id;
 
-=over 4
+    $params->{batch_type} = 'webservice';
+    $params->{import_status} = 'staged';
+    return AddImportBatch($params);
+}
 
-my ($marcblob, $encoding) = GetImportRecordMarc($import_record_id);
+=head2 GetImportRecordMarc
 
-=back
+  my ($marcblob, $encoding) = GetImportRecordMarc($import_record_id);
 
 =cut
 
@@ -130,42 +168,57 @@ sub GetImportRecordMarc {
     $sth->execute($import_record_id);
     my ($marc, $encoding) = $sth->fetchrow();
     $sth->finish();
-    return $marc;
+    return $marc, $encoding;
 
 }
 
-=head2 AddImportBatch
-
-=over 4
-
-my $batch_id = AddImportBatch($overlay_action, $import_status, $type, $file_name, $comments);
+=head2 GetImportRecordMarcXML
 
-=back
+  my $marcxml = GetImportRecordMarcXML($import_record_id);
 
 =cut
 
-sub AddImportBatch {
-    my ($overlay_action, $import_status, $type, $file_name, $comments) = @_;
+sub GetImportRecordMarcXML {
+    my ($import_record_id) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("INSERT INTO import_batches (overlay_action, import_status, batch_type,
-                                                         file_name, comments)
-                                    VALUES (?, ?, ?, ?, ?)");
-    $sth->execute($overlay_action, $import_status, $type, $file_name, $comments);
-    my $batch_id = $dbh->{'mysql_insertid'};
+    my $sth = $dbh->prepare("SELECT marcxml FROM import_records WHERE import_record_id = ?");
+    $sth->execute($import_record_id);
+    my ($marcxml) = $sth->fetchrow();
     $sth->finish();
-
-    return $batch_id;
+    return $marcxml;
 
 }
 
-=head2 GetImportBatch 
+=head2 AddImportBatch
 
-=over 4
+  my $batch_id = AddImportBatch($params_hash);
 
-my $row = GetImportBatch($batch_id);
+=cut
 
-=back
+sub AddImportBatch {
+    my ($params) = @_;
+
+    my (@fields, @vals);
+    foreach (qw( matcher_id template_id branchcode
+                 overlay_action nomatch_action item_action
+                 import_status batch_type file_name comments )) {
+        if (exists $params->{$_}) {
+            push @fields, $_;
+            push @vals, $params->{$_};
+        }
+    }
+    my $dbh = C4::Context->dbh;
+    $dbh->do("INSERT INTO import_batches (".join( ',', @fields).")
+                                  VALUES (".join( ',', map '?', @fields).")",
+             undef,
+             @vals);
+    return $dbh->{'mysql_insertid'};
+}
+
+=head2 GetImportBatch 
+
+  my $row = GetImportBatch($batch_id);
 
 Retrieve a hashref of an import_batches row.
 
@@ -186,11 +239,8 @@ sub GetImportBatch {
 
 =head2 AddBiblioToBatch 
 
-=over 4
-
-my $import_record_id = AddBiblioToBatch($batch_id, $record_sequence, $marc_record, $encoding, $z3950random, $update_counts);
-
-=back
+  my $import_record_id = AddBiblioToBatch($batch_id, $record_sequence, 
+                $marc_record, $encoding, $z3950random, $update_counts);
 
 =cut
 
@@ -210,11 +260,7 @@ sub AddBiblioToBatch {
 
 =head2 ModBiblioInBatch
 
-=over 4
-
-ModBiblioInBatch($import_record_id, $marc_record);
-
-=back
+  ModBiblioInBatch($import_record_id, $marc_record);
 
 =cut
 
@@ -228,20 +274,16 @@ sub ModBiblioInBatch {
 
 =head2 BatchStageMarcRecords
 
-=over 4
-
-($batch_id, $num_records, $num_items, @invalid_records) = 
-    BatchStageMarcRecords($marc_flavor, $marc_records, $file_name, 
+  ($batch_id, $num_records, $num_items, @invalid_records) = 
+    BatchStageMarcRecords($encoding, $marc_records, $file_name, 
                           $comments, $branch_code, $parse_items,
                           $leave_as_staging, 
                           $progress_interval, $progress_callback);
 
-=back
-
 =cut
 
 sub  BatchStageMarcRecords {
-    my $marc_flavor = shift;
+    my $encoding = shift;
     my $marc_records = shift;
     my $file_name = shift;
     my $comments = shift;
@@ -260,7 +302,19 @@ sub  BatchStageMarcRecords {
         $progress_interval = 0 unless 'CODE' eq ref $progress_callback;
     } 
     
-    my $batch_id = AddImportBatch('create_new', 'staging', 'batch', $file_name, $comments);
+    my $batch_id = AddImportBatch( {
+            overlay_action => 'create_new',
+            import_status => 'staging',
+            batch_type => 'batch',
+            file_name => $file_name,
+            comments => $comments,
+        } );
+    if ($parse_items) {
+        SetImportBatchItemAction($batch_id, 'always_add');
+    } else {
+        SetImportBatchItemAction($batch_id, 'ignore');
+    }
+
     my @invalid_records = ();
     my $num_valid = 0;
     my $num_items = 0;
@@ -275,13 +329,16 @@ sub  BatchStageMarcRecords {
             &$progress_callback($rec_num);
         }
         my ($marc_record, $charset_guessed, $char_errors) =
-            MarcToUTF8Record($marc_blob, C4::Context->preference("marcflavour"));
+            MarcToUTF8Record($marc_blob, C4::Context->preference("marcflavour"), $encoding);
+
+        $encoding = $charset_guessed unless $encoding;
+
         my $import_record_id;
         if (scalar($marc_record->fields()) == 0) {
             push @invalid_records, $marc_blob;
         } else {
             $num_valid++;
-            $import_record_id = AddBiblioToBatch($batch_id, $rec_num, $marc_record, $marc_flavor, int(rand(99999)), 0);
+            $import_record_id = AddBiblioToBatch($batch_id, $rec_num, $marc_record, $encoding, int(rand(99999)), 0);
             if ($parse_items) {
                 my @import_items_ids = AddItemsToImportBiblio($batch_id, $import_record_id, $marc_record, 0);
                 $num_items += scalar(@import_items_ids);
@@ -298,11 +355,8 @@ sub  BatchStageMarcRecords {
 
 =head2 AddItemsToImportBiblio
 
-=over 4
-
-my @import_items_ids = AddItemsToImportBiblio($batch_id, $import_record_id, $marc_record, $update_counts);
-
-=back
+  my @import_items_ids = AddItemsToImportBiblio($batch_id, 
+                $import_record_id, $marc_record, $update_counts);
 
 =cut
 
@@ -340,15 +394,11 @@ sub AddItemsToImportBiblio {
 
 =head2 BatchFindBibDuplicates
 
-=over 4
-
-my $num_with_matches = BatchFindBibDuplicates($batch_id, $matcher, $max_matches, $progress_interval, $progress_callback);
-
-=back
+  my $num_with_matches = BatchFindBibDuplicates($batch_id, $matcher, 
+             $max_matches, $progress_interval, $progress_callback);
 
 Goes through the records loaded in the batch and attempts to 
-find duplicates for each one.  Sets the overlay action to
-"replace" if it was "create_new", and sets the overlay status
+find duplicates for each one.  Sets the matching status 
 of each record to "no_match" or "auto_match" as appropriate.
 
 The $max_matches parameter is optional; if it is not supplied,
@@ -379,10 +429,6 @@ sub BatchFindBibDuplicates {
     }
 
     my $dbh = C4::Context->dbh;
-    my $old_overlay_action = GetImportBatchOverlayAction($batch_id);
-    if ($old_overlay_action eq "create_new") {
-        SetImportBatchOverlayAction($batch_id, 'replace');
-    }
 
     my $sth = $dbh->prepare("SELECT import_record_id, marc
                              FROM import_records
@@ -416,17 +462,15 @@ sub BatchFindBibDuplicates {
 
 =head2 BatchCommitBibRecords
 
-=over 4
-
-my ($num_added, $num_updated, $num_items_added, $num_items_errored, $num_ignored) = 
-    BatchCommitBibRecords($batch_id, $progress_interval, $progress_callback);
-
-=back
+  my ($num_added, $num_updated, $num_items_added, $num_items_errored, 
+      $num_ignored) = BatchCommitBibRecords($batch_id, $framework,
+                      $progress_interval, $progress_callback);
 
 =cut
 
 sub BatchCommitBibRecords {
     my $batch_id = shift;
+    my $framework = shift;
 
     # optional callback to monitor status 
     # of job
@@ -448,6 +492,8 @@ sub BatchCommitBibRecords {
     # FIXME biblio only at the moment
     SetImportBatchStatus('importing');
     my $overlay_action = GetImportBatchOverlayAction($batch_id);
+    my $nomatch_action = GetImportBatchNoMatchAction($batch_id);
+    my $item_action = GetImportBatchItemAction($batch_id);
     my $dbh = C4::Context->dbh;
     my $sth = $dbh->prepare("SELECT import_record_id, status, overlay_status, marc, encoding
                              FROM import_records
@@ -462,6 +508,7 @@ sub BatchCommitBibRecords {
         }
         if ($rowref->{'status'} eq 'error' or $rowref->{'status'} eq 'imported') {
             $num_ignored++;
+            next;
         }
 
         my $marc_record = MARC::Record->new_from_usmarc($rowref->{'marc'});
@@ -472,20 +519,26 @@ sub BatchCommitBibRecords {
             $marc_record->delete_field($item_field);
         }
 
-        if ($overlay_action eq 'create_new' or
-            ($overlay_action eq 'replace' and $rowref->{'overlay_status'} eq 'no_match')) {
+        # decide what what to do with the bib and item records
+        my ($bib_result, $item_result, $bib_match) = 
+            _get_commit_action($overlay_action, $nomatch_action, $item_action, 
+                               $rowref->{'overlay_status'}, $rowref->{'import_record_id'});
+
+        if ($bib_result eq 'create_new') {
             $num_added++;
-            my ($biblionumber, $biblioitemnumber) = AddBiblio($marc_record, '');
+            my ($biblionumber, $biblioitemnumber) = AddBiblio($marc_record, $framework);
             my $sth = $dbh->prepare_cached("UPDATE import_biblios SET matched_biblionumber = ? WHERE import_record_id = ?");
             $sth->execute($biblionumber, $rowref->{'import_record_id'});
             $sth->finish();
-            my ($bib_items_added, $bib_items_errored) = BatchCommitItems($rowref->{'import_record_id'}, $biblionumber);
-            $num_items_added += $bib_items_added;
-            $num_items_errored += $bib_items_errored;
+            if ($item_result eq 'create_new') {
+                my ($bib_items_added, $bib_items_errored) = BatchCommitItems($rowref->{'import_record_id'}, $biblionumber);
+                $num_items_added += $bib_items_added;
+                $num_items_errored += $bib_items_errored;
+            }
             SetImportRecordStatus($rowref->{'import_record_id'}, 'imported');
-        } else {
+        } elsif ($bib_result eq 'replace') {
             $num_updated++;
-            my $biblionumber = GetBestRecordMatch($rowref->{'import_record_id'});
+            my $biblionumber = $bib_match;
             my ($count, $oldbiblio) = GetBiblio($biblionumber);
             my $oldxml = GetXmlBiblio($biblionumber);
 
@@ -503,11 +556,27 @@ sub BatchCommitBibRecords {
             my $sth2 = $dbh->prepare_cached("UPDATE import_biblios SET matched_biblionumber = ? WHERE import_record_id = ?");
             $sth2->execute($biblionumber, $rowref->{'import_record_id'});
             $sth2->finish();
-            my ($bib_items_added, $bib_items_errored) = BatchCommitItems($rowref->{'import_record_id'}, $biblionumber);
-            $num_items_added += $bib_items_added;
-            $num_items_errored += $bib_items_errored;
+            if ($item_result eq 'create_new') {
+                my ($bib_items_added, $bib_items_errored) = BatchCommitItems($rowref->{'import_record_id'}, $biblionumber);
+                $num_items_added += $bib_items_added;
+                $num_items_errored += $bib_items_errored;
+            }
             SetImportRecordOverlayStatus($rowref->{'import_record_id'}, 'match_applied');
             SetImportRecordStatus($rowref->{'import_record_id'}, 'imported');
+        } elsif ($bib_result eq 'ignore') {
+            $num_ignored++;
+            my $biblionumber = $bib_match;
+            if (defined $biblionumber and $item_result eq 'create_new') {
+                my ($bib_items_added, $bib_items_errored) = BatchCommitItems($rowref->{'import_record_id'}, $biblionumber);
+                $num_items_added += $bib_items_added;
+                $num_items_errored += $bib_items_errored;
+                # still need to record the matched biblionumber so that the
+                # items can be reverted
+                my $sth2 = $dbh->prepare_cached("UPDATE import_biblios SET matched_biblionumber = ? WHERE import_record_id = ?");
+                $sth2->execute($biblionumber, $rowref->{'import_record_id'});
+                SetImportRecordOverlayStatus($rowref->{'import_record_id'}, 'match_applied');
+            }
+            SetImportRecordStatus($rowref->{'import_record_id'}, 'ignored');
         }
     }
     $sth->finish();
@@ -517,11 +586,8 @@ sub BatchCommitBibRecords {
 
 =head2 BatchCommitItems
 
-=over 4
-
-($num_items_added, $num_items_errored) = BatchCommitItems($import_record_id, $biblionumber);
-
-=back
+  ($num_items_added, $num_items_errored) = 
+         BatchCommitItems($import_record_id, $biblionumber);
 
 =cut
 
@@ -568,11 +634,8 @@ sub BatchCommitItems {
 
 =head2 BatchRevertBibRecords
 
-=over 4
-
-my ($num_deleted, $num_errors, $num_reverted, $num_items_deleted, $num_ignored) = BatchRevertBibRecords($batch_id);
-
-=back
+  my ($num_deleted, $num_errors, $num_reverted, $num_items_deleted, 
+      $num_ignored) = BatchRevertBibRecords($batch_id);
 
 =cut
 
@@ -588,6 +651,7 @@ sub BatchRevertBibRecords {
     # FIXME biblio only at the moment
     SetImportBatchStatus('reverting');
     my $overlay_action = GetImportBatchOverlayAction($batch_id);
+    my $nomatch_action = GetImportBatchNoMatchAction($batch_id);
     my $dbh = C4::Context->dbh;
     my $sth = $dbh->prepare("SELECT import_record_id, status, overlay_status, marcxml_old, encoding, matched_biblionumber
                              FROM import_records
@@ -597,9 +661,12 @@ sub BatchRevertBibRecords {
     while (my $rowref = $sth->fetchrow_hashref) {
         if ($rowref->{'status'} eq 'error' or $rowref->{'status'} eq 'reverted') {
             $num_ignored++;
+            next;
         }
-        if ($overlay_action eq 'create_new' or
-            ($overlay_action eq 'replace' and $rowref->{'overlay_status'} eq 'no_match')) {
+
+        my $bib_result = _get_revert_action($overlay_action, $rowref->{'overlay_status'}, $rowref->{'status'});
+
+        if ($bib_result eq 'delete') {
             $num_items_deleted += BatchRevertItems($rowref->{'import_record_id'}, $rowref->{'matched_biblionumber'});
             my $error = DelBiblio($rowref->{'matched_biblionumber'});
             if (defined $error) {
@@ -608,7 +675,7 @@ sub BatchRevertBibRecords {
                 $num_deleted++;
                 SetImportRecordStatus($rowref->{'import_record_id'}, 'reverted');
             }
-        } else {
+        } elsif ($bib_result eq 'restore') {
             $num_reverted++;
             my $old_record = MARC::Record->new_from_xml(StripNonXmlChars($rowref->{'marcxml_old'}), 'UTF-8', $rowref->{'encoding'});
             my $biblionumber = $rowref->{'matched_biblionumber'};
@@ -616,8 +683,15 @@ sub BatchRevertBibRecords {
             $num_items_deleted += BatchRevertItems($rowref->{'import_record_id'}, $rowref->{'matched_biblionumber'});
             ModBiblio($old_record, $biblionumber, $oldbiblio->{'frameworkcode'});
             SetImportRecordStatus($rowref->{'import_record_id'}, 'reverted');
+        } elsif ($bib_result eq 'ignore') {
+            $num_items_deleted += BatchRevertItems($rowref->{'import_record_id'}, $rowref->{'matched_biblionumber'});
+            SetImportRecordStatus($rowref->{'import_record_id'}, 'reverted');
         }
+        # remove matched_biblionumber only if there is no 'imported' item left
+        my $sth2 = $dbh->prepare_cached("UPDATE import_biblios SET matched_biblionumber = NULL WHERE import_record_id = ?  AND NOT EXISTS (SELECT * FROM import_items WHERE import_items.import_record_id=import_biblios.import_record_id and status='imported')" );
+        $sth2->execute($rowref->{'import_record_id'});
     }
+
     $sth->finish();
     SetImportBatchStatus($batch_id, 'reverted');
     return ($num_deleted, $num_errors, $num_reverted, $num_items_deleted, $num_ignored);
@@ -625,11 +699,7 @@ sub BatchRevertBibRecords {
 
 =head2 BatchRevertItems
 
-=over 4
-
-my $num_items_deleted = BatchRevertItems($import_record_id, $biblionumber);
-
-=back
+  my $num_items_deleted = BatchRevertItems($import_record_id, $biblionumber);
 
 =cut
 
@@ -646,25 +716,45 @@ sub BatchRevertItems {
     $sth->bind_param(1, $import_record_id);
     $sth->execute();
     while (my $row = $sth->fetchrow_hashref()) {
-        DelItem($dbh, $biblionumber, $row->{'itemnumber'});
-        my $updsth = $dbh->prepare("UPDATE import_items SET status = ? WHERE import_items_id = ?");
-        $updsth->bind_param(1, 'reverted');
-        $updsth->bind_param(2, $row->{'import_items_id'});
-        $updsth->execute();
-        $updsth->finish();
-        $num_items_deleted++;
+        my $error = DelItemCheck($dbh, $biblionumber, $row->{'itemnumber'});
+        if ($error == 1){
+            my $updsth = $dbh->prepare("UPDATE import_items SET status = ? WHERE import_items_id = ?");
+            $updsth->bind_param(1, 'reverted');
+            $updsth->bind_param(2, $row->{'import_items_id'});
+            $updsth->execute();
+            $updsth->finish();
+            $num_items_deleted++;
+        }
+        else {
+            next;
+        }
     }
     $sth->finish();
     return $num_items_deleted;
 }
 
-=head2 GetAllImportBatches
+=head2 CleanBatch
 
-=over 4
+  CleanBatch($batch_id)
 
-my $results = GetAllImportBatches();
+Deletes all staged records from the import batch
+and sets the status of the batch to 'cleaned'.  Note
+that deleting a stage record does *not* affect
+any record that has been committed to the database.
 
-=back
+=cut
+
+sub CleanBatch {
+    my $batch_id = shift;
+    return unless defined $batch_id;
+
+    C4::Context->dbh->do('DELETE FROM import_records WHERE import_batch_id = ?', {}, $batch_id);
+    SetImportBatchStatus($batch_id, 'cleaned');
+}
+
+=head2 GetAllImportBatches
+
+  my $results = GetAllImportBatches();
 
 Returns a references to an array of hash references corresponding
 to all import_batches rows (of batch_type 'batch'), sorted in 
@@ -675,7 +765,7 @@ ascending order by import_batch_id.
 sub  GetAllImportBatches {
     my $dbh = C4::Context->dbh;
     my $sth = $dbh->prepare_cached("SELECT * FROM import_batches
-                                    WHERE batch_type = 'batch'
+                                    WHERE batch_type IN ('batch', 'webservice')
                                     ORDER BY import_batch_id ASC");
 
     my $results = [];
@@ -687,13 +777,28 @@ sub  GetAllImportBatches {
     return $results;
 }
 
-=head2 GetImportBatchRangeDesc
+=head2 GetStagedWebserviceBatches
+
+  my $batch_ids = GetStagedWebserviceBatches();
 
-=over 4
+Returns a references to an array of batch id's
+of batch_type 'webservice' that are not imported
 
-my $results = GetImportBatchRangeDesc($offset, $results_per_group);
+=cut
 
-=back
+my $PENDING_WEBSERVICE_BATCHES_QRY = <<EOQ;
+SELECT import_batch_id FROM import_batches
+WHERE batch_type = 'webservice'
+AND import_status = 'staged'
+EOQ
+sub  GetStagedWebserviceBatches {
+    my $dbh = C4::Context->dbh;
+    return $dbh->selectcol_arrayref($PENDING_WEBSERVICE_BATCHES_QRY);
+}
+
+=head2 GetImportBatchRangeDesc
+
+  my $results = GetImportBatchRangeDesc($offset, $results_per_group);
 
 Returns a reference to an array of hash references corresponding to
 import_batches rows (sorted in descending order by import_batch_id)
@@ -705,32 +810,35 @@ sub GetImportBatchRangeDesc {
     my ($offset, $results_per_group) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare_cached("SELECT * FROM import_batches
-                                    WHERE batch_type = 'batch'
-                                    ORDER BY import_batch_id DESC
-                                    LIMIT ? OFFSET ?");
-    $sth->bind_param(1, $results_per_group);
-    $sth->bind_param(2, $offset);
-
-    my $results = [];
-    $sth->execute();
-    while (my $row = $sth->fetchrow_hashref) {
-        push @$results, $row;
+    my $query = "SELECT * FROM import_batches
+                                    WHERE batch_type IN ('batch', 'webservice')
+                                    ORDER BY import_batch_id DESC";
+    my @params;
+    if ($results_per_group){
+        $query .= " LIMIT ?";
+        push(@params, $results_per_group);
+    }
+    if ($offset){
+        $query .= " OFFSET ?";
+        push(@params, $offset);
     }
+    my $sth = $dbh->prepare_cached($query);
+    $sth->execute(@params);
+    my $results = $sth->fetchall_arrayref({});
     $sth->finish();
     return $results;
 }
 
 =head2 GetItemNumbersFromImportBatch
 
-=over 4
-=back
+  my @itemsnos = GetItemNumbersFromImportBatch($batch_id);
+
 =cut
 
 sub GetItemNumbersFromImportBatch {
        my ($batch_id) = @_;
        my $dbh = C4::Context->dbh;
-       my $sth = $dbh->prepare("select itemnumber from import_batches,import_records,import_items where import_batches.import_batch_id=import_records.import_batch_id and import_records.import_record_id=import_items.import_record_id and import_batches.import_batch_id=?");
+       my $sth = $dbh->prepare("SELECT itemnumber FROM import_batches,import_records,import_items WHERE import_batches.import_batch_id=import_records.import_batch_id AND import_records.import_record_id=import_items.import_record_id AND import_batches.import_batch_id=?");
        $sth->execute($batch_id);
        my @items ;
        while ( my ($itm) = $sth->fetchrow_array ) {
@@ -741,17 +849,13 @@ sub GetItemNumbersFromImportBatch {
 
 =head2 GetNumberOfImportBatches 
 
-=over 4
-
-my $count = GetNumberOfImportBatches();
-
-=back
+  my $count = GetNumberOfImportBatches();
 
 =cut
 
 sub GetNumberOfNonZ3950ImportBatches {
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("SELECT COUNT(*) FROM import_batches WHERE batch_type='batch'");
+    my $sth = $dbh->prepare("SELECT COUNT(*) FROM import_batches WHERE batch_type != 'z3950'");
     $sth->execute();
     my ($count) = $sth->fetchrow_array();
     $sth->finish();
@@ -760,11 +864,7 @@ sub GetNumberOfNonZ3950ImportBatches {
 
 =head2 GetImportBibliosRange
 
-=over 4
-
-my $results = GetImportBibliosRange($batch_id, $offset, $results_per_group);
-
-=back
+  my $results = GetImportBibliosRange($batch_id, $offset, $results_per_group);
 
 Returns a reference to an array of hash references corresponding to
 import_biblios/import_records rows for a given batch
@@ -773,23 +873,33 @@ starting at the given offset.
 =cut
 
 sub GetImportBibliosRange {
-    my ($batch_id, $offset, $results_per_group) = @_;
+    my ($batch_id, $offset, $results_per_group, $status) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare_cached("SELECT title, author, isbn, issn, import_record_id, record_sequence,
-                                           status, overlay_status
+    my $query = "SELECT title, author, isbn, issn, import_record_id, record_sequence,
+                                           status, overlay_status, matched_biblionumber
                                     FROM   import_records
                                     JOIN   import_biblios USING (import_record_id)
-                                    WHERE  import_batch_id = ?
-                                    ORDER BY import_record_id LIMIT ? OFFSET ?");
-    $sth->bind_param(1, $batch_id);
-    $sth->bind_param(2, $results_per_group);
-    $sth->bind_param(3, $offset);
-    my $results = [];
-    $sth->execute();
-    while (my $row = $sth->fetchrow_hashref) {
-        push @$results, $row;
+                                    WHERE  import_batch_id = ?";
+    my @params;
+    push(@params, $batch_id);
+    if ($status) {
+        $query .= " AND status=?";
+        push(@params,$status);
     }
+    $query.=" ORDER BY import_record_id";
+
+    if($results_per_group){
+        $query .= " LIMIT ?";
+        push(@params, $results_per_group);
+    }
+    if($offset){
+        $query .= " OFFSET ?";
+        push(@params, $offset);
+    }
+    my $sth = $dbh->prepare_cached($query);
+    $sth->execute(@params);
+    my $results = $sth->fetchall_arrayref({});
     $sth->finish();
     return $results;
 
@@ -797,11 +907,7 @@ sub GetImportBibliosRange {
 
 =head2 GetBestRecordMatch
 
-=over 4
-
-my $record_id = GetBestRecordMatch($import_record_id);
-
-=back
+  my $record_id = GetBestRecordMatch($import_record_id);
 
 =cut
 
@@ -821,11 +927,7 @@ sub GetBestRecordMatch {
 
 =head2 GetImportBatchStatus
 
-=over 4
-
-my $status = GetImportBatchStatus($batch_id);
-
-=back
+  my $status = GetImportBatchStatus($batch_id);
 
 =cut
 
@@ -833,22 +935,17 @@ sub GetImportBatchStatus {
     my ($batch_id) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare("SELECT import_status FROM import_batches WHERE batch_id = ?");
+    my $sth = $dbh->prepare("SELECT import_status FROM import_batches WHERE import_batch_id = ?");
     $sth->execute($batch_id);
     my ($status) = $sth->fetchrow_array();
     $sth->finish();
-    return;
+    return $status;
 
 }
 
-
 =head2 SetImportBatchStatus
 
-=over 4
-
-SetImportBatchStatus($batch_id, $new_status);
-
-=back
+  SetImportBatchStatus($batch_id, $new_status);
 
 =cut
 
@@ -864,11 +961,7 @@ sub SetImportBatchStatus {
 
 =head2 GetImportBatchOverlayAction
 
-=over 4
-
-my $overlay_action = GetImportBatchOverlayAction($batch_id);
-
-=back
+  my $overlay_action = GetImportBatchOverlayAction($batch_id);
 
 =cut
 
@@ -887,11 +980,7 @@ sub GetImportBatchOverlayAction {
 
 =head2 SetImportBatchOverlayAction
 
-=over 4
-
-SetImportBatchOverlayAction($batch_id, $new_overlay_action);
-
-=back
+  SetImportBatchOverlayAction($batch_id, $new_overlay_action);
 
 =cut
 
@@ -905,13 +994,79 @@ sub SetImportBatchOverlayAction {
 
 }
 
-=head2 GetImportBatchMatcher
+=head2 GetImportBatchNoMatchAction
+
+  my $nomatch_action = GetImportBatchNoMatchAction($batch_id);
+
+=cut
+
+sub GetImportBatchNoMatchAction {
+    my ($batch_id) = @_;
+
+    my $dbh = C4::Context->dbh;
+    my $sth = $dbh->prepare("SELECT nomatch_action FROM import_batches WHERE import_batch_id = ?");
+    $sth->execute($batch_id);
+    my ($nomatch_action) = $sth->fetchrow_array();
+    $sth->finish();
+    return $nomatch_action;
+
+}
+
+
+=head2 SetImportBatchNoMatchAction
+
+  SetImportBatchNoMatchAction($batch_id, $new_nomatch_action);
+
+=cut
+
+sub SetImportBatchNoMatchAction {
+    my ($batch_id, $new_nomatch_action) = @_;
 
-=over 4
+    my $dbh = C4::Context->dbh;
+    my $sth = $dbh->prepare("UPDATE import_batches SET nomatch_action = ? WHERE import_batch_id = ?");
+    $sth->execute($new_nomatch_action, $batch_id);
+    $sth->finish();
+
+}
 
-my $matcher_id = GetImportBatchMatcher($batch_id);
+=head2 GetImportBatchItemAction
 
-=back
+  my $item_action = GetImportBatchItemAction($batch_id);
+
+=cut
+
+sub GetImportBatchItemAction {
+    my ($batch_id) = @_;
+
+    my $dbh = C4::Context->dbh;
+    my $sth = $dbh->prepare("SELECT item_action FROM import_batches WHERE import_batch_id = ?");
+    $sth->execute($batch_id);
+    my ($item_action) = $sth->fetchrow_array();
+    $sth->finish();
+    return $item_action;
+
+}
+
+
+=head2 SetImportBatchItemAction
+
+  SetImportBatchItemAction($batch_id, $new_item_action);
+
+=cut
+
+sub SetImportBatchItemAction {
+    my ($batch_id, $new_item_action) = @_;
+
+    my $dbh = C4::Context->dbh;
+    my $sth = $dbh->prepare("UPDATE import_batches SET item_action = ? WHERE import_batch_id = ?");
+    $sth->execute($new_item_action, $batch_id);
+    $sth->finish();
+
+}
+
+=head2 GetImportBatchMatcher
+
+  my $matcher_id = GetImportBatchMatcher($batch_id);
 
 =cut
 
@@ -930,11 +1085,7 @@ sub GetImportBatchMatcher {
 
 =head2 SetImportBatchMatcher
 
-=over 4
-
-SetImportBatchMatcher($batch_id, $new_matcher_id);
-
-=back
+  SetImportBatchMatcher($batch_id, $new_matcher_id);
 
 =cut
 
@@ -950,11 +1101,7 @@ sub SetImportBatchMatcher {
 
 =head2 GetImportRecordOverlayStatus
 
-=over 4
-
-my $overlay_status = GetImportRecordOverlayStatus($import_record_id);
-
-=back
+  my $overlay_status = GetImportRecordOverlayStatus($import_record_id);
 
 =cut
 
@@ -973,11 +1120,7 @@ sub GetImportRecordOverlayStatus {
 
 =head2 SetImportRecordOverlayStatus
 
-=over 4
-
-SetImportRecordOverlayStatus($import_record_id, $new_overlay_status);
-
-=back
+  SetImportRecordOverlayStatus($import_record_id, $new_overlay_status);
 
 =cut
 
@@ -993,11 +1136,7 @@ sub SetImportRecordOverlayStatus {
 
 =head2 GetImportRecordStatus
 
-=over 4
-
-my $overlay_status = GetImportRecordStatus($import_record_id);
-
-=back
+  my $overlay_status = GetImportRecordStatus($import_record_id);
 
 =cut
 
@@ -1016,11 +1155,7 @@ sub GetImportRecordStatus {
 
 =head2 SetImportRecordStatus
 
-=over 4
-
-SetImportRecordStatus($import_record_id, $new_overlay_status);
-
-=back
+  SetImportRecordStatus($import_record_id, $new_overlay_status);
 
 =cut
 
@@ -1036,11 +1171,7 @@ sub SetImportRecordStatus {
 
 =head2 GetImportRecordMatches
 
-=over 4
-
-my $results = GetImportRecordMatches($import_record_id, $best_only);
-
-=back
+  my $results = GetImportRecordMatches($import_record_id, $best_only);
 
 =cut
 
@@ -1072,11 +1203,7 @@ sub GetImportRecordMatches {
 
 =head2 SetImportRecordMatches
 
-=over 4
-
-SetImportRecordMatches($import_record_id, @matches);
-
-=back
+  SetImportRecordMatches($import_record_id, @matches);
 
 =cut
 
@@ -1119,7 +1246,7 @@ sub _update_import_record_marc {
     my $dbh = C4::Context->dbh;
     my $sth = $dbh->prepare("UPDATE import_records SET marc = ?, marcxml = ?
                              WHERE  import_record_id = ?");
-    $sth->execute($marc_record->as_usmarc(), $marc_record->as_xml(), $import_record_id);
+    $sth->execute($marc_record->as_usmarc(), $marc_record->as_xml(C4::Context->preference('marcflavour')), $import_record_id);
     $sth->finish();
 }
 
@@ -1129,10 +1256,7 @@ sub _add_biblio_fields {
     my ($title, $author, $isbn, $issn) = _parse_biblio_fields($marc_record);
     my $dbh = C4::Context->dbh;
     # FIXME no controlnumber, originalsource
-    # FIXME 2 - should regularize normalization of ISBN wherever it is done
-    $isbn =~ s/\(.*$//;
-    $isbn =~ tr/ -_//;  
-    $isbn = uc $isbn;
+    $isbn = C4::Koha::_isbn_cleanup($isbn); # FIXME C4::Koha::_isbn_cleanup should be made public
     my $sth = $dbh->prepare("INSERT INTO import_biblios (import_record_id, title, author, isbn, issn) VALUES (?, ?, ?, ?, ?)");
     $sth->execute($import_record_id, $title, $author, $isbn, $issn);
     $sth->finish();
@@ -1168,26 +1292,62 @@ sub _update_batch_record_counts {
     my ($batch_id) = @_;
 
     my $dbh = C4::Context->dbh;
-    my $sth = $dbh->prepare_cached("UPDATE import_batches SET num_biblios = (
-                                    SELECT COUNT(*)
-                                    FROM import_records
-                                    WHERE import_batch_id = import_batches.import_batch_id
-                                    AND record_type = 'biblio')
-                                    WHERE import_batch_id = ?");
-    $sth->bind_param(1, $batch_id);
-    $sth->execute();
-    $sth->finish();
-    $sth = $dbh->prepare_cached("UPDATE import_batches SET num_items = (
-                                    SELECT COUNT(*)
-                                    FROM import_records
-                                    JOIN import_items USING (import_record_id)
-                                    WHERE import_batch_id = import_batches.import_batch_id
-                                    AND record_type = 'biblio')
+    my $sth = $dbh->prepare_cached("UPDATE import_batches SET
+                                        num_biblios = (
+                                            SELECT COUNT(*)
+                                            FROM import_records
+                                            WHERE import_batch_id = import_batches.import_batch_id
+                                            AND record_type = 'biblio'),
+                                        num_items = (
+                                            SELECT COUNT(*)
+                                            FROM import_records
+                                            JOIN import_items USING (import_record_id)
+                                            WHERE import_batch_id = import_batches.import_batch_id
+                                            AND record_type = 'biblio')
                                     WHERE import_batch_id = ?");
     $sth->bind_param(1, $batch_id);
     $sth->execute();
     $sth->finish();
+}
 
+sub _get_commit_action {
+    my ($overlay_action, $nomatch_action, $item_action, $overlay_status, $import_record_id) = @_;
+    
+    my ($bib_result, $bib_match, $item_result);
+
+    if ($overlay_status ne 'no_match') {
+        $bib_match = GetBestRecordMatch($import_record_id);
+        if ($overlay_action eq 'replace') {
+            $bib_result  = defined($bib_match) ? 'replace' : 'create_new';
+        } elsif ($overlay_action eq 'create_new') {
+            $bib_result  = 'create_new';
+        } elsif ($overlay_action eq 'ignore') {
+            $bib_result  = 'ignore';
+        } 
+        $item_result = ($item_action eq 'always_add' or $item_action eq 'add_only_for_matches') ? 'create_new' : 'ignore';
+    } else {
+        $bib_result = $nomatch_action;
+        $item_result = ($item_action eq 'always_add' or $item_action eq 'add_only_for_new')     ? 'create_new' : 'ignore';
+    }
+
+    return ($bib_result, $item_result, $bib_match);
+}
+
+sub _get_revert_action {
+    my ($overlay_action, $overlay_status, $status) = @_;
+
+    my $bib_result;
+
+    if ($status eq 'ignored') {
+        $bib_result = 'ignore';
+    } else {
+        if ($overlay_action eq 'create_new') {
+            $bib_result = 'delete';
+        } else {
+            $bib_result = ($overlay_status eq 'match_applied') ? 'restore' : 'delete';
+        }
+    }
+    return $bib_result;
 }
 
 1;
@@ -1195,7 +1355,7 @@ __END__
 
 =head1 AUTHOR
 
-Koha Development Team <info@koha.org>
+Koha Development Team <http://koha-community.org/>
 
 Galen Charlton <galen.charlton@liblime.com>