new api version
[Biblio-Isis] / IsisDB.pm
index 222e122..75d4e5f 100644 (file)
--- a/IsisDB.pm
+++ b/IsisDB.pm
@@ -9,7 +9,7 @@ use Data::Dumper;
 BEGIN {
        use Exporter ();
        use vars qw ($VERSION @ISA @EXPORT @EXPORT_OK %EXPORT_TAGS);
-       $VERSION     = 0.08;
+       $VERSION     = 0.09;
        @ISA         = qw (Exporter);
        #Give a hoot don't pollute, do not export more than needed by default
        @EXPORT      = qw ();
@@ -30,14 +30,15 @@ IsisDB - Read CDS/ISIS, WinISIS and IsisMarc database
        isisdb => './cds/cds',
   );
 
-  for(my $mfn = 1; $mfn <= $isis->{'maxmfn'}; $mfn++) {
+  for(my $mfn = 1; $mfn <= $isis->count; $mfn++) {
        print $isis->to_ascii($mfn),"\n";
   }
 
 =head1 DESCRIPTION
 
 This module will read ISIS databases created by DOS CDS/ISIS, WinIsis or
-IsisMarc. It can be used as perl-only alternative to OpenIsis module.
+IsisMarc. It can be used as perl-only alternative to OpenIsis module which
+seems to depriciate it's old C<XS> bindings for perl.
 
 It can create hash values from data in ISIS database (using C<to_hash>),
 ASCII dump (using C<to_ascii>) or just hash with field names and packed
@@ -50,7 +51,7 @@ fields which are zero sized will be filled with random junk from memory).
 It also has support for identifiers (only if ISIS database is created by
 IsisMarc), see C<to_hash>.
 
-This will module will always be slower than OpenIsis module which use C
+This module will always be slower than OpenIsis module which use C
 library. However, since it's written in perl, it's platform independent (so
 you don't need C compiler), and can be easily modified. I hope that it
 creates data structures which are easier to use than ones created by
@@ -122,8 +123,6 @@ Dump a B<lot> of debugging output.
 
 =back
 
-It will also set C<$isis-E<gt>{'maxmfn'}> which is maximum MFN stored in database.
-
 =cut
 
 sub new {
@@ -198,9 +197,6 @@ sub new {
        read($self->{'fileMST'}, $buff, 4);
        $self->{'NXTMFN'}=unpack("l",$buff) || carp "NXTNFN is zero";
 
-       # save maximum MFN
-       $self->{'maxmfn'} = $self->{'NXTMFN'} - 1;
-
 
 
 
@@ -212,13 +208,29 @@ sub new {
        $self ? return $self : return undef;
 }
 
+=head2 count
+
+Return number of records in database
+
+  print $isis->count;
+
+=cut
+
+sub count {
+       my $self = shift;
+       return $self->{'NXTMFN'} - 1;
+}
+
 =head2 read_cnt
 
-This function is not really used by module, but can be useful to find info
-about your index (if debugging it for example).
+Read content of C<.CNT> file and return hash containing it.
 
   print Dumper($isis->read_cnt);
 
+This function is not used by module (C<.CNT> files are not required for this
+module to work), but it can be useful to examine your index (while debugging
+for example).
+
 =cut
 
 sub read_cnt  {
@@ -230,36 +242,6 @@ sub read_cnt  {
    
        open(fileCNT, $self->{cnt_file}) || croak "can't read '$self->{cnt_file}': $!";
 
-       # There is two 26 Bytes fixed lenght records
-
-       #  0: IDTYPE    BTree type                              16
-       #  2: ORDN      Nodes Order                             16
-       #  4: ORDF      Leafs Order                             16
-       #  6: N         Number of Memory buffers for nodes      16
-       #  8: K         Number of buffers for first level index 16
-       # 10: LIV       Current number of Index Levels          16
-       # 12: POSRX*    Pointer to Root Record in N0x           32
-       # 16: NMAXPOS*  Next Available position in N0x          32
-       # 20: FMAXPOS*  Next available position in L0x          32
-       # 24: ABNORMAL  Formal BTree normality indicator        16
-       # length: 26 bytes
-
-       sub unpack_cnt {
-               my $self = shift;
-
-               my @flds = qw(ORDN ORDF N K LIV POSRX NMAXPOS FMAXPOS ABNORMAL);
-
-               my $buff = shift || return;
-               my @arr = unpack("ssssssllls", $buff);
-
-               print STDERR "unpack_cnt: ",join(" ",@arr),"\n" if ($self->{'debug'});
-
-               my $IDTYPE = shift @arr;
-               foreach (@flds) {
-                       $self->{cnt}->{$IDTYPE}->{$_} = abs(shift @arr);
-               }
-       }
-
        my $buff;
 
        read(fileCNT, $buff, 26);
@@ -273,6 +255,45 @@ sub read_cnt  {
        return $self->{cnt};
 }
 
+=head2 unpack_cnt
+
+Unpack one of two 26 bytes fixed length record in C<.CNT> file.
+
+Here is definition of record:
+
+ off key       description                             size
+  0: IDTYPE    BTree type                              s
+  2: ORDN      Nodes Order                             s
+  4: ORDF      Leafs Order                             s
+  6: N         Number of Memory buffers for nodes      s
+  8: K         Number of buffers for first level index s
+ 10: LIV       Current number of Index Levels          s
+ 12: POSRX     Pointer to Root Record in N0x           l
+ 16: NMAXPOS   Next Available position in N0x          l
+ 20: FMAXPOS   Next available position in L0x          l
+ 24: ABNORMAL  Formal BTree normality indicator        s
+ length: 26 bytes
+
+This will fill C<$self> object under C<cnt> with hash. It's used by C<read_cnt>.
+
+=cut
+
+sub unpack_cnt {
+       my $self = shift;
+
+       my @flds = qw(ORDN ORDF N K LIV POSRX NMAXPOS FMAXPOS ABNORMAL);
+
+       my $buff = shift || return;
+       my @arr = unpack("ssssssllls", $buff);
+
+       print STDERR "unpack_cnt: ",join(" ",@arr),"\n" if ($self->{'debug'});
+
+       my $IDTYPE = shift @arr;
+       foreach (@flds) {
+               $self->{cnt}->{$IDTYPE}->{$_} = abs(shift @arr);
+       }
+}
+
 =head2 fetch
 
 Read record with selected MFN
@@ -331,7 +352,7 @@ sub fetch {
        # (XRFMFB - 1) * 512 + XRFMFP
        # why do i have to do XRFMFP % 1024 ?
 
-       my $blk_off = (($XRFMFB - 1) * 512) + ($XRFMFP % 1024);
+       my $blk_off = (($XRFMFB - 1) * 512) + ($XRFMFP % 512);
 
        print STDERR "## pointer: $pointer XRFMFB: $XRFMFB XRFMFP: $XRFMFP offset: $blk_off\n" if ($self->{'debug'});
 
@@ -345,8 +366,14 @@ sub fetch {
        print STDERR "## offset for rowid $value is $blk_off (blk $XRFMFB off $XRFMFP)\n" if ($self->{debug});
 
        if ($value!=$mfn) {
-               carp "Error: MFN ".$mfn." not found in MST(".$value.")";    
-               #return;
+               if ($value == 0) {
+                       print STDERR "## record $mfn is physically deleted\n" if ($self->{debug});
+                       $self->{deleted} = $mfn;
+                       return;
+               }
+
+               carp "Error: MFN ".$mfn." not found in MST file, found $value";    
+               return;
        }
 
        read($self->{'fileMST'}, $buff, 14);
@@ -414,11 +441,11 @@ sub fetch {
 
 =head2 to_ascii
 
-Dump ASCII output of record with specified MFN
+Returns ASCII output of record with specified MFN
 
   print $isis->to_ascii(42);
 
-It outputs something like this:
+This outputs something like this:
 
   210  ^aNew York^cNew York University press^dcop. 1988
   990  2140
@@ -455,7 +482,7 @@ Read record with specified MFN and convert it to hash
 
   my $hash = $isis->to_hash($mfn);
 
-It has ability to convert characters (using C<hash_filter> from ISIS
+It has ability to convert characters (using C<hash_filter>) from ISIS
 database before creating structures enabling character re-mapping or quick
 fix-up of data.
 
@@ -551,7 +578,18 @@ sub tag_name {
 
 =head1 BUGS
 
-This module has been very lightly tested. Use with caution and report bugs.
+Some parts of CDS/ISIS documentation are not detailed enough to exmplain
+some variations in input databases which has been tested with this module.
+When I was in doubt, I assumed that OpenIsis's implementation was right
+(except for obvious bugs).
+
+However, every effort has been made to test this module with as much
+databases (and programs that create them) as possible.
+
+I would be very greatful for success or failure reports about usage of this
+module with databases from programs other than WinIsis and IsisMarc. I had
+tested this against ouput of one C<isis.dll>-based application, but I don't
+know any details about it's version.
 
 =head1 AUTHOR