migrate internal encoding to utf-8
[webpac2] / lib / WebPAC / Input.pm
1 package WebPAC::Input;
2
3 use warnings;
4 use strict;
5
6 use blib;
7
8 use WebPAC::Common;
9 use base qw/WebPAC::Common/;
10 use Data::Dump qw/dump/;
11 use Encode qw/decode from_to/;
12
13 =head1 NAME
14
15 WebPAC::Input - read different file formats into WebPAC
16
17 =cut
18
19 our $VERSION = '0.19';
20
21 =head1 SYNOPSIS
22
23 This module implements input as database which have fixed and known
24 I<size> while indexing and single unique numeric identifier for database
25 position ranging from 1 to I<size>.
26
27 Simply, something that is indexed by unmber from 1 .. I<size>.
28
29 Examples of such databases are CDS/ISIS files, MARC files, lines in
30 text file, and so on.
31
32 Specific file formats are implemented using low-level interface modules,
33 located in C<WebPAC::Input::*> namespace which export C<open_db>,
34 C<fetch_rec> and optional C<init> functions.
35
36 Perhaps a little code snippet.
37
38         use WebPAC::Input;
39
40         my $db = WebPAC::Input->new(
41                 module => 'WebPAC::Input::ISIS',
42         );
43
44         $db->open( path => '/path/to/database' );
45         print "database size: ",$db->size,"\n";
46         while (my $rec = $db->fetch) {
47                 # do something with $rec
48         }
49
50
51
52 =head1 FUNCTIONS
53
54 =head2 new
55
56 Create new input database object.
57
58   my $db = new WebPAC::Input(
59         module => 'WebPAC::Input::MARC',
60         recode => 'char pairs',
61         no_progress_bar => 1,
62         input_config => {
63                 mapping => [ 'foo', 'bar', 'baz' ],
64         },
65   );
66
67 C<module> is low-level file format module. See L<WebPAC::Input::ISIS> and
68 L<WebPAC::Input::MARC>.
69
70 C<recode> is optional string constisting of character or words pairs that
71 should be replaced in input stream.
72
73 C<no_progress_bar> disables progress bar output on C<STDOUT>
74
75 This function will also call low-level C<init> if it exists with same
76 parametars.
77
78 =cut
79
80 sub new {
81         my $class = shift;
82         my $self = {@_};
83         bless($self, $class);
84
85         my $log = $self->_get_logger;
86
87         $log->logconfess("code_page argument is not suppored any more.") if $self->{code_page};
88         $log->logconfess("encoding argument is not suppored any more.") if $self->{encoding};
89         $log->logconfess("lookup argument is not suppored any more. rewrite call to lookup_ref") if $self->{lookup};
90         $log->logconfess("low_mem argument is not suppored any more. rewrite it to load_row and save_row") if $self->{low_mem};
91
92         $log->logconfess("specify low-level file format module") unless ($self->{module});
93         my $module_path = $self->{module};
94         $module_path =~ s#::#/#g;
95         $module_path .= '.pm';
96         $log->debug("require low-level module $self->{module} from $module_path");
97
98         require $module_path;
99
100         $self ? return $self : return undef;
101 }
102
103 =head2 open
104
105 This function will read whole database in memory and produce lookups.
106
107  my $store;     # simple in-memory hash
108
109  $input->open(
110         path => '/path/to/database/file',
111         input_encoding => 'cp852',
112         strict_encoding => 0,
113         limit => 500,
114         offset => 6000,
115         stats => 1,
116         lookup_coderef => sub {
117                 my $rec = shift;
118                 # store lookups
119         },
120         modify_records => {
121                 900 => { '^a' => { ' : ' => '^b' } },
122                 901 => { '*' => { '^b' => ' ; ' } },
123         },
124         modify_file => 'conf/modify/mapping.map',
125         save_row => sub {
126                 my $a = shift;
127                 $store->{ $a->{id} } = $a->{row};
128         },
129         load_row => sub {
130                 my $a = shift;
131                 return defined($store->{ $a->{id} }) &&
132                         $store->{ $a->{id} };
133         },
134
135  );
136
137 By default, C<input_encoding> is assumed to be C<cp852>.
138
139 C<offset> is optional parametar to position at some offset before reading from database.
140
141 C<limit> is optional parametar to read just C<limit> records from database
142
143 C<stats> create optional report about usage of fields and subfields
144
145 C<lookup_coderef> is closure to called to save data into lookups
146
147 C<modify_records> specify mapping from subfields to delimiters or from
148 delimiters to subfields, as well as oprations on fields (if subfield is
149 defined as C<*>.
150
151 C<modify_file> is alternative for C<modify_records> above which preserves order and offers
152 (hopefully) simplier sintax than YAML or perl (see L</modify_file_regex>). This option
153 overrides C<modify_records> if both exists for same input.
154
155 C<save_row> and C<load_row> are low-level implementation of store engine. Calling convention
156 is documented in example above.
157
158 C<strict_encoding> should really default to 1, but it doesn't for now.
159
160 Returns size of database, regardless of C<offset> and C<limit>
161 parametars, see also C<size>.
162
163 =cut
164
165 sub open {
166         my $self = shift;
167         my $arg = {@_};
168
169         my $log = $self->_get_logger();
170         $log->debug( "arguments: ",dump( $arg ));
171
172         $log->logconfess("encoding argument is not suppored any more.") if $self->{encoding};
173         $log->logconfess("code_page argument is not suppored any more.") if $self->{code_page};
174         $log->logconfess("lookup argument is not suppored any more. rewrite call to lookup_coderef") if ($arg->{lookup});
175         $log->logconfess("lookup_coderef must be CODE, not ",ref($arg->{lookup_coderef}))
176                 if ($arg->{lookup_coderef} && ref($arg->{lookup_coderef}) ne 'CODE');
177
178         $log->debug( $arg->{lookup_coderef} ? '' : 'not ', "using lookup_coderef");
179
180         $log->logcroak("need path") if (! $arg->{'path'});
181         my $input_encoding = $arg->{'input_encoding'} || $self->{'input_encoding'} || 'cp852';
182
183         # store data in object
184         foreach my $v (qw/path offset limit/) {
185                 $self->{$v} = $arg->{$v} if ($arg->{$v});
186         }
187
188         if ($arg->{load_row} || $arg->{save_row}) {
189                 $log->logconfess("save_row and load_row must be defined in pair and be CODE") unless (
190                         ref($arg->{load_row}) eq 'CODE' &&
191                         ref($arg->{save_row}) eq 'CODE'
192                 );
193                 $self->{load_row} = $arg->{load_row};
194                 $self->{save_row} = $arg->{save_row};
195                 $log->debug("using load_row and save_row instead of in-memory hash");
196         }
197
198         my $filter_ref;
199         my $recode_regex;
200         my $recode_map;
201
202         if ($self->{recode}) {
203                 my @r = split(/\s/, $self->{recode});
204                 if ($#r % 2 != 1) {
205                         $log->logwarn("recode needs even number of elements (some number of valid pairs)");
206                 } else {
207                         while (@r) {
208                                 my $from = shift @r;
209                                 my $to = shift @r;
210                                 $recode_map->{$from} = $to;
211                         }
212
213                         $recode_regex = join '|' => keys %{ $recode_map };
214
215                         $log->debug("using recode regex: $recode_regex");
216                 }
217
218         }
219
220         my $rec_regex;
221         if (my $p = $arg->{modify_file}) {
222                 $log->debug("using modify_file $p");
223                 $rec_regex = $self->modify_file_regexps( $p );
224         } elsif (my $h = $arg->{modify_records}) {
225                 $log->debug("using modify_records ", sub { dump( $h ) });
226                 $rec_regex = $self->modify_record_regexps(%{ $h });
227         }
228         $log->debug("rec_regex: ", sub { dump($rec_regex) }) if ($rec_regex);
229
230         my $class = $self->{module} || $log->logconfess("can't get low-level module name!");
231
232         my $ll_db = $class->new(
233                 path => $arg->{path},
234                 input_config => $arg->{input_config} || $self->{input_config},
235 #               filter => sub {
236 #                       my ($l,$f_nr) = @_;
237 #                       return unless defined($l);
238 #                       $l = decode($input_encoding, $l);
239 #                       $l =~ s/($recode_regex)/$recode_map->{$1}/g if ($recode_regex && $recode_map);
240 #                       return $l;
241 #               },
242                 %{ $arg },
243         );
244
245         unless (defined($ll_db)) {
246                 $log->logwarn("can't open database $arg->{path}, skipping...");
247                 return;
248         }
249
250         my $size = $ll_db->size;
251
252         unless ($size) {
253                 $log->logwarn("no records in database $arg->{path}, skipping...");
254                 return;
255         }
256
257         my $from_rec = 1;
258         my $to_rec = $size;
259
260         if (my $s = $self->{offset}) {
261                 $log->debug("skipping to MFN $s");
262                 $from_rec = $s;
263         } else {
264                 $self->{offset} = $from_rec;
265         }
266
267         if ($self->{limit}) {
268                 $log->debug("limiting to ",$self->{limit}," records");
269                 $to_rec = $from_rec + $self->{limit} - 1;
270                 $to_rec = $size if ($to_rec > $size);
271         }
272
273         # store size for later
274         $self->{size} = ($to_rec - $from_rec) ? ($to_rec - $from_rec + 1) : 0;
275
276         my $strict_encoding = $arg->{strict_encoding} || $self->{strict_encoding}; ## FIXME should be 1 really
277
278         $log->info("processing $self->{size}/$size records [$from_rec-$to_rec]",
279                 " encoding $input_encoding ", $strict_encoding ? ' [strict]' : '',
280                 $self->{stats} ? ' [stats]' : '',
281         );
282
283         # read database
284         for (my $pos = $from_rec; $pos <= $to_rec; $pos++) {
285
286                 $log->debug("position: $pos\n");
287
288                 my $rec = $ll_db->fetch_rec($pos, sub {
289                                 my ($l,$f_nr,$debug) = @_;
290 #                               return unless defined($l);
291 #                               return $l unless ($rec_regex && $f_nr);
292
293                                 return unless ( defined($l) && defined($f_nr) );
294
295                                 warn "-=> $f_nr ## |$l|\n" if ($debug);
296                                 $log->debug("-=> $f_nr ## $l");
297
298                                 # codepage conversion and recode_regex
299                                 $l = decode($input_encoding, $l, 1);
300                                 $l =~ s/($recode_regex)/$recode_map->{$1}/g if ($recode_regex && $recode_map);
301
302                                 # apply regexps
303                                 if ($rec_regex && defined($rec_regex->{$f_nr})) {
304                                         $log->logconfess("regexps->{$f_nr} must be ARRAY") if (ref($rec_regex->{$f_nr}) ne 'ARRAY');
305                                         my $c = 0;
306                                         foreach my $r (@{ $rec_regex->{$f_nr} }) {
307                                                 my $old_l = $l;
308                                                 $log->logconfess("expected regex in ", dump( $r )) unless defined($r->{regex});
309                                                 eval '$l =~ ' . $r->{regex};
310                                                 if ($old_l ne $l) {
311                                                         my $d = "|$old_l| -> |$l| "; # . $r->{regex};
312                                                         $d .= ' +' . $r->{line} . ' ' . $r->{file} if defined($r->{line});
313                                                         $d .= ' ' . $r->{debug} if defined($r->{debug});
314                                                         $log->debug("MODIFY $d");
315                                                         warn "*** $d\n" if ($debug);
316
317                                                 }
318                                                 $log->error("error applying regex: $r") if ($@);
319                                         }
320                                 }
321
322                                 $log->debug("<=- $f_nr ## |$l|");
323                                 warn "<=- $f_nr ## $l\n" if ($debug);
324                                 return $l;
325                 });
326
327                 $log->debug(sub { dump($rec) });
328
329                 if (! $rec) {
330                         $log->warn("record $pos empty? skipping...");
331                         next;
332                 }
333
334                 # store
335                 if ($self->{save_row}) {
336                         $self->{save_row}->({
337                                 id => $pos,
338                                 row => $rec,
339                         });
340                 } else {
341                         $self->{data}->{$pos} = $rec;
342                 }
343
344                 # create lookup
345                 $arg->{'lookup_coderef'}->( $rec ) if ($rec && $arg->{'lookup_coderef'});
346
347                 # update counters for statistics
348                 if ($self->{stats}) {
349
350                         # fetch clean record with regexpes applied for statistics
351                         my $rec = $ll_db->fetch_rec($pos);
352
353                         foreach my $fld (keys %{ $rec }) {
354                                 $self->{_stats}->{fld}->{ $fld }++;
355
356                                 #$log->logdie("invalid record fild $fld, not ARRAY")
357                                 next unless (ref($rec->{ $fld }) eq 'ARRAY');
358         
359                                 foreach my $row (@{ $rec->{$fld} }) {
360
361                                         if (ref($row) eq 'HASH') {
362
363                                                 foreach my $sf (keys %{ $row }) {
364                                                         next if ($sf eq 'subfields');
365                                                         $self->{_stats}->{sf}->{ $fld }->{ $sf }->{count}++;
366                                                         $self->{_stats}->{sf}->{ $fld }->{ $sf }->{repeatable}++
367                                                                         if (ref($row->{$sf}) eq 'ARRAY');
368                                                 }
369
370                                         } else {
371                                                 $self->{_stats}->{repeatable}->{ $fld }++;
372                                         }
373                                 }
374                         }
375                 }
376
377                 $self->progress_bar($pos,$to_rec) unless ($self->{no_progress_bar});
378
379         }
380
381         $self->{pos} = -1;
382         $self->{last_pcnt} = 0;
383
384         # store max mfn and return it.
385         $self->{max_pos} = $to_rec;
386         $log->debug("max_pos: $to_rec");
387
388         # save for dump
389         $self->{ll_db} = $ll_db;
390
391         return $size;
392 }
393
394 =head2 fetch
395
396 Fetch next record from database. It will also displays progress bar.
397
398  my $rec = $isis->fetch;
399
400 Record from this function should probably go to C<data_structure> for
401 normalisation.
402
403 =cut
404
405 sub fetch {
406         my $self = shift;
407
408         my $log = $self->_get_logger();
409
410         $log->logconfess("it seems that you didn't load database!") unless ($self->{pos});
411
412         if ($self->{pos} == -1) {
413                 $self->{pos} = $self->{offset};
414         } else {
415                 $self->{pos}++;
416         }
417
418         my $mfn = $self->{pos};
419
420         if ($mfn > $self->{max_pos}) {
421                 $self->{pos} = $self->{max_pos};
422                 $log->debug("at EOF");
423                 return;
424         }
425
426         $self->progress_bar($mfn,$self->{max_pos}) unless ($self->{no_progress_bar});
427
428         my $rec;
429
430         if ($self->{load_row}) {
431                 $rec = $self->{load_row}->({ id => $mfn });
432         } else {
433                 $rec = $self->{data}->{$mfn};
434         }
435
436         $rec ||= 0E0;
437 }
438
439 =head2 pos
440
441 Returns current record number (MFN).
442
443  print $isis->pos;
444
445 First record in database has position 1.
446
447 =cut
448
449 sub pos {
450         my $self = shift;
451         return $self->{pos};
452 }
453
454
455 =head2 size
456
457 Returns number of records in database
458
459  print $isis->size;
460
461 Result from this function can be used to loop through all records
462
463  foreach my $mfn ( 1 ... $isis->size ) { ... }
464
465 because it takes into account C<offset> and C<limit>.
466
467 =cut
468
469 sub size {
470         my $self = shift;
471         return $self->{size};
472 }
473
474 =head2 seek
475
476 Seek to specified MFN in file.
477
478  $isis->seek(42);
479
480 First record in database has position 1.
481
482 =cut
483
484 sub seek {
485         my $self = shift;
486         my $pos = shift;
487
488         my $log = $self->_get_logger();
489
490         $log->logconfess("called without pos") unless defined($pos);
491
492         if ($pos < 1) {
493                 $log->warn("seek before first record");
494                 $pos = 1;
495         } elsif ($pos > $self->{max_pos}) {
496                 $log->warn("seek beyond last record");
497                 $pos = $self->{max_pos};
498         }
499
500         return $self->{pos} = (($pos - 1) || -1);
501 }
502
503 =head2 stats
504
505 Dump statistics about field and subfield usage
506
507   print $input->stats;
508
509 =cut
510
511 sub stats {
512         my $self = shift;
513
514         my $log = $self->_get_logger();
515
516         my $s = $self->{_stats};
517         if (! $s) {
518                 $log->warn("called stats, but there is no statistics collected");
519                 return;
520         }
521
522         my $max_fld = 0;
523
524         my $out = join("\n",
525                 map {
526                         my $f = $_;
527                         die "no field in ", dump( $s->{fld} ) unless defined( $f );
528                         my $v = $s->{fld}->{$f} || die "no s->{fld}->{$f}";
529                         $max_fld = $v if ($v > $max_fld);
530
531                         my $o = sprintf("%4s %d ~", $f, $v);
532
533                         if (defined($s->{sf}->{$f})) {
534                                 my @subfields = keys %{ $s->{sf}->{$f} };
535                                 map {
536                                         $o .= sprintf(" %s:%d%s", $_, 
537                                                 $s->{sf}->{$f}->{$_}->{count},
538                                                 $s->{sf}->{$f}->{$_}->{repeatable} ? '*' : '',
539                                         );
540                                 } (
541                                         # first indicators and other special subfields
542                                         sort( grep { length($_)  > 1 } @subfields ),
543                                         # then subfileds (single char)
544                                         sort( grep { length($_) == 1 } @subfields ),
545                                 );
546                         }
547
548                         if (my $v_r = $s->{repeatable}->{$f}) {
549                                 $o .= " ($v_r)" if ($v_r != $v);
550                         }
551
552                         $o;
553                 } sort { 
554                         if ( $a =~ m/^\d+$/ && $b =~ m/^\d+$/ ) {
555                                 $a <=> $b
556                         } else {
557                                 $a cmp $b
558                         }
559                 } keys %{ $s->{fld} }
560         );
561
562         $log->debug( sub { dump($s) } );
563
564         return $out;
565 }
566
567 =head2 dump_ascii
568
569 Display humanly readable dump of record
570
571 =cut
572
573 sub dump_ascii {
574         my $self = shift;
575
576         return unless $self->{ll_db};
577
578         if ($self->{ll_db}->can('dump_ascii')) {
579                 return $self->{ll_db}->dump_ascii( $self->{pos} );
580         } else {
581                 return dump( $self->{ll_db}->fetch_rec( $self->{pos} ) );
582         }
583 }
584
585 =head2 _get_regex
586
587 Helper function called which create regexps to be execute on code.
588
589   _get_regex( 900, 'regex:[0-9]+' ,'numbers' );
590   _get_regex( 900, '^b', ' : ^b' );
591
592 It supports perl regexps with C<regex:> prefix to from value and has
593 additional logic to skip empty subfields.
594
595 =cut
596
597 sub _get_regex {
598         my ($sf,$from,$to) = @_;
599
600         # protect /
601         $from =~ s!/!\\/!gs;
602         $to =~ s!/!\\/!gs;
603
604         if ($from =~ m/^regex:(.+)$/) {
605                 $from = $1;
606         } else {
607                 $from = '\Q' . $from . '\E';
608         }
609         if ($sf =~ /^\^/) {
610                 my $need_subfield_data = '*';   # no
611                 # if from is also subfield, require some data in between
612                 # to correctly skip empty subfields
613                 $need_subfield_data = '+' if ($from =~ m/^\\Q\^/);
614                 return
615                         's/\Q'. $sf .'\E([^\^]' . $need_subfield_data . '?)'. $from .'([^\^]*?)/'. $sf .'$1'. $to .'$2/';
616         } else {
617                 return
618                         's/'. $from .'/'. $to .'/g';
619         }
620 }
621
622
623 =head2 modify_record_regexps
624
625 Generate hash with regexpes to be applied using L<filter>.
626
627   my $regexpes = $input->modify_record_regexps(
628                 900 => { '^a' => { ' : ' => '^b' } },
629                 901 => { '*' => { '^b' => ' ; ' } },
630   );
631
632 =cut
633
634 sub modify_record_regexps {
635         my $self = shift;
636         my $modify_record = {@_};
637
638         my $regexpes;
639
640         my $log = $self->_get_logger();
641
642         foreach my $f (keys %$modify_record) {
643                 $log->debug("field: $f");
644
645                 foreach my $sf (keys %{ $modify_record->{$f} }) {
646                         $log->debug("subfield: $sf");
647
648                         foreach my $from (keys %{ $modify_record->{$f}->{$sf} }) {
649                                 my $to = $modify_record->{$f}->{$sf}->{$from};
650                                 #die "no field?" unless defined($to);
651                                 my $d = "|$from| -> |$to|";
652                                 $log->debug("transform: $d");
653
654                                 my $regex = _get_regex($sf,$from,$to);
655                                 push @{ $regexpes->{$f} }, { regex => $regex, debug => $d };
656                                 $log->debug("regex: $regex");
657                         }
658                 }
659         }
660
661         return $regexpes;
662 }
663
664 =head2 modify_file_regexps
665
666 Generate hash with regexpes to be applied using L<filter> from
667 pseudo hash/yaml format for regex mappings.
668
669 It should be obvious:
670
671         200
672           '^a'
673             ' : ' => '^e'
674             ' = ' => '^d'
675
676 In field I<200> find C<'^a'> and then C<' : '>, and replace it with C<'^e'>.
677 In field I<200> find C<'^a'> and then C<' = '>, and replace it with C<'^d'>.
678
679   my $regexpes = $input->modify_file_regexps( 'conf/modify/common.pl' );
680
681 On undef path it will just return.
682
683 =cut
684
685 sub modify_file_regexps {
686         my $self = shift;
687
688         my $modify_path = shift || return;
689
690         my $log = $self->_get_logger();
691
692         my $regexpes;
693
694         CORE::open(my $fh, $modify_path) || $log->logdie("can't open modify file $modify_path: $!");
695
696         my ($f,$sf);
697
698         while(<$fh>) {
699                 chomp;
700                 next if (/^#/ || /^\s*$/);
701
702                 if (/^\s*(\d+)\s*$/) {
703                         $f = $1;
704                         $log->debug("field: $f");
705                         next;
706                 } elsif (/^\s*'([^']*)'\s*$/) {
707                         $sf = $1;
708                         $log->die("can't define subfiled before field in: $_") unless ($f);
709                         $log->debug("subfield: $sf");
710                 } elsif (/^\s*'([^']*)'\s*=>\s*'([^']*)'\s*$/) {
711                         my ($from,$to) = ($1, $2);
712
713                         $log->debug("transform: |$from| -> |$to|");
714
715                         my $regex = _get_regex($sf,$from,$to);
716                         push @{ $regexpes->{$f} }, {
717                                 regex => $regex,
718                                 file => $modify_path,
719                                 line => $.,
720                         };
721                         $log->debug("regex: $regex");
722                 }
723         }
724
725         return $regexpes;
726 }
727
728 =head1 AUTHOR
729
730 Dobrica Pavlinusic, C<< <dpavlin@rot13.org> >>
731
732 =head1 COPYRIGHT & LICENSE
733
734 Copyright 2005-2006 Dobrica Pavlinusic, All Rights Reserved.
735
736 This program is free software; you can redistribute it and/or modify it
737 under the same terms as Perl itself.
738
739 =cut
740
741 1; # End of WebPAC::Input