git.rot13.org Git - webpac2/blob - t/3-normalize.t

   1 #!/usr/bin/perl -w
   2
   3 use strict;
   4 use blib;
   5
   6 use Test::More tests => 355;
   7
   8 BEGIN {
   9         use_ok( 'WebPAC::Test' );
  10         use_ok( 'WebPAC::Normalize' );
  11 }
  12
  13 cmp_ok(_debug(1), '==', 1, '_debug level');
  14 cmp_ok(_debug(0), '==', 0, '_debug level');
  15
  16 diag "debug level for $0 is $debug" if ($debug);
  17 if ($debug > 2) {
  18         diag "debug level for WebPAC::Normalize is ", _debug( $debug - 2 );
  19 }
  20
  21 my $rec1 = {
  22         '200' => [{
  23                 'a' => '200a',
  24                 'b' => '200b',
  25                 },{
  26                 'c' => '200c',
  27                 'd' => '200d',
  28                 },{
  29                 'a' => '200a*2',
  30                 'd' => '200d*2',
  31                 }],
  32         '201' => [{
  33                 'x' => '201x',
  34                 'y' => '201y',
  35                 }],
  36         '900' => [
  37                 '900-no_subfield'
  38                 ],
  39         '901' => [{
  40                 'a' => '900a',
  41                 }],
  42         '902' => [{
  43                 'z' => '900',
  44                 }],
  45 };
  46
  47 my $rec2 = {
  48  '675' => [ {
  49               'a' => '159.9'
  50             } ],
  51  '210' => [ {
  52               'c' => 'New York University press',
  53               'a' => 'New York',
  54               'd' => 'cop. 1988'
  55             } ],
  56  '700' => [ {
  57               'a' => 'Haynal',
  58               'b' => 'André'
  59             } ],
  60  '801' => [ 'FFZG' ],
  61  '991' => [ '8302' ],
  62  '000' => [ 1 ],
  63  '702' => [ {
  64               'a' => 'Holder',
  65               'b' => 'Elizabeth'
  66             } ],
  67  '215' => [ {
  68               'c' => 'ilustr',
  69               'a' => 'xix, 202 str',
  70               'd' => '23cm'
  71             } ],
  72  '990' => [
  73             '2140',
  74             '88',
  75             'HAY'
  76           ],
  77  '200' => [ {
  78               'e' => 'from Freud and Ferenczi to Michael balint',
  79               'a' => 'Controversies in psychoanalytic method',
  80               'g' => 'translated by Elizabeth Holder on the basisi of a first draft by Archie Hooton ; with a preface by Daniel N. Stern',
  81               'f' => 'by André E. Haynal'
  82             } ],
  83  '610' => [ 'povijest psihoanalize' ],
  84  '994' => [ {
  85               'c' => '',
  86               'a' => 'PS',
  87               'b' => 'MG'
  88             } ],
  89  '320' => [ 'Kazalo' ],
  90  '101' => [ 'ENG' ],
  91  '686' => [ '2140' ],
  92  '300' => [ 'Prijevod djela: ' ],
  93 };
  94
  95
  96 my $lookup_hash1 = {
  97         'db1' => {
  98                 'input1' => {
  99                         'key1' => { 1 => 1 },
 100                         'key2' => { 2 => 1 },
 101                 },
 102                 'input2' => {
 103                         'key3' => { 3 => 1 },
 104                         'key4' => { 4 => 1 },
 105                 },
 106         },
 107         'db2' => {
 108                 'input3' => {
 109                         'key5' => { 5 => 1 },
 110                         'key6' => { 6 => 1 },
 111                 },
 112         }
 113 };
 114
 115 my $lookup_hash2 = {
 116         'db3' => {
 117                 'input4' => {
 118                         'key7' => { 7 => 1 },
 119                         'key8' => { 8 => 1 },
 120                 },
 121         }
 122 };
 123
 124 sub test {
 125         print dump( @_ ), ("-" x 78), "\n";
 126         ok( defined(@_) );
 127 }
 128
 129 # how much of string evaled to display?
 130 my $max_eval_output = 170;
 131
 132 sub dump_error {
 133         my ($msg,$code) = @_;
 134
 135         my @l = split(/[\n\r]/, $code);
 136         my $out = "$msg\n";
 137
 138         foreach my $i ( 0 .. $#l ) {
 139                 $out .= sprintf("%2d: %s\n", $i, $l[$i]);
 140         }
 141
 142         return $out;
 143 }
 144
 145 sub test_s {
 146         my $t = shift || die;
 147
 148         my $eval_t = $t;
 149         $eval_t =~ s/[\n\r\s]+/ /gs;
 150         $eval_t = substr($eval_t,0,$max_eval_output) . '...' if (length($eval_t) > $max_eval_output);
 151         $eval_t =~ s/\\/\\\\/gs;
 152
 153         my @__ret;
 154         eval "\@__ret = $t";
 155         ok(! $@, $@ ? dump_error($@, $t) : "eval: $eval_t = " . dump(@__ret));
 156         return \@__ret;
 157 }
 158
 159 {
 160         no strict 'subs';
 161         use WebPAC::Normalize;
 162
 163         ok(! _set_lookup( undef ), "set_lookup(undef)");
 164
 165         _set_ds( $rec1 );
 166
 167         cmp_ok( join(",", rec2('200','a') ), 'eq', '200a,200a*2', 'join rec2' );
 168         cmp_ok( join(",", rec2('200','a'), rec2('200','b') ), 'eq', '200a,200a*2,200b', 'join rec2 rec2' );
 169         cmp_ok( join(" * ", sort(rec1('200'), rec1('201') )), 'eq', '200a * 200a*2 * 200b * 200c * 200d * 200d*2 * 201x * 201y', 'join sort rec1 rec1' );
 170         diag "is_deeply checks\n";
 171         is_deeply( \[ rec1('200') ], \[ qw/200a 200b 200c 200d 200a*2 200d*2/ ] );
 172         is_deeply( \[ regex( 's/0/o/g', rec1('200') ) ],  \[ qw/2ooa 2oob 2ooc 2ood 2ooa*2 2ood*2/ ]);
 173         is_deeply( \[ grep { /\*/ } regex( 's/0/o/g', rec1('200') ) ], \[ qw/2ooa*2 2ood*2/ ]);
 174         is_deeply( \[ rec('902') ], \[ '900' ] );
 175
 176         cmp_ok( rec('902'), 'eq', rec('902','z'), 'rec sf' );
 177
 178         # simple list manipulatons
 179         cmp_ok( join('', prefix('ab', 'cd') ), 'eq', 'abcd', 'prefix');
 180         cmp_ok( join('-', prefix('', 'x', 'y') ), 'eq', 'x-y', 'prefix empty');
 181         cmp_ok( join('-', prefix(0, 'x', 'y') ), 'eq', '0x-0y', 'prefix 0');
 182
 183         cmp_ok( join('', suffix('xy', 'cd') ), 'eq', 'cdxy', 'suffix');
 184         cmp_ok( join('-', suffix('', 'x', 'y' ) ), 'eq', 'x-y', 'suffix empty');
 185         cmp_ok( join('-', suffix(0, 'x', 'y' ) ), 'eq', 'x0-y0', 'suffix 0');
 186
 187         cmp_ok( join('', surround('->', '<-', 'a','b','c') ), 'eq', '->a<-->b<-->c<-', 'surround');
 188         cmp_ok( join('-', surround('', '', 'x','y','z') ), 'eq', 'x-y-z', 'surround empty');
 189         cmp_ok( join('-', surround(0, 0, 'x','y','z') ), 'eq', '0x0-0y0-0z0', 'surround 0 0');
 190
 191         # count
 192         my @el;
 193         for my $i ( 0 .. 10 ) {
 194                 cmp_ok( count( @el ), '==', $i, "count($i)");
 195                 push @el, "element $i";
 196         }
 197
 198         # lookups
 199
 200         throws_ok { _set_load_row() } qr/CODE/, 'empty _set_load_row()';
 201
 202         ok(_set_load_row(sub {
 203                 my ($database,$input,$mfn) = @_;
 204                 diag "load_row( $database, $input, $mfn )" if ($debug);
 205                 cmp_ok( $#_, '==', 2, 'have 3 arguments');
 206                 ok($database, '_load_row database');
 207                 ok($input, '_load_row input');
 208                 ok($mfn, '_load_row mfn');
 209                 return {
 210                         '900' => [{ x => '900x-' . $mfn , y => '900y-' . $mfn }],
 211                 }
 212
 213         }), '_set_load_row');
 214
 215         my @v = qw/foo bar baz aaa bbb ccc ddd/;
 216
 217         my @accumulated;
 218
 219         for my $i ( 0 .. $#v ) {
 220
 221                 my $mfn = 1000 + $i;
 222
 223                 ok(WebPAC::Normalize::_set_config({ '_mfn' => $mfn }), "_set_config _mfn=$mfn");
 224
 225                 my $size = $#v + 1;
 226
 227                 cmp_ok(
 228                         save_into_lookup('db','input','key', sub { @v }),
 229                         '==', $size, "save_into_lookup $size values"
 230                 );
 231
 232                 ok(my $l = WebPAC::Normalize::_get_lookup(), '_get_lookup');
 233                 diag "_get_lookup = ", dump($l) if ($debug);
 234
 235                 my @lookup;
 236
 237                 ok(@lookup = lookup(
 238                                 sub {
 239                                         diag "in show" if ($debug);
 240                                         rec('900','x');
 241                                 },
 242                                 'db','input','key',
 243                                 sub {
 244                                         return @v;
 245                                 }
 246                         ),
 247                 "lookup db/input/key");
 248
 249                 push @accumulated, '900x-' . $mfn;
 250
 251                 is_deeply(\@lookup, \@accumulated, "lookup db/input/key");
 252
 253                 shift @v;
 254
 255         }
 256
 257         ok(my $l = WebPAC::Normalize::_get_lookup(), '_get_lookup');
 258         diag "_get_lookup = ", dump($l) if ($debug);
 259
 260         is_deeply( $l, {
 261                 db => {
 262                         input => {
 263                                 key => {
 264                                         foo => { 1000 => 1 },
 265                                         bar => { 1000 => 1, 1001 => 1 },
 266                                         baz => { 1000 => 1, 1001 => 1, 1002 => 1 },
 267                                         aaa => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1 },
 268                                         bbb => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1 },
 269                                         ccc => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1, 1005 => 1 },
 270                                         ddd => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1, 1005 => 1, 1006 => 1 },
 271                                 },
 272                         },
 273                 },
 274         }, 'lookup data');
 275
 276 #######
 277
 278         diag "lookup_hash1 = ", dump($lookup_hash1) if ($debug);
 279         ok(_set_lookup( $lookup_hash1 ), '_set_lookup $lookup_hash1');
 280
 281         throws_ok { _set_load_row() } qr/CODE/, 'empty _set_load_row()';
 282
 283         ok(_set_load_row(sub {
 284                 my ($database,$input,$mfn) = @_;
 285                 diag "load_row( $database, $input, $mfn )";
 286                 cmp_ok( $#_, '==', 2, 'have 3 arguments');
 287                 ok($database, 'database');
 288                 ok($input, 'input');
 289                 ok($mfn, 'mfn');
 290
 291         }), '_set_load_row');
 292
 293
 294 #       cmp_ok(lookup(
 295 #               sub {
 296 #                       'found'
 297 #               },
 298 #               'db1','input1','key1',
 299 #               sub {
 300 #                       rec('200','a')
 301 #               }
 302 #       ), 'eq', 'found', 'lookup db1/input1/key1');
 303
 304
 305
 306 #       cmp_ok(
 307 #               lookup(
 308 #               ),
 309 #       'eq', 'lookup 1 i lookup 2', 'join lookup regex rec2');
 310
 311         # check join_with operations
 312
 313         sub test_join_with_2 {
 314                 my ($a,$b,$e) = @_;
 315
 316                 cmp_ok(
 317                         join_with(" <1> ",
 318                                 rec('201',$a),
 319                                 rec('201',$b),
 320                         ),
 321                 'eq', $e, "join_with $a <1> $b = $e");
 322         }
 323
 324         test_join_with_2('_','_','');
 325         test_join_with_2('x','_','201x');
 326         test_join_with_2('_','x','201x');
 327         test_join_with_2('x','y','201x <1> 201y');
 328
 329         sub test_join_with_3 {
 330                 my ($a,$b,$c,$e) = @_;
 331
 332                 cmp_ok(
 333                         join_with(" <1> ", rec('201',$a),
 334                                 join_with(" <2> ", rec('201',$b),
 335                                         rec('201',$c),
 336                                 )
 337                         ),
 338                 'eq', $e, "join_with $a <1> $b <2> $c = $e");
 339         };
 340
 341         test_join_with_3('_','_','_','');
 342         test_join_with_3('x','_','_','201x');
 343         test_join_with_3('_','x','_','201x');
 344         test_join_with_3('_','_','x','201x');
 345         test_join_with_3('x','y','_','201x <1> 201y');
 346         test_join_with_3('x','_','y','201x <1> 201y');
 347         test_join_with_3('_','x','y','201x <2> 201y');
 348         test_join_with_3('x','_','y','201x <1> 201y');
 349         test_join_with_3('x','y','x','201x <1> 201y <2> 201x');
 350
 351         # test lookups
 352
 353         _set_lookup( $lookup_hash2 );
 354
 355         throws_ok { lookup() } qr/need/, 'empty lookup';
 356
 357         #is_deeply( \[ lookup( prefix( '00', rec('902') ) ) ], \[ 'lookup' ], 'lookup prefix' );
 358
 359         #ok(! lookup('non-existent'), 'lookup non-existant' );
 360
 361         _set_ds( $rec2 );
 362
 363         test_s(qq{
 364                 search_display('Title',
 365                         rec('200','a')
 366                 );
 367         });
 368         test_s(qq{
 369                 search_display('Who',
 370                         join_with(" ",
 371                                 rec('702','a'),
 372                                 rec('702','b')
 373                         )
 374                 );
 375         });
 376
 377         test_s(qq{
 378                 display('Publisher',
 379                         rec('210','c')
 380                 )
 381         });
 382
 383         test_s(qq{
 384                 search('Year',
 385                         regex( 's/[^\\d]+//',
 386                                 rec('210','d')
 387                         )
 388                 )
 389         });
 390
 391         ok(my $ds = _get_ds(), "get_ds");
 392         diag "ds = ", dump($ds) if ($debug);
 393
 394
 395         sub test_check_ds {
 396
 397                 my $t = shift;
 398
 399                 ok($ds = _get_ds(), 'get_ds');
 400                 diag dump( $ds ) if ($debug);
 401
 402                 ok( $ds && $ds->{something}, 'get_ds->something exists' );
 403                 ok( $ds && $ds->{something}->{$t}, 'get_ds->something->'.$t.' exists') if ($t);
 404                 ok( $ds && !$ds->{empty}, 'get_ds->empty doesn\'t' );
 405
 406                 return $ds;
 407         }
 408
 409         _clean_ds();
 410         test_s(qq{ search('something', '42'); });
 411         test_s(qq{ search('empty', ''); });
 412         test_check_ds('search');
 413
 414         _clean_ds();
 415         test_s(qq{ display('something', '42'); });
 416         test_s(qq{ display('empty', ''); });
 417         test_check_ds('display');
 418
 419         _clean_ds();
 420         test_s(qq{ search_display('something', '42'); });
 421         test_s(qq{ search_display('empty', ''); });
 422         test_check_ds('search');
 423         test_check_ds('display');
 424
 425         _clean_ds();
 426         test_s(qq{ sorted('something', '42'); });
 427         test_s(qq{ sorted('empty', ''); });
 428         test_check_ds('sorted');
 429
 430         _clean_ds();
 431         my $n = read_file( "$abs_path/data/normalize.pl" );
 432         $n .= "\n1;\n";
 433         #diag "normalize code:\n$n\n";
 434         test_s( $n );
 435
 436         ok($ds = _get_ds(), "get_ds");
 437         diag "ds = ", dump($ds) if ($debug);
 438
 439         my $rec = {
 440                 '200' => [{
 441                         'a' => '200a',
 442                         'b' => '200b',
 443                 }],
 444         };
 445         my $rules = qq{ search('mixed', rec('200') ) };
 446
 447         _clean_ds();
 448         _set_ds( $rec );
 449         test_s( $rules );
 450         ok($ds = _get_ds(), "get_ds");
 451         is_deeply( $ds, {
 452                 'mixed' => {
 453                         'search' => [ '200a', '200b' ],
 454                 }
 455         }, 'correct get_ds');
 456
 457         ok(my $ds2 = WebPAC::Normalize::data_structure(
 458                 row => $rec,
 459                 rules => $rules,
 460         ), 'data_structure');
 461         is_deeply( $ds, $ds2, 'data_structure(s) same');
 462
 463         # wird and non-valid structure which is supported anyway
 464         _clean_ds();
 465         _set_ds({
 466                 '200' => [{
 467                         'a' => '200a',
 468                 },
 469                         '200-solo'
 470                 ]
 471         });
 472         test_s(qq{ search('mixed', rec('200') ) });
 473         ok($ds = _get_ds(), "get_ds");
 474         is_deeply( $ds, {
 475                 'mixed' => {
 476                         'search' => [ '200a', '200-solo' ],
 477                 }
 478         }, 'correct get_ds');
 479
 480         #
 481         # MARC
 482         #
 483         #_debug( 4 );
 484
 485         test_s(qq{ marc_indicators('900',1,2) });
 486         test_s(qq{ marc('900','a', rec('200') ) });
 487         my $marc;
 488         ok($marc = WebPAC::Normalize::MARC::_get_marc_fields(), "_get_marc_fields");
 489         diag dump( $marc ) if ($debug);
 490
 491         is_deeply( $marc, [
 492                 [ '900', 1, 2, 'a', '200a' ],
 493                 [ '900', 1, 2, 'a', '200-solo' ]
 494         ], 'correct marc with indicators');
 495
 496         test_s(qq{ marc_indicators('900',' ',9) });
 497         test_s(qq{ marc_repeatable_subfield('900','a', rec('200') ) });
 498
 499         ok($marc = WebPAC::Normalize::MARC::_get_marc_fields(), "_get_marc_fields");
 500         diag dump( $marc ) if ($debug);
 501
 502         is_deeply( $marc, [
 503                 [ '900', 1, 2, 'a', '200a', 'a', '200-solo' ],
 504                 [ '900', ' ', 9, 'a', '200a', 'a', '200-solo' ]
 505         ], 'correct marc with repetable subfield');
 506
 507         #
 508         # test magic re-ordering of input data
 509         #
 510
 511         sub test_rec_rules {
 512                 my ($msg, $rec, $rules, $struct) = @_;
 513
 514                 _clean_ds();
 515                 _set_ds($rec);
 516
 517                 foreach my $r (split(/;\s*$/, $rules)) {
 518                         $r =~ s/[\s\n\r]+/ /gs;
 519                         $r =~ s/^\s+//gs;
 520                         $r =~ s/\s+$//gs;
 521                         diag "rule: $r" if $debug;
 522                         test_s($r) if ($r);
 523                 }
 524
 525                 ok(my $marc = WebPAC::Normalize::MARC::_get_marc_fields(), "_get_marc_fields");
 526                 diag dump( $marc ) if $debug;
 527                 diag "expects:\n", dump($struct) if ($debug > 1);
 528                 is_deeply( $marc, $struct, $msg );
 529         }
 530
 531         test_rec_rules(
 532                 'correct marc with repetable subfield',
 533                 {
 534                         '200' => [{
 535                                 'a' => '200a-1',
 536                                 'b' => '200b-1',
 537                                 'c' => '200c-1',
 538                         }, {
 539                                 'a' => '200a-2',
 540                                 'b' => '200b-2',
 541                         }, {
 542                                 'a' => '200a-3',
 543                         }],
 544                 },
 545                 qq{
 546                         marc_indicators('900',1 ,0);
 547                         marc('900','a', rec('200','a') );
 548                         marc('900','b', rec('200','b') );
 549                         marc('900','c', rec('200','c') );
 550                 },
 551                 [
 552                         [ '900', 1, 0, 'a', '200a-1', 'b', '200b-1', 'c', '200c-1' ],
 553                         [ '900', 1, 0, 'a', '200a-2', 'b', '200b-2' ],
 554                         [ '900', 1, 0, 'a', '200a-3' ],
 555                 ],
 556         );
 557
 558
 559         test_rec_rules(
 560                 'marc_repeatable_subfield',
 561                 {
 562                         '200' => [{
 563                                 'a' => '200a-1',
 564                                 'b' => '200b-1',
 565                                 'c' => '200c-1',
 566                         }, {
 567                                 'a' => '200a-2',
 568                                 'b' => '200b-2',
 569                                 'c' => '200c-2',
 570                         }, {
 571                                 'a' => '200a-3',
 572                                 'c' => '200c-3',
 573                         }],
 574                 },
 575                 qq{
 576                         marc_indicators('900',1 ,0);
 577                         marc_repeatable_subfield('900','a', rec('200','a') );
 578                         marc('900','b', rec('200','b') );
 579                         marc('900','c', rec('200','c') );
 580                 },
 581                 [
 582                         [ '900', 1, 0, 'a', '200a-1', 'a', '200a-2', 'a', '200a-3', 'b', '200b-1', 'c', '200c-1' ],
 583                         [ '900', 1, 0, 'b', '200b-2', 'c', '200c-2' ],
 584                         [ '900', 1, 0, 'c', '200c-3' ],
 585                 ],
 586         );
 587
 588         test_rec_rules(
 589                 'marc_compose',
 590                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 591                 qq{
 592                         marc_compose('900',
 593                                 'c', rec(200,'b'),
 594                                 'b', rec(200,'a'),
 595                                 'a', rec(200,'c'),
 596                         );
 597                 },
 598                 [
 599                         [ '900', ' ', ' ', 'c', 42, 'b', 'foo ; bar', 'a', 'baz' ]
 600                 ],
 601         );
 602
 603         test_rec_rules(
 604                 'marc_compose with + subfields',
 605                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 606                 qq{
 607                         marc_compose('900',
 608                                 'a', rec(200,'a'),
 609                                 '+', prefix(" * ", rec(200,'c')),
 610                                 'b', rec(200,'b'),
 611                                 '+', prefix(" : ", rec(200,'c')),
 612                         );
 613                 },
 614                 [
 615                         [ '900', ' ', ' ', 'a', 'foo ; bar * baz', 'b', '42 : baz' ]
 616                 ],
 617         );
 618
 619         #
 620         # test rules
 621         #
 622         sub test_rule {
 623                 my ($msg, $rec, $rule, $struct) = @_;
 624                 _clean_ds();
 625                 _set_ds( $rec );
 626                 $rule =~ s/\\/\\/gs;
 627                 my $r = test_s( $rule );
 628                 diag "for ", dump($rec), " got:\n", dump($r), "\nexpect:\n" if ($debug > 1);
 629                 diag dump($struct) if ($debug);
 630                 is_deeply( $r, $struct, $msg );
 631         }
 632
 633         # test split_rec_on
 634         test_rule(
 635                 'split_rec_on',
 636                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 637                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/, 1) },
 638                 [ 'foo' ],
 639         );
 640         test_rule(
 641                 'split_rec_on',
 642                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 643                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/, 2) },
 644                 [ 'bar' ],
 645         );
 646         test_rule(
 647                 'split_rec_on no part',
 648                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 649                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/) },
 650                 [ 'foo', 'bar' ],
 651         );
 652         test_rule(
 653                 'split_rec_on no record',
 654                 {},
 655                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/) },
 656                 [ '' ],
 657         );
 658
 659         test_rec_rules(
 660                 'marc_compose+split_rec_on',
 661                 { '200' => [{ a => 'foo ! bar', b => 42, c => 'baz' }] },
 662                 qq{
 663                         marc_compose('900',
 664                                 'a', split_rec_on(200,'a', qr/\\s*!\\s*/, 1),
 665                                 'c', rec(200,'c'),
 666                                 'a', split_rec_on(200,'a', qr/\\s*!\\s*/, 2),
 667                                 'b', rec(200,'b'),
 668                         );
 669                 },
 670                 [
 671                         [ '900', ' ', ' ',
 672                                 'a', 'foo',
 673                                 'c', 'baz',
 674                                 'a', 'bar',
 675                                 'b', 42,
 676                         ]
 677                 ],
 678         );
 679
 680         cmp_ok(marc_leader('06',42), '==', 42, 'marc_leader');
 681         cmp_ok(marc_leader('11',5), '==', 5, 'marc_leader');
 682         ok(marc_leader(), 'marc_leader get');
 683         diag "leader: ", dump(marc_leader()) if ($debug);
 684         is_deeply(marc_leader(), { '06' => 42, 11 => 5 }, "marc_leader full");
 685
 686         test_rule(
 687                 'rec1(000)',
 688                 { '000' => [ 42 ]},
 689                 qq{ rec('000') },
 690                 [ 42 ],
 691         );
 692
 693         test_rec_rules(
 694                 'marc(001,rec(000))',
 695                 { '000' => [ 42 ]},
 696                 qq{
 697                         marc('001', rec('000') );
 698                 },
 699                 [
 700                         [ '001', 42, ]
 701                 ],
 702         );
 703
 704         test_rec_rules(
 705                 'marc_remove subfield',
 706                 { '200' => [{ a => 42, b => 'bar', c => 'baz' }] },
 707                 qq{
 708                         marc('900', 'a', rec('200','a') );
 709                         marc('900', 'b', rec('200','b') );
 710                         marc_remove('900','b');
 711                         marc('900', 'b', rec('200','c') );
 712                         marc_remove('900','a');
 713                 },
 714                 [
 715                         [ '900', ' ', ' ', 'b', 'baz' ],
 716                 ],
 717         );
 718
 719         test_rec_rules(
 720                 'marc_remove field',
 721                 { '200' => [{ a => 42, b => 'bar', c => 'baz' }] },
 722                 qq{
 723                         marc('900', 'a', rec('200','a') );
 724                         marc('900', 'b', rec('200','b') );
 725                         marc('901', 'b', rec('200','b') );
 726                         marc('901', 'c', rec('200','c') );
 727                         marc_remove('900');
 728                 },
 729                 [
 730                         [ '901', ' ', ' ', 'b', 'bar', 'c', 'baz' ],
 731                 ],
 732         );
 733
 734         test_s(qq{ marc_remove('*'); });
 735         ok(! WebPAC::Normalize::MARC::_get_marc_fields(), 'marc_remove(*)');
 736
 737         test_rec_rules(
 738                 'marc_duplicate',
 739                 { '200' => [{ a => 42, b => 'bar', c => 'baz', d => 'bing', e => 'bong' }] },
 740                 qq{
 741                         marc_leader('06',42);
 742                         marc_leader('11',0);
 743                         marc('900', 'a', rec('200','a') );
 744                         marc('900', 'b', rec('200','b') );
 745                         marc_duplicate;
 746                         marc_leader('11',1);
 747                         marc_remove('900','b');
 748                         marc('900', 'b', rec('200','c') );
 749                         marc_duplicate;
 750                         marc_leader('11',2);
 751                         marc_remove('900','b');
 752                         marc('900', 'b', rec('200','d') );
 753                         marc_duplicate;
 754                         marc_leader('11',3);
 755                         marc_remove('900','b');
 756                         marc('900', 'b', rec('200','e') );
 757                 },
 758                 [
 759                         # this will return FIRST record
 760                         [ '900', ' ', ' ', 'a', 42, 'b', 'bar' ],
 761                 ],
 762         );
 763
 764         cmp_ok( marc_count(), '==', 3, 'marc_count' );
 765
 766         my $i = 0;
 767         foreach my $v ( qw/bar baz bing bong/ ) {
 768
 769                 ok($marc = WebPAC::Normalize::MARC::_get_marc_fields( offset => $i ),
 770                         "_get_marc_fields( offset => $i )"
 771                 );
 772                 diag "marc $i = ", dump( $marc ) if ($debug);
 773                 is_deeply( $marc,
 774                         [ [ '900', ' ', ' ', 'a', 42, 'b', $v ] ],
 775                         "MARC copy $i has $v",
 776                 );
 777                 is_deeply(WebPAC::Normalize::MARC::_get_marc_leader(), { '06' => 42, 11 => $i }, "_get_marc_leader copy $i");
 778                 $i++;
 779         }
 780
 781         test_rec_rules(
 782                 'marc_original_order',
 783                 {
 784                         '200' => [ {
 785                                 a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 786                                 subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 787                         }, {
 788                                 a => [ 'a3', 'a4', 'a5' ], b => 'b3', c => 'c3',
 789                                 subfields => [ qw/a 0 a 1 b 0 c 0 a 2/ ],
 790                         } ],
 791                 },
 792                 qq{
 793                         marc_original_order(900,200);
 794                 },
 795                 [
 796                         [ '900', ' ', ' ', 'a', 'a1', 'b', 'b1', 'a', 'a2', 'b', 'b2', 'c', 'c1', 'c', 'c2', ],
 797                         [ '900', ' ', ' ', 'a', 'a3', 'a', 'a4', 'b', 'b3', 'c', 'c3', 'a', 'a5', ],
 798                 ],
 799         );
 800
 801         test_rule(
 802                 'rec1 skips subfields',
 803                 {
 804                         '200' => [ {
 805                                 a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 806                                 subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 807                         }, {
 808                                 a => [ 'a3', 'a4', 'a5' ], b => 'b3', c => 'c3',
 809                                 subfields => [ qw/a 0 a 1 b 0 c 0 a 2/ ],
 810                         } ],
 811                 },
 812                 qq{
 813                         rec1(200);
 814                 },
 815                 ['a1', 'b1', 'a2', 'b2', 'c1', 'c2', 'a3', 'a4', 'b3', 'c3', 'a5' ],
 816         );
 817
 818         is_deeply(
 819                 [ _pack_subfields_hash({
 820                         a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 821                         subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 822                 }) ],
 823                 ['a1', 'b1', 'a2', 'b2', 'c1', 'c2'],
 824                 '_pack_subfields_hash( $h )'
 825         );
 826
 827         cmp_ok(
 828                 _pack_subfields_hash({
 829                         a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 830                         subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 831                 }, 1),
 832                 'eq',
 833                 '^aa1^bb1^aa2^bb2^cc1^cc2',
 834                 '_pack_subfields_hash( $h, 1 )'
 835         );
 836
 837         _clean_ds();
 838         test_s(qq{
 839                 marc_fixed('008', 0, 'abcdef');
 840                 marc_fixed('000', 5, '5');
 841                 marc_fixed('000', 10, 'A');
 842                 marc_fixed('000', 0, '0');
 843         });
 844         ok( my $m = WebPAC::Normalize::MARC::_get_marc_fields(), '_get_marc_fields');
 845         diag dump( $m );
 846         is_deeply( WebPAC::Normalize::MARC::_get_marc_fields(),
 847                 [
 848                         ["008", "abcdef"],
 849                         #        0....5....10
 850                         ["000", "0    5    A"]
 851                 ]
 852         );
 853
 854         test_s(qq{ isbn_13( '1558607013', '978-1558607019' ) });
 855         test_s(qq{ isbn_10( '1558607013', '978-1558607019' ) });
 856
 857         is_deeply(
 858                 [ isbn_13( '1558607013', '978-1558607019' ) ],
 859                 [ '978-1-55860-701-9', '978-1-55860-701-9', ],
 860         'isbn_13' );
 861
 862         is_deeply(
 863                 [ isbn_10( '1558607013', '978-1558607019' ) ],
 864                 [ '1-55860-701-3', '1-55860-701-3' ],
 865         'isbn_10' );
 866
 867         # frec
 868
 869         $rec = {
 870                         '200' => [ {
 871                                 a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 872                                 subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 873                                 i1 => '0', i2 => '1',
 874                         }, {
 875                                 a => [ 'a3', 'a4', 'a5' ], b => 'b3', c => 'c3',
 876                                 subfields => [ qw/a 0 a 1 b 0 c 0 a 2/ ],
 877                         } ],
 878         };
 879
 880         test_rule( 'frec', $rec, qq{ frec(200) }, [ 'a1' ] );
 881         test_rule( 'frec', $rec, qq{ frec(200,'a') }, [ 'a1' ] );
 882         test_rule( 'frec', $rec, qq{ frec(200,'b') }, [ 'b1' ] );
 883         test_rule( 'frec', $rec, qq{ frec(200,'c') }, [ 'c1' ] );
 884
 885         $rec->{'900'} = $rec->{'200'};
 886         foreach my $sf ( qw/a b c/ ) {
 887                 ok( frec_eq( '200' => $sf, '900' => $sf ), "frec_eq 200 == 900 $sf");
 888                 ok( ! frec_ne( '200' => $sf, '900' => $sf ), "! frec_ne 200 == 900 $sf");
 889         }
 890
 891         foreach my $sf ( qw/a b/ ) {
 892                 ok( ! frec_eq( '200' => $sf, '200' => 'c' ), "! frec_eq 200 $sf == 200 c");
 893                 ok( frec_ne( '200' => $sf, '200' => 'c' ), "frec_ne 200 $sf == 200 c");
 894         }
 895
 896         test_rule( 'rec(200,i1)', $rec, qq{ rec(200,'i1') }, [ '0' ] );
 897         test_rule( 'rec(200,i2)', $rec, qq{ rec(200,'i2') }, [ '1' ] );
 898
 899         my $hash = { a => '[a]', 'b' => '[b]', subfields => [ 'a', 0, 'b', 0 ] };
 900         is_deeply([ _pack_subfields_hash( $hash ) ], [ '[a]', '[b]' ], '_pack_subfields_hash' );
 901         ok( $hash->{subfields}, 'subfields exist' );
 902         cmp_ok( _pack_subfields_hash( $hash, 1 ), 'eq', '^a[a]^b[b]', '_pack_subfields_hash' );
 903         ok( $hash->{subfields}, 'subfields exist' );
 904
 905         $rec = { 'arr' => [ 1, 2, 3 ] };
 906         test_rule( 'rec_array', $rec, qq{ rec_array('arr') }, $rec->{arr} );
 907
 908         _clean_ds();
 909         _set_ds( $rec );
 910         test_s(q{
 911                         row( e => $_ ) foreach ( rec_array('arr') );
 912         });
 913         ok( my $rows = _get_ds->{_rows}, 'ds have _rows' );
 914
 915         foreach my $i ( 1 .. 3 ) {
 916                 cmp_ok( $rows->[ $i - 1 ]->{e}, '==', $i, "e $i" );
 917         }
 918
 919 }
 920