git.rot13.org Git - webpac2/blob - t/3-normalize.t

   1 #!/usr/bin/perl -w
   2
   3 use strict;
   4
   5 use Test::More tests => 347;
   6 use Test::Exception;
   7 use Cwd qw/abs_path/;
   8 use blib;
   9 use File::Slurp;
  10 use Getopt::Long;
  11
  12 BEGIN {
  13         use_ok( 'WebPAC::Normalize' );
  14 }
  15
  16 use Data::Dump qw/dump/;
  17
  18 my $debug = 0;
  19 GetOptions(
  20         "debug+", \$debug
  21 );
  22
  23 cmp_ok(_debug(1), '==', 1, '_debug level');
  24 cmp_ok(_debug(0), '==', 0, '_debug level');
  25
  26 diag "debug level for $0 is $debug" if ($debug);
  27 if ($debug > 2) {
  28         diag "debug level for WebPAC::Normalize is ", _debug( $debug - 2 );
  29 }
  30
  31 ok(my $abs_path = abs_path($0), "abs_path");
  32 $abs_path =~ s#/[^/]*$#/#;
  33 diag "abs_path: $abs_path" if ($debug);
  34
  35 my $rec1 = {
  36         '200' => [{
  37                 'a' => '200a',
  38                 'b' => '200b',
  39                 },{
  40                 'c' => '200c',
  41                 'd' => '200d',
  42                 },{
  43                 'a' => '200a*2',
  44                 'd' => '200d*2',
  45                 }],
  46         '201' => [{
  47                 'x' => '201x',
  48                 'y' => '201y',
  49                 }],
  50         '900' => [
  51                 '900-no_subfield'
  52                 ],
  53         '901' => [{
  54                 'a' => '900a',
  55                 }],
  56         '902' => [{
  57                 'z' => '900',
  58                 }],
  59 };
  60
  61 my $rec2 = {
  62  '675' => [ {
  63               'a' => '159.9'
  64             } ],
  65  '210' => [ {
  66               'c' => 'New York University press',
  67               'a' => 'New York',
  68               'd' => 'cop. 1988'
  69             } ],
  70  '700' => [ {
  71               'a' => 'Haynal',
  72               'b' => 'André'
  73             } ],
  74  '801' => [ 'FFZG' ],
  75  '991' => [ '8302' ],
  76  '000' => [ 1 ],
  77  '702' => [ {
  78               'a' => 'Holder',
  79               'b' => 'Elizabeth'
  80             } ],
  81  '215' => [ {
  82               'c' => 'ilustr',
  83               'a' => 'xix, 202 str',
  84               'd' => '23cm'
  85             } ],
  86  '990' => [
  87             '2140',
  88             '88',
  89             'HAY'
  90           ],
  91  '200' => [ {
  92               'e' => 'from Freud and Ferenczi to Michael balint',
  93               'a' => 'Controversies in psychoanalytic method',
  94               'g' => 'translated by Elizabeth Holder on the basisi of a first draft by Archie Hooton ; with a preface by Daniel N. Stern',
  95               'f' => 'by André E. Haynal'
  96             } ],
  97  '610' => [ 'povijest psihoanalize' ],
  98  '994' => [ {
  99               'c' => '',
 100               'a' => 'PS',
 101               'b' => 'MG'
 102             } ],
 103  '320' => [ 'Kazalo' ],
 104  '101' => [ 'ENG' ],
 105  '686' => [ '2140' ],
 106  '300' => [ 'Prijevod djela: ' ],
 107 };
 108
 109
 110 my $lookup_hash1 = {
 111         'db1' => {
 112                 'input1' => {
 113                         'key1' => { 1 => 1 },
 114                         'key2' => { 2 => 1 },
 115                 },
 116                 'input2' => {
 117                         'key3' => { 3 => 1 },
 118                         'key4' => { 4 => 1 },
 119                 },
 120         },
 121         'db2' => {
 122                 'input3' => {
 123                         'key5' => { 5 => 1 },
 124                         'key6' => { 6 => 1 },
 125                 },
 126         }
 127 };
 128
 129 my $lookup_hash2 = {
 130         'db3' => {
 131                 'input4' => {
 132                         'key7' => { 7 => 1 },
 133                         'key8' => { 8 => 1 },
 134                 },
 135         }
 136 };
 137
 138 sub test {
 139         print dump( @_ ), ("-" x 78), "\n";
 140         ok( defined(@_) );
 141 }
 142
 143 # how much of string evaled to display?
 144 my $max_eval_output = 170;
 145
 146 sub dump_error {
 147         my ($msg,$code) = @_;
 148
 149         my @l = split(/[\n\r]/, $code);
 150         my $out = "$msg\n";
 151
 152         foreach my $i ( 0 .. $#l ) {
 153                 $out .= sprintf("%2d: %s\n", $i, $l[$i]);
 154         }
 155
 156         return $out;
 157 }
 158
 159 sub test_s {
 160         my $t = shift || die;
 161
 162         my $eval_t = $t;
 163         $eval_t =~ s/[\n\r\s]+/ /gs;
 164         $eval_t = substr($eval_t,0,$max_eval_output) . '...' if (length($eval_t) > $max_eval_output);
 165         $eval_t =~ s/\\/\\\\/gs;
 166
 167         my @__ret;
 168         eval "\@__ret = $t";
 169         ok(! $@, $@ ? dump_error($@, $t) : "eval: $eval_t = " . dump(@__ret));
 170         return \@__ret;
 171 }
 172
 173 {
 174         no strict 'subs';
 175         use WebPAC::Normalize;
 176
 177         ok(! _set_lookup( undef ), "set_lookup(undef)");
 178
 179         _set_rec( $rec1 );
 180
 181         cmp_ok( join(",", rec2('200','a') ), 'eq', '200a,200a*2', 'join rec2' );
 182         cmp_ok( join(",", rec2('200','a'), rec2('200','b') ), 'eq', '200a,200a*2,200b', 'join rec2 rec2' );
 183         cmp_ok( join(" * ", sort(rec1('200'), rec1('201') )), 'eq', '200a * 200a*2 * 200b * 200c * 200d * 200d*2 * 201x * 201y', 'join sort rec1 rec1' );
 184         diag "is_deeply checks\n";
 185         is_deeply( \[ rec1('200') ], \[ qw/200a 200b 200c 200d 200a*2 200d*2/ ] );
 186         is_deeply( \[ regex( 's/0/o/g', rec1('200') ) ],  \[ qw/2ooa 2oob 2ooc 2ood 2ooa*2 2ood*2/ ]);
 187         is_deeply( \[ grep { /\*/ } regex( 's/0/o/g', rec1('200') ) ], \[ qw/2ooa*2 2ood*2/ ]);
 188         is_deeply( \[ rec('902') ], \[ '900' ] );
 189
 190         cmp_ok( rec('902'), 'eq', rec('902','z'), 'rec sf' );
 191
 192         # simple list manipulatons
 193         cmp_ok( join('', prefix('ab', 'cd') ), 'eq', 'abcd', 'prefix');
 194         cmp_ok( join('-', prefix('', 'x', 'y') ), 'eq', 'x-y', 'prefix empty');
 195         cmp_ok( join('-', prefix(0, 'x', 'y') ), 'eq', '0x-0y', 'prefix 0');
 196
 197         cmp_ok( join('', suffix('xy', 'cd') ), 'eq', 'cdxy', 'suffix');
 198         cmp_ok( join('-', suffix('', 'x', 'y' ) ), 'eq', 'x-y', 'suffix empty');
 199         cmp_ok( join('-', suffix(0, 'x', 'y' ) ), 'eq', 'x0-y0', 'suffix 0');
 200
 201         cmp_ok( join('', surround('->', '<-', 'a','b','c') ), 'eq', '->a<-->b<-->c<-', 'surround');
 202         cmp_ok( join('-', surround('', '', 'x','y','z') ), 'eq', 'x-y-z', 'surround empty');
 203         cmp_ok( join('-', surround(0, 0, 'x','y','z') ), 'eq', '0x0-0y0-0z0', 'surround 0 0');
 204
 205         # count
 206         my @el;
 207         for my $i ( 0 .. 10 ) {
 208                 cmp_ok( count( @el ), '==', $i, "count($i)");
 209                 push @el, "element $i";
 210         }
 211
 212         # lookups
 213
 214         throws_ok { _set_load_row() } qr/CODE/, 'empty _set_load_row()';
 215
 216         ok(_set_load_row(sub {
 217                 my ($database,$input,$mfn) = @_;
 218                 diag "load_row( $database, $input, $mfn )" if ($debug);
 219                 cmp_ok( $#_, '==', 2, 'have 3 arguments');
 220                 ok($database, '_load_row database');
 221                 ok($input, '_load_row input');
 222                 ok($mfn, '_load_row mfn');
 223                 return {
 224                         '900' => [{ x => '900x-' . $mfn , y => '900y-' . $mfn }],
 225                 }
 226
 227         }), '_set_load_row');
 228
 229         my @v = qw/foo bar baz aaa bbb ccc ddd/;
 230
 231         my @accumulated;
 232
 233         for my $i ( 0 .. $#v ) {
 234
 235                 my $mfn = 1000 + $i;
 236
 237                 ok(WebPAC::Normalize::_set_config({ '_mfn' => $mfn }), "_set_config _mfn=$mfn");
 238
 239                 my $size = $#v + 1;
 240
 241                 cmp_ok(
 242                         save_into_lookup('db','input','key', sub { @v }),
 243                         '==', $size, "save_into_lookup $size values"
 244                 );
 245
 246                 ok(my $l = WebPAC::Normalize::_get_lookup(), '_get_lookup');
 247                 diag "_get_lookup = ", dump($l) if ($debug);
 248
 249                 my @lookup;
 250
 251                 ok(@lookup = lookup(
 252                                 sub {
 253                                         diag "in show" if ($debug);
 254                                         rec('900','x');
 255                                 },
 256                                 'db','input','key',
 257                                 sub {
 258                                         return @v;
 259                                 }
 260                         ),
 261                 "lookup db/input/key");
 262
 263                 push @accumulated, '900x-' . $mfn;
 264
 265                 is_deeply(\@lookup, \@accumulated, "lookup db/input/key");
 266
 267                 shift @v;
 268
 269         }
 270
 271         ok(my $l = WebPAC::Normalize::_get_lookup(), '_get_lookup');
 272         diag "_get_lookup = ", dump($l) if ($debug);
 273
 274         is_deeply( $l, {
 275                 db => {
 276                         input => {
 277                                 key => {
 278                                         foo => { 1000 => 1 },
 279                                         bar => { 1000 => 1, 1001 => 1 },
 280                                         baz => { 1000 => 1, 1001 => 1, 1002 => 1 },
 281                                         aaa => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1 },
 282                                         bbb => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1 },
 283                                         ccc => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1, 1005 => 1 },
 284                                         ddd => { 1000 => 1, 1001 => 1, 1002 => 1, 1003 => 1, 1004 => 1, 1005 => 1, 1006 => 1 },
 285                                 },
 286                         },
 287                 },
 288         }, 'lookup data');
 289
 290 #######
 291
 292         diag "lookup_hash1 = ", dump($lookup_hash1) if ($debug);
 293         ok(_set_lookup( $lookup_hash1 ), '_set_lookup $lookup_hash1');
 294
 295         throws_ok { _set_load_row() } qr/CODE/, 'empty _set_load_row()';
 296
 297         ok(_set_load_row(sub {
 298                 my ($database,$input,$mfn) = @_;
 299                 diag "load_row( $database, $input, $mfn )";
 300                 cmp_ok( $#_, '==', 2, 'have 3 arguments');
 301                 ok($database, 'database');
 302                 ok($input, 'input');
 303                 ok($mfn, 'mfn');
 304
 305         }), '_set_load_row');
 306
 307
 308 #       cmp_ok(lookup(
 309 #               sub {
 310 #                       'found'
 311 #               },
 312 #               'db1','input1','key1',
 313 #               sub {
 314 #                       rec('200','a')
 315 #               }
 316 #       ), 'eq', 'found', 'lookup db1/input1/key1');
 317
 318
 319
 320 #       cmp_ok(
 321 #               lookup(
 322 #               ),
 323 #       'eq', 'lookup 1 i lookup 2', 'join lookup regex rec2');
 324
 325         # check join_with operations
 326
 327         sub test_join_with_2 {
 328                 my ($a,$b,$e) = @_;
 329
 330                 cmp_ok(
 331                         join_with(" <1> ",
 332                                 rec('201',$a),
 333                                 rec('201',$b),
 334                         ),
 335                 'eq', $e, "join_with $a <1> $b = $e");
 336         }
 337
 338         test_join_with_2('_','_','');
 339         test_join_with_2('x','_','201x');
 340         test_join_with_2('_','x','201x');
 341         test_join_with_2('x','y','201x <1> 201y');
 342
 343         sub test_join_with_3 {
 344                 my ($a,$b,$c,$e) = @_;
 345
 346                 cmp_ok(
 347                         join_with(" <1> ", rec('201',$a),
 348                                 join_with(" <2> ", rec('201',$b),
 349                                         rec('201',$c),
 350                                 )
 351                         ),
 352                 'eq', $e, "join_with $a <1> $b <2> $c = $e");
 353         };
 354
 355         test_join_with_3('_','_','_','');
 356         test_join_with_3('x','_','_','201x');
 357         test_join_with_3('_','x','_','201x');
 358         test_join_with_3('_','_','x','201x');
 359         test_join_with_3('x','y','_','201x <1> 201y');
 360         test_join_with_3('x','_','y','201x <1> 201y');
 361         test_join_with_3('_','x','y','201x <2> 201y');
 362         test_join_with_3('x','_','y','201x <1> 201y');
 363         test_join_with_3('x','y','x','201x <1> 201y <2> 201x');
 364
 365         # test lookups
 366
 367         _set_lookup( $lookup_hash2 );
 368
 369         throws_ok { lookup() } qr/need/, 'empty lookup';
 370
 371         #is_deeply( \[ lookup( prefix( '00', rec('902') ) ) ], \[ 'lookup' ], 'lookup prefix' );
 372
 373         #ok(! lookup('non-existent'), 'lookup non-existant' );
 374
 375         _set_rec( $rec2 );
 376
 377         test_s(qq{
 378                 search_display('Title',
 379                         rec('200','a')
 380                 );
 381         });
 382         test_s(qq{
 383                 search_display('Who',
 384                         join_with(" ",
 385                                 rec('702','a'),
 386                                 rec('702','b')
 387                         )
 388                 );
 389         });
 390
 391         test_s(qq{
 392                 display('Publisher',
 393                         rec('210','c')
 394                 )
 395         });
 396
 397         test_s(qq{
 398                 search('Year',
 399                         regex( 's/[^\\d]+//',
 400                                 rec('210','d')
 401                         )
 402                 )
 403         });
 404
 405         ok(my $ds = _get_ds(), "get_ds");
 406         diag "ds = ", dump($ds) if ($debug);
 407
 408
 409         sub test_check_ds {
 410
 411                 my $t = shift;
 412
 413                 ok($ds = _get_ds(), 'get_ds');
 414                 diag dump( $ds ) if ($debug);
 415
 416                 ok( $ds && $ds->{something}, 'get_ds->something exists' );
 417                 ok( $ds && $ds->{something}->{$t}, 'get_ds->something->'.$t.' exists') if ($t);
 418                 ok( $ds && !$ds->{empty}, 'get_ds->empty doesn\'t' );
 419
 420                 return $ds;
 421         }
 422
 423         _clean_ds();
 424         test_s(qq{ search('something', '42'); });
 425         test_s(qq{ search('empty', ''); });
 426         test_check_ds('search');
 427
 428         _clean_ds();
 429         test_s(qq{ display('something', '42'); });
 430         test_s(qq{ display('empty', ''); });
 431         test_check_ds('display');
 432
 433         _clean_ds();
 434         test_s(qq{ search_display('something', '42'); });
 435         test_s(qq{ search_display('empty', ''); });
 436         test_check_ds('search');
 437         test_check_ds('display');
 438
 439         _clean_ds();
 440         test_s(qq{ sorted('something', '42'); });
 441         test_s(qq{ sorted('empty', ''); });
 442         test_check_ds('sorted');
 443
 444         _clean_ds();
 445         my $n = read_file( "$abs_path/data/normalize.pl" );
 446         $n .= "\n1;\n";
 447         #diag "normalize code:\n$n\n";
 448         test_s( $n );
 449
 450         ok($ds = _get_ds(), "get_ds");
 451         diag "ds = ", dump($ds) if ($debug);
 452
 453         my $rec = {
 454                 '200' => [{
 455                         'a' => '200a',
 456                         'b' => '200b',
 457                 }],
 458         };
 459         my $rules = qq{ search('mixed', rec('200') ) };
 460
 461         _clean_ds();
 462         _set_rec( $rec );
 463         test_s( $rules );
 464         ok($ds = _get_ds(), "get_ds");
 465         is_deeply( $ds, {
 466                 'mixed' => {
 467                         'search' => [ '200a', '200b' ],
 468                 }
 469         }, 'correct get_ds');
 470
 471         ok(my $ds2 = WebPAC::Normalize::data_structure(
 472                 row => $rec,
 473                 rules => $rules,
 474         ), 'data_structure');
 475         is_deeply( $ds, $ds2, 'data_structure(s) same');
 476
 477         # wird and non-valid structure which is supported anyway
 478         _clean_ds();
 479         _set_rec({
 480                 '200' => [{
 481                         'a' => '200a',
 482                 },
 483                         '200-solo'
 484                 ]
 485         });
 486         test_s(qq{ search('mixed', rec('200') ) });
 487         ok($ds = _get_ds(), "get_ds");
 488         is_deeply( $ds, {
 489                 'mixed' => {
 490                         'search' => [ '200a', '200-solo' ],
 491                 }
 492         }, 'correct get_ds');
 493
 494         #
 495         # MARC
 496         #
 497         #_debug( 4 );
 498
 499         test_s(qq{ marc_indicators('900',1,2) });
 500         test_s(qq{ marc('900','a', rec('200') ) });
 501         my $marc;
 502         ok($marc = WebPAC::Normalize::_get_marc_fields(), "_get_marc_fields");
 503         diag dump( $marc ) if ($debug);
 504
 505         is_deeply( $marc, [
 506                 [ '900', 1, 2, 'a', '200a' ],
 507                 [ '900', 1, 2, 'a', '200-solo' ]
 508         ], 'correct marc with indicators');
 509
 510         test_s(qq{ marc_indicators('900',' ',9) });
 511         test_s(qq{ marc_repeatable_subfield('900','a', rec('200') ) });
 512
 513         ok($marc = WebPAC::Normalize::_get_marc_fields(), "_get_marc_fields");
 514         diag dump( $marc ) if ($debug);
 515
 516         is_deeply( $marc, [
 517                 [ '900', 1, 2, 'a', '200a', 'a', '200-solo' ],
 518                 [ '900', ' ', 9, 'a', '200a', 'a', '200-solo' ]
 519         ], 'correct marc with repetable subfield');
 520
 521         #
 522         # test magic re-ordering of input data
 523         #
 524
 525         sub test_rec_rules {
 526                 my ($msg, $rec, $rules, $struct) = @_;
 527
 528                 _clean_ds();
 529                 _set_rec($rec);
 530
 531                 foreach my $r (split(/;/, $rules)) {
 532                         $r =~ s/[\s\n\r]+/ /gs;
 533                         $r =~ s/^\s+//gs;
 534                         $r =~ s/\s+$//gs;
 535                         test_s($r) if ($r);
 536                 }
 537
 538                 ok(my $marc = WebPAC::Normalize::_get_marc_fields(), "_get_marc_fields");
 539                 diag dump( $marc ) if ($debug);
 540                 diag "expects:\n", dump($struct) if ($debug > 1);
 541                 is_deeply( $marc, $struct, $msg );
 542         }
 543
 544         test_rec_rules(
 545                 'correct marc with repetable subfield',
 546                 {
 547                         '200' => [{
 548                                 'a' => '200a-1',
 549                                 'b' => '200b-1',
 550                                 'c' => '200c-1',
 551                         }, {
 552                                 'a' => '200a-2',
 553                                 'b' => '200b-2',
 554                         }, {
 555                                 'a' => '200a-3',
 556                         }],
 557                 },
 558                 qq{
 559                         marc_indicators('900',1 ,0);
 560                         marc('900','a', rec('200','a') );
 561                         marc('900','b', rec('200','b') );
 562                         marc('900','c', rec('200','c') );
 563                 },
 564                 [
 565                         [ '900', 1, 0, 'a', '200a-1', 'b', '200b-1', 'c', '200c-1' ],
 566                         [ '900', 1, 0, 'a', '200a-2', 'b', '200b-2' ],
 567                         [ '900', 1, 0, 'a', '200a-3' ],
 568                 ],
 569         );
 570
 571
 572         test_rec_rules(
 573                 'marc_repeatable_subfield',
 574                 {
 575                         '200' => [{
 576                                 'a' => '200a-1',
 577                                 'b' => '200b-1',
 578                                 'c' => '200c-1',
 579                         }, {
 580                                 'a' => '200a-2',
 581                                 'b' => '200b-2',
 582                                 'c' => '200c-2',
 583                         }, {
 584                                 'a' => '200a-3',
 585                                 'c' => '200c-3',
 586                         }],
 587                 },
 588                 qq{
 589                         marc_indicators('900',1 ,0);
 590                         marc_repeatable_subfield('900','a', rec('200','a') );
 591                         marc('900','b', rec('200','b') );
 592                         marc('900','c', rec('200','c') );
 593                 },
 594                 [
 595                         [ '900', 1, 0, 'a', '200a-1', 'a', '200a-2', 'a', '200a-3', 'b', '200b-1', 'c', '200c-1' ],
 596                         [ '900', 1, 0, 'b', '200b-2', 'c', '200c-2' ],
 597                         [ '900', 1, 0, 'c', '200c-3' ],
 598                 ],
 599         );
 600
 601         test_rec_rules(
 602                 'marc_compose',
 603                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 604                 qq{
 605                         marc_compose('900',
 606                                 'c', rec(200,'b'),
 607                                 'b', rec(200,'a'),
 608                                 'a', rec(200,'c'),
 609                         );
 610                 },
 611                 [
 612                         [ '900', ' ', ' ', 'c', 42, 'b', 'foo ; bar', 'a', 'baz' ]
 613                 ],
 614         );
 615
 616         test_rec_rules(
 617                 'marc_compose with + subfields',
 618                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 619                 qq{
 620                         marc_compose('900',
 621                                 'a', rec(200,'a'),
 622                                 '+', prefix(" * ", rec(200,'c')),
 623                                 'b', rec(200,'b'),
 624                                 '+', prefix(" : ", rec(200,'c')),
 625                         );
 626                 },
 627                 [
 628                         [ '900', ' ', ' ', 'a', 'foo ; bar * baz', 'b', '42 : baz' ]
 629                 ],
 630         );
 631
 632         #
 633         # test rules
 634         #
 635         sub test_rule {
 636                 my ($msg, $rec, $rule, $struct) = @_;
 637                 _clean_ds();
 638                 _set_rec( $rec );
 639                 $rule =~ s/\\/\\/gs;
 640                 my $r = test_s( $rule );
 641                 diag "for ", dump($rec), " got:\n", dump($r), "\nexpect:\n" if ($debug > 1);
 642                 diag dump($struct) if ($debug);
 643                 is_deeply( $r, $struct, $msg );
 644         }
 645
 646         # test split_rec_on
 647         test_rule(
 648                 'split_rec_on',
 649                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 650                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/, 1) },
 651                 [ 'foo' ],
 652         );
 653         test_rule(
 654                 'split_rec_on',
 655                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 656                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/, 2) },
 657                 [ 'bar' ],
 658         );
 659         test_rule(
 660                 'split_rec_on no part',
 661                 { '200' => [{ a => 'foo ; bar', b => 42, c => 'baz' }] },
 662                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/) },
 663                 [ 'foo', 'bar' ],
 664         );
 665         test_rule(
 666                 'split_rec_on no record',
 667                 {},
 668                 qq{ split_rec_on('200','a', qr/\\s*;\\s*/) },
 669                 [ '' ],
 670         );
 671
 672         test_rec_rules(
 673                 'marc_compose+split_rec_on',
 674                 { '200' => [{ a => 'foo ! bar', b => 42, c => 'baz' }] },
 675                 qq{
 676                         marc_compose('900',
 677                                 'a', split_rec_on(200,'a', qr/\\s*!\\s*/, 1),
 678                                 'c', rec(200,'c'),
 679                                 'a', split_rec_on(200,'a', qr/\\s*!\\s*/, 2),
 680                                 'b', rec(200,'b'),
 681                         );
 682                 },
 683                 [
 684                         [ '900', ' ', ' ',
 685                                 'a', 'foo',
 686                                 'c', 'baz',
 687                                 'a', 'bar',
 688                                 'b', 42,
 689                         ]
 690                 ],
 691         );
 692
 693         cmp_ok(marc_leader('06',42), '==', 42, 'marc_leader');
 694         cmp_ok(marc_leader('11',5), '==', 5, 'marc_leader');
 695         ok(marc_leader(), 'marc_leader get');
 696         diag "leader: ", dump(marc_leader()) if ($debug);
 697         is_deeply(marc_leader(), { '06' => 42, 11 => 5 }, "marc_leader full");
 698
 699         test_rule(
 700                 'rec1(000)',
 701                 { '000' => [ 42 ]},
 702                 qq{ rec('000') },
 703                 [ 42 ],
 704         );
 705
 706         test_rec_rules(
 707                 'marc(001,rec(000))',
 708                 { '000' => [ 42 ]},
 709                 qq{
 710                         marc('001', rec('000') );
 711                 },
 712                 [
 713                         [ '001', 42, ]
 714                 ],
 715         );
 716
 717         test_rec_rules(
 718                 'marc_remove subfield',
 719                 { '200' => [{ a => 42, b => 'bar', c => 'baz' }] },
 720                 qq{
 721                         marc('900', 'a', rec('200','a') );
 722                         marc('900', 'b', rec('200','b') );
 723                         marc_remove('900','b');
 724                         marc('900', 'b', rec('200','c') );
 725                         marc_remove('900','a');
 726                 },
 727                 [
 728                         [ '900', ' ', ' ', 'b', 'baz' ],
 729                 ],
 730         );
 731
 732         test_rec_rules(
 733                 'marc_remove field',
 734                 { '200' => [{ a => 42, b => 'bar', c => 'baz' }] },
 735                 qq{
 736                         marc('900', 'a', rec('200','a') );
 737                         marc('900', 'b', rec('200','b') );
 738                         marc('901', 'b', rec('200','b') );
 739                         marc('901', 'c', rec('200','c') );
 740                         marc_remove('900');
 741                 },
 742                 [
 743                         [ '901', ' ', ' ', 'b', 'bar', 'c', 'baz' ],
 744                 ],
 745         );
 746
 747         test_s(qq{ marc_remove('*'); });
 748         ok(! WebPAC::Normalize::_get_marc_fields(), 'marc_remove(*)');
 749
 750         test_rec_rules(
 751                 'marc_duplicate',
 752                 { '200' => [{ a => 42, b => 'bar', c => 'baz', d => 'bing', e => 'bong' }] },
 753                 qq{
 754                         marc_leader('06',42);
 755                         marc_leader('11',0);
 756                         marc('900', 'a', rec('200','a') );
 757                         marc('900', 'b', rec('200','b') );
 758                         marc_duplicate;
 759                         marc_leader('11',1);
 760                         marc_remove('900','b');
 761                         marc('900', 'b', rec('200','c') );
 762                         marc_duplicate;
 763                         marc_leader('11',2);
 764                         marc_remove('900','b');
 765                         marc('900', 'b', rec('200','d') );
 766                         marc_duplicate;
 767                         marc_leader('11',3);
 768                         marc_remove('900','b');
 769                         marc('900', 'b', rec('200','e') );
 770                 },
 771                 [
 772                         # this will return FIRST record
 773                         [ '900', ' ', ' ', 'a', 42, 'b', 'bar' ],
 774                 ],
 775         );
 776
 777         cmp_ok( marc_count(), '==', 3, 'marc_count' );
 778
 779         my $i = 0;
 780         foreach my $v ( qw/bar baz bing bong/ ) {
 781
 782                 ok($marc = WebPAC::Normalize::_get_marc_fields( offset => $i ),
 783                         "_get_marc_fields( offset => $i )"
 784                 );
 785                 diag "marc $i = ", dump( $marc ) if ($debug);
 786                 is_deeply( $marc,
 787                         [ [ '900', ' ', ' ', 'a', 42, 'b', $v ] ],
 788                         "MARC copy $i has $v",
 789                 );
 790                 is_deeply(WebPAC::Normalize::_get_marc_leader(), { '06' => 42, 11 => $i }, "_get_marc_leader copy $i");
 791                 $i++;
 792         }
 793
 794         test_rec_rules(
 795                 'marc_original_order',
 796                 {
 797                         '200' => [ {
 798                                 a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 799                                 subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 800                         }, {
 801                                 a => [ 'a3', 'a4', 'a5' ], b => 'b3', c => 'c3',
 802                                 subfields => [ qw/a 0 a 1 b 0 c 0 a 2/ ],
 803                         } ],
 804                 },
 805                 qq{
 806                         marc_original_order(900,200);
 807                 },
 808                 [
 809                         [ '900', ' ', ' ', 'a', 'a1', 'b', 'b1', 'a', 'a2', 'b', 'b2', 'c', 'c1', 'c', 'c2', ],
 810                         [ '900', ' ', ' ', 'a', 'a3', 'a', 'a4', 'b', 'b3', 'c', 'c3', 'a', 'a5', ],
 811                 ],
 812         );
 813
 814         test_rule(
 815                 'rec1 skips subfields',
 816                 {
 817                         '200' => [ {
 818                                 a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 819                                 subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 820                         }, {
 821                                 a => [ 'a3', 'a4', 'a5' ], b => 'b3', c => 'c3',
 822                                 subfields => [ qw/a 0 a 1 b 0 c 0 a 2/ ],
 823                         } ],
 824                 },
 825                 qq{
 826                         rec1(200);
 827                 },
 828                 ['a1', 'b1', 'a2', 'b2', 'c1', 'c2', 'a3', 'a4', 'b3', 'c3', 'a5' ],
 829         );
 830
 831         is_deeply(
 832                 [ _pack_subfields_hash({
 833                         a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 834                         subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 835                 }) ],
 836                 ['a1', 'b1', 'a2', 'b2', 'c1', 'c2'],
 837                 '_pack_subfields_hash( $h )'
 838         );
 839
 840         cmp_ok(
 841                 _pack_subfields_hash({
 842                         a => [ 'a1', 'a2' ], b => [ 'b1', 'b2' ], c => [ 'c1', 'c2' ],
 843                         subfields => [ qw/a 0 b 0 a 1 b 1 c 0 c 1/ ],
 844                 }, 1),
 845                 'eq',
 846                 '^aa1^bb1^aa2^bb2^cc1^cc2',
 847                 '_pack_subfields_hash( $h, 1 )'
 848         );
 849
 850         _clean_ds();
 851         test_s(qq{
 852                 marc_fixed('008', 0, 'abcdef');
 853                 marc_fixed('000', 5, '5');
 854                 marc_fixed('000', 10, 'A');
 855                 marc_fixed('000', 0, '0');
 856         });
 857         ok( my $m = WebPAC::Normalize::_get_marc_fields(), '_get_marc_fields');
 858         diag dump( $m );
 859         is_deeply( WebPAC::Normalize::_get_marc_fields(),
 860                 [
 861                         ["008", "abcdef"],
 862                         #        0....5....10
 863                         ["000", "0    5    A"]
 864                 ]
 865         );
 866 }
 867