Koha NoZebra :
[koha.git] / misc / migration_tools / rebuild_zebra.pl
1 #!/usr/bin/perl
2
3 use C4::Context;
4 use Getopt::Long;
5 use C4::Biblio;
6 use C4::AuthoritiesMarc;
7
8 use strict;
9
10 # script that checks zebradir structure & create directories & mandatory files if needed
11 #
12 #
13
14 $|=1; # flushes output
15
16 # limit for database dumping
17 my $limit;# = "LIMIT 500";
18 my $directory;
19 my $skip_export;
20 my $keep_export;
21 my $reset;
22 my $biblios;
23 my $authorities;
24 GetOptions(
25         'd:s'      => \$directory,
26         'reset'      => \$reset,
27         's'        => \$skip_export,
28         'k'        => \$keep_export,
29         'b'        => \$biblios,
30         'a'        => \$authorities,
31         );
32
33 $directory = "export" unless $directory;
34
35
36 my $biblioserverdir = C4::Context->zebraconfig('biblioserver')->{directory};
37 my $authorityserverdir = C4::Context->zebraconfig('authorityserver')->{directory};
38
39 my $kohadir = C4::Context->config('intranetdir');
40 my $dbh = C4::Context->dbh;
41 my ($biblionumbertagfield,$biblionumbertagsubfield) = &GetMarcFromKohaField($dbh,"biblio.biblionumber","");
42 my ($biblioitemnumbertagfield,$biblioitemnumbertagsubfield) = &GetMarcFromKohaField($dbh,"biblioitems.biblioitemnumber","");
43
44 print "some informations\n";
45 print "=================\n";
46 print "Zebra biblio directory =>$biblioserverdir\n";
47 print "Zebra authorities directory =>$authorityserverdir\n";
48 print "Koha directory =>$kohadir\n";
49 print "BIBLIONUMBER in : $biblionumbertagfield\$$biblionumbertagsubfield\n";
50 print "BIBLIOITEMNUMBER in : $biblioitemnumbertagfield\$$biblioitemnumbertagsubfield\n";
51 print "=================\n";
52 #
53 # creating zebra-biblios.cfg depending on system
54 #
55
56 # getting zebraidx directory
57 my $zebraidxdir;
58 foreach (qw(/usr/local/bin/zebraidx
59         /opt/bin/zebraidx
60         /usr/bin/zebraidx
61         )) {
62     if ( -f $_ ) {
63         $zebraidxdir=$_;
64     }
65 }
66
67 unless ($zebraidxdir) {
68     print qq|
69     ERROR: could not find zebraidx directory
70     ERROR: Either zebra is not installed,
71     ERROR: or it's in a directory I don't checked.
72     ERROR: do a which zebraidx and edit this file to add the result you get
73 |;
74     exit;
75 }
76 $zebraidxdir =~ s/\/bin\/.*//;
77 print "Info : zebra is in $zebraidxdir \n";
78
79 # getting modules directory
80 my $modulesdir;
81 foreach (qw(/usr/local/lib/idzebra-2.0/modules/mod-grs-xml.so
82             /usr/local/lib/idzebra/modules/mod-grs-xml.so
83             /usr/lib/idzebra/modules/mod-grs-xml.so
84             /usr/lib/idzebra-2.0/modules/mod-grs-xml.so
85         )) {
86     if ( -f $_ ) {
87         $modulesdir=$_;
88     }
89 }
90
91 unless ($modulesdir) {
92     print qq|
93     ERROR: could not find mod-grs-xml.so directory
94     ERROR: Either zebra is not properly compiled (libxml2 is not setup and you don t have mod-grs-xml.so,
95     ERROR: or it's in a directory I don't checked.
96     ERROR: find where mod-grs-xml.so is and edit this file to add the result you get
97 |;
98     exit;
99 }
100 $modulesdir =~ s/\/modules\/.*//;
101 print "Info: zebra modules dir : $modulesdir\n";
102
103 # getting tab directory
104 my $tabdir;
105 foreach (qw(/usr/local/share/idzebra/tab/explain.att
106             /usr/local/share/idzebra-2.0/tab/explain.att
107             /usr/share/idzebra/tab/explain.att
108             /usr/share/idzebra-2.0/tab/explain.att
109         )) {
110     if ( -f $_ ) {
111         $tabdir=$_;
112     }
113 }
114
115 unless ($tabdir) {
116     print qq|
117     ERROR: could not find explain.att directory
118     ERROR: Either zebra is not properly compiled,
119     ERROR: or it's in a directory I don't checked.
120     ERROR: find where explain.att is and edit this file to add the result you get
121 |;
122     exit;
123 }
124 $tabdir =~ s/\/tab\/.*//;
125 print "Info: tab dir : $tabdir\n";
126
127 #
128 # AUTHORITIES creating directory structure
129 #
130 my $created_dir_or_file = 0;
131 if ($authorities) {
132     print "====================\n";
133     print "checking directories & files for authorities\n";
134     print "====================\n";
135     unless (-d "$authorityserverdir") {
136         system("mkdir -p $authorityserverdir");
137         print "Info: created $authorityserverdir\n";
138         $created_dir_or_file++;
139     }
140     unless (-d "$authorityserverdir/lock") {
141         mkdir "$authorityserverdir/lock";
142         print "Info: created $authorityserverdir/lock\n";
143         $created_dir_or_file++;
144     }
145     unless (-d "$authorityserverdir/register") {
146         mkdir "$authorityserverdir/register";
147         print "Info: created $authorityserverdir/register\n";
148         $created_dir_or_file++;
149     }
150     unless (-d "$authorityserverdir/shadow") {
151         mkdir "$authorityserverdir/shadow";
152         print "Info: created $authorityserverdir/shadow\n";
153         $created_dir_or_file++;
154     }
155     unless (-d "$authorityserverdir/tab") {
156         mkdir "$authorityserverdir/tab";
157         print "Info: created $authorityserverdir/tab\n";
158         $created_dir_or_file++;
159     }
160     unless (-d "$authorityserverdir/key") {
161         mkdir "$authorityserverdir/key";
162         print "Info: created $authorityserverdir/key\n";
163         $created_dir_or_file++;
164     }
165     
166     unless (-d "$authorityserverdir/etc") {
167         mkdir "$authorityserverdir/etc";
168         print "Info: created $authorityserverdir/etc\n";
169         $created_dir_or_file++;
170     }
171     
172     #
173     # AUTHORITIES : copying mandatory files
174     #
175     # the record model, depending on marc flavour
176     unless (-f "$authorityserverdir/tab/record.abs") {
177         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
178             system("cp -f $kohadir/misc/zebra/record_authorities_unimarc.abs $authorityserverdir/tab/record.abs");
179             print "Info: copied record.abs for UNIMARC\n";
180         } else {
181             system("cp -f $kohadir/misc/zebra/record_authorities_usmarc.abs $authorityserverdir/tab/record.abs");
182             print "Info: copied record.abs for USMARC\n";
183         }
184         $created_dir_or_file++;
185     }
186     unless (-f "$authorityserverdir/tab/sort-string-utf_french.chr") {
187         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/sort-string-utf.chr");
188         print "Info: copied sort-string-utf.chr\n";
189         $created_dir_or_file++;
190     }
191     unless (-f "$authorityserverdir/tab/word-phrase-utf.chr") {
192         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $authorityserverdir/tab/word-phrase-utf.chr");
193         print "Info: copied word-phase-utf.chr\n";
194         $created_dir_or_file++;
195     }
196     unless (-f "$authorityserverdir/tab/auth1.att") {
197         system("cp -f $kohadir/misc/zebra/bib1_authorities.att $authorityserverdir/tab/auth1.att");
198         print "Info: copied auth1.att\n";
199         $created_dir_or_file++;
200     }
201     unless (-f "$authorityserverdir/tab/default.idx") {
202         system("cp -f $kohadir/misc/zebra/default.idx $authorityserverdir/tab/default.idx");
203         print "Info: copied default.idx\n";
204         $created_dir_or_file++;
205     }
206     
207     unless (-f C4::Context->zebraconfig('authorityserver')->{ccl2rpn}) {
208 #         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraconfig('authorityserver')->{ccl2rpn});
209         system("cp -f $kohadir/misc/zebra/ccl.properties $authorityserverdir/etc/ccl.properties");
210         print "Info: copied ccl.properties\n";
211         $created_dir_or_file++;
212     }
213     unless (-f C4::Context->zebraconfig('authorityserver')->{cql2rpn}) {
214 #         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('authorityserver')->{ccl2rpn});
215         system("cp -f $kohadir/misc/zebra/pqf.properties $authorityserverdir/etc/pqf.properties");
216         print "Info: copied pqf.properties\n";
217         $created_dir_or_file++;
218     }
219     
220     #
221     # AUTHORITIES : copying mandatory files
222     #
223     unless (-f C4::Context->zebraconfig('authorityserver')->{config}) {
224     open ZD,">:utf8 ",C4::Context->zebraconfig('authorityserver')->{config};
225     print ZD "
226 # generated by KOHA/misc/migration_tools/rebuild_zebra.pl 
227 profilePath:\${srcdir:-.}:$authorityserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
228
229 encoding: UTF-8
230 # Files that describe the attribute sets supported.
231 attset: auth1.att
232 attset: explain.att
233 attset: gils.att
234
235 modulePath:$modulesdir/modules/
236 # Specify record type
237 iso2709.recordType:grs.marcxml.record
238 recordType:grs.xml
239 recordId: (auth1,Local-Number)
240 storeKeys:1
241 storeData:1
242
243
244 # Lock File Area
245 lockDir: $authorityserverdir/lock
246 perm.anonymous:r
247 perm.kohaadmin:rw
248 passw.kohalis
249 shadow
250 register: $authorityserverdir/register:4G
251 shadow: $authorityserverdir/shadow:4G
252
253 # Temp File area for result sets
254 setTmpDir: $authorityserverdir/tmp
255
256 # Temp File area for index program
257 keyTmpDir: $authorityserverdir/key
258
259 # Approx. Memory usage during indexing
260 memMax: 40M
261 rank:rank-1
262     ";
263         print "Info: creating zebra-authorities.cfg\n";
264         $created_dir_or_file++;
265     }
266     
267     if ($created_dir_or_file) {
268         print "Info: created : $created_dir_or_file directories & files\n";
269     } else {
270         print "Info: file & directories OK\n";
271     }
272     
273     #
274     # exporting authorities
275     #
276     if ($skip_export) {
277         print "====================\n";
278         print "SKIPPING authorities export\n";
279         print "====================\n";
280     } else {
281         print "====================\n";
282         print "exporting authorities\n";
283         print "====================\n";
284         mkdir "$directory" unless (-d $directory);
285         mkdir "$directory/authorities" unless (-d "$directory/authorities");
286         open(OUT,">:utf8","$directory/authorities/authorities.iso2709") or die $!;
287         my $dbh=C4::Context->dbh;
288         my $sth;
289         $sth=$dbh->prepare("select authid from auth_header $limit");
290         $sth->execute();
291         my $i=0;
292         while (my ($authid) = $sth->fetchrow) {
293             my $record = AUTHgetauthority($dbh,$authid);
294             print ".";
295             print "\r$i" unless ($i++ %100);
296             print OUT $record->as_usmarc();
297         }
298         close(OUT);
299     }
300     
301     #
302     # and reindexing everything
303     #
304     print "====================\n";
305     print "REINDEXING zebra\n";
306     print "====================\n";
307 warn ">>>>>>>>>>>>>>>".C4::Context->zebraconfig('authorityserver')->{config};
308     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities init") if ($reset);
309     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities update $directory/authorities");
310     system("zebraidx -c ".C4::Context->zebraconfig('authorityserver')->{config}." -g iso2709 -d authorities commit");
311 } else {
312     print "skipping authorities\n";
313 }
314 #################################################################################################################
315 #                        BIBLIOS 
316 #################################################################################################################
317
318 if ($biblios) {
319     print "====================\n";
320     print "checking directories & files for biblios\n";
321     print "====================\n";
322     
323     #
324     # BIBLIOS : creating directory structure
325     #
326     unless (-d "$biblioserverdir") {
327         system("mkdir -p $biblioserverdir");
328         print "Info: created $biblioserverdir\n";
329         $created_dir_or_file++;
330     }
331     unless (-d "$biblioserverdir/lock") {
332         mkdir "$biblioserverdir/lock";
333         print "Info: created $biblioserverdir/lock\n";
334         $created_dir_or_file++;
335     }
336     unless (-d "$biblioserverdir/register") {
337         mkdir "$biblioserverdir/register";
338         print "Info: created $biblioserverdir/register\n";
339         $created_dir_or_file++;
340     }
341     unless (-d "$biblioserverdir/shadow") {
342         mkdir "$biblioserverdir/shadow";
343         print "Info: created $biblioserverdir/shadow\n";
344         $created_dir_or_file++;
345     }
346     unless (-d "$biblioserverdir/tab") {
347         mkdir "$biblioserverdir/tab";
348         print "Info: created $biblioserverdir/tab\n";
349         $created_dir_or_file++;
350     }
351     unless (-d "$biblioserverdir/key") {
352         mkdir "$biblioserverdir/key";
353         print "Info: created $biblioserverdir/key\n";
354         $created_dir_or_file++;
355     }
356     unless (-d "$biblioserverdir/etc") {
357         mkdir "$biblioserverdir/etc";
358         print "Info: created $biblioserverdir/etc\n";
359         $created_dir_or_file++;
360     }
361     
362     #
363     # BIBLIOS : copying mandatory files
364     #
365     # the record model, depending on marc flavour
366     unless (-f "$biblioserverdir/tab/record.abs") {
367         if (C4::Context->preference("marcflavour") eq "UNIMARC") {
368             system("cp -f $kohadir/misc/zebra/record_biblios_unimarc.abs $biblioserverdir/tab/record.abs");
369             print "Info: copied record.abs for UNIMARC\n";
370         } else {
371             system("cp -f $kohadir/misc/zebra/record_biblios_usmarc.abs $biblioserverdir/tab/record.abs");
372             print "Info: copied record.abs for USMARC\n";
373         }
374         $created_dir_or_file++;
375     }
376     unless (-f "$biblioserverdir/tab/sort-string-utf_french.chr") {
377         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/sort-string-utf.chr");
378         print "Info: copied sort-string-utf.chr\n";
379         $created_dir_or_file++;
380     }
381     unless (-f "$biblioserverdir/tab/word-phrase-utf.chr") {
382         system("cp -f $kohadir/misc/zebra/sort-string-utf_french.chr $biblioserverdir/tab/word-phrase-utf.chr");
383         print "Info: copied word-phase-utf.chr\n";
384         $created_dir_or_file++;
385     }
386     unless (-f "$biblioserverdir/tab/bib1.att") {
387         system("cp -f $kohadir/misc/zebra/bib1_biblios.att $biblioserverdir/tab/bib1.att");
388         print "Info: copied bib1.att\n";
389         $created_dir_or_file++;
390     }
391     unless (-f "$biblioserverdir/tab/default.idx") {
392         system("cp -f $kohadir/misc/zebra/default.idx $biblioserverdir/tab/default.idx");
393         print "Info: copied default.idx\n";
394         $created_dir_or_file++;
395     }
396     unless (-f C4::Context->zebraconfig('biblioserver')->{ccl2rpn}) {
397 #         system("cp -f $kohadir/misc/zebra/ccl.properties ".C4::Context->zebraconfig('biblioserver')->{ccl2rpn});
398         system("cp -f $kohadir/misc/zebra/ccl.properties $biblioserverdir/etc/ccl.properties");
399         print "Info: copied ccl.properties\n";
400         $created_dir_or_file++;
401     }
402     unless (-f C4::Context->zebraconfig('biblioserver')->{cql2rpn}) {
403 #         system("cp -f $kohadir/misc/zebra/pqf.properties ".C4::Context->zebraconfig('biblioserver')->{ccl2rpn});
404         system("cp -f $kohadir/misc/zebra/pqf.properties $biblioserverdir/etc/pqf.properties");
405         print "Info: copied pqf.properties\n";
406         $created_dir_or_file++;
407     }
408     
409     #
410     # BIBLIOS : copying mandatory files
411     #
412     unless (-f C4::Context->zebraconfig('biblioserver')->{config}) {
413     open ZD,">:utf8 ",C4::Context->zebraconfig('biblioserver')->{config};
414     print ZD "
415 # generated by KOHA/misc/migrtion_tools/rebuild_zebra.pl 
416 profilePath:\${srcdir:-.}:$biblioserverdir/tab/:$tabdir/tab/:\${srcdir:-.}/tab/
417
418 encoding: UTF-8
419 # Files that describe the attribute sets supported.
420 attset:bib1.att
421 attset:explain.att
422 attset:gils.att
423
424 modulePath:$modulesdir/modules/
425 # Specify record type
426 iso2709.recordType:grs.marcxml.record
427 recordType:grs.xml
428 recordId: (bib1,Local-Number)
429 storeKeys:1
430 storeData:1
431
432
433 # Lock File Area
434 lockDir: $biblioserverdir/lock
435 perm.anonymous:r
436 perm.kohaadmin:rw
437 passw.kohalis
438 shadow
439 register: $biblioserverdir/register:4G
440 shadow: $biblioserverdir/shadow:4G
441
442 # Temp File area for result sets
443 setTmpDir: $biblioserverdir/tmp
444
445 # Temp File area for index program
446 keyTmpDir: $biblioserverdir/key
447
448 # Approx. Memory usage during indexing
449 memMax: 40M
450 rank:rank-1
451     ";
452         print "Info: creating zebra-biblios.cfg\n";
453         $created_dir_or_file++;
454     }
455     
456     if ($created_dir_or_file) {
457         print "Info: created : $created_dir_or_file directories & files\n";
458     } else {
459         print "Info: file & directories OK\n";
460     }
461     
462     # die;
463     #
464     # exporting biblios
465     #
466     if ($skip_export) {
467         print "====================\n";
468         print "SKIPPING biblio export\n";
469         print "====================\n";
470     } else {
471         print "====================\n";
472         print "exporting biblios\n";
473         print "====================\n";
474         mkdir "$directory" unless (-d $directory);
475         mkdir "$directory/biblios" unless (-d "$directory/biblios");
476         open(OUT,">:utf8 ","$directory/biblios/export") or die $!;
477         my $dbh=C4::Context->dbh;
478         my $sth;
479         $sth=$dbh->prepare("select biblionumber from biblioitems order by biblionumber $limit");
480         $sth->execute();
481         my $i=0;
482         while (my ($biblionumber) = $sth->fetchrow) {
483             my $record = GetMarcBiblio($biblionumber);
484             warn $record->as_formatted;
485 die if $record->subfield('090','9') eq 11;
486     #         print $record;
487             # check that biblionumber & biblioitemnumber are stored in the MARC record, otherwise, add them & update the biblioitems.marcxml data.
488             my $record_correct=1;
489             next unless $record->field($biblionumbertagfield);
490             if ($biblionumbertagfield eq '001') {
491                 unless ($record->field($biblionumbertagfield)->data()) {
492                     $record_correct=0;
493                     my $field;
494                     # if the field where biblionumber is already exist, just update it, otherwise create it
495                     if ($record->field($biblionumbertagfield)) {
496                         $field =  $record->field($biblionumbertagfield);
497                         $field->update($biblionumber);
498                     } else {
499                         my $newfield;
500                         $newfield = MARC::Field->new( $biblionumbertagfield, $biblionumber);
501                         $record->append_fields($newfield);
502                     }
503                 }
504             } else {
505                 unless ($record->subfield($biblionumbertagfield,$biblionumbertagsubfield)) {
506                     $record_correct=0;
507                     my $field;
508                     # if the field where biblionumber is already exist, just update it, otherwise create it
509                     if ($record->field($biblionumbertagfield)) {
510                         $field =  $record->field($biblionumbertagfield);
511                         $field->add_subfields($biblionumbertagsubfield => $biblionumber);
512                     } else {
513                         my $newfield;
514                         $newfield = MARC::Field->new( $biblionumbertagfield,'','', $biblionumbertagsubfield => $biblionumber);
515                         $record->append_fields($newfield);
516                     }
517                 }
518     #             warn "FIXED BIBLIONUMBER".$record->as_formatted;
519             }
520             unless ($record->subfield($biblioitemnumbertagfield,$biblioitemnumbertagsubfield)) {
521                 $record_correct=0;
522     #             warn "INCORRECT BIBLIOITEMNUMBER :".$record->as_formatted;
523                 my $field;
524                 # if the field where biblionumber is already exist, just update it, otherwise create it
525                 if ($record->field($biblioitemnumbertagfield)) {
526                     $field =  $record->field($biblioitemnumbertagfield);
527                     if ($biblioitemnumbertagfield <10) {
528                         $field->update($biblionumber);
529                     } else {
530                         $field->add_subfields($biblioitemnumbertagsubfield => $biblionumber);
531                     }
532                 } else {
533                     my $newfield;
534                     if ($biblioitemnumbertagfield <10) {
535                         $newfield = MARC::Field->new( $biblioitemnumbertagfield, $biblionumber);
536                     } else {
537                         $newfield = MARC::Field->new( $biblioitemnumbertagfield,'','', $biblioitemnumbertagsubfield => $biblionumber);
538                     }
539                     $record->insert_grouped_field($newfield);
540                 }
541     #             warn "FIXED BIBLIOITEMNUMBER".$record->as_formatted;
542             }
543             unless ($record_correct) {
544                 my $update_xml = $dbh->prepare("update biblioitems set marcxml=? where biblionumber=?");
545                 warn "UPDATING $biblionumber (missing biblionumber or biblioitemnumber in MARC record : ".$record->as_xml;
546                 $update_xml->execute($record->as_xml,$biblionumber);
547             }
548             print ".";
549             print "\r$i" unless ($i++ %100);
550             print OUT $record->as_usmarc();
551         }
552         close(OUT);
553     }
554     
555     #
556     # and reindexing everything
557     #
558     print "====================\n";
559     print "REINDEXING zebra\n";
560     print "====================\n";
561 warn ">>>>>>>>>>>>>".C4::Context->zebraconfig('biblioserver')->{config};
562     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios init") if ($reset);
563     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios update $directory/biblios");
564     system("zebraidx -g iso2709 -c ".C4::Context->zebraconfig('biblioserver')->{config}." -d biblios commit");
565 } else {
566     print "skipping biblios\n";
567 }
568
569 print "====================\n";
570 print "CLEANING\n";
571 print "====================\n";
572 if ($keep_export) {
573     print "NOTHING cleaned : the $directory has been kept. You can re-run this script with the -s parameter if you just want to rebuild zebra after changing the record.abs or another zebra config file\n";
574 } else {
575     system("rm -rf $directory");
576     print "directory $directory deleted\n";
577 }