ferlib2koha.pl

   1 #!/usr/bin/perl -w
   2
   3 use strict;
   4 use DBI;
   5 use Data::Dump qw/dump/;
   6 use Algorithm::CheckDigits;
   7
   8 # sudo apt-get install libdbd-sqlite3-perl libdbd-csv-perl
   9
  10 $|++;
  11
  12 my $import = {
  13         borrowers => $ENV{FULL} || 0,
  14         issues    => $ENV{FULL} || 1,
  15         reserves  => $ENV{FULL} || 0,
  16         barcode   => $ENV{FULL} || 0,
  17 };
  18
  19 my $f = DBI->connect("dbi:SQLite:dbname=knjiznica.sqlite","","", { RaiseError => 1, AutoCommit => 0 }) || die $DBI::errstr;
  20 $f->{sqlite_unicode} = 1;
  21 my $k = DBI->connect("dbi:mysql:database=koha_fer","","", { RaiseError => 1, AutoCommit => 0, mysql_enable_utf8 => 1 }) || die $DBI::errstr;
  22 my $u = DBI->connect("dbi:CSV:","","", { RaiseError => 1, f_ext => '.csv', csv_sep_char => '|' }) || die $DBI::errstr;
  23
  24 our $lookup;
  25 sub lookup {
  26         my ( $dbh, $t, $k, $v, $s, $default ) = @_;
  27         my $hash;
  28         my $key = "$t $k $v";
  29         if ( exists $lookup->{$key} ) {
  30                 $hash = $lookup->{$key};
  31         } else {
  32                 warn "# select $k,$v from $t";
  33                 my $sth = $dbh->prepare( "select $k,$v from $t" );
  34                 $sth->execute;
  35                 while (my $row = $sth->fetchrow_hashref() ) {
  36                         $hash->{ $row->{$k} } = $row->{$v};
  37                 }
  38                 $lookup->{$key} = $hash;
  39                 warn "# lookup $key = ",dump($hash);
  40         }
  41         return unless length $s > 1;
  42         if ( ! exists $lookup->{$key}->{$s} ) {
  43                 warn "ERROR: no $s in $key\n";
  44                 return $default;
  45         } else {
  46                 $lookup->{$key}->{$s};
  47         }
  48 }
  49
  50 our $insert;
  51 sub insert {
  52         my ( $table, $row ) = @_;
  53         $insert->{$table} ||= $k->prepare(
  54                         "insert into $table ("
  55                         . join(',', keys %$row)
  56                         . ") values ("
  57                         . join(',', map { '?' } keys %$row )
  58                         . ")"
  59         );
  60
  61         foreach my $c ( grep { /(date|timestamp)/ } keys %$row ) {
  62                 $row->{$c} =~ s/^(\d\d)\.(\d\d)\.(\d\d\d\d)/$3-$2-$1/;
  63                 $row->{$c} = undef if $row->{$c} eq ''; # XXX NULL dates istead of 0000-00-00
  64         }
  65
  66         $insert->{$table}->execute( values %$row );
  67         warn "# inserted $table ", dump $row;
  68
  69 }
  70
  71 sub borrowers {
  72         my $sql = shift;
  73         my $sth = $f->prepare($sql);
  74         $sth->execute;
  75
  76         $insert = undef;
  77
  78         while (my $row = $sth->fetchrow_hashref ) {
  79
  80 #               warn dump $row;
  81
  82                 # poor man's (sqlite) outer join
  83                 $row->{'country'} = lookup($f, 'drzava', 'ozn_drzava', 'naz_drzava', $row->{'country'}, $row->{contry} );
  84                 $row->{'city'}    = lookup($f, 'mjesto', 'post_ozn', 'naz_mjesto', $row->{'city'}, $row->{city} );
  85
  86                 $row->{'B_country'} = lookup($f, 'drzava', 'ozn_drzava', 'naz_drzava', $row->{'B_country'}, $row->{B_country} );
  87                 $row->{'B_city'}    = lookup($f, 'mjesto', 'post_ozn', 'naz_mjesto', $row->{'B_city'}, $row->{B_city} );
  88
  89                 $row->{'B_email'}  = lookup($f, 'clanost', 'ozn_vrclan||ozn_clan', 'email', $row->{'cardnumber'}, undef);
  90                 $row->{'emailpro'} = lookup($f, 'clanost', 'ozn_vrclan||ozn_clan', 'email_k', $row->{'cardnumber'}, undef);
  91
  92                 $row->{'email'}    = lookup($u, 'users', 'jmbag', 'email', substr($row->{cardnumber},1), undef); # $row->{B_email} || $row->{emailpro} )
  93
  94                 $row->{'userid'}    = lookup($u, 'users', 'jmbag', 'nick', substr($row->{cardnumber},1), $row->{cardnumber});
  95
  96                 $row->{sex} =~ s/\x{17D}/F/;
  97
  98                 $row->{city} ||= '?'; # not null
  99
 100                 $row->{borrowernotes} = lookup($f, 'clanorg', 'ozn_vrclan||ozn_clan', 'napom_clan', $row->{'cardnumber'}, undef);
 101
 102                 $row->{title} = lookup($f, 'titula', 'ozn_titula', 'opis_titula', $row->{title}, $row->{title});
 103
 104                 $row->{dateexpiry} ||= '01.01.2020'; # next revision
 105
 106                 my $jmbg = delete $row->{jmbg};
 107
 108                 insert 'borrowers' => $row;
 109
 110                 my $borrowernumber = $k->{mysql_insertid};
 111
 112                 insert 'borrower_attributes' => {
 113                         borrowernumber => $borrowernumber,
 114                         code => 'JMBG',
 115                         attribute => $jmbg,
 116                 } if $jmbg;
 117
 118                 foreach my $id ( 6,1,4,5,2 ) {
 119
 120                         insert 'borrower_message_preferences' => {
 121                                 borrowernumber => $borrowernumber,
 122                                 message_attribute_id => $id,
 123                                 days_in_advance => $id == 2 ? 0 : undef,
 124                         };
 125
 126                         insert 'borrower_message_transport_preferences' => {
 127                                 borrower_message_preference_id => $k->{mysql_insertid},
 128                                 message_transport_type => 'email',
 129                         } if $id == 4;
 130
 131                 }
 132
 133         }
 134 }
 135
 136 sub sql {
 137         my ($db,$sql) = @_;
 138         foreach (split(/;/,$sql)) {
 139                 next if m/^\s*$/;
 140                 warn "# sql $_";
 141                 $db->do($_);
 142         }
 143 }
 144
 145 if ( $import->{borrowers} ) {
 146
 147 sql $k => qq{
 148 delete from borrowers;
 149 alter table borrowers auto_increment = 1;
 150 delete from borrower_attributes;
 151 alter table borrower_attributes auto_increment = 1;
 152 delete from borrower_message_preferences where borrowernumber is not null ;
 153 alter table borrower_message_preferences auto_increment = 1;
 154 };
 155
 156
 157 borrowers qq{
 158 select
 159   'S' as categorycode,
 160   'SRE' as branchcode,
 161   'S' || mbr_stud as cardnumber,
 162   prez_stud as surname,
 163   ime_stud as firstname,
 164   djevprezime as othernames,
 165   spol as sex,
 166   dat_rodj as dateofbirth,
 167 --  ime_otac as ??,
 168 --  ime_majka as ??,
 169   ozn_drzava_preb as country,
 170   post_ozn_preb as zipcode,
 171   post_ozn_preb as city,
 172   adr_preb as address,
 173   ozn_drzava_stan as B_country,
 174   post_ozn_stan as B_zipcode,
 175   post_ozn_stan as B_city,
 176   adr_stan as B_address,
 177   tel_stud as phone,
 178   dat_prava_do as dateexpiry,
 179 --  aktivan as ??,
 180   jmbg_stud as jmbg
 181 from studk
 182 };
 183
 184 borrowers qq{
 185 select
 186   'D' as categorycode,
 187   'SRE' as branchcode,
 188   'D' || sif_djel as cardnumber,
 189   ime_djel as firstname,
 190   prez_djel as surname,
 191   ozn_titula as title,
 192 --  sif_orgjed (REF orgjed) as B_address,
 193 --  sif_strsp_djel as ??,
 194   tel_djel as phonepro,
 195   dat_prekid_ro as dateexpiry,
 196 --  tel_poduz as ??,
 197   fax_poduz as fax,
 198   ozn_drzava as country,
 199   post_ozn as zipcode,
 200   post_ozn as city,
 201   adr_stan as address,
 202   tel_stan as phone,
 203   jmbg_djel as jmbg
 204 from djelat
 205 };
 206
 207 borrowers qq{
 208 select
 209   'O' as categorycode,
 210   'SRE' as branchcode,
 211   'O' || mbr_clan as cardnumber,
 212   ime_clan as firstname,
 213   prez_clan as surname,
 214   ozn_titula as title,
 215   zvanje_clan as ethnicity, -- XXX we are not allowerd by low to collect ethnicity
 216 --  krat_poduz (REF poduz) as B_address,
 217   tel_poduz as B_phone,
 218 --  fax_poduz as ??,
 219   ozn_drzava as country,
 220   post_ozn as zipcode,
 221   post_ozn as city,
 222   adr_stan as address,
 223   tel_stan as phone,
 224 --  aktivan as ??,
 225   jmbg_clan as jmbg
 226 from clost
 227 };
 228
 229 my $sth_syspref = $k->prepare(qq{ update systempreferences set value=? where variable=? });
 230 my $BorrowersTitles = join('|', @{ $k->selectcol_arrayref(qq{ select distinct title from borrowers where title != '' }) });
 231 $sth_syspref->execute( $BorrowersTitles => 'BorrowersTitles' );
 232 warn "# BorrowersTitles [$BorrowersTitles]";
 233
 234 } # import->{borrowers}
 235
 236
 237 if ( $import->{issues} ) {
 238
 239 $k->do(qq{ update items set barcode=substr(barcode,1,12)*1 where length(barcode) = 13 }); # convert barcodes back for lookups to work
 240
 241 sub issues {
 242         my ($table,$sql) = @_;
 243         my $sth = $f->prepare($sql);
 244         $sth->execute;
 245
 246         $insert = undef;
 247
 248         while (my $row = $sth->fetchrow_hashref ) {
 249                 $row->{borrowernumber} = lookup($k, 'borrowers', 'cardnumber' => 'borrowernumber', $row->{borrowernumber});
 250                 $row->{itemnumber}     = lookup($k, 'items', 'barcode' => 'itemnumber', $row->{itemnumber});
 251
 252                 my $stat = {
 253                         datetime => $row->{returndate} || $row->{issuedate},
 254                         branch   => $row->{branchcode},
 255                         value    => 0,
 256                         type     => $row->{returndate} ? 'return' : 'issue',
 257                 };
 258                 $stat->{$_} = $row->{$_} foreach (qw( itemnumber borrowernumber ));
 259
 260                 $row->{date_due} ||= '31.12.2011';
 261                 insert $table => $row;
 262
 263                 insert statistics => $stat;
 264         }
 265 }
 266
 267 my $posud_sql = qq{
 268 select
 269         ozn_vrclan||ozn_clan as borrowernumber,
 270         sif_primj as itemnumber,
 271         datum_do as date_due,
 272         'SRE' as branchcode, -- FIXME
 273         datum_vra as returndate,
 274         datum_pos as issuedate,
 275         datum_pos||' '||vrijeme_pos as timestamp
 276 from posud
 277 };
 278
 279 sql $k => qq{
 280 delete from old_issues;
 281 alter table old_issues auto_increment = 1;
 282 delete from issues;
 283 alter table issues auto_increment = 1;
 284 };
 285 issues 'old_issues' => qq{$posud_sql where datum_vra != ''};
 286 issues 'issues'     => qq{$posud_sql where datum_vra == ''};
 287
 288 sql $k => qq{
 289 update items
 290 join issues on items.itemnumber=issues.itemnumber
 291 set onloan = date_due, datelastborrowed = issuedate
 292 ;
 293 update items set datelastseen = datelastborrowed
 294 ;
 295 create temporary table old_returndate as
 296 select itemnumber,max(returndate) as returndate
 297 from old_issues
 298 group by itemnumber,returndate
 299 ;
 300 update items
 301 join old_returndate on items.itemnumber=old_returndate.itemnumber
 302 set datelastseen = returndate
 303 where returndate > datelastseen or datelastseen is null
 304 ;
 305 create temporary table old_issuedate as
 306 select itemnumber,max(issuedate) as issuedate
 307 from old_issues
 308 group by itemnumber,issuedate
 309 ;
 310 update items
 311 join old_issuedate on items.itemnumber=old_issuedate.itemnumber
 312 set datelastborrowed = issuedate
 313 where datelastborrowed is null
 314 ;
 315 update old_issues set timestamp = returndate
 316 };
 317
 318 }; # import->{issues}
 319
 320
 321 if ( $import->{reserves} ) {
 322
 323 sql $k => qq{
 324 delete from reserves;
 325 alter table reserves auto_increment = 1;
 326 delete from old_reserves;
 327 alter table old_reserves auto_increment = 1;
 328 };
 329
 330 sub reserves {
 331         my ($table, $sql) = @_;
 332         my $sth = $f->prepare($sql);
 333         $sth->execute;
 334
 335         $insert = undef;
 336
 337         while (my $row = $sth->fetchrow_hashref ) {
 338
 339                 $row->{found} =
 340                         $row->{found}      ? 'F' :
 341                         $row->{itemnumber} ? 'W' : undef;
 342
 343                 $row->{borrowernumber} = lookup($k, 'borrowers', 'cardnumber' => 'borrowernumber', $row->{borrowernumber});
 344                 $row->{biblionumber}   = lookup($k, 'biblioitems', 'collectionvolume' => 'biblionumber', $row->{biblionumber});
 345                 $row->{itemnumber}     = lookup($k, 'items', 'barcode' => 'itemnumber', $row->{itemnumber});
 346
 347                 insert $table => $row;
 348         }
 349 }
 350
 351 my $sql_reserves = qq{
 352 select
 353         ozn_vrclan||ozn_clan as borrowernumber,
 354         datum_rezerv as reservedate,
 355         sif_naslov as biblionumber,
 356         'a' as constrainttype,
 357         'SRE' as branchcode,
 358         datum_obavijest as notificationdate,
 359         datum_ponist as cancellationdate,
 360         2 - prior_rezerv as priority,
 361         datum_posud as found, -- F|W
 362         datum_rezerv||' '||vrijeme_rezerv as timestamp,
 363         sif_primj as itemnumber,
 364         datum_obavijest as waitingdate,
 365         vrijedi_do as expirationdate,
 366         0 as lowestPriority
 367 from rezerv
 368 };
 369
 370 reserves 'old_reserves' => qq{$sql_reserves where datum_opoziv != '' or  datum_ponist != '' or  datum_posud != ''};
 371 reserves 'reserves'     => qq{$sql_reserves where datum_opoziv == '' and datum_ponist == '' and datum_posud == ''};
 372
 373 } # $import->{reserves}
 374
 375
 376 if ( $import->{barcode} ) { # XXX must be last!
 377
 378 my $sth        = $k->prepare(qq{ select itemnumber,barcode from items where length(barcode) < 13 });
 379 my $sth_update = $k->prepare(qq{ update items set barcode=? where itemnumber=? });
 380
 381 $sth->execute;
 382 warn "update ", $sth->rows, " barcodes";
 383
 384 my $ean = CheckDigits('ean');
 385
 386 while( my $row = $sth->fetchrow_hashref ) {
 387         $sth_update->execute( $ean->complete( sprintf('%012d', $row->{barcode}) ), $row->{itemnumber} );
 388 }
 389
 390 } # import->{barcode}
 391
 392
 393
 394
 395 $k->commit;