GoogleBooks.pm

   1 package GoogleBooks;
   2
   3 use warnings;
   4 use strict;
   5
   6 use MARC::Record;
   7 use Data::Dump qw/dump/;
   8 use JSON::XS;
   9
  10 use base 'Scraper';
  11
  12 my $debug = $ENV{DEBUG} || 0;
  13
  14 sub diag {
  15         warn "# ", @_, $/;
  16 }
  17
  18 # based on http://code.google.com/apis/books/docs/v1/using.html#PerformingSearch
  19 #
  20 # https://www.googleapis.com/books/v1/volumes?q=search+terms
  21 #
  22 # This request has a single required parameter:
  23 #
  24 # q - Search for volumes that contain this text string. There are special keywords you can specify in the search terms to search in particular fields, such as:
  25 #     intitle: Returns results where the text following this keyword is found in the title.
  26 #     inauthor: Returns results where the text following this keyword is found in the author.
  27 #     inpublisher: Returns results where the text following this keyword is found in the publisher.
  28 #     subject: Returns results where the text following this keyword is listed in the category list of the volume.
  29 #     isbn: Returns results where the text following this keyword is the ISBN number.
  30 #     lccn: Returns results where the text following this keyword is the Library of Congress Control Number.
  31 #     oclc: Returns results where the text following this keyword is the Online Computer Library Center number.
  32 #
  33
  34 # Koha Z39.50 query:
  35 #
  36 # Bib-1 @and @and @and @and @and @and @and @or
  37 # @attr 1=4 title
  38 # @attr 1=7 isbn
  39 # @attr 1=8 issn
  40 # @attr 1=1003 author
  41 # @attr 1=16 dewey
  42 # @attr 1=21 subject-holding
  43 # @attr 1=12 control-no
  44 # @attr 1=1007 standard-id
  45 # @attr 1=1016 any
  46
  47 sub usemap {{
  48         4               => 'intitle:',
  49         7               => 'isbn:',
  50         8               => 'isbn:', # FIXME?
  51         1003    => 'inauthor:',
  52 #       16              => '',
  53         21              => 'subject:',
  54         12              => 'lccn:',
  55 #       1007    => '',
  56         1016    => '',
  57 }};
  58
  59 sub search {
  60         my ( $self, $query ) = @_;
  61
  62         die "need query" unless defined $query;
  63
  64         my $url = 'https://www.googleapis.com/books/v1/volumes?q=' . $query;
  65
  66 diag "get $url";
  67
  68         my $mech = $self->{mech} || die "no mech?";
  69         $mech->get( $url );
  70
  71         my $json = decode_json $mech->content;
  72         diag "# json = ", dump($json) if $debug;
  73
  74         my $hits = 0;
  75
  76         if ( exists $json->{items} ) {
  77                 $hits = $#{ $json->{items} } + 1;
  78         } else {
  79                 diag "get't find results in ", $mech->content;
  80                 return;
  81         }
  82
  83 diag "got $hits results, get first one";
  84
  85         $self->{_json} = $json;
  86         $self->{_json_item} = 0;
  87
  88         return $self->{hits} = $hits;
  89 }
  90
  91
  92 our ( $hash, $marc );
  93
  94 sub next_marc {
  95         my ($self,$format) = @_;
  96
  97         $format ||= 'marc';
  98
  99         my $item = $self->{_json}->{items}->[ $self->{_json_item}++ ];
 100
 101         warn "# item = ",dump($item) if $debug;
 102
 103         my $id = $item->{id} || die "no id";
 104
 105         $marc = MARC::Record->new;
 106         $marc->encoding('utf-8');
 107
 108         if ( my $vi = $item->{volumeInfo} ) {
 109
 110                 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
 111
 112                 $marc->add_fields('008',sprintf("%02d%02d%02ds%04d%25s%-3s",
 113                                 $year % 100, $mon + 1, $mday, $vi->{publishedDate}, ' ', $vi->{language}));
 114
 115                 $marc->add_fields('020',' ',' ','a' => $_ ) foreach map { $_->{identifier} } @{ $vi->{industryIdentifiers} };
 116
 117                 my $first_author = shift @{ $vi->{authors} };
 118                 $marc->add_fields(100,'0',' ','a' => $first_author );
 119                 $marc->add_fields(700,'0',' ','a' => $_ ) foreach @{ $vi->{authors} };
 120                 $marc->add_fields(245, ($first_author ? '1':'0') ,' ',
 121                         'a' => $vi->{title},
 122                         'b' => $vi->{subtitle},
 123                 );
 124                 $marc->add_fields(260,' ',' ',
 125                         'b' => $vi->{publisher},
 126                         'c' => $vi->{publishedDate},
 127                 );
 128                 $marc->add_fields(300,' ',' ','a' => $vi->{pageCount} . 'p.' );
 129
 130                 $marc->add_fields(520,' ',' ','a' => $vi->{description} );
 131                 $marc->add_fields(650,' ','4','a' => $_ ) foreach @{ $vi->{categories} };
 132
 133                 $marc->add_fields(856,'4','2',
 134                         '3'=> 'Image link',
 135                         'u' => $vi->{imageLinks}->{smallThumbnail},
 136                         'x' => 'smallThumbnail',
 137                 );
 138                 $marc->add_fields(856,'4','2',
 139                         '3'=> 'Image link',
 140                         'u' => $vi->{imageLinks}->{thumbnail},
 141                         'x' => 'thumbnail',
 142                 );
 143                 $marc->add_fields(856,'4','2',
 144                         '3'=> 'Info link',
 145                         'u' => $vi->{infoLink},
 146                 );
 147                 $marc->add_fields(856,'4','2',
 148                         '3'=> 'Show reviews link',
 149                         'u' => $vi->{showReviewsLink},
 150                 );
 151
 152                 my $leader = $marc->leader;
 153                 warn "# leader [$leader]";
 154                 $leader =~ s/^(....).../$1nam/;
 155                 $marc->leader( $leader );
 156
 157         } else {
 158                 warn "ERROR: no volumeInfo in ",dump($item);
 159         }
 160
 161         $marc->add_fields( 856, ' ', ' ', 'u' => $item->{accessInfo}->{webReaderLink} );
 162 #       $marc->add_fields( 520, ' ', ' ', 'a' => $item->{searchInfo}->{textSnippet} ); # duplicate of description
 163
 164 #       diag "# hash ",dump($hash);
 165         diag "# marc ", $marc->as_formatted;
 166
 167         $self->save_marc( "$id.marc", $marc->as_usmarc );
 168
 169         return $id;
 170
 171 }
 172
 173 1;