lib/MojoFacets/Import/CouchDB.pm

   1 package MojoFacets::Import::CouchDB;
   2
   3 use warnings;
   4 use strict;
   5
   6 use base 'Mojo::Base';
   7
   8 use File::Slurp;
   9 use Data::Dump qw(dump);
  10 use JSON;
  11 use Mojo::UserAgent;
  12
  13 __PACKAGE__->attr('path');
  14 __PACKAGE__->attr('full_path');
  15
  16 sub ext { '.couchdb' };
  17
  18 sub flatten {
  19         my ($flat,$data,$prefix) = @_;
  20         if ( ref $data eq '' ) {
  21                 push @{ $$flat->{$prefix} }, $data;
  22         } elsif ( ref $data eq 'HASH' ) {
  23                 foreach my $key ( keys %$data ) {
  24                         my $full_prefix = $prefix ? $prefix . '_' : '';
  25                         $full_prefix .= $key;
  26                         flatten( $flat, $data->{$key}, $full_prefix );
  27                 }
  28         } elsif ( ref $data eq 'ARRAY' ) {
  29                 foreach my $el ( @$data ) {
  30                         flatten( $flat, $el, $prefix );
  31                 }
  32         } elsif ( ref $data eq 'Mojo::JSON::_Bool' ) {
  33                 push @{ $$flat->{$prefix} }, $data;
  34         } else {
  35                 die "unsupported ",ref($data)," from ",dump($data);
  36         }
  37 }
  38
  39 sub data {
  40         my $self = shift;
  41
  42         my $path = $self->path;
  43
  44         my $url = read_file $self->full_path;
  45         $url =~ s{/\s*$}{}s;
  46         $url .= '/_all_docs?include_docs=true' unless $url =~ m/\?/;
  47
  48         warn "# CouchDB URL: $url";
  49
  50         my $json = Mojo::UserAgent->new->get($url)->res->json;
  51
  52         my $data;
  53
  54         if ( ref $json->{rows} eq 'ARRAY' ) {
  55                 foreach my $doc ( @{$json->{rows}} ) {
  56                         if ( exists $doc->{id} && exists $doc->{doc} ) {
  57                                 next if $doc->{id} =~ m{^_design/}; # $doc->{id} == $doc->{doc}->{_id}
  58                                 my $flat;
  59                                 flatten( \$flat, $doc->{doc}, '' );
  60                                 push @{ $data->{items} }, $flat;
  61                         } else {
  62                                 push @{ $data->{items} }, $doc;
  63                         }
  64                 }
  65         }
  66
  67         return $data;
  68
  69 }
  70
  71 1