lib/MojoFacets/Import/CouchDB.pm

   1 package MojoFacets::Import::CouchDB;
   2
   3 use warnings;
   4 use strict;
   5
   6 use base 'Mojo::Base';
   7
   8 use File::Slurp;
   9 use Data::Dump qw(dump);
  10 use JSON;
  11 use Mojo::UserAgent;
  12
  13 __PACKAGE__->attr('path');
  14 __PACKAGE__->attr('full_path');
  15
  16 sub flatten {
  17         my ($flat,$data,$prefix) = @_;
  18         if ( ref $data eq '' ) {
  19                 push @{ $$flat->{$prefix} }, $data;
  20         } elsif ( ref $data eq 'HASH' ) {
  21                 foreach my $key ( keys %$data ) {
  22                         my $full_prefix = $prefix ? $prefix . '_' : '';
  23                         $full_prefix .= $key;
  24                         flatten( $flat, $data->{$key}, $full_prefix );
  25                 }
  26         } elsif ( ref $data eq 'ARRAY' ) {
  27                 foreach my $el ( @$data ) {
  28                         flatten( $flat, $el, $prefix );
  29                 }
  30         } elsif ( ref $data eq 'Mojo::JSON::_Bool' ) {
  31                 push @{ $$flat->{$prefix} }, $data;
  32         } else {
  33                 die "unsupported ",ref($data)," from ",dump($data);
  34         }
  35 }
  36
  37 sub data {
  38         my $self = shift;
  39
  40         my $path = $self->path;
  41
  42         my $url = read_file $self->full_path;
  43         $url =~ s{/\s*$}{}s;
  44         $url .= '/_all_docs?include_docs=true' unless $url =~ m/\?/;
  45
  46         warn "# CouchDB URL: $url";
  47
  48         my $json = Mojo::UserAgent->new->get($url)->res->json;
  49
  50         my $data;
  51
  52         if ( ref $json->{rows} eq 'ARRAY' ) {
  53                 foreach my $doc ( @{$json->{rows}} ) {
  54                         if ( exists $doc->{id} && exists $doc->{doc} ) {
  55                                 next if $doc->{id} =~ m{^_design/}; # $doc->{id} == $doc->{doc}->{_id}
  56                                 my $flat;
  57                                 flatten( \$flat, $doc->{doc}, '' );
  58                                 push @{ $data->{items} }, $flat;
  59                         } else {
  60                                 push @{ $data->{items} }, $doc;
  61                         }
  62                 }
  63         }
  64
  65         return $data;
  66
  67 }
  68
  69 1