lib/MojoFacets/Import/CSV.pm

   1 package MojoFacets::Import::CSV;
   2
   3 use warnings;
   4 use strict;
   5
   6 use base 'Mojo::Base';
   7
   8 use Text::CSV;
   9 use Data::Dump qw(dump);
  10
  11 __PACKAGE__->attr('full_path');
  12
  13 sub data {
  14         my $self = shift;
  15
  16         my $path = $self->full_path;
  17
  18         my $encoding = 'utf-8';
  19         if ( $path =~ m/\.([\w\-]+).csv/i ) {
  20                 $encoding = $1;
  21         }
  22
  23         my $data = { items => [] };
  24         my @header;
  25
  26         open my $fh, "<:encoding($encoding)", $path or die "$path: $!";
  27         my $first = <$fh>;
  28         my $possible_delimiters;
  29         while ( $first =~ s/(\W)// ) {
  30                 $possible_delimiters->{$1}++;
  31         }
  32         warn "# possible_delimiters = ",dump($possible_delimiters);
  33         seek $fh,0,0; # rewind for Text::CSV
  34
  35         my @sep_by_usage = sort { $possible_delimiters->{$b} <=> $possible_delimiters->{$a} } keys %$possible_delimiters;
  36         my $sep_char = shift @sep_by_usage;
  37         while ( $sep_char =~ m/^\s$/ ) {
  38                 warn "## skip whitespace separator ",dump($sep_char);
  39                 $sep_char = shift @sep_by_usage;
  40         }
  41
  42         while ( $sep_char =~ m/^\"$/ ) {
  43                 warn "## skip quote separator ",dump($sep_char);
  44                 $sep_char = shift @sep_by_usage;
  45         }
  46
  47         warn "sep_char = [$sep_char] for $path\n";
  48
  49         my $csv = Text::CSV->new ( { binary => 1, eol => $/, sep_char => $sep_char } )
  50                 or die "Cannot use CSV: ".Text::CSV->error_diag ();
  51
  52         while ( my $row = $csv->getline( $fh ) ) {
  53                 if ( ! @header ) {
  54                         @header = @$row;
  55                         next;
  56                 }
  57                 my $item;
  58                 foreach my $i ( 0 .. $#{$row} ) {
  59                         $item->{ $header[$i] || "f_$i" } = [ $row->[$i] ];
  60                 }
  61                 push @{ $data->{items} }, $item;
  62         }
  63
  64         $csv->eof or $csv->error_diag();
  65         close $fh;
  66
  67         $data->{header} = [ @header ];
  68
  69         return $data;
  70
  71 }
  72
  73 1