lib/MojoFacets/Import/CSV.pm

   1 package MojoFacets::Import::CSV;
   2
   3 use warnings;
   4 use strict;
   5
   6 use base 'Mojo::Base';
   7
   8 use Text::CSV;
   9 use Data::Dump qw(dump);
  10
  11 __PACKAGE__->attr('full_path');
  12
  13 sub data {
  14         my $self = shift;
  15
  16         my $path = $self->full_path;
  17
  18         my $encoding = 'utf-8';
  19         if ( $path =~ m/\.(\w+).csv/i ) {
  20                 $encoding = $1;
  21         }
  22
  23         my $data = { items => [] };
  24         my @header;
  25
  26         open my $fh, "<:encoding($encoding)", $path or die "$path: $!";
  27         my $first = <$fh>;
  28         my $possible_delimiters;
  29         while ( $first =~ s/(\W)// ) {
  30                 $possible_delimiters->{$1}++;
  31         }
  32         warn "# possible_delimiters = ",dump($possible_delimiters);
  33         seek $fh,0,0; # rewind for Text::CSV
  34
  35         my @sep_by_usage = sort { $possible_delimiters->{$b} <=> $possible_delimiters->{$a} } keys %$possible_delimiters;
  36         my $sep_char = shift @sep_by_usage;
  37         while ( $sep_char =~ m/^\s$/ ) {
  38                 warn "## skip whitespace separator ",dump($sep_char);
  39                 $sep_char = shift @sep_by_usage;
  40         }
  41
  42         warn "sep_char = [$sep_char] for $path\n";
  43
  44         my $csv = Text::CSV->new ( { binary => 1, eol => $/, sep_char => $sep_char } )
  45                 or die "Cannot use CSV: ".Text::CSV->error_diag ();
  46
  47         while ( my $row = $csv->getline( $fh ) ) {
  48                 if ( ! @header ) {
  49                         @header = @$row;
  50                         next;
  51                 }
  52                 my $item;
  53                 foreach my $i ( 0 .. $#{$row} ) {
  54                         $item->{ $header[$i] || "f_$i" } = [ $row->[$i] ];
  55                 }
  56                 push @{ $data->{items} }, $item;
  57         }
  58
  59         $csv->eof or $csv->error_diag();
  60         close $fh;
  61
  62         $data->{header} = [ @header ];
  63
  64         return $data;
  65
  66 }
  67
  68 1