trigger/KinoSearch.pm

   1 use KinoSearch::Index::Indexer;
   2 use KinoSearch::Plan::Schema;
   3 use KinoSearch::Analysis::PolyAnalyzer;
   4 use KinoSearch::Plan::FullTextType;
   5
   6 # Create a Schema which defines index fields.
   7 my $schema = KinoSearch::Plan::Schema->new;
   8 my $polyanalyzer = KinoSearch::Analysis::PolyAnalyzer->new(
   9         language => 'en',
  10 );
  11 my $type = KinoSearch::Plan::FullTextType->new(
  12         analyzer => $polyanalyzer,
  13 );
  14 my $blob_type = KinoSearch::Plan::BlobType->new( stored => 1 );
  15 my $string_type = KinoSearch::Plan::StringType->new;
  16 $schema->spec_field( name => '_id',   type => $string_type );
  17 $schema->spec_field( name => '_rev', type => $string_type );
  18 $schema->spec_field( name => 'doc', type => $blob_type );
  19
  20 # Create the index and add documents.
  21 our $indexer;
  22
  23
  24 sub _indexer {
  25         $indexer ||= KinoSearch::Index::Indexer->new(
  26                 schema => $schema,
  27                 index  => '/tmp/index',
  28                 create => 1,
  29         );
  30 };
  31
  32 sub flatten {
  33         my ($flat,$data,$prefix) = @_;
  34         if ( ref $data eq '' ) {
  35                 $$flat->{$prefix} = $data;
  36         } elsif ( ref $data eq 'HASH' ) {
  37                 foreach my $key ( keys %$data ) {
  38                         my $full_prefix = $prefix ? $prefix . '.' : '';
  39                         $full_prefix .= $key;
  40                         flatten( $flat, $data->{$key}, $full_prefix );
  41                 }
  42         } elsif ( ref $data eq 'ARRAY' ) {
  43                 $$flat->{$prefix} = join("\n", map { ref $_ ? dump($_) : $_ } @$data);
  44                 # FIXME arrays with non-scalar references aren't really indexed well
  45         }
  46 }
  47
  48 sub filter {
  49         my $change = shift;
  50         my $doc = $change->{doc} || next;
  51         my $flat;
  52         flatten( \$flat, $doc, '' );
  53         foreach my $field ( keys %$flat ) {
  54                 next if $schema->fetch_type($field);
  55                 $schema->spec_field( name => $field, type => $type );
  56                 warn "# +++ $field\n";
  57         }
  58         $flat->{doc} = $json->encode($doc);
  59         warn "# add_doc ",dump($flat);
  60         _indexer->add_doc($flat);
  61         return 0;
  62 }
  63
  64 sub commit {
  65         return unless $indexer;
  66         $indexer->commit;
  67         undef $indexer;
  68         warn "# commit index done\n";
  69 }
  70
  71 1;