trigger/KinoSearch.pm

   1 use KinoSearch::Index::Indexer;
   2 use KinoSearch::Plan::Schema;
   3 use KinoSearch::Analysis::PolyAnalyzer;
   4 use KinoSearch::Plan::FullTextType;
   5
   6 # Create a Schema which defines index fields.
   7 my $schema = KinoSearch::Plan::Schema->new;
   8 my $polyanalyzer = KinoSearch::Analysis::PolyAnalyzer->new(
   9         language => 'en',
  10 );
  11 my $type = KinoSearch::Plan::FullTextType->new(
  12         analyzer => $polyanalyzer,
  13 );
  14 my $blob_type = KinoSearch::Plan::BlobType->new( stored => 1 );
  15 my $string_type = KinoSearch::Plan::StringType->new;
  16 $schema->spec_field( name => '_id',   type => $string_type );
  17 $schema->spec_field( name => '_rev', type => $string_type );
  18 $schema->spec_field( name => 'doc', type => $blob_type );
  19
  20 # Create the index and add documents.
  21 our $indexer;
  22
  23
  24 sub _indexer {
  25         $indexer ||= KinoSearch::Index::Indexer->new(
  26                 schema => $schema,
  27                 index  => '/tmp/index',
  28                 create => 1,
  29         );
  30 };
  31
  32 use JSON;
  33
  34 sub flatten {
  35         my ($flat,$data,$prefix) = @_;
  36         if ( ref $data eq '' ) {
  37                 $$flat->{$prefix} = $data;
  38         } elsif ( ref $data eq 'HASH' ) {
  39                 foreach my $key ( keys %$data ) {
  40                         my $full_prefix = $prefix ? $prefix . '.' : '';
  41                         $full_prefix .= $key;
  42                         flatten( $flat, $data->{$key}, $full_prefix );
  43                 }
  44         } elsif ( ref $data eq 'ARRAY' ) {
  45                 $$flat->{$prefix} = join("\n", map { ref $_ ? dump($_) : $_ } @$data);
  46                 # FIXME arrays with non-scalar references aren't really indexed well
  47         }
  48 }
  49
  50 sub filter {
  51         my $change = shift;
  52         my $doc = $change->{doc} || next;
  53         my $flat;
  54         flatten( \$flat, $doc, '' );
  55         foreach my $field ( keys %$flat ) {
  56                 next if $schema->fetch_type($field);
  57                 $schema->spec_field( name => $field, type => $type );
  58                 warn "# +++ $field\n";
  59         }
  60         $flat->{doc} = encode_json $doc;
  61         warn "# add_doc ",dump($flat);
  62         _indexer->add_doc($flat);
  63         return 0;
  64 }
  65
  66 sub commit {
  67         $indexer->commit;
  68         undef $indexer;
  69         warn "# commit index done\n";
  70 }
  71
  72 1;