modify ctime only when writing to file, prevents message "file has changed"
[Fuse-DBI] / DBI.pm
diff --git a/DBI.pm b/DBI.pm
index 572af5b..c94a5e3 100755 (executable)
--- a/DBI.pm
+++ b/DBI.pm
@@ -9,8 +9,11 @@ use warnings;
 use POSIX qw(ENOENT EISDIR EINVAL ENOSYS O_RDWR);
 use Fuse;
 use DBI;
+use Carp;
+use Data::Dumper;
 
-our $VERSION = '0.01';
+
+our $VERSION = '0.04';
 
 =head1 NAME
 
@@ -19,17 +22,17 @@ Fuse::DBI - mount your database as filesystem and use it
 =head1 SYNOPSIS
 
   use Fuse::DBI;
-  Fuse::DBI->run( ... );
+  Fuse::DBI->mount( ... );
 
-See L<run> below for examples how to set parametars.
+See C<run> below for examples how to set parameters.
 
 =head1 DESCRIPTION
 
-This module will use L<Fuse> module, part of C<FUSE (Filesystem in USErspace)>
+This module will use C<Fuse> module, part of C<FUSE (Filesystem in USErspace)>
 available at L<http://sourceforge.net/projects/avf> to mount
 your database as file system.
 
-That will give you posibility to use normal file-system tools (cat, grep, vi)
+That will give you possibility to use normal file-system tools (cat, grep, vi)
 to manipulate data in database.
 
 It's actually opposite of Oracle's intention to put everything into database.
@@ -39,50 +42,136 @@ It's actually opposite of Oracle's intention to put everything into database.
 
 =cut
 
-=head2 run
+=head2 mount
 
 Mount your database as filesystem.
 
-  Fuse::DBI->run({
-       filenames => 'select name from filenamefilenames,
-       read => 'sql read',
-       update => 'sql update',
-       dsn => 'DBI:Pg:dbname=webgui',
-       user => 'database_user',
-       password => 'database_password'
+Let's suppose that your database have table C<files> with following structure:
+
+ id:           int
+ filename:     text
+ size:         int
+ content:      text
+ writable:     boolean
+
+Following is example how to mount table like that to C</mnt>:
+
+  my $mnt = Fuse::DBI->mount({
+       'filenames' => 'select id,filename,size,writable from files',
+       'read' => 'select content from files where id = ?',
+       'update' => 'update files set content = ? where id = ?',
+       'dsn' => 'DBI:Pg:dbname=test_db',
+       'user' => 'database_user',
+       'password' => 'database_password',
+       'invalidate' => sub { ... },
   });
 
+Options:
+
+=over 5
+
+=item filenames
+
+SQL query which returns C<id> (unique id for that row), C<filename>,
+C<size> and C<writable> boolean flag.
+
+=item read
+
+SQL query which returns only one column with content of file and has
+placeholder C<?> for C<id>.
+
+=item update
+
+SQL query with two pace-holders, one for new content and one for C<id>.
+
+=item dsn
+
+C<DBI> dsn to connect to (contains database driver and name of database).
+
+=item user
+
+User with which to connect to database
+
+=item password
+
+Password for connecting to database
+
+=item invalidate
+
+Optional anonymous code reference which will be executed when data is updated in
+database. It can be used as hook to delete cache (for example on-disk-cache)
+which is created from data edited through C<Fuse::DBI>.
+
+=item fork
+
+Optional flag which forks after mount so that executing script will continue
+running. Implementation is experimental.
+
+=back
+
 =cut
 
 my $dbh;
 my $sth;
 my $ctime_start;
 
-sub run {
-       my $self = shift
+sub read_filenames;
+sub fuse_module_loaded;
+
+# evil, evil way to solve this. It makes this module non-reentrant. But, since
+# fuse calls another copy of this script for each mount anyway, this shouldn't
+# be a problem.
+my $fuse_self;
 
-       my $arg = {@_};
+sub mount {
+       my $class = shift;
+       my $self = {};
+       bless($self, $class);
 
-       carp "run needs 'dsn' to connect to (e.g. dsn => 'DBI:Pg:dbname=test')" unless ($arg->{'dsn'});
-       carp "run needs 'mount' as mountpoint" unless ($arg->{'mount'});
+       my $arg = shift;
+
+       print Dumper($arg);
+
+       carp "mount needs 'dsn' to connect to (e.g. dsn => 'DBI:Pg:dbname=test')" unless ($arg->{'dsn'});
+       carp "mount needs 'mount' as mountpoint" unless ($arg->{'mount'});
+
+       # save (some) arguments in self
+       foreach (qw(mount invalidate)) {
+               $self->{$_} = $arg->{$_};
+       }
 
        foreach (qw(filenames read update)) {
-               carp "run needs '$_' SQL" unless ($arg->{$_});
+               carp "mount needs '$_' SQL" unless ($arg->{$_});
        }
 
-       $dbh = DBI->connect($arg->{'dsn'},$arg->{'user'},$arg->{'password'}, { AutoCommit => 0 }) || die $DBI::errstr;
+       $ctime_start = time();
 
-       print "start transaction\n";
-       #$dbh->begin_work || die $dbh->errstr;
+       my $pid;
+       if ($arg->{'fork'}) {
+               $pid = fork();
+               die "fork() failed: $!" unless defined $pid;
+               # child will return to caller
+               if ($pid) {
+                       return $self;
+               }
+       }
+
+       $dbh = DBI->connect($arg->{'dsn'},$arg->{'user'},$arg->{'password'}, {AutoCommit => 0, RaiseError => 1}) || die $DBI::errstr;
 
-       $sth->{filenames} = $dbh->prepare($arg->{'filenames'}) || die $dbh->errstr();
+       $sth->{'filenames'} = $dbh->prepare($arg->{'filenames'}) || die $dbh->errstr();
 
        $sth->{'read'} = $dbh->prepare($arg->{'read'}) || die $dbh->errstr();
        $sth->{'update'} = $dbh->prepare($arg->{'update'}) || die $dbh->errstr();
 
-       $ctime_start = time();
 
-       read_filenames;
+       $self->{'sth'} = $sth;
+
+       $self->{'read_filenames'} = sub { $self->read_filenames };
+       $self->read_filenames;
+
+       $self->{'mounted'} = 1;
+
+       $fuse_self = \$self;
 
        Fuse::main(
                mountpoint=>$arg->{'mount'},
@@ -94,14 +183,81 @@ sub run {
                write=>\&e_write,
                utime=>\&e_utime,
                truncate=>\&e_truncate,
+               unlink=>\&e_unlink,
+               rmdir=>\&e_unlink,
                debug=>0,
        );
+       
+       $self->{'mounted'} = 0;
+
+       exit(0) if ($arg->{'fork'});
+
+       return 1;
+
 };
 
+=head2 umount
+
+Unmount your database as filesystem.
+
+  $mnt->umount;
+
+This will also kill background process which is translating
+database to filesystem.
+
+=cut
+
+sub umount {
+       my $self = shift;
+
+       if ($self->{'mounted'}) {
+               system "fusermount -u ".$self->{'mount'} || croak "umount error: $!";
+       }
+
+       return 1;
+}
+
+$SIG{'INT'} = sub {
+       print STDERR "umount called by SIG INT\n";
+       umount;
+};
+
+sub DESTROY {
+       my $self = shift;
+       return if (! $self->{'mounted'});
+       print STDERR "umount called by DESTROY\n";
+       $self->umount;
+}
+
+=head2 fuse_module_loaded
+
+Checks if C<fuse> module is loaded in kernel.
+
+  die "no fuse module loaded in kernel"
+       unless (Fuse::DBI::fuse_module_loaded);
+
+This function in called by C<mount>, but might be useful alone also.
+
+=cut
+
+sub fuse_module_loaded {
+       my $lsmod = `lsmod`;
+       die "can't start lsmod: $!" unless ($lsmod);
+       if ($lsmod =~ m/fuse/s) {
+               return 1;
+       } else {
+               return 0;
+       }
+}
+
 my %files;
 my %dirs;
 
 sub read_filenames {
+       my $self = shift;
+
+       my $sth = $self->{'sth'} || die "no sth argument";
+
        # create empty filesystem
        (%files) = (
                '.' => {
@@ -184,12 +340,11 @@ sub e_getdir {
        # return as many text filenames as you like, followed by the retval.
        print((scalar keys %files)." files total\n");
        my %out;
-       foreach (keys %files) {
-               my $f = $_;
-               $f =~ s/^\E$dirname\Q//;
-               $f =~ s/^\///;
+       foreach my $f (sort keys %files) {
                if ($dirname) {
-                       $out{$f}++ if (/^\E$dirname\Q/ && $f =~ /^[^\/]+$/);
+                       if ($f =~ s/^\E$dirname\Q\///) {
+                               $out{$f}++ if ($f =~ /^[^\/]+$/);
+                       }
                } else {
                        $out{$f}++ if ($f =~ /^[^\/]+$/);
                }
@@ -198,9 +353,23 @@ sub e_getdir {
                $out{'no files? bug?'}++;
        }
        print scalar keys %out," files in dir '$dirname'\n";
+       print "## ",join(" ",keys %out),"\n";
        return (keys %out),0;
 }
 
+sub read_content {
+       my ($file,$id) = @_;
+
+       die "read_content needs file and id" unless ($file && $id);
+
+       $sth->{'read'}->execute($id) || die $sth->{'read'}->errstr;
+       $files{$file}{cont} = $sth->{'read'}->fetchrow_array;
+       # I should modify ctime only if content in database changed
+       #$files{$file}{ctime} = time() unless ($files{$file}{ctime});
+       print "file '$file' content [",length($files{$file}{cont})," bytes] read in cache\n";
+}
+
+
 sub e_open {
        # VFS sanity check; it keeps all the necessary state, not much to do here.
        my $file = filename_fixup(shift);
@@ -209,11 +378,8 @@ sub e_open {
        return -ENOENT() unless exists($files{$file});
        return -EISDIR() unless exists($files{$file}{id});
 
-       if (!exists($files{$file}{cont})) {
-               $sth->{'read'}->execute($files{$file}{id}) || die $sth->{'read'}->errstr;
-               $files{$file}{cont} = $sth->{'read'}->fetchrow_array;
-               print "file '$file' content read in cache\n";
-       }
+       read_content($file,$files{$file}{id}) unless exists($files{$file}{cont});
+
        print "open '$file' ",length($files{$file}{cont})," bytes\n";
        return 0;
 }
@@ -234,7 +400,7 @@ sub e_read {
        return -EINVAL() if ($off > $len);
        return 0 if ($off == $len);
 
-       $buf_len = $buf_len-$off if ($off+$buf_len > $len);
+       $buf_len = $len-$off if ($len - $off < $buf_len);
 
        return substr($files{$file}{cont},$off,$buf_len);
 }
@@ -245,9 +411,10 @@ sub clear_cont {
        print "invalidate all cached content\n";
        foreach my $f (keys %files) {
                delete $files{$f}{cont};
+               delete $files{$f}{ctime};
        }
        print "begin new transaction\n";
-       $dbh->begin_work || die $dbh->errstr;
+       #$dbh->begin_work || die $dbh->errstr;
 }
 
 
@@ -256,7 +423,12 @@ sub update_db {
 
        $files{$file}{ctime} = time();
 
-       if (!$sth->{'update'}->execute($files{$file}{cont},$files{$file}{id})) {
+       my ($cont,$id) = (
+               $files{$file}{cont},
+               $files{$file}{id}
+       );
+
+       if (!$sth->{'update'}->execute($cont,$id)) {
                print "update problem: ",$sth->{'update'}->errstr;
                clear_cont;
                return 0;
@@ -267,29 +439,35 @@ sub update_db {
                        return 0;
                }
                print "updated '$file' [",$files{$file}{id},"]\n";
+
+               $$fuse_self->{'invalidate'}->() if (ref $$fuse_self->{'invalidate'});
        }
        return 1;
 }
 
 sub e_write {
        my $file = filename_fixup(shift);
-       my ($buf_len,$off) = @_;
+       my ($buffer,$off) = @_;
 
        return -ENOENT() unless exists($files{$file});
 
-       my $len = length($files{$file}{cont});
+       my $cont = $files{$file}{cont};
+       my $len = length($cont);
 
-       print "write '$file' [$len bytes] offset $off length\n";
+       print "write '$file' [$len bytes] offset $off length ",length($buffer),"\n";
 
-       $files{$file}{cont} =
-               substr($files{$file}{cont},0,$off) .
-               $buf_len .
-               substr($files{$file}{cont},$off+length($buf_len));
+       $files{$file}{cont} = "";
+
+       $files{$file}{cont} .= substr($cont,0,$off) if ($off > 0);
+       $files{$file}{cont} .= $buffer;
+       $files{$file}{cont} .= substr($cont,$off+length($buffer),$len-$off-length($buffer)) if ($off+length($buffer) < $len);
+
+       $files{$file}{size} = length($files{$file}{cont});
 
        if (! update_db($file)) {
                return -ENOSYS();
        } else {
-               return length($buf_len);
+               return length($buffer);
        }
 }
 
@@ -297,7 +475,10 @@ sub e_truncate {
        my $file = filename_fixup(shift);
        my $size = shift;
 
+       print "truncate to $size\n";
+
        $files{$file}{cont} = substr($files{$file}{cont},0,$size);
+       $files{$file}{size} = $size;
        return 0
 };
 
@@ -316,6 +497,22 @@ sub e_utime {
 
 sub e_statfs { return 255, 1, 1, 1, 1, 2 }
 
+sub e_unlink {
+       my $file = filename_fixup(shift);
+
+       if (exists( $dirs{$file} )) {
+               print "unlink '$file' will re-read template names\n";
+               print Dumper($fuse_self);
+               $$fuse_self->{'read_filenames'}->();
+               return 0;
+       } elsif (exists( $files{$file} )) {
+               print "unlink '$file' will invalidate cache\n";
+               read_content($file,$files{$file}{id});
+               return 0;
+       }
+
+       return -ENOENT();
+}
 1;
 __END__
 
@@ -328,6 +525,10 @@ Nothing.
 C<FUSE (Filesystem in USErspace)> website
 L<http://sourceforge.net/projects/avf>
 
+Example for WebGUI which comes with this distribution in
+directory C<examples/webgui.pl>. It also contains a lot of documentation
+about design of this module, usage and limitations.
+
 =head1 AUTHOR
 
 Dobrica Pavlinusic, E<lt>dpavlin@rot13.orgE<gt>