use zotero_UserID for database name
[ILL-Zotero-RT] / zotero.pl
1 #!/usr/bin/perl
2 use warnings;
3 use strict;
4
5 use LWP::Simple;
6 use XML::Simple;
7 use JSON;
8 use Data::Dump qw(dump);
9 use RT::Client::REST;
10
11 use CouchDB;
12 use Digest::MD5 qw(md5_hex);
13
14 my $UserID = $ENV{UserID} || die "usage: UserID=1234 key=abcd $0";
15 my $key    = $ENV{key}    || die "key required";
16
17 my $FETCH  = $ENV{FETCH}  || 0;
18
19 my $db = CouchDB->new('10.60.0.92', 5984);
20 eval { $db->put("zotero_$UserID") }; # create user database
21
22 my $url = "https://api.zotero.org/users/$UserID/items?format=atom&content=json&order=dateModified&sort=desc";
23
24 my $tree;
25 my $ticket_items;
26 my $items;
27
28 restart:
29
30 $url .= '&key=' . $key;
31
32 my $file = $UserID . '.' . md5_hex($url) . '.atom';
33 $FETCH = 1 if ! -e $file;
34
35 warn "# $url -> $file\n";
36 if ( $FETCH && mirror( $url => $file ) == RC_NOT_MODIFIED ) {
37         warn "not modified";
38 #       exit 0;
39 }
40
41 my $feed = XMLin( $file );
42 #warn "# feed ",dump($feed);
43
44 foreach my $entry ( keys %{ $feed->{entry} } ) {
45         warn "# entry $entry ",dump($entry);
46         my $id = $entry;
47         $id =~ s{.+/items/}{}; # leave just ID
48
49         my $item = $feed->{entry}->{$entry};
50         warn "# entry $entry ",dump($item);
51
52         foreach my $i ( 0 .. $#{ $item->{link} } ) {
53                 my $link = $item->{link}->[$i];
54                 warn "# link $id $i:",dump($link);
55
56                 my $key = $link->{href};
57                 $key =~ s{.+/items/}{};
58                 $key =~ s{\?.+}{};
59                 $item->{link}->[$i]->{key} = $key;
60
61                 if ( $link->{rel} eq 'up' ) {
62                         push @{ $tree->{$key} }, $id;
63                 }
64         }
65
66         $item->{zapi}->{etag} = $item->{content}->{'zapi:etag'};
67         $item->{zapi}->{type} = $item->{content}->{'zapi:type'};
68
69         if ( $item->{content}->{'zapi:type'} eq 'json' ) {
70                 my $json = $item->{content}->{content};
71                 warn "# $json\n";
72                 $json = $item->{content} = decode_json $json;
73                 warn "# json $id ", dump $json;
74
75                 foreach my $tag ( @{ $json->{tags} } ) {
76                         $tag = $tag->{tag};
77                         warn "# tag $id $tag\n";
78                         next unless $tag =~ m/#(\d+)/;
79                         push @{ $ticket_items->{$1} }, $id;
80                 }
81         }
82
83         foreach my $zapi ( grep { m/^zapi:/ } keys %$item ) {
84                 my $name = $zapi;
85                 $name =~ s/^zapi://;
86                 $item->{zapi}->{$name} = delete $item->{$zapi};
87         }
88
89         $items->{$id} = $item;
90
91         my $json_md5 = md5_hex encode_json $item;
92         $item->{json_md5} = $json_md5;
93
94         if ( my $old_item = eval { $db->get( "zotero_$UserID/$id" ) } ) {
95                 warn "# old_item ",dump($old_item);
96
97                 if ( $old_item->{zapi}->{etag} ne $item->{zapi}->{etag} || $json_md5 ne $old_item->{json_md5} ) {
98                         $item->{_rev} = $old_item->{_rev};
99                         $db->put( "zotero_$UserID/$id" => $item );
100                 } else {
101                         warn "# unchanged";
102                 }
103         } else {
104                 $db->put( "zotero_$UserID/$id" => $item );
105         }
106 }
107
108 delete $feed->{entry};
109 warn "# feed without entry ",dump( $feed );
110
111 if ( my @next = map { $_->{href} } grep { $_->{rel} eq 'next' && $_->{type} eq 'application/atom+xml' } @{ $feed->{link} } ) {
112         warn "## next ",dump(@next);
113         $url = $next[0];
114         goto restart;
115 }
116
117 warn "# tree ",dump( $tree );
118
119 warn "# ticket_items ",dump( $ticket_items );
120
121
122 my $rt = RT::Client::REST->new(
123         server => 'http://rt.rot13.org/rt',
124         timeout => 30,
125 );
126
127 $rt->login(username => $ENV{RT_USER}, password => $ENV{RT_PASSWORD});
128
129 foreach my $nr ( keys %$ticket_items ) {
130
131         my $ticket = $rt->show(type => 'ticket', id => $nr);
132         warn "# ticket $nr ",dump($ticket);
133
134         if ( $ticket->{Queue} !~ m/ILL/i ) {
135                 warn "SKIP $ticket not in ILL queue!";
136                 next;
137         }
138
139         foreach my $id ( @{ $ticket_items->{$nr} } ) {
140                 warn "# item $id ",dump( $items->{$id} );
141
142 #               $rt->comment( ticket_id => $nr, message => dump( $items->{$id} ) );
143
144                 last; # FIXME just first
145
146         }
147
148 }