NFS: Use cached page as buffer for NFS symlink requests
[powerpc.git] / fs / nfs / dir.c
1 /*
2  *  linux/fs/nfs/dir.c
3  *
4  *  Copyright (C) 1992  Rick Sladkey
5  *
6  *  nfs directory handling functions
7  *
8  * 10 Apr 1996  Added silly rename for unlink   --okir
9  * 28 Sep 1996  Improved directory cache --okir
10  * 23 Aug 1997  Claus Heine claus@momo.math.rwth-aachen.de 
11  *              Re-implemented silly rename for unlink, newly implemented
12  *              silly rename for nfs_rename() following the suggestions
13  *              of Olaf Kirch (okir) found in this file.
14  *              Following Linus comments on my original hack, this version
15  *              depends only on the dcache stuff and doesn't touch the inode
16  *              layer (iput() and friends).
17  *  6 Jun 1999  Cache readdir lookups in the page cache. -DaveM
18  */
19
20 #include <linux/time.h>
21 #include <linux/errno.h>
22 #include <linux/stat.h>
23 #include <linux/fcntl.h>
24 #include <linux/string.h>
25 #include <linux/kernel.h>
26 #include <linux/slab.h>
27 #include <linux/mm.h>
28 #include <linux/sunrpc/clnt.h>
29 #include <linux/nfs_fs.h>
30 #include <linux/nfs_mount.h>
31 #include <linux/pagemap.h>
32 #include <linux/smp_lock.h>
33 #include <linux/pagevec.h>
34 #include <linux/namei.h>
35 #include <linux/mount.h>
36
37 #include "nfs4_fs.h"
38 #include "delegation.h"
39 #include "iostat.h"
40
41 #define NFS_PARANOIA 1
42 /* #define NFS_DEBUG_VERBOSE 1 */
43
44 static int nfs_opendir(struct inode *, struct file *);
45 static int nfs_readdir(struct file *, void *, filldir_t);
46 static struct dentry *nfs_lookup(struct inode *, struct dentry *, struct nameidata *);
47 static int nfs_create(struct inode *, struct dentry *, int, struct nameidata *);
48 static int nfs_mkdir(struct inode *, struct dentry *, int);
49 static int nfs_rmdir(struct inode *, struct dentry *);
50 static int nfs_unlink(struct inode *, struct dentry *);
51 static int nfs_symlink(struct inode *, struct dentry *, const char *);
52 static int nfs_link(struct dentry *, struct inode *, struct dentry *);
53 static int nfs_mknod(struct inode *, struct dentry *, int, dev_t);
54 static int nfs_rename(struct inode *, struct dentry *,
55                       struct inode *, struct dentry *);
56 static int nfs_fsync_dir(struct file *, struct dentry *, int);
57 static loff_t nfs_llseek_dir(struct file *, loff_t, int);
58
59 const struct file_operations nfs_dir_operations = {
60         .llseek         = nfs_llseek_dir,
61         .read           = generic_read_dir,
62         .readdir        = nfs_readdir,
63         .open           = nfs_opendir,
64         .release        = nfs_release,
65         .fsync          = nfs_fsync_dir,
66 };
67
68 struct inode_operations nfs_dir_inode_operations = {
69         .create         = nfs_create,
70         .lookup         = nfs_lookup,
71         .link           = nfs_link,
72         .unlink         = nfs_unlink,
73         .symlink        = nfs_symlink,
74         .mkdir          = nfs_mkdir,
75         .rmdir          = nfs_rmdir,
76         .mknod          = nfs_mknod,
77         .rename         = nfs_rename,
78         .permission     = nfs_permission,
79         .getattr        = nfs_getattr,
80         .setattr        = nfs_setattr,
81 };
82
83 #ifdef CONFIG_NFS_V3
84 struct inode_operations nfs3_dir_inode_operations = {
85         .create         = nfs_create,
86         .lookup         = nfs_lookup,
87         .link           = nfs_link,
88         .unlink         = nfs_unlink,
89         .symlink        = nfs_symlink,
90         .mkdir          = nfs_mkdir,
91         .rmdir          = nfs_rmdir,
92         .mknod          = nfs_mknod,
93         .rename         = nfs_rename,
94         .permission     = nfs_permission,
95         .getattr        = nfs_getattr,
96         .setattr        = nfs_setattr,
97         .listxattr      = nfs3_listxattr,
98         .getxattr       = nfs3_getxattr,
99         .setxattr       = nfs3_setxattr,
100         .removexattr    = nfs3_removexattr,
101 };
102 #endif  /* CONFIG_NFS_V3 */
103
104 #ifdef CONFIG_NFS_V4
105
106 static struct dentry *nfs_atomic_lookup(struct inode *, struct dentry *, struct nameidata *);
107 struct inode_operations nfs4_dir_inode_operations = {
108         .create         = nfs_create,
109         .lookup         = nfs_atomic_lookup,
110         .link           = nfs_link,
111         .unlink         = nfs_unlink,
112         .symlink        = nfs_symlink,
113         .mkdir          = nfs_mkdir,
114         .rmdir          = nfs_rmdir,
115         .mknod          = nfs_mknod,
116         .rename         = nfs_rename,
117         .permission     = nfs_permission,
118         .getattr        = nfs_getattr,
119         .setattr        = nfs_setattr,
120         .getxattr       = nfs4_getxattr,
121         .setxattr       = nfs4_setxattr,
122         .listxattr      = nfs4_listxattr,
123 };
124
125 #endif /* CONFIG_NFS_V4 */
126
127 /*
128  * Open file
129  */
130 static int
131 nfs_opendir(struct inode *inode, struct file *filp)
132 {
133         int res;
134
135         dfprintk(VFS, "NFS: opendir(%s/%ld)\n",
136                         inode->i_sb->s_id, inode->i_ino);
137
138         lock_kernel();
139         /* Call generic open code in order to cache credentials */
140         res = nfs_open(inode, filp);
141         unlock_kernel();
142         return res;
143 }
144
145 typedef u32 * (*decode_dirent_t)(u32 *, struct nfs_entry *, int);
146 typedef struct {
147         struct file     *file;
148         struct page     *page;
149         unsigned long   page_index;
150         u32             *ptr;
151         u64             *dir_cookie;
152         loff_t          current_index;
153         struct nfs_entry *entry;
154         decode_dirent_t decode;
155         int             plus;
156         int             error;
157 } nfs_readdir_descriptor_t;
158
159 /* Now we cache directories properly, by stuffing the dirent
160  * data directly in the page cache.
161  *
162  * Inode invalidation due to refresh etc. takes care of
163  * _everything_, no sloppy entry flushing logic, no extraneous
164  * copying, network direct to page cache, the way it was meant
165  * to be.
166  *
167  * NOTE: Dirent information verification is done always by the
168  *       page-in of the RPC reply, nowhere else, this simplies
169  *       things substantially.
170  */
171 static
172 int nfs_readdir_filler(nfs_readdir_descriptor_t *desc, struct page *page)
173 {
174         struct file     *file = desc->file;
175         struct inode    *inode = file->f_dentry->d_inode;
176         struct rpc_cred *cred = nfs_file_cred(file);
177         unsigned long   timestamp;
178         int             error;
179
180         dfprintk(DIRCACHE, "NFS: %s: reading cookie %Lu into page %lu\n",
181                         __FUNCTION__, (long long)desc->entry->cookie,
182                         page->index);
183
184  again:
185         timestamp = jiffies;
186         error = NFS_PROTO(inode)->readdir(file->f_dentry, cred, desc->entry->cookie, page,
187                                           NFS_SERVER(inode)->dtsize, desc->plus);
188         if (error < 0) {
189                 /* We requested READDIRPLUS, but the server doesn't grok it */
190                 if (error == -ENOTSUPP && desc->plus) {
191                         NFS_SERVER(inode)->caps &= ~NFS_CAP_READDIRPLUS;
192                         clear_bit(NFS_INO_ADVISE_RDPLUS, &NFS_FLAGS(inode));
193                         desc->plus = 0;
194                         goto again;
195                 }
196                 goto error;
197         }
198         SetPageUptodate(page);
199         spin_lock(&inode->i_lock);
200         NFS_I(inode)->cache_validity |= NFS_INO_INVALID_ATIME;
201         spin_unlock(&inode->i_lock);
202         /* Ensure consistent page alignment of the data.
203          * Note: assumes we have exclusive access to this mapping either
204          *       through inode->i_mutex or some other mechanism.
205          */
206         if (page->index == 0)
207                 invalidate_inode_pages2_range(inode->i_mapping, PAGE_CACHE_SIZE, -1);
208         unlock_page(page);
209         return 0;
210  error:
211         SetPageError(page);
212         unlock_page(page);
213         nfs_zap_caches(inode);
214         desc->error = error;
215         return -EIO;
216 }
217
218 static inline
219 int dir_decode(nfs_readdir_descriptor_t *desc)
220 {
221         u32     *p = desc->ptr;
222         p = desc->decode(p, desc->entry, desc->plus);
223         if (IS_ERR(p))
224                 return PTR_ERR(p);
225         desc->ptr = p;
226         return 0;
227 }
228
229 static inline
230 void dir_page_release(nfs_readdir_descriptor_t *desc)
231 {
232         kunmap(desc->page);
233         page_cache_release(desc->page);
234         desc->page = NULL;
235         desc->ptr = NULL;
236 }
237
238 /*
239  * Given a pointer to a buffer that has already been filled by a call
240  * to readdir, find the next entry with cookie '*desc->dir_cookie'.
241  *
242  * If the end of the buffer has been reached, return -EAGAIN, if not,
243  * return the offset within the buffer of the next entry to be
244  * read.
245  */
246 static inline
247 int find_dirent(nfs_readdir_descriptor_t *desc)
248 {
249         struct nfs_entry *entry = desc->entry;
250         int             loop_count = 0,
251                         status;
252
253         while((status = dir_decode(desc)) == 0) {
254                 dfprintk(DIRCACHE, "NFS: %s: examining cookie %Lu\n",
255                                 __FUNCTION__, (unsigned long long)entry->cookie);
256                 if (entry->prev_cookie == *desc->dir_cookie)
257                         break;
258                 if (loop_count++ > 200) {
259                         loop_count = 0;
260                         schedule();
261                 }
262         }
263         return status;
264 }
265
266 /*
267  * Given a pointer to a buffer that has already been filled by a call
268  * to readdir, find the entry at offset 'desc->file->f_pos'.
269  *
270  * If the end of the buffer has been reached, return -EAGAIN, if not,
271  * return the offset within the buffer of the next entry to be
272  * read.
273  */
274 static inline
275 int find_dirent_index(nfs_readdir_descriptor_t *desc)
276 {
277         struct nfs_entry *entry = desc->entry;
278         int             loop_count = 0,
279                         status;
280
281         for(;;) {
282                 status = dir_decode(desc);
283                 if (status)
284                         break;
285
286                 dfprintk(DIRCACHE, "NFS: found cookie %Lu at index %Ld\n",
287                                 (unsigned long long)entry->cookie, desc->current_index);
288
289                 if (desc->file->f_pos == desc->current_index) {
290                         *desc->dir_cookie = entry->cookie;
291                         break;
292                 }
293                 desc->current_index++;
294                 if (loop_count++ > 200) {
295                         loop_count = 0;
296                         schedule();
297                 }
298         }
299         return status;
300 }
301
302 /*
303  * Find the given page, and call find_dirent() or find_dirent_index in
304  * order to try to return the next entry.
305  */
306 static inline
307 int find_dirent_page(nfs_readdir_descriptor_t *desc)
308 {
309         struct inode    *inode = desc->file->f_dentry->d_inode;
310         struct page     *page;
311         int             status;
312
313         dfprintk(DIRCACHE, "NFS: %s: searching page %ld for target %Lu\n",
314                         __FUNCTION__, desc->page_index,
315                         (long long) *desc->dir_cookie);
316
317         page = read_cache_page(inode->i_mapping, desc->page_index,
318                                (filler_t *)nfs_readdir_filler, desc);
319         if (IS_ERR(page)) {
320                 status = PTR_ERR(page);
321                 goto out;
322         }
323         if (!PageUptodate(page))
324                 goto read_error;
325
326         /* NOTE: Someone else may have changed the READDIRPLUS flag */
327         desc->page = page;
328         desc->ptr = kmap(page);         /* matching kunmap in nfs_do_filldir */
329         if (*desc->dir_cookie != 0)
330                 status = find_dirent(desc);
331         else
332                 status = find_dirent_index(desc);
333         if (status < 0)
334                 dir_page_release(desc);
335  out:
336         dfprintk(DIRCACHE, "NFS: %s: returns %d\n", __FUNCTION__, status);
337         return status;
338  read_error:
339         page_cache_release(page);
340         return -EIO;
341 }
342
343 /*
344  * Recurse through the page cache pages, and return a
345  * filled nfs_entry structure of the next directory entry if possible.
346  *
347  * The target for the search is '*desc->dir_cookie' if non-0,
348  * 'desc->file->f_pos' otherwise
349  */
350 static inline
351 int readdir_search_pagecache(nfs_readdir_descriptor_t *desc)
352 {
353         int             loop_count = 0;
354         int             res;
355
356         /* Always search-by-index from the beginning of the cache */
357         if (*desc->dir_cookie == 0) {
358                 dfprintk(DIRCACHE, "NFS: readdir_search_pagecache() searching for offset %Ld\n",
359                                 (long long)desc->file->f_pos);
360                 desc->page_index = 0;
361                 desc->entry->cookie = desc->entry->prev_cookie = 0;
362                 desc->entry->eof = 0;
363                 desc->current_index = 0;
364         } else
365                 dfprintk(DIRCACHE, "NFS: readdir_search_pagecache() searching for cookie %Lu\n",
366                                 (unsigned long long)*desc->dir_cookie);
367
368         for (;;) {
369                 res = find_dirent_page(desc);
370                 if (res != -EAGAIN)
371                         break;
372                 /* Align to beginning of next page */
373                 desc->page_index ++;
374                 if (loop_count++ > 200) {
375                         loop_count = 0;
376                         schedule();
377                 }
378         }
379
380         dfprintk(DIRCACHE, "NFS: %s: returns %d\n", __FUNCTION__, res);
381         return res;
382 }
383
384 static inline unsigned int dt_type(struct inode *inode)
385 {
386         return (inode->i_mode >> 12) & 15;
387 }
388
389 static struct dentry *nfs_readdir_lookup(nfs_readdir_descriptor_t *desc);
390
391 /*
392  * Once we've found the start of the dirent within a page: fill 'er up...
393  */
394 static 
395 int nfs_do_filldir(nfs_readdir_descriptor_t *desc, void *dirent,
396                    filldir_t filldir)
397 {
398         struct file     *file = desc->file;
399         struct nfs_entry *entry = desc->entry;
400         struct dentry   *dentry = NULL;
401         unsigned long   fileid;
402         int             loop_count = 0,
403                         res;
404
405         dfprintk(DIRCACHE, "NFS: nfs_do_filldir() filling starting @ cookie %Lu\n",
406                         (unsigned long long)entry->cookie);
407
408         for(;;) {
409                 unsigned d_type = DT_UNKNOWN;
410                 /* Note: entry->prev_cookie contains the cookie for
411                  *       retrieving the current dirent on the server */
412                 fileid = nfs_fileid_to_ino_t(entry->ino);
413
414                 /* Get a dentry if we have one */
415                 if (dentry != NULL)
416                         dput(dentry);
417                 dentry = nfs_readdir_lookup(desc);
418
419                 /* Use readdirplus info */
420                 if (dentry != NULL && dentry->d_inode != NULL) {
421                         d_type = dt_type(dentry->d_inode);
422                         fileid = dentry->d_inode->i_ino;
423                 }
424
425                 res = filldir(dirent, entry->name, entry->len, 
426                               file->f_pos, fileid, d_type);
427                 if (res < 0)
428                         break;
429                 file->f_pos++;
430                 *desc->dir_cookie = entry->cookie;
431                 if (dir_decode(desc) != 0) {
432                         desc->page_index ++;
433                         break;
434                 }
435                 if (loop_count++ > 200) {
436                         loop_count = 0;
437                         schedule();
438                 }
439         }
440         dir_page_release(desc);
441         if (dentry != NULL)
442                 dput(dentry);
443         dfprintk(DIRCACHE, "NFS: nfs_do_filldir() filling ended @ cookie %Lu; returning = %d\n",
444                         (unsigned long long)*desc->dir_cookie, res);
445         return res;
446 }
447
448 /*
449  * If we cannot find a cookie in our cache, we suspect that this is
450  * because it points to a deleted file, so we ask the server to return
451  * whatever it thinks is the next entry. We then feed this to filldir.
452  * If all goes well, we should then be able to find our way round the
453  * cache on the next call to readdir_search_pagecache();
454  *
455  * NOTE: we cannot add the anonymous page to the pagecache because
456  *       the data it contains might not be page aligned. Besides,
457  *       we should already have a complete representation of the
458  *       directory in the page cache by the time we get here.
459  */
460 static inline
461 int uncached_readdir(nfs_readdir_descriptor_t *desc, void *dirent,
462                      filldir_t filldir)
463 {
464         struct file     *file = desc->file;
465         struct inode    *inode = file->f_dentry->d_inode;
466         struct rpc_cred *cred = nfs_file_cred(file);
467         struct page     *page = NULL;
468         int             status;
469
470         dfprintk(DIRCACHE, "NFS: uncached_readdir() searching for cookie %Lu\n",
471                         (unsigned long long)*desc->dir_cookie);
472
473         page = alloc_page(GFP_HIGHUSER);
474         if (!page) {
475                 status = -ENOMEM;
476                 goto out;
477         }
478         desc->error = NFS_PROTO(inode)->readdir(file->f_dentry, cred, *desc->dir_cookie,
479                                                 page,
480                                                 NFS_SERVER(inode)->dtsize,
481                                                 desc->plus);
482         spin_lock(&inode->i_lock);
483         NFS_I(inode)->cache_validity |= NFS_INO_INVALID_ATIME;
484         spin_unlock(&inode->i_lock);
485         desc->page = page;
486         desc->ptr = kmap(page);         /* matching kunmap in nfs_do_filldir */
487         if (desc->error >= 0) {
488                 if ((status = dir_decode(desc)) == 0)
489                         desc->entry->prev_cookie = *desc->dir_cookie;
490         } else
491                 status = -EIO;
492         if (status < 0)
493                 goto out_release;
494
495         status = nfs_do_filldir(desc, dirent, filldir);
496
497         /* Reset read descriptor so it searches the page cache from
498          * the start upon the next call to readdir_search_pagecache() */
499         desc->page_index = 0;
500         desc->entry->cookie = desc->entry->prev_cookie = 0;
501         desc->entry->eof = 0;
502  out:
503         dfprintk(DIRCACHE, "NFS: %s: returns %d\n",
504                         __FUNCTION__, status);
505         return status;
506  out_release:
507         dir_page_release(desc);
508         goto out;
509 }
510
511 /* The file offset position represents the dirent entry number.  A
512    last cookie cache takes care of the common case of reading the
513    whole directory.
514  */
515 static int nfs_readdir(struct file *filp, void *dirent, filldir_t filldir)
516 {
517         struct dentry   *dentry = filp->f_dentry;
518         struct inode    *inode = dentry->d_inode;
519         nfs_readdir_descriptor_t my_desc,
520                         *desc = &my_desc;
521         struct nfs_entry my_entry;
522         struct nfs_fh    fh;
523         struct nfs_fattr fattr;
524         long            res;
525
526         dfprintk(VFS, "NFS: readdir(%s/%s) starting at cookie %Lu\n",
527                         dentry->d_parent->d_name.name, dentry->d_name.name,
528                         (long long)filp->f_pos);
529         nfs_inc_stats(inode, NFSIOS_VFSGETDENTS);
530
531         lock_kernel();
532
533         res = nfs_revalidate_mapping(inode, filp->f_mapping);
534         if (res < 0) {
535                 unlock_kernel();
536                 return res;
537         }
538
539         /*
540          * filp->f_pos points to the dirent entry number.
541          * *desc->dir_cookie has the cookie for the next entry. We have
542          * to either find the entry with the appropriate number or
543          * revalidate the cookie.
544          */
545         memset(desc, 0, sizeof(*desc));
546
547         desc->file = filp;
548         desc->dir_cookie = &((struct nfs_open_context *)filp->private_data)->dir_cookie;
549         desc->decode = NFS_PROTO(inode)->decode_dirent;
550         desc->plus = NFS_USE_READDIRPLUS(inode);
551
552         my_entry.cookie = my_entry.prev_cookie = 0;
553         my_entry.eof = 0;
554         my_entry.fh = &fh;
555         my_entry.fattr = &fattr;
556         nfs_fattr_init(&fattr);
557         desc->entry = &my_entry;
558
559         while(!desc->entry->eof) {
560                 res = readdir_search_pagecache(desc);
561
562                 if (res == -EBADCOOKIE) {
563                         /* This means either end of directory */
564                         if (*desc->dir_cookie && desc->entry->cookie != *desc->dir_cookie) {
565                                 /* Or that the server has 'lost' a cookie */
566                                 res = uncached_readdir(desc, dirent, filldir);
567                                 if (res >= 0)
568                                         continue;
569                         }
570                         res = 0;
571                         break;
572                 }
573                 if (res == -ETOOSMALL && desc->plus) {
574                         clear_bit(NFS_INO_ADVISE_RDPLUS, &NFS_FLAGS(inode));
575                         nfs_zap_caches(inode);
576                         desc->plus = 0;
577                         desc->entry->eof = 0;
578                         continue;
579                 }
580                 if (res < 0)
581                         break;
582
583                 res = nfs_do_filldir(desc, dirent, filldir);
584                 if (res < 0) {
585                         res = 0;
586                         break;
587                 }
588         }
589         unlock_kernel();
590         if (res > 0)
591                 res = 0;
592         dfprintk(VFS, "NFS: readdir(%s/%s) returns %ld\n",
593                         dentry->d_parent->d_name.name, dentry->d_name.name,
594                         res);
595         return res;
596 }
597
598 loff_t nfs_llseek_dir(struct file *filp, loff_t offset, int origin)
599 {
600         mutex_lock(&filp->f_dentry->d_inode->i_mutex);
601         switch (origin) {
602                 case 1:
603                         offset += filp->f_pos;
604                 case 0:
605                         if (offset >= 0)
606                                 break;
607                 default:
608                         offset = -EINVAL;
609                         goto out;
610         }
611         if (offset != filp->f_pos) {
612                 filp->f_pos = offset;
613                 ((struct nfs_open_context *)filp->private_data)->dir_cookie = 0;
614         }
615 out:
616         mutex_unlock(&filp->f_dentry->d_inode->i_mutex);
617         return offset;
618 }
619
620 /*
621  * All directory operations under NFS are synchronous, so fsync()
622  * is a dummy operation.
623  */
624 int nfs_fsync_dir(struct file *filp, struct dentry *dentry, int datasync)
625 {
626         dfprintk(VFS, "NFS: fsync_dir(%s/%s) datasync %d\n",
627                         dentry->d_parent->d_name.name, dentry->d_name.name,
628                         datasync);
629
630         return 0;
631 }
632
633 /*
634  * A check for whether or not the parent directory has changed.
635  * In the case it has, we assume that the dentries are untrustworthy
636  * and may need to be looked up again.
637  */
638 static inline int nfs_check_verifier(struct inode *dir, struct dentry *dentry)
639 {
640         if (IS_ROOT(dentry))
641                 return 1;
642         if ((NFS_I(dir)->cache_validity & NFS_INO_INVALID_ATTR) != 0
643                         || nfs_attribute_timeout(dir))
644                 return 0;
645         return nfs_verify_change_attribute(dir, (unsigned long)dentry->d_fsdata);
646 }
647
648 static inline void nfs_set_verifier(struct dentry * dentry, unsigned long verf)
649 {
650         dentry->d_fsdata = (void *)verf;
651 }
652
653 /*
654  * Whenever an NFS operation succeeds, we know that the dentry
655  * is valid, so we update the revalidation timestamp.
656  */
657 static inline void nfs_renew_times(struct dentry * dentry)
658 {
659         dentry->d_time = jiffies;
660 }
661
662 /*
663  * Return the intent data that applies to this particular path component
664  *
665  * Note that the current set of intents only apply to the very last
666  * component of the path.
667  * We check for this using LOOKUP_CONTINUE and LOOKUP_PARENT.
668  */
669 static inline unsigned int nfs_lookup_check_intent(struct nameidata *nd, unsigned int mask)
670 {
671         if (nd->flags & (LOOKUP_CONTINUE|LOOKUP_PARENT))
672                 return 0;
673         return nd->flags & mask;
674 }
675
676 /*
677  * Inode and filehandle revalidation for lookups.
678  *
679  * We force revalidation in the cases where the VFS sets LOOKUP_REVAL,
680  * or if the intent information indicates that we're about to open this
681  * particular file and the "nocto" mount flag is not set.
682  *
683  */
684 static inline
685 int nfs_lookup_verify_inode(struct inode *inode, struct nameidata *nd)
686 {
687         struct nfs_server *server = NFS_SERVER(inode);
688
689         if (nd != NULL) {
690                 /* VFS wants an on-the-wire revalidation */
691                 if (nd->flags & LOOKUP_REVAL)
692                         goto out_force;
693                 /* This is an open(2) */
694                 if (nfs_lookup_check_intent(nd, LOOKUP_OPEN) != 0 &&
695                                 !(server->flags & NFS_MOUNT_NOCTO) &&
696                                 (S_ISREG(inode->i_mode) ||
697                                  S_ISDIR(inode->i_mode)))
698                         goto out_force;
699         }
700         return nfs_revalidate_inode(server, inode);
701 out_force:
702         return __nfs_revalidate_inode(server, inode);
703 }
704
705 /*
706  * We judge how long we want to trust negative
707  * dentries by looking at the parent inode mtime.
708  *
709  * If parent mtime has changed, we revalidate, else we wait for a
710  * period corresponding to the parent's attribute cache timeout value.
711  */
712 static inline
713 int nfs_neg_need_reval(struct inode *dir, struct dentry *dentry,
714                        struct nameidata *nd)
715 {
716         /* Don't revalidate a negative dentry if we're creating a new file */
717         if (nd != NULL && nfs_lookup_check_intent(nd, LOOKUP_CREATE) != 0)
718                 return 0;
719         return !nfs_check_verifier(dir, dentry);
720 }
721
722 /*
723  * This is called every time the dcache has a lookup hit,
724  * and we should check whether we can really trust that
725  * lookup.
726  *
727  * NOTE! The hit can be a negative hit too, don't assume
728  * we have an inode!
729  *
730  * If the parent directory is seen to have changed, we throw out the
731  * cached dentry and do a new lookup.
732  */
733 static int nfs_lookup_revalidate(struct dentry * dentry, struct nameidata *nd)
734 {
735         struct inode *dir;
736         struct inode *inode;
737         struct dentry *parent;
738         int error;
739         struct nfs_fh fhandle;
740         struct nfs_fattr fattr;
741         unsigned long verifier;
742
743         parent = dget_parent(dentry);
744         lock_kernel();
745         dir = parent->d_inode;
746         nfs_inc_stats(dir, NFSIOS_DENTRYREVALIDATE);
747         inode = dentry->d_inode;
748
749         if (!inode) {
750                 if (nfs_neg_need_reval(dir, dentry, nd))
751                         goto out_bad;
752                 goto out_valid;
753         }
754
755         if (is_bad_inode(inode)) {
756                 dfprintk(LOOKUPCACHE, "%s: %s/%s has dud inode\n",
757                                 __FUNCTION__, dentry->d_parent->d_name.name,
758                                 dentry->d_name.name);
759                 goto out_bad;
760         }
761
762         /* Revalidate parent directory attribute cache */
763         if (nfs_revalidate_inode(NFS_SERVER(dir), dir) < 0)
764                 goto out_zap_parent;
765
766         /* Force a full look up iff the parent directory has changed */
767         if (nfs_check_verifier(dir, dentry)) {
768                 if (nfs_lookup_verify_inode(inode, nd))
769                         goto out_zap_parent;
770                 goto out_valid;
771         }
772
773         if (NFS_STALE(inode))
774                 goto out_bad;
775
776         verifier = nfs_save_change_attribute(dir);
777         error = NFS_PROTO(dir)->lookup(dir, &dentry->d_name, &fhandle, &fattr);
778         if (error)
779                 goto out_bad;
780         if (nfs_compare_fh(NFS_FH(inode), &fhandle))
781                 goto out_bad;
782         if ((error = nfs_refresh_inode(inode, &fattr)) != 0)
783                 goto out_bad;
784
785         nfs_renew_times(dentry);
786         nfs_set_verifier(dentry, verifier);
787  out_valid:
788         unlock_kernel();
789         dput(parent);
790         dfprintk(LOOKUPCACHE, "NFS: %s(%s/%s) is valid\n",
791                         __FUNCTION__, dentry->d_parent->d_name.name,
792                         dentry->d_name.name);
793         return 1;
794 out_zap_parent:
795         nfs_zap_caches(dir);
796  out_bad:
797         NFS_CACHEINV(dir);
798         if (inode && S_ISDIR(inode->i_mode)) {
799                 /* Purge readdir caches. */
800                 nfs_zap_caches(inode);
801                 /* If we have submounts, don't unhash ! */
802                 if (have_submounts(dentry))
803                         goto out_valid;
804                 shrink_dcache_parent(dentry);
805         }
806         d_drop(dentry);
807         unlock_kernel();
808         dput(parent);
809         dfprintk(LOOKUPCACHE, "NFS: %s(%s/%s) is invalid\n",
810                         __FUNCTION__, dentry->d_parent->d_name.name,
811                         dentry->d_name.name);
812         return 0;
813 }
814
815 /*
816  * This is called from dput() when d_count is going to 0.
817  */
818 static int nfs_dentry_delete(struct dentry *dentry)
819 {
820         dfprintk(VFS, "NFS: dentry_delete(%s/%s, %x)\n",
821                 dentry->d_parent->d_name.name, dentry->d_name.name,
822                 dentry->d_flags);
823
824         if (dentry->d_flags & DCACHE_NFSFS_RENAMED) {
825                 /* Unhash it, so that ->d_iput() would be called */
826                 return 1;
827         }
828         if (!(dentry->d_sb->s_flags & MS_ACTIVE)) {
829                 /* Unhash it, so that ancestors of killed async unlink
830                  * files will be cleaned up during umount */
831                 return 1;
832         }
833         return 0;
834
835 }
836
837 /*
838  * Called when the dentry loses inode.
839  * We use it to clean up silly-renamed files.
840  */
841 static void nfs_dentry_iput(struct dentry *dentry, struct inode *inode)
842 {
843         nfs_inode_return_delegation(inode);
844         if (dentry->d_flags & DCACHE_NFSFS_RENAMED) {
845                 lock_kernel();
846                 inode->i_nlink--;
847                 nfs_complete_unlink(dentry);
848                 unlock_kernel();
849         }
850         /* When creating a negative dentry, we want to renew d_time */
851         nfs_renew_times(dentry);
852         iput(inode);
853 }
854
855 struct dentry_operations nfs_dentry_operations = {
856         .d_revalidate   = nfs_lookup_revalidate,
857         .d_delete       = nfs_dentry_delete,
858         .d_iput         = nfs_dentry_iput,
859 };
860
861 /*
862  * Use intent information to check whether or not we're going to do
863  * an O_EXCL create using this path component.
864  */
865 static inline
866 int nfs_is_exclusive_create(struct inode *dir, struct nameidata *nd)
867 {
868         if (NFS_PROTO(dir)->version == 2)
869                 return 0;
870         if (nd == NULL || nfs_lookup_check_intent(nd, LOOKUP_CREATE) == 0)
871                 return 0;
872         return (nd->intent.open.flags & O_EXCL) != 0;
873 }
874
875 static inline int nfs_reval_fsid(struct vfsmount *mnt, struct inode *dir,
876                                  struct nfs_fh *fh, struct nfs_fattr *fattr)
877 {
878         struct nfs_server *server = NFS_SERVER(dir);
879
880         if (!nfs_fsid_equal(&server->fsid, &fattr->fsid))
881                 /* Revalidate fsid on root dir */
882                 return __nfs_revalidate_inode(server, mnt->mnt_root->d_inode);
883         return 0;
884 }
885
886 static struct dentry *nfs_lookup(struct inode *dir, struct dentry * dentry, struct nameidata *nd)
887 {
888         struct dentry *res;
889         struct inode *inode = NULL;
890         int error;
891         struct nfs_fh fhandle;
892         struct nfs_fattr fattr;
893
894         dfprintk(VFS, "NFS: lookup(%s/%s)\n",
895                 dentry->d_parent->d_name.name, dentry->d_name.name);
896         nfs_inc_stats(dir, NFSIOS_VFSLOOKUP);
897
898         res = ERR_PTR(-ENAMETOOLONG);
899         if (dentry->d_name.len > NFS_SERVER(dir)->namelen)
900                 goto out;
901
902         res = ERR_PTR(-ENOMEM);
903         dentry->d_op = NFS_PROTO(dir)->dentry_ops;
904
905         lock_kernel();
906
907         /* If we're doing an exclusive create, optimize away the lookup */
908         if (nfs_is_exclusive_create(dir, nd))
909                 goto no_entry;
910
911         error = NFS_PROTO(dir)->lookup(dir, &dentry->d_name, &fhandle, &fattr);
912         if (error == -ENOENT)
913                 goto no_entry;
914         if (error < 0) {
915                 res = ERR_PTR(error);
916                 goto out_unlock;
917         }
918         error = nfs_reval_fsid(nd->mnt, dir, &fhandle, &fattr);
919         if (error < 0) {
920                 res = ERR_PTR(error);
921                 goto out_unlock;
922         }
923         inode = nfs_fhget(dentry->d_sb, &fhandle, &fattr);
924         res = (struct dentry *)inode;
925         if (IS_ERR(res))
926                 goto out_unlock;
927
928 no_entry:
929         res = d_materialise_unique(dentry, inode);
930         if (res != NULL)
931                 dentry = res;
932         nfs_renew_times(dentry);
933         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
934 out_unlock:
935         unlock_kernel();
936 out:
937         return res;
938 }
939
940 #ifdef CONFIG_NFS_V4
941 static int nfs_open_revalidate(struct dentry *, struct nameidata *);
942
943 struct dentry_operations nfs4_dentry_operations = {
944         .d_revalidate   = nfs_open_revalidate,
945         .d_delete       = nfs_dentry_delete,
946         .d_iput         = nfs_dentry_iput,
947 };
948
949 /*
950  * Use intent information to determine whether we need to substitute
951  * the NFSv4-style stateful OPEN for the LOOKUP call
952  */
953 static int is_atomic_open(struct inode *dir, struct nameidata *nd)
954 {
955         if (nd == NULL || nfs_lookup_check_intent(nd, LOOKUP_OPEN) == 0)
956                 return 0;
957         /* NFS does not (yet) have a stateful open for directories */
958         if (nd->flags & LOOKUP_DIRECTORY)
959                 return 0;
960         /* Are we trying to write to a read only partition? */
961         if (IS_RDONLY(dir) && (nd->intent.open.flags & (O_CREAT|O_TRUNC|FMODE_WRITE)))
962                 return 0;
963         return 1;
964 }
965
966 static struct dentry *nfs_atomic_lookup(struct inode *dir, struct dentry *dentry, struct nameidata *nd)
967 {
968         struct dentry *res = NULL;
969         int error;
970
971         dfprintk(VFS, "NFS: atomic_lookup(%s/%ld), %s\n",
972                         dir->i_sb->s_id, dir->i_ino, dentry->d_name.name);
973
974         /* Check that we are indeed trying to open this file */
975         if (!is_atomic_open(dir, nd))
976                 goto no_open;
977
978         if (dentry->d_name.len > NFS_SERVER(dir)->namelen) {
979                 res = ERR_PTR(-ENAMETOOLONG);
980                 goto out;
981         }
982         dentry->d_op = NFS_PROTO(dir)->dentry_ops;
983
984         /* Let vfs_create() deal with O_EXCL */
985         if (nd->intent.open.flags & O_EXCL) {
986                 d_add(dentry, NULL);
987                 goto out;
988         }
989
990         /* Open the file on the server */
991         lock_kernel();
992         /* Revalidate parent directory attribute cache */
993         error = nfs_revalidate_inode(NFS_SERVER(dir), dir);
994         if (error < 0) {
995                 res = ERR_PTR(error);
996                 unlock_kernel();
997                 goto out;
998         }
999
1000         if (nd->intent.open.flags & O_CREAT) {
1001                 nfs_begin_data_update(dir);
1002                 res = nfs4_atomic_open(dir, dentry, nd);
1003                 nfs_end_data_update(dir);
1004         } else
1005                 res = nfs4_atomic_open(dir, dentry, nd);
1006         unlock_kernel();
1007         if (IS_ERR(res)) {
1008                 error = PTR_ERR(res);
1009                 switch (error) {
1010                         /* Make a negative dentry */
1011                         case -ENOENT:
1012                                 res = NULL;
1013                                 goto out;
1014                         /* This turned out not to be a regular file */
1015                         case -EISDIR:
1016                         case -ENOTDIR:
1017                                 goto no_open;
1018                         case -ELOOP:
1019                                 if (!(nd->intent.open.flags & O_NOFOLLOW))
1020                                         goto no_open;
1021                         /* case -EINVAL: */
1022                         default:
1023                                 goto out;
1024                 }
1025         } else if (res != NULL)
1026                 dentry = res;
1027         nfs_renew_times(dentry);
1028         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1029 out:
1030         return res;
1031 no_open:
1032         return nfs_lookup(dir, dentry, nd);
1033 }
1034
1035 static int nfs_open_revalidate(struct dentry *dentry, struct nameidata *nd)
1036 {
1037         struct dentry *parent = NULL;
1038         struct inode *inode = dentry->d_inode;
1039         struct inode *dir;
1040         unsigned long verifier;
1041         int openflags, ret = 0;
1042
1043         parent = dget_parent(dentry);
1044         dir = parent->d_inode;
1045         if (!is_atomic_open(dir, nd))
1046                 goto no_open;
1047         /* We can't create new files in nfs_open_revalidate(), so we
1048          * optimize away revalidation of negative dentries.
1049          */
1050         if (inode == NULL)
1051                 goto out;
1052         /* NFS only supports OPEN on regular files */
1053         if (!S_ISREG(inode->i_mode))
1054                 goto no_open;
1055         openflags = nd->intent.open.flags;
1056         /* We cannot do exclusive creation on a positive dentry */
1057         if ((openflags & (O_CREAT|O_EXCL)) == (O_CREAT|O_EXCL))
1058                 goto no_open;
1059         /* We can't create new files, or truncate existing ones here */
1060         openflags &= ~(O_CREAT|O_TRUNC);
1061
1062         /*
1063          * Note: we're not holding inode->i_mutex and so may be racing with
1064          * operations that change the directory. We therefore save the
1065          * change attribute *before* we do the RPC call.
1066          */
1067         lock_kernel();
1068         verifier = nfs_save_change_attribute(dir);
1069         ret = nfs4_open_revalidate(dir, dentry, openflags, nd);
1070         if (!ret)
1071                 nfs_set_verifier(dentry, verifier);
1072         unlock_kernel();
1073 out:
1074         dput(parent);
1075         if (!ret)
1076                 d_drop(dentry);
1077         return ret;
1078 no_open:
1079         dput(parent);
1080         if (inode != NULL && nfs_have_delegation(inode, FMODE_READ))
1081                 return 1;
1082         return nfs_lookup_revalidate(dentry, nd);
1083 }
1084 #endif /* CONFIG_NFSV4 */
1085
1086 static struct dentry *nfs_readdir_lookup(nfs_readdir_descriptor_t *desc)
1087 {
1088         struct dentry *parent = desc->file->f_dentry;
1089         struct inode *dir = parent->d_inode;
1090         struct nfs_entry *entry = desc->entry;
1091         struct dentry *dentry, *alias;
1092         struct qstr name = {
1093                 .name = entry->name,
1094                 .len = entry->len,
1095         };
1096         struct inode *inode;
1097
1098         switch (name.len) {
1099                 case 2:
1100                         if (name.name[0] == '.' && name.name[1] == '.')
1101                                 return dget_parent(parent);
1102                         break;
1103                 case 1:
1104                         if (name.name[0] == '.')
1105                                 return dget(parent);
1106         }
1107         name.hash = full_name_hash(name.name, name.len);
1108         dentry = d_lookup(parent, &name);
1109         if (dentry != NULL)
1110                 return dentry;
1111         if (!desc->plus || !(entry->fattr->valid & NFS_ATTR_FATTR))
1112                 return NULL;
1113         /* Note: caller is already holding the dir->i_mutex! */
1114         dentry = d_alloc(parent, &name);
1115         if (dentry == NULL)
1116                 return NULL;
1117         dentry->d_op = NFS_PROTO(dir)->dentry_ops;
1118         inode = nfs_fhget(dentry->d_sb, entry->fh, entry->fattr);
1119         if (IS_ERR(inode)) {
1120                 dput(dentry);
1121                 return NULL;
1122         }
1123
1124         alias = d_materialise_unique(dentry, inode);
1125         if (alias != NULL) {
1126                 dput(dentry);
1127                 dentry = alias;
1128         }
1129
1130         nfs_renew_times(dentry);
1131         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1132         return dentry;
1133 }
1134
1135 /*
1136  * Code common to create, mkdir, and mknod.
1137  */
1138 int nfs_instantiate(struct dentry *dentry, struct nfs_fh *fhandle,
1139                                 struct nfs_fattr *fattr)
1140 {
1141         struct inode *inode;
1142         int error = -EACCES;
1143
1144         /* We may have been initialized further down */
1145         if (dentry->d_inode)
1146                 return 0;
1147         if (fhandle->size == 0) {
1148                 struct inode *dir = dentry->d_parent->d_inode;
1149                 error = NFS_PROTO(dir)->lookup(dir, &dentry->d_name, fhandle, fattr);
1150                 if (error)
1151                         return error;
1152         }
1153         if (!(fattr->valid & NFS_ATTR_FATTR)) {
1154                 struct nfs_server *server = NFS_SB(dentry->d_sb);
1155                 error = server->nfs_client->rpc_ops->getattr(server, fhandle, fattr);
1156                 if (error < 0)
1157                         return error;
1158         }
1159         inode = nfs_fhget(dentry->d_sb, fhandle, fattr);
1160         error = PTR_ERR(inode);
1161         if (IS_ERR(inode))
1162                 return error;
1163         d_instantiate(dentry, inode);
1164         return 0;
1165 }
1166
1167 /*
1168  * Following a failed create operation, we drop the dentry rather
1169  * than retain a negative dentry. This avoids a problem in the event
1170  * that the operation succeeded on the server, but an error in the
1171  * reply path made it appear to have failed.
1172  */
1173 static int nfs_create(struct inode *dir, struct dentry *dentry, int mode,
1174                 struct nameidata *nd)
1175 {
1176         struct iattr attr;
1177         int error;
1178         int open_flags = 0;
1179
1180         dfprintk(VFS, "NFS: create(%s/%ld), %s\n",
1181                         dir->i_sb->s_id, dir->i_ino, dentry->d_name.name);
1182
1183         attr.ia_mode = mode;
1184         attr.ia_valid = ATTR_MODE;
1185
1186         if (nd && (nd->flags & LOOKUP_CREATE))
1187                 open_flags = nd->intent.open.flags;
1188
1189         lock_kernel();
1190         nfs_begin_data_update(dir);
1191         error = NFS_PROTO(dir)->create(dir, dentry, &attr, open_flags, nd);
1192         nfs_end_data_update(dir);
1193         if (error != 0)
1194                 goto out_err;
1195         nfs_renew_times(dentry);
1196         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1197         unlock_kernel();
1198         return 0;
1199 out_err:
1200         unlock_kernel();
1201         d_drop(dentry);
1202         return error;
1203 }
1204
1205 /*
1206  * See comments for nfs_proc_create regarding failed operations.
1207  */
1208 static int
1209 nfs_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
1210 {
1211         struct iattr attr;
1212         int status;
1213
1214         dfprintk(VFS, "NFS: mknod(%s/%ld), %s\n",
1215                         dir->i_sb->s_id, dir->i_ino, dentry->d_name.name);
1216
1217         if (!new_valid_dev(rdev))
1218                 return -EINVAL;
1219
1220         attr.ia_mode = mode;
1221         attr.ia_valid = ATTR_MODE;
1222
1223         lock_kernel();
1224         nfs_begin_data_update(dir);
1225         status = NFS_PROTO(dir)->mknod(dir, dentry, &attr, rdev);
1226         nfs_end_data_update(dir);
1227         if (status != 0)
1228                 goto out_err;
1229         nfs_renew_times(dentry);
1230         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1231         unlock_kernel();
1232         return 0;
1233 out_err:
1234         unlock_kernel();
1235         d_drop(dentry);
1236         return status;
1237 }
1238
1239 /*
1240  * See comments for nfs_proc_create regarding failed operations.
1241  */
1242 static int nfs_mkdir(struct inode *dir, struct dentry *dentry, int mode)
1243 {
1244         struct iattr attr;
1245         int error;
1246
1247         dfprintk(VFS, "NFS: mkdir(%s/%ld), %s\n",
1248                         dir->i_sb->s_id, dir->i_ino, dentry->d_name.name);
1249
1250         attr.ia_valid = ATTR_MODE;
1251         attr.ia_mode = mode | S_IFDIR;
1252
1253         lock_kernel();
1254         nfs_begin_data_update(dir);
1255         error = NFS_PROTO(dir)->mkdir(dir, dentry, &attr);
1256         nfs_end_data_update(dir);
1257         if (error != 0)
1258                 goto out_err;
1259         nfs_renew_times(dentry);
1260         nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1261         unlock_kernel();
1262         return 0;
1263 out_err:
1264         d_drop(dentry);
1265         unlock_kernel();
1266         return error;
1267 }
1268
1269 static int nfs_rmdir(struct inode *dir, struct dentry *dentry)
1270 {
1271         int error;
1272
1273         dfprintk(VFS, "NFS: rmdir(%s/%ld), %s\n",
1274                         dir->i_sb->s_id, dir->i_ino, dentry->d_name.name);
1275
1276         lock_kernel();
1277         nfs_begin_data_update(dir);
1278         error = NFS_PROTO(dir)->rmdir(dir, &dentry->d_name);
1279         /* Ensure the VFS deletes this inode */
1280         if (error == 0 && dentry->d_inode != NULL)
1281                 dentry->d_inode->i_nlink = 0;
1282         nfs_end_data_update(dir);
1283         unlock_kernel();
1284
1285         return error;
1286 }
1287
1288 static int nfs_sillyrename(struct inode *dir, struct dentry *dentry)
1289 {
1290         static unsigned int sillycounter;
1291         const int      i_inosize  = sizeof(dir->i_ino)*2;
1292         const int      countersize = sizeof(sillycounter)*2;
1293         const int      slen       = sizeof(".nfs") + i_inosize + countersize - 1;
1294         char           silly[slen+1];
1295         struct qstr    qsilly;
1296         struct dentry *sdentry;
1297         int            error = -EIO;
1298
1299         dfprintk(VFS, "NFS: silly-rename(%s/%s, ct=%d)\n",
1300                 dentry->d_parent->d_name.name, dentry->d_name.name, 
1301                 atomic_read(&dentry->d_count));
1302         nfs_inc_stats(dir, NFSIOS_SILLYRENAME);
1303
1304 #ifdef NFS_PARANOIA
1305 if (!dentry->d_inode)
1306 printk("NFS: silly-renaming %s/%s, negative dentry??\n",
1307 dentry->d_parent->d_name.name, dentry->d_name.name);
1308 #endif
1309         /*
1310          * We don't allow a dentry to be silly-renamed twice.
1311          */
1312         error = -EBUSY;
1313         if (dentry->d_flags & DCACHE_NFSFS_RENAMED)
1314                 goto out;
1315
1316         sprintf(silly, ".nfs%*.*lx",
1317                 i_inosize, i_inosize, dentry->d_inode->i_ino);
1318
1319         /* Return delegation in anticipation of the rename */
1320         nfs_inode_return_delegation(dentry->d_inode);
1321
1322         sdentry = NULL;
1323         do {
1324                 char *suffix = silly + slen - countersize;
1325
1326                 dput(sdentry);
1327                 sillycounter++;
1328                 sprintf(suffix, "%*.*x", countersize, countersize, sillycounter);
1329
1330                 dfprintk(VFS, "NFS: trying to rename %s to %s\n",
1331                                 dentry->d_name.name, silly);
1332                 
1333                 sdentry = lookup_one_len(silly, dentry->d_parent, slen);
1334                 /*
1335                  * N.B. Better to return EBUSY here ... it could be
1336                  * dangerous to delete the file while it's in use.
1337                  */
1338                 if (IS_ERR(sdentry))
1339                         goto out;
1340         } while(sdentry->d_inode != NULL); /* need negative lookup */
1341
1342         qsilly.name = silly;
1343         qsilly.len  = strlen(silly);
1344         nfs_begin_data_update(dir);
1345         if (dentry->d_inode) {
1346                 nfs_begin_data_update(dentry->d_inode);
1347                 error = NFS_PROTO(dir)->rename(dir, &dentry->d_name,
1348                                 dir, &qsilly);
1349                 nfs_mark_for_revalidate(dentry->d_inode);
1350                 nfs_end_data_update(dentry->d_inode);
1351         } else
1352                 error = NFS_PROTO(dir)->rename(dir, &dentry->d_name,
1353                                 dir, &qsilly);
1354         nfs_end_data_update(dir);
1355         if (!error) {
1356                 nfs_renew_times(dentry);
1357                 nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1358                 d_move(dentry, sdentry);
1359                 error = nfs_async_unlink(dentry);
1360                 /* If we return 0 we don't unlink */
1361         }
1362         dput(sdentry);
1363 out:
1364         return error;
1365 }
1366
1367 /*
1368  * Remove a file after making sure there are no pending writes,
1369  * and after checking that the file has only one user. 
1370  *
1371  * We invalidate the attribute cache and free the inode prior to the operation
1372  * to avoid possible races if the server reuses the inode.
1373  */
1374 static int nfs_safe_remove(struct dentry *dentry)
1375 {
1376         struct inode *dir = dentry->d_parent->d_inode;
1377         struct inode *inode = dentry->d_inode;
1378         int error = -EBUSY;
1379                 
1380         dfprintk(VFS, "NFS: safe_remove(%s/%s)\n",
1381                 dentry->d_parent->d_name.name, dentry->d_name.name);
1382
1383         /* If the dentry was sillyrenamed, we simply call d_delete() */
1384         if (dentry->d_flags & DCACHE_NFSFS_RENAMED) {
1385                 error = 0;
1386                 goto out;
1387         }
1388
1389         nfs_begin_data_update(dir);
1390         if (inode != NULL) {
1391                 nfs_inode_return_delegation(inode);
1392                 nfs_begin_data_update(inode);
1393                 error = NFS_PROTO(dir)->remove(dir, &dentry->d_name);
1394                 /* The VFS may want to delete this inode */
1395                 if (error == 0)
1396                         inode->i_nlink--;
1397                 nfs_mark_for_revalidate(inode);
1398                 nfs_end_data_update(inode);
1399         } else
1400                 error = NFS_PROTO(dir)->remove(dir, &dentry->d_name);
1401         nfs_end_data_update(dir);
1402 out:
1403         return error;
1404 }
1405
1406 /*  We do silly rename. In case sillyrename() returns -EBUSY, the inode
1407  *  belongs to an active ".nfs..." file and we return -EBUSY.
1408  *
1409  *  If sillyrename() returns 0, we do nothing, otherwise we unlink.
1410  */
1411 static int nfs_unlink(struct inode *dir, struct dentry *dentry)
1412 {
1413         int error;
1414         int need_rehash = 0;
1415
1416         dfprintk(VFS, "NFS: unlink(%s/%ld, %s)\n", dir->i_sb->s_id,
1417                 dir->i_ino, dentry->d_name.name);
1418
1419         lock_kernel();
1420         spin_lock(&dcache_lock);
1421         spin_lock(&dentry->d_lock);
1422         if (atomic_read(&dentry->d_count) > 1) {
1423                 spin_unlock(&dentry->d_lock);
1424                 spin_unlock(&dcache_lock);
1425                 error = nfs_sillyrename(dir, dentry);
1426                 unlock_kernel();
1427                 return error;
1428         }
1429         if (!d_unhashed(dentry)) {
1430                 __d_drop(dentry);
1431                 need_rehash = 1;
1432         }
1433         spin_unlock(&dentry->d_lock);
1434         spin_unlock(&dcache_lock);
1435         error = nfs_safe_remove(dentry);
1436         if (!error) {
1437                 nfs_renew_times(dentry);
1438                 nfs_set_verifier(dentry, nfs_save_change_attribute(dir));
1439         } else if (need_rehash)
1440                 d_rehash(dentry);
1441         unlock_kernel();
1442         return error;
1443 }
1444
1445 /*
1446  * To create a symbolic link, most file systems instantiate a new inode,
1447  * add a page to it containing the path, then write it out to the disk
1448  * using prepare_write/commit_write.
1449  *
1450  * Unfortunately the NFS client can't create the in-core inode first
1451  * because it needs a file handle to create an in-core inode (see
1452  * fs/nfs/inode.c:nfs_fhget).  We only have a file handle *after* the
1453  * symlink request has completed on the server.
1454  *
1455  * So instead we allocate a raw page, copy the symname into it, then do
1456  * the SYMLINK request with the page as the buffer.  If it succeeds, we
1457  * now have a new file handle and can instantiate an in-core NFS inode
1458  * and move the raw page into its mapping.
1459  */
1460 static int nfs_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
1461 {
1462         struct pagevec lru_pvec;
1463         struct page *page;
1464         char *kaddr;
1465         struct iattr attr;
1466         unsigned int pathlen = strlen(symname);
1467         int error;
1468
1469         dfprintk(VFS, "NFS: symlink(%s/%ld, %s, %s)\n", dir->i_sb->s_id,
1470                 dir->i_ino, dentry->d_name.name, symname);
1471
1472         if (pathlen > PAGE_SIZE)
1473                 return -ENAMETOOLONG;
1474
1475         attr.ia_mode = S_IFLNK | S_IRWXUGO;
1476         attr.ia_valid = ATTR_MODE;
1477
1478         lock_kernel();
1479
1480         page = alloc_page(GFP_KERNEL);
1481         if (!page) {
1482                 unlock_kernel();
1483                 return -ENOMEM;
1484         }
1485
1486         kaddr = kmap_atomic(page, KM_USER0);
1487         memcpy(kaddr, symname, pathlen);
1488         if (pathlen < PAGE_SIZE)
1489                 memset(kaddr + pathlen, 0, PAGE_SIZE - pathlen);
1490         kunmap_atomic(kaddr, KM_USER0);
1491
1492         nfs_begin_data_update(dir);
1493         error = NFS_PROTO(dir)->symlink(dir, dentry, page, pathlen, &attr);
1494         nfs_end_data_update(dir);
1495         if (error != 0) {
1496                 dfprintk(VFS, "NFS: symlink(%s/%ld, %s, %s) error %d\n",
1497                         dir->i_sb->s_id, dir->i_ino,
1498                         dentry->d_name.name, symname, error);
1499                 d_drop(dentry);
1500                 __free_page(page);
1501                 unlock_kernel();
1502                 return error;
1503         }
1504
1505         /*
1506          * No big deal if we can't add this page to the page cache here.
1507          * READLINK will get the missing page from the server if needed.
1508          */
1509         pagevec_init(&lru_pvec, 0);
1510         if (!add_to_page_cache(page, dentry->d_inode->i_mapping, 0,
1511                                                         GFP_KERNEL)) {
1512                 if (!pagevec_add(&lru_pvec, page))
1513                         __pagevec_lru_add(&lru_pvec);
1514                 SetPageUptodate(page);
1515                 unlock_page(page);
1516         } else
1517                 __free_page(page);
1518
1519         unlock_kernel();
1520         return 0;
1521 }
1522
1523 static int 
1524 nfs_link(struct dentry *old_dentry, struct inode *dir, struct dentry *dentry)
1525 {
1526         struct inode *inode = old_dentry->d_inode;
1527         int error;
1528
1529         dfprintk(VFS, "NFS: link(%s/%s -> %s/%s)\n",
1530                 old_dentry->d_parent->d_name.name, old_dentry->d_name.name,
1531                 dentry->d_parent->d_name.name, dentry->d_name.name);
1532
1533         lock_kernel();
1534         nfs_begin_data_update(dir);
1535         nfs_begin_data_update(inode);
1536         error = NFS_PROTO(dir)->link(inode, dir, &dentry->d_name);
1537         if (error == 0) {
1538                 atomic_inc(&inode->i_count);
1539                 d_instantiate(dentry, inode);
1540         }
1541         nfs_end_data_update(inode);
1542         nfs_end_data_update(dir);
1543         unlock_kernel();
1544         return error;
1545 }
1546
1547 /*
1548  * RENAME
1549  * FIXME: Some nfsds, like the Linux user space nfsd, may generate a
1550  * different file handle for the same inode after a rename (e.g. when
1551  * moving to a different directory). A fail-safe method to do so would
1552  * be to look up old_dir/old_name, create a link to new_dir/new_name and
1553  * rename the old file using the sillyrename stuff. This way, the original
1554  * file in old_dir will go away when the last process iput()s the inode.
1555  *
1556  * FIXED.
1557  * 
1558  * It actually works quite well. One needs to have the possibility for
1559  * at least one ".nfs..." file in each directory the file ever gets
1560  * moved or linked to which happens automagically with the new
1561  * implementation that only depends on the dcache stuff instead of
1562  * using the inode layer
1563  *
1564  * Unfortunately, things are a little more complicated than indicated
1565  * above. For a cross-directory move, we want to make sure we can get
1566  * rid of the old inode after the operation.  This means there must be
1567  * no pending writes (if it's a file), and the use count must be 1.
1568  * If these conditions are met, we can drop the dentries before doing
1569  * the rename.
1570  */
1571 static int nfs_rename(struct inode *old_dir, struct dentry *old_dentry,
1572                       struct inode *new_dir, struct dentry *new_dentry)
1573 {
1574         struct inode *old_inode = old_dentry->d_inode;
1575         struct inode *new_inode = new_dentry->d_inode;
1576         struct dentry *dentry = NULL, *rehash = NULL;
1577         int error = -EBUSY;
1578
1579         /*
1580          * To prevent any new references to the target during the rename,
1581          * we unhash the dentry and free the inode in advance.
1582          */
1583         lock_kernel();
1584         if (!d_unhashed(new_dentry)) {
1585                 d_drop(new_dentry);
1586                 rehash = new_dentry;
1587         }
1588
1589         dfprintk(VFS, "NFS: rename(%s/%s -> %s/%s, ct=%d)\n",
1590                  old_dentry->d_parent->d_name.name, old_dentry->d_name.name,
1591                  new_dentry->d_parent->d_name.name, new_dentry->d_name.name,
1592                  atomic_read(&new_dentry->d_count));
1593
1594         /*
1595          * First check whether the target is busy ... we can't
1596          * safely do _any_ rename if the target is in use.
1597          *
1598          * For files, make a copy of the dentry and then do a 
1599          * silly-rename. If the silly-rename succeeds, the
1600          * copied dentry is hashed and becomes the new target.
1601          */
1602         if (!new_inode)
1603                 goto go_ahead;
1604         if (S_ISDIR(new_inode->i_mode)) {
1605                 error = -EISDIR;
1606                 if (!S_ISDIR(old_inode->i_mode))
1607                         goto out;
1608         } else if (atomic_read(&new_dentry->d_count) > 2) {
1609                 int err;
1610                 /* copy the target dentry's name */
1611                 dentry = d_alloc(new_dentry->d_parent,
1612                                  &new_dentry->d_name);
1613                 if (!dentry)
1614                         goto out;
1615
1616                 /* silly-rename the existing target ... */
1617                 err = nfs_sillyrename(new_dir, new_dentry);
1618                 if (!err) {
1619                         new_dentry = rehash = dentry;
1620                         new_inode = NULL;
1621                         /* instantiate the replacement target */
1622                         d_instantiate(new_dentry, NULL);
1623                 } else if (atomic_read(&new_dentry->d_count) > 1) {
1624                 /* dentry still busy? */
1625 #ifdef NFS_PARANOIA
1626                         printk("nfs_rename: target %s/%s busy, d_count=%d\n",
1627                                new_dentry->d_parent->d_name.name,
1628                                new_dentry->d_name.name,
1629                                atomic_read(&new_dentry->d_count));
1630 #endif
1631                         goto out;
1632                 }
1633         } else
1634                 new_inode->i_nlink--;
1635
1636 go_ahead:
1637         /*
1638          * ... prune child dentries and writebacks if needed.
1639          */
1640         if (atomic_read(&old_dentry->d_count) > 1) {
1641                 nfs_wb_all(old_inode);
1642                 shrink_dcache_parent(old_dentry);
1643         }
1644         nfs_inode_return_delegation(old_inode);
1645
1646         if (new_inode != NULL) {
1647                 nfs_inode_return_delegation(new_inode);
1648                 d_delete(new_dentry);
1649         }
1650
1651         nfs_begin_data_update(old_dir);
1652         nfs_begin_data_update(new_dir);
1653         nfs_begin_data_update(old_inode);
1654         error = NFS_PROTO(old_dir)->rename(old_dir, &old_dentry->d_name,
1655                                            new_dir, &new_dentry->d_name);
1656         nfs_mark_for_revalidate(old_inode);
1657         nfs_end_data_update(old_inode);
1658         nfs_end_data_update(new_dir);
1659         nfs_end_data_update(old_dir);
1660 out:
1661         if (rehash)
1662                 d_rehash(rehash);
1663         if (!error) {
1664                 if (!S_ISDIR(old_inode->i_mode))
1665                         d_move(old_dentry, new_dentry);
1666                 nfs_renew_times(new_dentry);
1667                 nfs_set_verifier(new_dentry, nfs_save_change_attribute(new_dir));
1668         }
1669
1670         /* new dentry created? */
1671         if (dentry)
1672                 dput(dentry);
1673         unlock_kernel();
1674         return error;
1675 }
1676
1677 static DEFINE_SPINLOCK(nfs_access_lru_lock);
1678 static LIST_HEAD(nfs_access_lru_list);
1679 static atomic_long_t nfs_access_nr_entries;
1680
1681 static void nfs_access_free_entry(struct nfs_access_entry *entry)
1682 {
1683         put_rpccred(entry->cred);
1684         kfree(entry);
1685         smp_mb__before_atomic_dec();
1686         atomic_long_dec(&nfs_access_nr_entries);
1687         smp_mb__after_atomic_dec();
1688 }
1689
1690 int nfs_access_cache_shrinker(int nr_to_scan, gfp_t gfp_mask)
1691 {
1692         LIST_HEAD(head);
1693         struct nfs_inode *nfsi;
1694         struct nfs_access_entry *cache;
1695
1696         spin_lock(&nfs_access_lru_lock);
1697 restart:
1698         list_for_each_entry(nfsi, &nfs_access_lru_list, access_cache_inode_lru) {
1699                 struct inode *inode;
1700
1701                 if (nr_to_scan-- == 0)
1702                         break;
1703                 inode = igrab(&nfsi->vfs_inode);
1704                 if (inode == NULL)
1705                         continue;
1706                 spin_lock(&inode->i_lock);
1707                 if (list_empty(&nfsi->access_cache_entry_lru))
1708                         goto remove_lru_entry;
1709                 cache = list_entry(nfsi->access_cache_entry_lru.next,
1710                                 struct nfs_access_entry, lru);
1711                 list_move(&cache->lru, &head);
1712                 rb_erase(&cache->rb_node, &nfsi->access_cache);
1713                 if (!list_empty(&nfsi->access_cache_entry_lru))
1714                         list_move_tail(&nfsi->access_cache_inode_lru,
1715                                         &nfs_access_lru_list);
1716                 else {
1717 remove_lru_entry:
1718                         list_del_init(&nfsi->access_cache_inode_lru);
1719                         clear_bit(NFS_INO_ACL_LRU_SET, &nfsi->flags);
1720                 }
1721                 spin_unlock(&inode->i_lock);
1722                 iput(inode);
1723                 goto restart;
1724         }
1725         spin_unlock(&nfs_access_lru_lock);
1726         while (!list_empty(&head)) {
1727                 cache = list_entry(head.next, struct nfs_access_entry, lru);
1728                 list_del(&cache->lru);
1729                 nfs_access_free_entry(cache);
1730         }
1731         return (atomic_long_read(&nfs_access_nr_entries) / 100) * sysctl_vfs_cache_pressure;
1732 }
1733
1734 static void __nfs_access_zap_cache(struct inode *inode)
1735 {
1736         struct nfs_inode *nfsi = NFS_I(inode);
1737         struct rb_root *root_node = &nfsi->access_cache;
1738         struct rb_node *n, *dispose = NULL;
1739         struct nfs_access_entry *entry;
1740
1741         /* Unhook entries from the cache */
1742         while ((n = rb_first(root_node)) != NULL) {
1743                 entry = rb_entry(n, struct nfs_access_entry, rb_node);
1744                 rb_erase(n, root_node);
1745                 list_del(&entry->lru);
1746                 n->rb_left = dispose;
1747                 dispose = n;
1748         }
1749         nfsi->cache_validity &= ~NFS_INO_INVALID_ACCESS;
1750         spin_unlock(&inode->i_lock);
1751
1752         /* Now kill them all! */
1753         while (dispose != NULL) {
1754                 n = dispose;
1755                 dispose = n->rb_left;
1756                 nfs_access_free_entry(rb_entry(n, struct nfs_access_entry, rb_node));
1757         }
1758 }
1759
1760 void nfs_access_zap_cache(struct inode *inode)
1761 {
1762         /* Remove from global LRU init */
1763         if (test_and_clear_bit(NFS_INO_ACL_LRU_SET, &NFS_FLAGS(inode))) {
1764                 spin_lock(&nfs_access_lru_lock);
1765                 list_del_init(&NFS_I(inode)->access_cache_inode_lru);
1766                 spin_unlock(&nfs_access_lru_lock);
1767         }
1768
1769         spin_lock(&inode->i_lock);
1770         /* This will release the spinlock */
1771         __nfs_access_zap_cache(inode);
1772 }
1773
1774 static struct nfs_access_entry *nfs_access_search_rbtree(struct inode *inode, struct rpc_cred *cred)
1775 {
1776         struct rb_node *n = NFS_I(inode)->access_cache.rb_node;
1777         struct nfs_access_entry *entry;
1778
1779         while (n != NULL) {
1780                 entry = rb_entry(n, struct nfs_access_entry, rb_node);
1781
1782                 if (cred < entry->cred)
1783                         n = n->rb_left;
1784                 else if (cred > entry->cred)
1785                         n = n->rb_right;
1786                 else
1787                         return entry;
1788         }
1789         return NULL;
1790 }
1791
1792 int nfs_access_get_cached(struct inode *inode, struct rpc_cred *cred, struct nfs_access_entry *res)
1793 {
1794         struct nfs_inode *nfsi = NFS_I(inode);
1795         struct nfs_access_entry *cache;
1796         int err = -ENOENT;
1797
1798         spin_lock(&inode->i_lock);
1799         if (nfsi->cache_validity & NFS_INO_INVALID_ACCESS)
1800                 goto out_zap;
1801         cache = nfs_access_search_rbtree(inode, cred);
1802         if (cache == NULL)
1803                 goto out;
1804         if (time_after(jiffies, cache->jiffies + NFS_ATTRTIMEO(inode)))
1805                 goto out_stale;
1806         res->jiffies = cache->jiffies;
1807         res->cred = cache->cred;
1808         res->mask = cache->mask;
1809         list_move_tail(&cache->lru, &nfsi->access_cache_entry_lru);
1810         err = 0;
1811 out:
1812         spin_unlock(&inode->i_lock);
1813         return err;
1814 out_stale:
1815         rb_erase(&cache->rb_node, &nfsi->access_cache);
1816         list_del(&cache->lru);
1817         spin_unlock(&inode->i_lock);
1818         nfs_access_free_entry(cache);
1819         return -ENOENT;
1820 out_zap:
1821         /* This will release the spinlock */
1822         __nfs_access_zap_cache(inode);
1823         return -ENOENT;
1824 }
1825
1826 static void nfs_access_add_rbtree(struct inode *inode, struct nfs_access_entry *set)
1827 {
1828         struct nfs_inode *nfsi = NFS_I(inode);
1829         struct rb_root *root_node = &nfsi->access_cache;
1830         struct rb_node **p = &root_node->rb_node;
1831         struct rb_node *parent = NULL;
1832         struct nfs_access_entry *entry;
1833
1834         spin_lock(&inode->i_lock);
1835         while (*p != NULL) {
1836                 parent = *p;
1837                 entry = rb_entry(parent, struct nfs_access_entry, rb_node);
1838
1839                 if (set->cred < entry->cred)
1840                         p = &parent->rb_left;
1841                 else if (set->cred > entry->cred)
1842                         p = &parent->rb_right;
1843                 else
1844                         goto found;
1845         }
1846         rb_link_node(&set->rb_node, parent, p);
1847         rb_insert_color(&set->rb_node, root_node);
1848         list_add_tail(&set->lru, &nfsi->access_cache_entry_lru);
1849         spin_unlock(&inode->i_lock);
1850         return;
1851 found:
1852         rb_replace_node(parent, &set->rb_node, root_node);
1853         list_add_tail(&set->lru, &nfsi->access_cache_entry_lru);
1854         list_del(&entry->lru);
1855         spin_unlock(&inode->i_lock);
1856         nfs_access_free_entry(entry);
1857 }
1858
1859 void nfs_access_add_cache(struct inode *inode, struct nfs_access_entry *set)
1860 {
1861         struct nfs_access_entry *cache = kmalloc(sizeof(*cache), GFP_KERNEL);
1862         if (cache == NULL)
1863                 return;
1864         RB_CLEAR_NODE(&cache->rb_node);
1865         cache->jiffies = set->jiffies;
1866         cache->cred = get_rpccred(set->cred);
1867         cache->mask = set->mask;
1868
1869         nfs_access_add_rbtree(inode, cache);
1870
1871         /* Update accounting */
1872         smp_mb__before_atomic_inc();
1873         atomic_long_inc(&nfs_access_nr_entries);
1874         smp_mb__after_atomic_inc();
1875
1876         /* Add inode to global LRU list */
1877         if (!test_and_set_bit(NFS_INO_ACL_LRU_SET, &NFS_FLAGS(inode))) {
1878                 spin_lock(&nfs_access_lru_lock);
1879                 list_add_tail(&NFS_I(inode)->access_cache_inode_lru, &nfs_access_lru_list);
1880                 spin_unlock(&nfs_access_lru_lock);
1881         }
1882 }
1883
1884 static int nfs_do_access(struct inode *inode, struct rpc_cred *cred, int mask)
1885 {
1886         struct nfs_access_entry cache;
1887         int status;
1888
1889         status = nfs_access_get_cached(inode, cred, &cache);
1890         if (status == 0)
1891                 goto out;
1892
1893         /* Be clever: ask server to check for all possible rights */
1894         cache.mask = MAY_EXEC | MAY_WRITE | MAY_READ;
1895         cache.cred = cred;
1896         cache.jiffies = jiffies;
1897         status = NFS_PROTO(inode)->access(inode, &cache);
1898         if (status != 0)
1899                 return status;
1900         nfs_access_add_cache(inode, &cache);
1901 out:
1902         if ((cache.mask & mask) == mask)
1903                 return 0;
1904         return -EACCES;
1905 }
1906
1907 int nfs_permission(struct inode *inode, int mask, struct nameidata *nd)
1908 {
1909         struct rpc_cred *cred;
1910         int res = 0;
1911
1912         nfs_inc_stats(inode, NFSIOS_VFSACCESS);
1913
1914         if (mask == 0)
1915                 goto out;
1916         /* Is this sys_access() ? */
1917         if (nd != NULL && (nd->flags & LOOKUP_ACCESS))
1918                 goto force_lookup;
1919
1920         switch (inode->i_mode & S_IFMT) {
1921                 case S_IFLNK:
1922                         goto out;
1923                 case S_IFREG:
1924                         /* NFSv4 has atomic_open... */
1925                         if (nfs_server_capable(inode, NFS_CAP_ATOMIC_OPEN)
1926                                         && nd != NULL
1927                                         && (nd->flags & LOOKUP_OPEN))
1928                                 goto out;
1929                         break;
1930                 case S_IFDIR:
1931                         /*
1932                          * Optimize away all write operations, since the server
1933                          * will check permissions when we perform the op.
1934                          */
1935                         if ((mask & MAY_WRITE) && !(mask & MAY_READ))
1936                                 goto out;
1937         }
1938
1939 force_lookup:
1940         lock_kernel();
1941
1942         if (!NFS_PROTO(inode)->access)
1943                 goto out_notsup;
1944
1945         cred = rpcauth_lookupcred(NFS_CLIENT(inode)->cl_auth, 0);
1946         if (!IS_ERR(cred)) {
1947                 res = nfs_do_access(inode, cred, mask);
1948                 put_rpccred(cred);
1949         } else
1950                 res = PTR_ERR(cred);
1951         unlock_kernel();
1952 out:
1953         dfprintk(VFS, "NFS: permission(%s/%ld), mask=0x%x, res=%d\n",
1954                 inode->i_sb->s_id, inode->i_ino, mask, res);
1955         return res;
1956 out_notsup:
1957         res = nfs_revalidate_inode(NFS_SERVER(inode), inode);
1958         if (res == 0)
1959                 res = generic_permission(inode, mask, NULL);
1960         unlock_kernel();
1961         goto out;
1962 }
1963
1964 /*
1965  * Local variables:
1966  *  version-control: t
1967  *  kept-new-versions: 5
1968  * End:
1969  */