Merge git://git.kernel.org/pub/scm/linux/kernel/git/davem/sparc
[linux] / fs / cifs / cifs_unicode.c
1 /*
2  *   fs/cifs/cifs_unicode.c
3  *
4  *   Copyright (c) International Business Machines  Corp., 2000,2009
5  *   Modified by Steve French (sfrench@us.ibm.com)
6  *
7  *   This program is free software;  you can redistribute it and/or modify
8  *   it under the terms of the GNU General Public License as published by
9  *   the Free Software Foundation; either version 2 of the License, or
10  *   (at your option) any later version.
11  *
12  *   This program is distributed in the hope that it will be useful,
13  *   but WITHOUT ANY WARRANTY;  without even the implied warranty of
14  *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See
15  *   the GNU General Public License for more details.
16  *
17  *   You should have received a copy of the GNU General Public License
18  *   along with this program;  if not, write to the Free Software
19  *   Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
20  */
21 #include <linux/fs.h>
22 #include <linux/slab.h>
23 #include "cifs_fs_sb.h"
24 #include "cifs_unicode.h"
25 #include "cifs_uniupr.h"
26 #include "cifspdu.h"
27 #include "cifsglob.h"
28 #include "cifs_debug.h"
29
30 int cifs_remap(struct cifs_sb_info *cifs_sb)
31 {
32         int map_type;
33
34         if (cifs_sb->mnt_cifs_flags & CIFS_MOUNT_MAP_SFM_CHR)
35                 map_type = SFM_MAP_UNI_RSVD;
36         else if (cifs_sb->mnt_cifs_flags & CIFS_MOUNT_MAP_SPECIAL_CHR)
37                 map_type = SFU_MAP_UNI_RSVD;
38         else
39                 map_type = NO_MAP_UNI_RSVD;
40
41         return map_type;
42 }
43
44 /* Convert character using the SFU - "Services for Unix" remapping range */
45 static bool
46 convert_sfu_char(const __u16 src_char, char *target)
47 {
48         /*
49          * BB: Cannot handle remapping UNI_SLASH until all the calls to
50          *     build_path_from_dentry are modified, as they use slash as
51          *     separator.
52          */
53         switch (src_char) {
54         case UNI_COLON:
55                 *target = ':';
56                 break;
57         case UNI_ASTERISK:
58                 *target = '*';
59                 break;
60         case UNI_QUESTION:
61                 *target = '?';
62                 break;
63         case UNI_PIPE:
64                 *target = '|';
65                 break;
66         case UNI_GRTRTHAN:
67                 *target = '>';
68                 break;
69         case UNI_LESSTHAN:
70                 *target = '<';
71                 break;
72         default:
73                 return false;
74         }
75         return true;
76 }
77
78 /* Convert character using the SFM - "Services for Mac" remapping range */
79 static bool
80 convert_sfm_char(const __u16 src_char, char *target)
81 {
82         if (src_char >= 0xF001 && src_char <= 0xF01F) {
83                 *target = src_char - 0xF000;
84                 return true;
85         }
86         switch (src_char) {
87         case SFM_COLON:
88                 *target = ':';
89                 break;
90         case SFM_DOUBLEQUOTE:
91                 *target = '"';
92                 break;
93         case SFM_ASTERISK:
94                 *target = '*';
95                 break;
96         case SFM_QUESTION:
97                 *target = '?';
98                 break;
99         case SFM_PIPE:
100                 *target = '|';
101                 break;
102         case SFM_GRTRTHAN:
103                 *target = '>';
104                 break;
105         case SFM_LESSTHAN:
106                 *target = '<';
107                 break;
108         case SFM_SLASH:
109                 *target = '\\';
110                 break;
111         case SFM_SPACE:
112                 *target = ' ';
113                 break;
114         case SFM_PERIOD:
115                 *target = '.';
116                 break;
117         default:
118                 return false;
119         }
120         return true;
121 }
122
123
124 /*
125  * cifs_mapchar - convert a host-endian char to proper char in codepage
126  * @target - where converted character should be copied
127  * @src_char - 2 byte host-endian source character
128  * @cp - codepage to which character should be converted
129  * @map_type - How should the 7 NTFS/SMB reserved characters be mapped to UCS2?
130  *
131  * This function handles the conversion of a single character. It is the
132  * responsibility of the caller to ensure that the target buffer is large
133  * enough to hold the result of the conversion (at least NLS_MAX_CHARSET_SIZE).
134  */
135 static int
136 cifs_mapchar(char *target, const __u16 *from, const struct nls_table *cp,
137              int maptype)
138 {
139         int len = 1;
140         __u16 src_char;
141
142         src_char = *from;
143
144         if ((maptype == SFM_MAP_UNI_RSVD) && convert_sfm_char(src_char, target))
145                 return len;
146         else if ((maptype == SFU_MAP_UNI_RSVD) &&
147                   convert_sfu_char(src_char, target))
148                 return len;
149
150         /* if character not one of seven in special remap set */
151         len = cp->uni2char(src_char, target, NLS_MAX_CHARSET_SIZE);
152         if (len <= 0)
153                 goto surrogate_pair;
154
155         return len;
156
157 surrogate_pair:
158         /* convert SURROGATE_PAIR and IVS */
159         if (strcmp(cp->charset, "utf8"))
160                 goto unknown;
161         len = utf16s_to_utf8s(from, 3, UTF16_LITTLE_ENDIAN, target, 6);
162         if (len <= 0)
163                 goto unknown;
164         return len;
165
166 unknown:
167         *target = '?';
168         len = 1;
169         return len;
170 }
171
172 /*
173  * cifs_from_utf16 - convert utf16le string to local charset
174  * @to - destination buffer
175  * @from - source buffer
176  * @tolen - destination buffer size (in bytes)
177  * @fromlen - source buffer size (in bytes)
178  * @codepage - codepage to which characters should be converted
179  * @mapchar - should characters be remapped according to the mapchars option?
180  *
181  * Convert a little-endian utf16le string (as sent by the server) to a string
182  * in the provided codepage. The tolen and fromlen parameters are to ensure
183  * that the code doesn't walk off of the end of the buffer (which is always
184  * a danger if the alignment of the source buffer is off). The destination
185  * string is always properly null terminated and fits in the destination
186  * buffer. Returns the length of the destination string in bytes (including
187  * null terminator).
188  *
189  * Note that some windows versions actually send multiword UTF-16 characters
190  * instead of straight UTF16-2. The linux nls routines however aren't able to
191  * deal with those characters properly. In the event that we get some of
192  * those characters, they won't be translated properly.
193  */
194 int
195 cifs_from_utf16(char *to, const __le16 *from, int tolen, int fromlen,
196                 const struct nls_table *codepage, int map_type)
197 {
198         int i, charlen, safelen;
199         int outlen = 0;
200         int nullsize = nls_nullsize(codepage);
201         int fromwords = fromlen / 2;
202         char tmp[NLS_MAX_CHARSET_SIZE];
203         __u16 ftmp[3];          /* ftmp[3] = 3array x 2bytes = 6bytes UTF-16 */
204
205         /*
206          * because the chars can be of varying widths, we need to take care
207          * not to overflow the destination buffer when we get close to the
208          * end of it. Until we get to this offset, we don't need to check
209          * for overflow however.
210          */
211         safelen = tolen - (NLS_MAX_CHARSET_SIZE + nullsize);
212
213         for (i = 0; i < fromwords; i++) {
214                 ftmp[0] = get_unaligned_le16(&from[i]);
215                 if (ftmp[0] == 0)
216                         break;
217                 if (i + 1 < fromwords)
218                         ftmp[1] = get_unaligned_le16(&from[i + 1]);
219                 else
220                         ftmp[1] = 0;
221                 if (i + 2 < fromwords)
222                         ftmp[2] = get_unaligned_le16(&from[i + 2]);
223                 else
224                         ftmp[2] = 0;
225
226                 /*
227                  * check to see if converting this character might make the
228                  * conversion bleed into the null terminator
229                  */
230                 if (outlen >= safelen) {
231                         charlen = cifs_mapchar(tmp, ftmp, codepage, map_type);
232                         if ((outlen + charlen) > (tolen - nullsize))
233                                 break;
234                 }
235
236                 /* put converted char into 'to' buffer */
237                 charlen = cifs_mapchar(&to[outlen], ftmp, codepage, map_type);
238                 outlen += charlen;
239
240                 /* charlen (=bytes of UTF-8 for 1 character)
241                  * 4bytes UTF-8(surrogate pair) is charlen=4
242                  *   (4bytes UTF-16 code)
243                  * 7-8bytes UTF-8(IVS) is charlen=3+4 or 4+4
244                  *   (2 UTF-8 pairs divided to 2 UTF-16 pairs) */
245                 if (charlen == 4)
246                         i++;
247                 else if (charlen >= 5)
248                         /* 5-6bytes UTF-8 */
249                         i += 2;
250         }
251
252         /* properly null-terminate string */
253         for (i = 0; i < nullsize; i++)
254                 to[outlen++] = 0;
255
256         return outlen;
257 }
258
259 /*
260  * NAME:        cifs_strtoUTF16()
261  *
262  * FUNCTION:    Convert character string to unicode string
263  *
264  */
265 int
266 cifs_strtoUTF16(__le16 *to, const char *from, int len,
267               const struct nls_table *codepage)
268 {
269         int charlen;
270         int i;
271         wchar_t wchar_to; /* needed to quiet sparse */
272
273         /* special case for utf8 to handle no plane0 chars */
274         if (!strcmp(codepage->charset, "utf8")) {
275                 /*
276                  * convert utf8 -> utf16, we assume we have enough space
277                  * as caller should have assumed conversion does not overflow
278                  * in destination len is length in wchar_t units (16bits)
279                  */
280                 i  = utf8s_to_utf16s(from, len, UTF16_LITTLE_ENDIAN,
281                                        (wchar_t *) to, len);
282
283                 /* if success terminate and exit */
284                 if (i >= 0)
285                         goto success;
286                 /*
287                  * if fails fall back to UCS encoding as this
288                  * function should not return negative values
289                  * currently can fail only if source contains
290                  * invalid encoded characters
291                  */
292         }
293
294         for (i = 0; len && *from; i++, from += charlen, len -= charlen) {
295                 charlen = codepage->char2uni(from, len, &wchar_to);
296                 if (charlen < 1) {
297                         cifs_dbg(VFS, "strtoUTF16: char2uni of 0x%x returned %d\n",
298                                  *from, charlen);
299                         /* A question mark */
300                         wchar_to = 0x003f;
301                         charlen = 1;
302                 }
303                 put_unaligned_le16(wchar_to, &to[i]);
304         }
305
306 success:
307         put_unaligned_le16(0, &to[i]);
308         return i;
309 }
310
311 /*
312  * cifs_utf16_bytes - how long will a string be after conversion?
313  * @utf16 - pointer to input string
314  * @maxbytes - don't go past this many bytes of input string
315  * @codepage - destination codepage
316  *
317  * Walk a utf16le string and return the number of bytes that the string will
318  * be after being converted to the given charset, not including any null
319  * termination required. Don't walk past maxbytes in the source buffer.
320  */
321 int
322 cifs_utf16_bytes(const __le16 *from, int maxbytes,
323                 const struct nls_table *codepage)
324 {
325         int i;
326         int charlen, outlen = 0;
327         int maxwords = maxbytes / 2;
328         char tmp[NLS_MAX_CHARSET_SIZE];
329         __u16 ftmp[3];
330
331         for (i = 0; i < maxwords; i++) {
332                 ftmp[0] = get_unaligned_le16(&from[i]);
333                 if (ftmp[0] == 0)
334                         break;
335                 if (i + 1 < maxwords)
336                         ftmp[1] = get_unaligned_le16(&from[i + 1]);
337                 else
338                         ftmp[1] = 0;
339                 if (i + 2 < maxwords)
340                         ftmp[2] = get_unaligned_le16(&from[i + 2]);
341                 else
342                         ftmp[2] = 0;
343
344                 charlen = cifs_mapchar(tmp, ftmp, codepage, NO_MAP_UNI_RSVD);
345                 outlen += charlen;
346         }
347
348         return outlen;
349 }
350
351 /*
352  * cifs_strndup_from_utf16 - copy a string from wire format to the local
353  * codepage
354  * @src - source string
355  * @maxlen - don't walk past this many bytes in the source string
356  * @is_unicode - is this a unicode string?
357  * @codepage - destination codepage
358  *
359  * Take a string given by the server, convert it to the local codepage and
360  * put it in a new buffer. Returns a pointer to the new string or NULL on
361  * error.
362  */
363 char *
364 cifs_strndup_from_utf16(const char *src, const int maxlen,
365                         const bool is_unicode, const struct nls_table *codepage)
366 {
367         int len;
368         char *dst;
369
370         if (is_unicode) {
371                 len = cifs_utf16_bytes((__le16 *) src, maxlen, codepage);
372                 len += nls_nullsize(codepage);
373                 dst = kmalloc(len, GFP_KERNEL);
374                 if (!dst)
375                         return NULL;
376                 cifs_from_utf16(dst, (__le16 *) src, len, maxlen, codepage,
377                                NO_MAP_UNI_RSVD);
378         } else {
379                 len = strnlen(src, maxlen);
380                 len++;
381                 dst = kmalloc(len, GFP_KERNEL);
382                 if (!dst)
383                         return NULL;
384                 strlcpy(dst, src, len);
385         }
386
387         return dst;
388 }
389
390 static __le16 convert_to_sfu_char(char src_char)
391 {
392         __le16 dest_char;
393
394         switch (src_char) {
395         case ':':
396                 dest_char = cpu_to_le16(UNI_COLON);
397                 break;
398         case '*':
399                 dest_char = cpu_to_le16(UNI_ASTERISK);
400                 break;
401         case '?':
402                 dest_char = cpu_to_le16(UNI_QUESTION);
403                 break;
404         case '<':
405                 dest_char = cpu_to_le16(UNI_LESSTHAN);
406                 break;
407         case '>':
408                 dest_char = cpu_to_le16(UNI_GRTRTHAN);
409                 break;
410         case '|':
411                 dest_char = cpu_to_le16(UNI_PIPE);
412                 break;
413         default:
414                 dest_char = 0;
415         }
416
417         return dest_char;
418 }
419
420 static __le16 convert_to_sfm_char(char src_char, bool end_of_string)
421 {
422         __le16 dest_char;
423
424         if (src_char >= 0x01 && src_char <= 0x1F) {
425                 dest_char = cpu_to_le16(src_char + 0xF000);
426                 return dest_char;
427         }
428         switch (src_char) {
429         case ':':
430                 dest_char = cpu_to_le16(SFM_COLON);
431                 break;
432         case '"':
433                 dest_char = cpu_to_le16(SFM_DOUBLEQUOTE);
434                 break;
435         case '*':
436                 dest_char = cpu_to_le16(SFM_ASTERISK);
437                 break;
438         case '?':
439                 dest_char = cpu_to_le16(SFM_QUESTION);
440                 break;
441         case '<':
442                 dest_char = cpu_to_le16(SFM_LESSTHAN);
443                 break;
444         case '>':
445                 dest_char = cpu_to_le16(SFM_GRTRTHAN);
446                 break;
447         case '|':
448                 dest_char = cpu_to_le16(SFM_PIPE);
449                 break;
450         case '.':
451                 if (end_of_string)
452                         dest_char = cpu_to_le16(SFM_PERIOD);
453                 else
454                         dest_char = 0;
455                 break;
456         case ' ':
457                 if (end_of_string)
458                         dest_char = cpu_to_le16(SFM_SPACE);
459                 else
460                         dest_char = 0;
461                 break;
462         default:
463                 dest_char = 0;
464         }
465
466         return dest_char;
467 }
468
469 /*
470  * Convert 16 bit Unicode pathname to wire format from string in current code
471  * page. Conversion may involve remapping up the six characters that are
472  * only legal in POSIX-like OS (if they are present in the string). Path
473  * names are little endian 16 bit Unicode on the wire
474  */
475 int
476 cifsConvertToUTF16(__le16 *target, const char *source, int srclen,
477                  const struct nls_table *cp, int map_chars)
478 {
479         int i, charlen;
480         int j = 0;
481         char src_char;
482         __le16 dst_char;
483         wchar_t tmp;
484         wchar_t *wchar_to;      /* UTF-16 */
485         int ret;
486         unicode_t u;
487
488         if (map_chars == NO_MAP_UNI_RSVD)
489                 return cifs_strtoUTF16(target, source, PATH_MAX, cp);
490
491         wchar_to = kzalloc(6, GFP_KERNEL);
492
493         for (i = 0; i < srclen; j++) {
494                 src_char = source[i];
495                 charlen = 1;
496
497                 /* check if end of string */
498                 if (src_char == 0)
499                         goto ctoUTF16_out;
500
501                 /* see if we must remap this char */
502                 if (map_chars == SFU_MAP_UNI_RSVD)
503                         dst_char = convert_to_sfu_char(src_char);
504                 else if (map_chars == SFM_MAP_UNI_RSVD) {
505                         bool end_of_string;
506
507                         if (i == srclen - 1)
508                                 end_of_string = true;
509                         else
510                                 end_of_string = false;
511
512                         dst_char = convert_to_sfm_char(src_char, end_of_string);
513                 } else
514                         dst_char = 0;
515                 /*
516                  * FIXME: We can not handle remapping backslash (UNI_SLASH)
517                  * until all the calls to build_path_from_dentry are modified,
518                  * as they use backslash as separator.
519                  */
520                 if (dst_char == 0) {
521                         charlen = cp->char2uni(source + i, srclen - i, &tmp);
522                         dst_char = cpu_to_le16(tmp);
523
524                         /*
525                          * if no match, use question mark, which at least in
526                          * some cases serves as wild card
527                          */
528                         if (charlen > 0)
529                                 goto ctoUTF16;
530
531                         /* convert SURROGATE_PAIR */
532                         if (strcmp(cp->charset, "utf8") || !wchar_to)
533                                 goto unknown;
534                         if (*(source + i) & 0x80) {
535                                 charlen = utf8_to_utf32(source + i, 6, &u);
536                                 if (charlen < 0)
537                                         goto unknown;
538                         } else
539                                 goto unknown;
540                         ret  = utf8s_to_utf16s(source + i, charlen,
541                                                UTF16_LITTLE_ENDIAN,
542                                                wchar_to, 6);
543                         if (ret < 0)
544                                 goto unknown;
545
546                         i += charlen;
547                         dst_char = cpu_to_le16(*wchar_to);
548                         if (charlen <= 3)
549                                 /* 1-3bytes UTF-8 to 2bytes UTF-16 */
550                                 put_unaligned(dst_char, &target[j]);
551                         else if (charlen == 4) {
552                                 /* 4bytes UTF-8(surrogate pair) to 4bytes UTF-16
553                                  * 7-8bytes UTF-8(IVS) divided to 2 UTF-16
554                                  *   (charlen=3+4 or 4+4) */
555                                 put_unaligned(dst_char, &target[j]);
556                                 dst_char = cpu_to_le16(*(wchar_to + 1));
557                                 j++;
558                                 put_unaligned(dst_char, &target[j]);
559                         } else if (charlen >= 5) {
560                                 /* 5-6bytes UTF-8 to 6bytes UTF-16 */
561                                 put_unaligned(dst_char, &target[j]);
562                                 dst_char = cpu_to_le16(*(wchar_to + 1));
563                                 j++;
564                                 put_unaligned(dst_char, &target[j]);
565                                 dst_char = cpu_to_le16(*(wchar_to + 2));
566                                 j++;
567                                 put_unaligned(dst_char, &target[j]);
568                         }
569                         continue;
570
571 unknown:
572                         dst_char = cpu_to_le16(0x003f);
573                         charlen = 1;
574                 }
575
576 ctoUTF16:
577                 /*
578                  * character may take more than one byte in the source string,
579                  * but will take exactly two bytes in the target string
580                  */
581                 i += charlen;
582                 put_unaligned(dst_char, &target[j]);
583         }
584
585 ctoUTF16_out:
586         put_unaligned(0, &target[j]); /* Null terminate target unicode string */
587         kfree(wchar_to);
588         return j;
589 }
590
591 /*
592  * cifs_local_to_utf16_bytes - how long will a string be after conversion?
593  * @from - pointer to input string
594  * @maxbytes - don't go past this many bytes of input string
595  * @codepage - source codepage
596  *
597  * Walk a string and return the number of bytes that the string will
598  * be after being converted to the given charset, not including any null
599  * termination required. Don't walk past maxbytes in the source buffer.
600  */
601
602 static int
603 cifs_local_to_utf16_bytes(const char *from, int len,
604                           const struct nls_table *codepage)
605 {
606         int charlen;
607         int i;
608         wchar_t wchar_to;
609
610         for (i = 0; len && *from; i++, from += charlen, len -= charlen) {
611                 charlen = codepage->char2uni(from, len, &wchar_to);
612                 /* Failed conversion defaults to a question mark */
613                 if (charlen < 1)
614                         charlen = 1;
615         }
616         return 2 * i; /* UTF16 characters are two bytes */
617 }
618
619 /*
620  * cifs_strndup_to_utf16 - copy a string to wire format from the local codepage
621  * @src - source string
622  * @maxlen - don't walk past this many bytes in the source string
623  * @utf16_len - the length of the allocated string in bytes (including null)
624  * @cp - source codepage
625  * @remap - map special chars
626  *
627  * Take a string convert it from the local codepage to UTF16 and
628  * put it in a new buffer. Returns a pointer to the new string or NULL on
629  * error.
630  */
631 __le16 *
632 cifs_strndup_to_utf16(const char *src, const int maxlen, int *utf16_len,
633                       const struct nls_table *cp, int remap)
634 {
635         int len;
636         __le16 *dst;
637
638         len = cifs_local_to_utf16_bytes(src, maxlen, cp);
639         len += 2; /* NULL */
640         dst = kmalloc(len, GFP_KERNEL);
641         if (!dst) {
642                 *utf16_len = 0;
643                 return NULL;
644         }
645         cifsConvertToUTF16(dst, src, strlen(src), cp, remap);
646         *utf16_len = len;
647         return dst;
648 }