make oldconfig will rebuild these...
[linux-2.4.21-pre4.git] / drivers / scsi / README.st
1 This file contains brief information about the SCSI tape driver.
2 The driver is currently maintained by Kai Mäkisara (email
3 Kai.Makisara@metla.fi)
4
5 Last modified: Tue Apr 16 22:32:10 2002 by makisara
6
7
8 BASICS
9
10 The driver is generic, i.e., it does not contain any code tailored
11 to any specific tape drive. The tape parameters can be specified with
12 one of the following three methods:
13
14 1. Each user can specify the tape parameters he/she wants to use
15 directly with ioctls. This is administratively a very simple and
16 flexible method and applicable to single-user workstations. However,
17 in a multiuser environment the next user finds the tape parameters in
18 state the previous user left them.
19
20 2. The system manager (root) can define default values for some tape
21 parameters, like block size and density using the MTSETDRVBUFFER ioctl.
22 These parameters can be programmed to come into effect either when a
23 new tape is loaded into the drive or if writing begins at the
24 beginning of the tape. The second method is applicable if the tape
25 drive performs auto-detection of the tape format well (like some
26 QIC-drives). The result is that any tape can be read, writing can be
27 continued using existing format, and the default format is used if
28 the tape is rewritten from the beginning (or a new tape is written
29 for the first time). The first method is applicable if the drive
30 does not perform auto-detection well enough and there is a single
31 "sensible" mode for the device. An example is a DAT drive that is
32 used only in variable block mode (I don't know if this is sensible
33 or not :-).
34
35 The user can override the parameters defined by the system
36 manager. The changes persist until the defaults again come into
37 effect.
38
39 3. Up to four modes can be defined and selected using the minor number
40 (bits 5 and 6). Mode 0 corresponds to the defaults discussed
41 above. Additional modes are dormant until they are defined by the
42 system manager (root). When specification of a new mode is started,
43 the configuration of mode 0 is used to provide a starting point for
44 definition of the new mode.
45
46 Using the modes allows the system manager to give the users choices
47 over some of the buffering parameters not directly accessible to the
48 users (buffered and asynchronous writes). The modes also allow choices
49 between formats in multi-tape operations (the explicitly overridden
50 parameters are reset when a new tape is loaded).
51
52 If more than one mode is used, all modes should contain definitions
53 for the same set of parameters.
54
55 Many Unices contain internal tables that associate different modes to
56 supported devices. The Linux SCSI tape driver does not contain such
57 tables (and will not do that in future). Instead of that, a utility
58 program can be made that fetches the inquiry data sent by the device,
59 scans its database, and sets up the modes using the ioctls. Another
60 alternative is to make a small script that uses mt to set the defaults
61 tailored to the system.
62
63 The driver supports fixed and variable block size (within buffer
64 limits). Both the auto-rewind (minor equals device number) and
65 non-rewind devices (minor is 128 + device number) are implemented.
66
67 In variable block mode, the byte count in write() determines the size
68 of the physical block on tape. When reading, the drive reads the next
69 tape block and returns to the user the data if the read() byte count
70 is at least the block size. Otherwise, error ENOMEM is returned.
71
72 In fixed block mode, the data transfer between the drive and the
73 driver is in multiples of the block size. The write() byte count must
74 be a multiple of the block size. This is not required when reading but
75 may be advisable for portability.
76
77 Support is provided for changing the tape partition and partitioning
78 of the tape with one or two partitions. By default support for
79 partitioned tape is disabled for each driver and it can be enabled
80 with the ioctl MTSETDRVBUFFER.
81
82 By default the driver writes one filemark when the device is closed after
83 writing and the last operation has been a write. Two filemarks can be
84 optionally written. In both cases end of data is signified by
85 returning zero bytes for two consecutive reads.
86
87 The compile options are defined in the file linux/drivers/scsi/st_options.h.
88
89
90 BSD AND SYS V SEMANTICS
91
92 The user can choose between these two behaviours of the tape driver by
93 defining the value of the symbol ST_SYSV. The semantics differ when a
94 file being read is closed. The BSD semantics leaves the tape where it
95 currently is whereas the SYS V semantics moves the tape past the next
96 filemark unless the filemark has just been crossed.
97
98 The default is BSD semantics.
99
100
101 BUFFERING
102
103 The driver uses tape buffers allocated either at system initialization
104 or at run-time when needed. One buffer is used for each open tape
105 device. The size of the buffers is selectable at compile and/or boot
106 time. The buffers are used to store the data being transferred to/from
107 the SCSI adapter. The following buffering options are selectable at
108 compile time and/or at run time (via ioctl):
109
110 Buffering of data across write calls in fixed block mode (define
111 ST_BUFFER_WRITES).
112
113 Asynchronous writing. Writing the buffer contents to the tape is
114 started and the write call returns immediately. The status is checked
115 at the next tape operation.
116
117 Buffered writes and asynchronous writes may in some rare cases cause
118 problems in multivolume operations if there is not enough space on the
119 tape after the early-warning mark to flush the driver buffer.
120
121 Read ahead for fixed block mode (ST_READ_AHEAD). Filling the buffer is
122 attempted even if the user does not want to get all of the data at
123 this read command. Should be disabled for those drives that don't like
124 a filemark to truncate a read request or that don't like backspacing.
125
126 The buffer size is defined (in 1024 byte units) by ST_BUFFER_BLOCKS or
127 at boot time. If this size is not large enough, the driver tries to
128 temporarily enlarge the buffer. Buffer allocation uses chunks of
129 memory having sizes 2^n * (page size). Because of this the actual
130 buffer size may be larger than the buffer size specified with
131 ST_BUFFER_BLOCKS.
132
133 A small number of buffers are allocated at driver initialisation. The
134 maximum number of these buffers is defined by ST_MAX_BUFFERS. The
135 maximum can be changed with kernel or module startup options. One
136 buffer is allocated for each drive detected when the driver is
137 initialized up to the maximum.
138
139 The driver tries to allocate new buffers at run-time if
140 necessary. These buffers are freed after use. If the maximum number of
141 initial buffers is set to zero, all buffer allocation is done at
142 run-time. The advantage of run-time allocation is that memory is not
143 wasted for buffers not being used. The disadvantage is that there may
144 not be memory available at the time when a buffer is needed for the
145 first time (once a buffer is allocated, it is not released). This risk
146 should not be big if the tape drive is connected to a PCI adapter that
147 supports scatter/gather (the allocation is not limited to "DMA memory"
148 and the buffer can be composed of several fragments).
149
150 The threshold for triggering asynchronous write in fixed block mode
151 is defined by ST_WRITE_THRESHOLD. This may be optimized for each
152 use pattern. The default triggers asynchronous write after three
153 default sized writes (10 kB) from tar.
154
155 Scatter/gather buffers (buffers that consist of chunks non-contiguous
156 in the physical memory) are used if contiguous buffers can't be
157 allocated. To support all SCSI adapters (including those not
158 supporting scatter/gather), buffer allocation is using the following
159 three kinds of chunks:
160 1. The initial segment that is used for all SCSI adapters including
161 those not supporting scatter/gather. The size of this buffer will be
162 (PAGE_SIZE << ST_FIRST_ORDER) bytes if the system can give a chunk of
163 this size (and it is not larger than the buffer size specified by
164 ST_BUFFER_BLOCKS). If this size is not available, the driver halves
165 the size and tries again until the size of one page. The default
166 settings in st_options.h make the driver to try to allocate all of the
167 buffer as one chunk.
168 2. The scatter/gather segments to fill the specified buffer size are
169 allocated so that as many segments as possible are used but the number
170 of segments does not exceed ST_FIRST_SG.
171 3. The remaining segments between ST_MAX_SG (or the module parameter
172 max_sg_segs) and the number of segments used in phases 1 and 2
173 are used to extend the buffer at run-time if this is necessary. The
174 number of scatter/gather segments allowed for the SCSI adapter is not
175 exceeded if it is smaller than the maximum number of scatter/gather
176 segments specified. If the maximum number allowed for the SCSI adapter
177 is smaller than the number of segments used in phases 1 and 2,
178 extending the buffer will always fail.
179
180
181 MODULE PARAMETERS
182
183 The buffer size, write threshold, and the maximum number of allocated buffers
184 are configurable when the driver is loaded as a module. The keywords are:
185
186 buffer_kbs=xxx             the buffer size in kilobytes is set to xxx
187 write_threshold_kbs=xxx    the write threshold in kilobytes set to xxx
188 max_buffers=xxx            the maximum number of tape buffer set to xxx
189 max_sg_segs=xxx            the maximum number of scatter/gather
190                            segments
191 blocking_open=xxx          block in open() if drive not ready, O_NONBLOCK
192                            not used, and blocking_open non-zero
193
194 Note that if the buffer size is changed but the write threshold is not
195 set, the write threshold is set to the new buffer size - 2 kB.
196
197
198 BOOT TIME CONFIGURATION
199
200 If the driver is compiled into the kernel, the same parameters can be
201 also set using, e.g., the LILO command line. The preferred syntax is
202 to use the same keywords as when loading the driver as module. If
203 several parameters are set, the keyword-value pairs are separated with
204 a comma (no spaces allowed). A colon can be used instead of the equal
205 mark. The definition is prepended by the string st=. Here is an
206 example:
207
208         st=buffer_kbs:64,max_buffers:2
209
210 The following syntax used by the old kernel versions is also supported:
211
212            st=aa[,bb[,cc[,dd]]]
213
214 where
215   aa is the buffer size in 1024 byte units
216   bb is the write threshold in 1024 byte units
217   cc is the maximum number of tape buffers to allocate (the number of
218         buffers is bounded also by the number of drives detected)
219   dd is the maximum number of scatter/gather segments
220
221
222 IOCTLS
223
224 The tape is positioned and the drive parameters are set with ioctls
225 defined in mtio.h The tape control program 'mt' uses these ioctls. Try
226 to find an mt that supports all of the Linux SCSI tape ioctls and
227 opens the device for writing if the tape contents will be modified
228 (look for a package mt-st* from the Linux ftp sites; the GNU mt does
229 not open for writing for, e.g., erase).
230
231 The supported ioctls are:
232
233 The following use the structure mtop:
234
235 MTFSF   Space forward over count filemarks. Tape positioned after filemark.
236 MTFSFM  As above but tape positioned before filemark.
237 MTBSF   Space backward over count filemarks. Tape positioned before
238         filemark.
239 MTBSFM  As above but ape positioned after filemark.
240 MTFSR   Space forward over count records.
241 MTBSR   Space backward over count records.
242 MTFSS   Space forward over count setmarks.
243 MTBSS   Space backward over count setmarks.
244 MTWEOF  Write count filemarks.
245 MTWSM   Write count setmarks.
246 MTREW   Rewind tape.
247 MTOFFL  Set device off line (often rewind plus eject).
248 MTNOP   Do nothing except flush the buffers.
249 MTRETEN Re-tension tape.
250 MTEOM   Space to end of recorded data.
251 MTERASE Erase tape.
252 MTSEEK  Seek to tape block count. Uses Tandberg-compatible seek (QFA)
253         for SCSI-1 drives and SCSI-2 seek for SCSI-2 drives. The file and
254         block numbers in the status are not valid after a seek.
255 MTSETBLK Set the drive block size. Setting to zero sets the drive into
256         variable block mode (if applicable).
257 MTSETDENSITY Sets the drive density code to arg. See drive
258         documentation for available codes.
259 MTLOCK and MTUNLOCK Explicitly lock/unlock the tape drive door.
260 MTLOAD and MTUNLOAD Explicitly load and unload the tape. If the
261         command argument x is between MT_ST_HPLOADER_OFFSET + 1 and
262         MT_ST_HPLOADER_OFFSET + 6, the number x is used sent to the
263         drive with the command and it selects the tape slot to use of
264         HP C1553A changer.
265 MTCOMPRESSION Sets compressing or uncompressing drive mode using the
266         SCSI mode page 15. Note that some drives other methods for
267         control of compression. Some drives (like the Exabytes) use
268         density codes for compression control. Some drives use another
269         mode page but this page has not been implemented in the
270         driver. Some drives without compression capability will accept
271         any compression mode without error.
272 MTSETPART Moves the tape to the partition given by the argument at the
273         next tape operation. The block at which the tape is positioned
274         is the block where the tape was previously positioned in the
275         new active partition unless the next tape operation is
276         MTSEEK. In this case the tape is moved directly to the block
277         specified by MTSEEK. MTSETPART is inactive unless
278         MT_ST_CAN_PARTITIONS set.
279 MTMKPART Formats the tape with one partition (argument zero) or two
280         partitions (the argument gives in megabytes the size of
281         partition 1 that is physically the first partition of the
282         tape). The drive has to support partitions with size specified
283         by the initiator. Inactive unless MT_ST_CAN_PARTITIONS set.
284 MTSETDRVBUFFER
285         Is used for several purposes. The command is obtained from count
286         with mask MT_SET_OPTIONS, the low order bits are used as argument.
287         This command is only allowed for the superuser (root). The
288         subcommands are:
289         0
290            The drive buffer option is set to the argument. Zero means
291            no buffering.
292         MT_ST_BOOLEANS
293            Sets the buffering options. The bits are the new states
294            (enabled/disabled) the following options (in the
295            parenthesis is specified whether the option is global or
296            can be specified differently for each mode):
297              MT_ST_BUFFER_WRITES write buffering (mode)
298              MT_ST_ASYNC_WRITES asynchronous writes (mode)
299              MT_ST_READ_AHEAD  read ahead (mode)
300              MT_ST_TWO_FM writing of two filemarks (global)
301              MT_ST_FAST_EOM using the SCSI spacing to EOD (global)
302              MT_ST_AUTO_LOCK automatic locking of the drive door (global)
303              MT_ST_DEF_WRITES the defaults are meant only for writes (mode)
304              MT_ST_CAN_BSR backspacing over more than one records can
305                 be used for repositioning the tape (global)
306              MT_ST_NO_BLKLIMS the driver does not ask the block limits
307                 from the drive (block size can be changed only to
308                 variable) (global)
309              MT_ST_CAN_PARTITIONS enables support for partitioned
310                 tapes (global)
311              MT_ST_SCSI2LOGICAL the logical block number is used in
312                 the MTSEEK and MTIOCPOS for SCSI-2 drives instead of
313                 the device dependent address. It is recommended to set
314                 this flag unless there are tapes using the device
315                 dependent (from the old times) (global)
316              MT_ST_SYSV sets the SYSV sematics (mode)
317              MT_ST_NOWAIT enables immediate mode (i.e., don't wait for
318                 the command to finish) for some commands (e.g., rewind)
319              MT_ST_DEBUGGING debugging (global; debugging must be
320                 compiled into the driver)
321         MT_ST_SETBOOLEANS
322         MT_ST_CLEARBOOLEANS
323            Sets or clears the option bits.
324         MT_ST_WRITE_THRESHOLD
325            Sets the write threshold for this device to kilobytes
326            specified by the lowest bits.
327         MT_ST_DEF_BLKSIZE
328            Defines the default block size set automatically. Value
329            0xffffff means that the default is not used any more.
330         MT_ST_DEF_DENSITY
331         MT_ST_DEF_DRVBUFFER
332            Used to set or clear the density (8 bits), and drive buffer
333            state (3 bits). If the value is MT_ST_CLEAR_DEFAULT
334            (0xfffff) the default will not be used any more. Otherwise
335            the lowermost bits of the value contain the new value of
336            the parameter.
337         MT_ST_DEF_COMPRESSION
338            The compression default will not be used if the value of
339            the lowermost byte is 0xff. Otherwise the lowermost bit
340            contains the new default. If the bits 8-15 are set to a
341            non-zero number, and this number is not 0xff, the number is
342            used as the compression algorithm. The value
343            MT_ST_CLEAR_DEFAULT can be used to clear the compression
344            default.
345         MT_ST_SET_TIMEOUT
346            Set the normal timeout in seconds for this device. The
347            default is 900 seconds (15 minutes). The timeout should be
348            long enough for the retries done by the device while
349            reading/writing.
350         MT_ST_SET_LONG_TIMEOUT
351            Set the long timeout that is used for operations that are
352            known to take a long time. The default is 14000 seconds
353            (3.9 hours). For erase this value is further multiplied by
354            eight.
355         MT_ST_SET_CLN
356            Set the cleaning request interpretation parameters using
357            the lowest 24 bits of the argument. The driver can set the
358            generic status bit GMT_CLN if a cleaning request bit pattern
359            is found from the extended sense data. Many drives set one or
360            more bits in the extended sense data when the drive needs
361            cleaning. The bits are device-dependent. The driver is
362            given the number of the sense data byte (the lowest eight
363            bits of the argument; must be >= 18 (values 1 - 17
364            reserved) and <= the maximum requested sense data sixe), 
365            a mask to select the relevant bits (the bits 9-16), and the
366            bit pattern (bits 17-23). If the bit pattern is zero, one
367            or more bits under the mask indicate cleaning request. If
368            the pattern is non-zero, the pattern must match the masked
369            sense data byte.
370
371            (The cleaning bit is set if the additional sense code and
372            qualifier 00h 17h are seen regardless of the setting of
373            MT_ST_SET_CLN.)
374
375 The following ioctl uses the structure mtpos:
376 MTIOCPOS Reads the current position from the drive. Uses
377         Tandberg-compatible QFA for SCSI-1 drives and the SCSI-2
378         command for the SCSI-2 drives.
379
380 The following ioctl uses the structure mtget to return the status:
381 MTIOCGET Returns some status information.
382         The file number and block number within file are returned. The
383         block is -1 when it can't be determined (e.g., after MTBSF).
384         The drive type is either MTISSCSI1 or MTISSCSI2.
385         The number of recovered errors since the previous status call
386         is stored in the lower word of the field mt_erreg.
387         The current block size and the density code are stored in the field
388         mt_dsreg (shifts for the subfields are MT_ST_BLKSIZE_SHIFT and
389         MT_ST_DENSITY_SHIFT).
390         The GMT_xxx status bits reflect the drive status. GMT_DR_OPEN
391         is set if there is no tape in the drive. GMT_EOD means either
392         end of recorded data or end of tape. GMT_EOT means end of tape.
393
394
395 MISCELLANEOUS COMPILE OPTIONS
396
397 The recovered write errors are considered fatal if ST_RECOVERED_WRITE_FATAL
398 is defined.
399
400 By default, open() does not block if the drive is not ready. The
401 behaviour can be changed by setting ST_BLOCKING_OPEN to one. The
402 behaviour can be changed also with the boot/module option
403 blocking_open. The blocking open times out after ST_BLOCK_SECONDS.
404
405 The maximum number of tape devices is determined by the define
406 ST_MAX_TAPES. If more tapes are detected at driver initialization, the
407 maximum is adjusted accordingly.
408
409 Immediate return from tape positioning SCSI commands can be enabled by
410 defining ST_NOWAIT. If this is defined, the user should take care that
411 the next tape operation is not started before the previous one has
412 finished. The drives and SCSI adapters should handle this condition
413 gracefully, but some drive/adapter combinations are known to hang the
414 SCSI bus in this case.
415
416 The MTEOM command is by default implemented as spacing over 32767
417 filemarks. With this method the file number in the status is
418 correct. The user can request using direct spacing to EOD by setting
419 ST_FAST_EOM 1 (or using the MT_ST_OPTIONS ioctl). In this case the file
420 number will be invalid.
421
422 When using read ahead or buffered writes the position within the file
423 may not be correct after the file is closed (correct position may
424 require backspacing over more than one record). The correct position
425 within file can be obtained if ST_IN_FILE_POS is defined at compile
426 time or the MT_ST_CAN_BSR bit is set for the drive with an ioctl.
427 (The driver always backs over a filemark crossed by read ahead if the
428 user does not request data that far.)
429
430
431 DEBUGGING HINTS
432
433 To enable debugging messages, edit st.c and #define DEBUG 1. As seen
434 above, debugging can be switched off with an ioctl if debugging is
435 compiled into the driver. The debugging output is not voluminuous.
436
437 If the tape seems to hang, I would be very interested to hear where
438 the driver is waiting. With the command 'ps -l' you can see the state
439 of the process using the tape. If the state is D, the process is
440 waiting for something. The field WCHAN tells where the driver is
441 waiting. If you have the current System.map in the correct place (in
442 /boot for the procps I use) or have updated /etc/psdatabase (for kmem
443 ps), ps writes the function name in the WCHAN field. If not, you have
444 to look up the function from System.map.
445
446 Note also that the timeouts are very long compared to most other
447 drivers. This means that the Linux driver may appear hung although the
448 real reason is that the tape firmware has got confused.