drivers/ata/sata_via.c

   1 /*
   2  *  sata_via.c - VIA Serial ATA controllers
   3  *
   4  *  Maintained by:  Jeff Garzik <jgarzik@pobox.com>
   5  *                 Please ALWAYS copy linux-ide@vger.kernel.org
   6                    on emails.
   7  *
   8  *  Copyright 2003-2004 Red Hat, Inc.  All rights reserved.
   9  *  Copyright 2003-2004 Jeff Garzik
  10  *
  11  *
  12  *  This program is free software; you can redistribute it and/or modify
  13  *  it under the terms of the GNU General Public License as published by
  14  *  the Free Software Foundation; either version 2, or (at your option)
  15  *  any later version.
  16  *
  17  *  This program is distributed in the hope that it will be useful,
  18  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  19  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20  *  GNU General Public License for more details.
  21  *
  22  *  You should have received a copy of the GNU General Public License
  23  *  along with this program; see the file COPYING.  If not, write to
  24  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
  25  *
  26  *
  27  *  libata documentation is available via 'make {ps|pdf}docs',
  28  *  as Documentation/DocBook/libata.*
  29  *
  30  *  Hardware documentation available under NDA.
  31  *
  32  *
  33  *  To-do list:
  34  *  - VT6421 PATA support
  35  *
  36  */
  37
  38 #include <linux/kernel.h>
  39 #include <linux/module.h>
  40 #include <linux/pci.h>
  41 #include <linux/init.h>
  42 #include <linux/blkdev.h>
  43 #include <linux/delay.h>
  44 #include <linux/device.h>
  45 #include <scsi/scsi_host.h>
  46 #include <linux/libata.h>
  47 #include <asm/io.h>
  48
  49 #define DRV_NAME        "sata_via"
  50 #define DRV_VERSION     "2.0"
  51
  52 enum board_ids_enum {
  53         vt6420,
  54         vt6421,
  55 };
  56
  57 enum {
  58         SATA_CHAN_ENAB          = 0x40, /* SATA channel enable */
  59         SATA_INT_GATE           = 0x41, /* SATA interrupt gating */
  60         SATA_NATIVE_MODE        = 0x42, /* Native mode enable */
  61         SATA_PATA_SHARING       = 0x49, /* PATA/SATA sharing func ctrl */
  62         PATA_UDMA_TIMING        = 0xB3, /* PATA timing for DMA/ cable detect */
  63         PATA_PIO_TIMING         = 0xAB, /* PATA timing register */
  64
  65         PORT0                   = (1 << 1),
  66         PORT1                   = (1 << 0),
  67         ALL_PORTS               = PORT0 | PORT1,
  68         PATA_PORT               = 2,    /* PATA is port 2 */
  69         N_PORTS                 = 3,
  70
  71         NATIVE_MODE_ALL         = (1 << 7) | (1 << 6) | (1 << 5) | (1 << 4),
  72
  73         SATA_EXT_PHY            = (1 << 6), /* 0==use PATA, 1==ext phy */
  74         SATA_2DEV               = (1 << 5), /* SATA is master/slave */
  75 };
  76
  77 static int svia_init_one (struct pci_dev *pdev, const struct pci_device_id *ent);
  78 static u32 svia_scr_read (struct ata_port *ap, unsigned int sc_reg);
  79 static void svia_scr_write (struct ata_port *ap, unsigned int sc_reg, u32 val);
  80 static void svia_noop_freeze(struct ata_port *ap);
  81 static void vt6420_error_handler(struct ata_port *ap);
  82 static void vt6421_sata_error_handler(struct ata_port *ap);
  83 static void vt6421_pata_error_handler(struct ata_port *ap);
  84 static void vt6421_set_pio_mode(struct ata_port *ap, struct ata_device *adev);
  85 static void vt6421_set_dma_mode(struct ata_port *ap, struct ata_device *adev);
  86 static int vt6421_port_start(struct ata_port *ap);
  87
  88 static const struct pci_device_id svia_pci_tbl[] = {
  89         { PCI_VDEVICE(VIA, 0x5337), vt6420 },
  90         { PCI_VDEVICE(VIA, 0x0591), vt6420 },
  91         { PCI_VDEVICE(VIA, 0x3149), vt6420 },
  92         { PCI_VDEVICE(VIA, 0x3249), vt6421 },
  93
  94         { }     /* terminate list */
  95 };
  96
  97 static struct pci_driver svia_pci_driver = {
  98         .name                   = DRV_NAME,
  99         .id_table               = svia_pci_tbl,
 100         .probe                  = svia_init_one,
 101         .remove                 = ata_pci_remove_one,
 102 };
 103
 104 static struct scsi_host_template svia_sht = {
 105         .module                 = THIS_MODULE,
 106         .name                   = DRV_NAME,
 107         .ioctl                  = ata_scsi_ioctl,
 108         .queuecommand           = ata_scsi_queuecmd,
 109         .can_queue              = ATA_DEF_QUEUE,
 110         .this_id                = ATA_SHT_THIS_ID,
 111         .sg_tablesize           = LIBATA_MAX_PRD,
 112         .cmd_per_lun            = ATA_SHT_CMD_PER_LUN,
 113         .emulated               = ATA_SHT_EMULATED,
 114         .use_clustering         = ATA_SHT_USE_CLUSTERING,
 115         .proc_name              = DRV_NAME,
 116         .dma_boundary           = ATA_DMA_BOUNDARY,
 117         .slave_configure        = ata_scsi_slave_config,
 118         .slave_destroy          = ata_scsi_slave_destroy,
 119         .bios_param             = ata_std_bios_param,
 120 };
 121
 122 static const struct ata_port_operations vt6420_sata_ops = {
 123         .port_disable           = ata_port_disable,
 124
 125         .tf_load                = ata_tf_load,
 126         .tf_read                = ata_tf_read,
 127         .check_status           = ata_check_status,
 128         .exec_command           = ata_exec_command,
 129         .dev_select             = ata_std_dev_select,
 130
 131         .bmdma_setup            = ata_bmdma_setup,
 132         .bmdma_start            = ata_bmdma_start,
 133         .bmdma_stop             = ata_bmdma_stop,
 134         .bmdma_status           = ata_bmdma_status,
 135
 136         .qc_prep                = ata_qc_prep,
 137         .qc_issue               = ata_qc_issue_prot,
 138         .data_xfer              = ata_pio_data_xfer,
 139
 140         .freeze                 = svia_noop_freeze,
 141         .thaw                   = ata_bmdma_thaw,
 142         .error_handler          = vt6420_error_handler,
 143         .post_internal_cmd      = ata_bmdma_post_internal_cmd,
 144
 145         .irq_handler            = ata_interrupt,
 146         .irq_clear              = ata_bmdma_irq_clear,
 147
 148         .port_start             = ata_port_start,
 149         .port_stop              = ata_port_stop,
 150         .host_stop              = ata_host_stop,
 151 };
 152
 153 static const struct ata_port_operations vt6421_pata_ops = {
 154         .port_disable           = ata_port_disable,
 155
 156         .set_piomode            = vt6421_set_pio_mode,
 157         .set_dmamode            = vt6421_set_dma_mode,
 158
 159         .tf_load                = ata_tf_load,
 160         .tf_read                = ata_tf_read,
 161         .check_status           = ata_check_status,
 162         .exec_command           = ata_exec_command,
 163         .dev_select             = ata_std_dev_select,
 164
 165         .bmdma_setup            = ata_bmdma_setup,
 166         .bmdma_start            = ata_bmdma_start,
 167         .bmdma_stop             = ata_bmdma_stop,
 168         .bmdma_status           = ata_bmdma_status,
 169
 170         .qc_prep                = ata_qc_prep,
 171         .qc_issue               = ata_qc_issue_prot,
 172         .data_xfer              = ata_pio_data_xfer,
 173
 174         .freeze                 = ata_bmdma_freeze,
 175         .thaw                   = ata_bmdma_thaw,
 176         .error_handler          = vt6421_pata_error_handler,
 177         .post_internal_cmd      = ata_bmdma_post_internal_cmd,
 178
 179         .irq_handler            = ata_interrupt,
 180         .irq_clear              = ata_bmdma_irq_clear,
 181
 182         .port_start             = vt6421_port_start,
 183         .port_stop              = ata_port_stop,
 184         .host_stop              = ata_host_stop,
 185 };
 186
 187 static const struct ata_port_operations vt6421_sata_ops = {
 188         .port_disable           = ata_port_disable,
 189
 190         .tf_load                = ata_tf_load,
 191         .tf_read                = ata_tf_read,
 192         .check_status           = ata_check_status,
 193         .exec_command           = ata_exec_command,
 194         .dev_select             = ata_std_dev_select,
 195
 196         .bmdma_setup            = ata_bmdma_setup,
 197         .bmdma_start            = ata_bmdma_start,
 198         .bmdma_stop             = ata_bmdma_stop,
 199         .bmdma_status           = ata_bmdma_status,
 200
 201         .qc_prep                = ata_qc_prep,
 202         .qc_issue               = ata_qc_issue_prot,
 203         .data_xfer              = ata_pio_data_xfer,
 204
 205         .freeze                 = ata_bmdma_freeze,
 206         .thaw                   = ata_bmdma_thaw,
 207         .error_handler          = vt6421_sata_error_handler,
 208         .post_internal_cmd      = ata_bmdma_post_internal_cmd,
 209
 210         .irq_handler            = ata_interrupt,
 211         .irq_clear              = ata_bmdma_irq_clear,
 212
 213         .scr_read               = svia_scr_read,
 214         .scr_write              = svia_scr_write,
 215
 216         .port_start             = vt6421_port_start,
 217         .port_stop              = ata_port_stop,
 218         .host_stop              = ata_host_stop,
 219 };
 220
 221 static struct ata_port_info vt6420_port_info = {
 222         .sht            = &svia_sht,
 223         .flags          = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY,
 224         .pio_mask       = 0x1f,
 225         .mwdma_mask     = 0x07,
 226         .udma_mask      = 0x7f,
 227         .port_ops       = &vt6420_sata_ops,
 228 };
 229
 230 MODULE_AUTHOR("Jeff Garzik");
 231 MODULE_DESCRIPTION("SCSI low-level driver for VIA SATA controllers");
 232 MODULE_LICENSE("GPL");
 233 MODULE_DEVICE_TABLE(pci, svia_pci_tbl);
 234 MODULE_VERSION(DRV_VERSION);
 235
 236 static u32 svia_scr_read (struct ata_port *ap, unsigned int sc_reg)
 237 {
 238         if (sc_reg > SCR_CONTROL)
 239                 return 0xffffffffU;
 240         return inl(ap->ioaddr.scr_addr + (4 * sc_reg));
 241 }
 242
 243 static void svia_scr_write (struct ata_port *ap, unsigned int sc_reg, u32 val)
 244 {
 245         if (sc_reg > SCR_CONTROL)
 246                 return;
 247         outl(val, ap->ioaddr.scr_addr + (4 * sc_reg));
 248 }
 249
 250 static void svia_noop_freeze(struct ata_port *ap)
 251 {
 252         /* Some VIA controllers choke if ATA_NIEN is manipulated in
 253          * certain way.  Leave it alone and just clear pending IRQ.
 254          */
 255         ata_chk_status(ap);
 256         ata_bmdma_irq_clear(ap);
 257 }
 258
 259 /**
 260  *      vt6420_prereset - prereset for vt6420
 261  *      @ap: target ATA port
 262  *
 263  *      SCR registers on vt6420 are pieces of shit and may hang the
 264  *      whole machine completely if accessed with the wrong timing.
 265  *      To avoid such catastrophe, vt6420 doesn't provide generic SCR
 266  *      access operations, but uses SStatus and SControl only during
 267  *      boot probing in controlled way.
 268  *
 269  *      As the old (pre EH update) probing code is proven to work, we
 270  *      strictly follow the access pattern.
 271  *
 272  *      LOCKING:
 273  *      Kernel thread context (may sleep)
 274  *
 275  *      RETURNS:
 276  *      0 on success, -errno otherwise.
 277  */
 278 static int vt6420_prereset(struct ata_port *ap)
 279 {
 280         struct ata_eh_context *ehc = &ap->eh_context;
 281         unsigned long timeout = jiffies + (HZ * 5);
 282         u32 sstatus, scontrol;
 283         int online;
 284
 285         /* don't do any SCR stuff if we're not loading */
 286         if (!(ap->pflags & ATA_PFLAG_LOADING))
 287                 goto skip_scr;
 288
 289         /* Resume phy.  This is the old resume sequence from
 290          * __sata_phy_reset().
 291          */
 292         svia_scr_write(ap, SCR_CONTROL, 0x300);
 293         svia_scr_read(ap, SCR_CONTROL); /* flush */
 294
 295         /* wait for phy to become ready, if necessary */
 296         do {
 297                 msleep(200);
 298                 if ((svia_scr_read(ap, SCR_STATUS) & 0xf) != 1)
 299                         break;
 300         } while (time_before(jiffies, timeout));
 301
 302         /* open code sata_print_link_status() */
 303         sstatus = svia_scr_read(ap, SCR_STATUS);
 304         scontrol = svia_scr_read(ap, SCR_CONTROL);
 305
 306         online = (sstatus & 0xf) == 0x3;
 307
 308         ata_port_printk(ap, KERN_INFO,
 309                         "SATA link %s 1.5 Gbps (SStatus %X SControl %X)\n",
 310                         online ? "up" : "down", sstatus, scontrol);
 311
 312         /* SStatus is read one more time */
 313         svia_scr_read(ap, SCR_STATUS);
 314
 315         if (!online) {
 316                 /* tell EH to bail */
 317                 ehc->i.action &= ~ATA_EH_RESET_MASK;
 318                 return 0;
 319         }
 320
 321  skip_scr:
 322         /* wait for !BSY */
 323         ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
 324
 325         return 0;
 326 }
 327
 328 static void vt6420_error_handler(struct ata_port *ap)
 329 {
 330         return ata_bmdma_drive_eh(ap, vt6420_prereset, ata_std_softreset,
 331                                   NULL, ata_std_postreset);
 332 }
 333
 334 static int vt6421_pata_prereset(struct ata_port *ap)
 335 {
 336         struct pci_dev *pdev = to_pci_dev(ap->host->dev);
 337         u8 tmp;
 338
 339         pci_read_config_byte(pdev, PATA_UDMA_TIMING, &tmp);
 340         if (tmp & 0x10)
 341                 ap->cbl = ATA_CBL_PATA40;
 342         else
 343                 ap->cbl = ATA_CBL_PATA80;
 344         return 0;
 345 }
 346
 347 static void vt6421_pata_error_handler(struct ata_port *ap)
 348 {
 349         return ata_bmdma_drive_eh(ap, vt6421_pata_prereset, ata_std_softreset,
 350                                   NULL, ata_std_postreset);
 351 }
 352
 353 static int vt6421_sata_prereset(struct ata_port *ap)
 354 {
 355         ap->cbl = ATA_CBL_SATA;
 356         return 0;
 357 }
 358
 359 static void vt6421_sata_error_handler(struct ata_port *ap)
 360 {
 361         return ata_bmdma_drive_eh(ap, vt6421_sata_prereset, ata_std_softreset,
 362                                   NULL, ata_std_postreset);
 363 }
 364
 365 static void vt6421_set_pio_mode(struct ata_port *ap, struct ata_device *adev)
 366 {
 367         struct pci_dev *pdev = to_pci_dev(ap->host->dev);
 368         static const u8 pio_bits[] = { 0xA8, 0x65, 0x65, 0x31, 0x20 };
 369         pci_write_config_byte(pdev, PATA_PIO_TIMING, pio_bits[adev->pio_mode - XFER_PIO_0]);
 370 }
 371
 372 static void vt6421_set_dma_mode(struct ata_port *ap, struct ata_device *adev)
 373 {
 374         struct pci_dev *pdev = to_pci_dev(ap->host->dev);
 375         static const u8 udma_bits[] = { 0xEE, 0xE8, 0xE6, 0xE4, 0xE2, 0xE1, 0xE0, 0xE0 };
 376         pci_write_config_byte(pdev, PATA_UDMA_TIMING, udma_bits[adev->pio_mode - XFER_UDMA_0]);
 377 }
 378
 379 static int vt6421_port_start(struct ata_port *ap)
 380 {
 381         if (ap->port_no == PATA_PORT) {
 382                 ap->ops = &vt6421_pata_ops;
 383                 ap->mwdma_mask = 0;
 384                 ap->flags = ATA_FLAG_SLAVE_POSS | ATA_FLAG_NO_LEGACY | ATA_FLAG_SRST;
 385         }
 386         return ata_port_start(ap);
 387 }
 388
 389 static const unsigned int svia_bar_sizes[] = {
 390         8, 4, 8, 4, 16, 256
 391 };
 392
 393 static const unsigned int vt6421_bar_sizes[] = {
 394         16, 16, 16, 16, 32, 128
 395 };
 396
 397 static unsigned long svia_scr_addr(unsigned long addr, unsigned int port)
 398 {
 399         return addr + (port * 128);
 400 }
 401
 402 static unsigned long vt6421_scr_addr(unsigned long addr, unsigned int port)
 403 {
 404         return addr + (port * 64);
 405 }
 406
 407 static void vt6421_init_addrs(struct ata_probe_ent *probe_ent,
 408                               struct pci_dev *pdev,
 409                               unsigned int port)
 410 {
 411         unsigned long reg_addr = pci_resource_start(pdev, port);
 412         unsigned long bmdma_addr = pci_resource_start(pdev, 4) + (port * 8);
 413         unsigned long scr_addr;
 414
 415         probe_ent->port[port].cmd_addr = reg_addr;
 416         probe_ent->port[port].altstatus_addr =
 417         probe_ent->port[port].ctl_addr = (reg_addr + 8) | ATA_PCI_CTL_OFS;
 418         probe_ent->port[port].bmdma_addr = bmdma_addr;
 419
 420         scr_addr = vt6421_scr_addr(pci_resource_start(pdev, 5), port);
 421         probe_ent->port[port].scr_addr = scr_addr;
 422
 423         ata_std_ports(&probe_ent->port[port]);
 424 }
 425
 426 static struct ata_probe_ent *vt6420_init_probe_ent(struct pci_dev *pdev)
 427 {
 428         struct ata_probe_ent *probe_ent;
 429         struct ata_port_info *ppi[2];
 430
 431         ppi[0] = ppi[1] = &vt6420_port_info;
 432         probe_ent = ata_pci_init_native_mode(pdev, ppi, ATA_PORT_PRIMARY | ATA_PORT_SECONDARY);
 433         if (!probe_ent)
 434                 return NULL;
 435
 436         probe_ent->port[0].scr_addr =
 437                 svia_scr_addr(pci_resource_start(pdev, 5), 0);
 438         probe_ent->port[1].scr_addr =
 439                 svia_scr_addr(pci_resource_start(pdev, 5), 1);
 440
 441         return probe_ent;
 442 }
 443
 444 static struct ata_probe_ent *vt6421_init_probe_ent(struct pci_dev *pdev)
 445 {
 446         struct ata_probe_ent *probe_ent;
 447         unsigned int i;
 448
 449         probe_ent = kmalloc(sizeof(*probe_ent), GFP_KERNEL);
 450         if (!probe_ent)
 451                 return NULL;
 452
 453         memset(probe_ent, 0, sizeof(*probe_ent));
 454         probe_ent->dev = pci_dev_to_dev(pdev);
 455         INIT_LIST_HEAD(&probe_ent->node);
 456
 457         probe_ent->sht          = &svia_sht;
 458         probe_ent->port_flags   = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY;
 459         probe_ent->port_ops     = &vt6421_sata_ops;
 460         probe_ent->n_ports      = N_PORTS;
 461         probe_ent->irq          = pdev->irq;
 462         probe_ent->irq_flags    = IRQF_SHARED;
 463         probe_ent->pio_mask     = 0x1f;
 464         probe_ent->mwdma_mask   = 0x07;
 465         probe_ent->udma_mask    = 0x7f;
 466
 467         for (i = 0; i < N_PORTS; i++)
 468                 vt6421_init_addrs(probe_ent, pdev, i);
 469
 470         return probe_ent;
 471 }
 472
 473 static void svia_configure(struct pci_dev *pdev)
 474 {
 475         u8 tmp8;
 476
 477         pci_read_config_byte(pdev, PCI_INTERRUPT_LINE, &tmp8);
 478         dev_printk(KERN_INFO, &pdev->dev, "routed to hard irq line %d\n",
 479                (int) (tmp8 & 0xf0) == 0xf0 ? 0 : tmp8 & 0x0f);
 480
 481         /* make sure SATA channels are enabled */
 482         pci_read_config_byte(pdev, SATA_CHAN_ENAB, &tmp8);
 483         if ((tmp8 & ALL_PORTS) != ALL_PORTS) {
 484                 dev_printk(KERN_DEBUG, &pdev->dev,
 485                            "enabling SATA channels (0x%x)\n",
 486                            (int) tmp8);
 487                 tmp8 |= ALL_PORTS;
 488                 pci_write_config_byte(pdev, SATA_CHAN_ENAB, tmp8);
 489         }
 490
 491         /* make sure interrupts for each channel sent to us */
 492         pci_read_config_byte(pdev, SATA_INT_GATE, &tmp8);
 493         if ((tmp8 & ALL_PORTS) != ALL_PORTS) {
 494                 dev_printk(KERN_DEBUG, &pdev->dev,
 495                            "enabling SATA channel interrupts (0x%x)\n",
 496                            (int) tmp8);
 497                 tmp8 |= ALL_PORTS;
 498                 pci_write_config_byte(pdev, SATA_INT_GATE, tmp8);
 499         }
 500
 501         /* make sure native mode is enabled */
 502         pci_read_config_byte(pdev, SATA_NATIVE_MODE, &tmp8);
 503         if ((tmp8 & NATIVE_MODE_ALL) != NATIVE_MODE_ALL) {
 504                 dev_printk(KERN_DEBUG, &pdev->dev,
 505                            "enabling SATA channel native mode (0x%x)\n",
 506                            (int) tmp8);
 507                 tmp8 |= NATIVE_MODE_ALL;
 508                 pci_write_config_byte(pdev, SATA_NATIVE_MODE, tmp8);
 509         }
 510 }
 511
 512 static int svia_init_one (struct pci_dev *pdev, const struct pci_device_id *ent)
 513 {
 514         static int printed_version;
 515         unsigned int i;
 516         int rc;
 517         struct ata_probe_ent *probe_ent;
 518         int board_id = (int) ent->driver_data;
 519         const int *bar_sizes;
 520         int pci_dev_busy = 0;
 521         u8 tmp8;
 522
 523         if (!printed_version++)
 524                 dev_printk(KERN_DEBUG, &pdev->dev, "version " DRV_VERSION "\n");
 525
 526         rc = pci_enable_device(pdev);
 527         if (rc)
 528                 return rc;
 529
 530         rc = pci_request_regions(pdev, DRV_NAME);
 531         if (rc) {
 532                 pci_dev_busy = 1;
 533                 goto err_out;
 534         }
 535
 536         if (board_id == vt6420) {
 537                 pci_read_config_byte(pdev, SATA_PATA_SHARING, &tmp8);
 538                 if (tmp8 & SATA_2DEV) {
 539                         dev_printk(KERN_ERR, &pdev->dev,
 540                                    "SATA master/slave not supported (0x%x)\n",
 541                                    (int) tmp8);
 542                         rc = -EIO;
 543                         goto err_out_regions;
 544                 }
 545
 546                 bar_sizes = &svia_bar_sizes[0];
 547         } else {
 548                 bar_sizes = &vt6421_bar_sizes[0];
 549         }
 550
 551         for (i = 0; i < ARRAY_SIZE(svia_bar_sizes); i++)
 552                 if ((pci_resource_start(pdev, i) == 0) ||
 553                     (pci_resource_len(pdev, i) < bar_sizes[i])) {
 554                         dev_printk(KERN_ERR, &pdev->dev,
 555                                 "invalid PCI BAR %u (sz 0x%llx, val 0x%llx)\n",
 556                                 i,
 557                                 (unsigned long long)pci_resource_start(pdev, i),
 558                                 (unsigned long long)pci_resource_len(pdev, i));
 559                         rc = -ENODEV;
 560                         goto err_out_regions;
 561                 }
 562
 563         rc = pci_set_dma_mask(pdev, ATA_DMA_MASK);
 564         if (rc)
 565                 goto err_out_regions;
 566         rc = pci_set_consistent_dma_mask(pdev, ATA_DMA_MASK);
 567         if (rc)
 568                 goto err_out_regions;
 569
 570         if (board_id == vt6420)
 571                 probe_ent = vt6420_init_probe_ent(pdev);
 572         else
 573                 probe_ent = vt6421_init_probe_ent(pdev);
 574
 575         if (!probe_ent) {
 576                 dev_printk(KERN_ERR, &pdev->dev, "out of memory\n");
 577                 rc = -ENOMEM;
 578                 goto err_out_regions;
 579         }
 580
 581         svia_configure(pdev);
 582
 583         pci_set_master(pdev);
 584
 585         /* FIXME: check ata_device_add return value */
 586         ata_device_add(probe_ent);
 587         kfree(probe_ent);
 588
 589         return 0;
 590
 591 err_out_regions:
 592         pci_release_regions(pdev);
 593 err_out:
 594         if (!pci_dev_busy)
 595                 pci_disable_device(pdev);
 596         return rc;
 597 }
 598
 599 static int __init svia_init(void)
 600 {
 601         return pci_register_driver(&svia_pci_driver);
 602 }
 603
 604 static void __exit svia_exit(void)
 605 {
 606         pci_unregister_driver(&svia_pci_driver);
 607 }
 608
 609 module_init(svia_init);
 610 module_exit(svia_exit);