create md array
authorDobrica Pavlinusic <dpavlin@rot13.org>
Wed, 19 Sep 2018 18:44:39 +0000 (20:44 +0200)
committerDobrica Pavlinusic <dpavlin@rot13.org>
Wed, 19 Sep 2018 18:44:39 +0000 (20:44 +0200)
doc/megaraid-to-md.txt

index 82520db..6b450dc 100644 (file)
@@ -19,3 +19,137 @@ from it to rest of cluster.
 Alternative is to use modify -t plain, but that requires instance reboot.
 
 
+root@lib28:~# vgremove ffzgvg
+
+root@lib28:~# pvremove /dev/bcache0 
+
+
+
+Then, we need to find bcache block device and deactiate it:
+
+root@lib28:~# cd /sys/fs/bcache/
+root@lib28:/sys/fs/bcache# cd 4a61e966-f18d-4fab-836a-3ff027963781/
+
+root@lib28:/sys/fs/bcache/4a61e966-f18d-4fab-836a-3ff027963781# ls -al bdev0
+lrwxrwxrwx 1 root root 0 Sep 19 19:46 bdev0 -> ../../../devices/pci0000:00/0000:00:02.2/0000:03:00.0/host0/target0:2:0/0:2:0:0/block/sdb/bcache
+
+
+root@lib28:~# echo 1 > /sys/block/sdb/bcache/stop 
+[Wed Sep 19 20:05:53 2018] bcache: bcache_device_free() bcache0 stopped
+
+root@lib28:~# megacli -CfgDsply -a0
+
+
+Erase existing config
+
+root@lib28:~# megacli -CfgLdDel -L0 -a0
+                                     
+Adapter 0: Deleted Virtual Drive-0(target id-0)
+
+Exit Code: 0x00
+
+
+Convert all disks to jbod
+
+root@lib28:~# megacli -PDMakeJBOD -PhysDrv[32:0] -a0
+                                     
+Adapter: 0: EnclId-32 SlotId-0 state changed to JBOD.
+
+Exit Code: 0x00
+
+root@lib28:~# megacli -PDMakeJBOD -PhysDrv[32:1] -a0
+
+...
+
+megacli -PDMakeJBOD -PhysDrv[32:6] -a0
+                                     
+Adapter: 0: Failed to change PD state at EnclId-32 SlotId-6.
+
+Exit Code: 0x01
+
+
+This probably means that it has foreign config (makes sense, 7th disk
+comes from another server with raid on it):
+
+root@lib28:~# megacli -CfgForeign -Clear 0 -a0
+                                     
+Foreign configuration 0 is cleared on controller 0.
+
+Exit Code: 0x00
+
+
+root@lib28:~# megacli -PDMakeJBOD -PhysDrv[32:6] -a0
+                                     
+Adapter: 0: EnclId-32 SlotId-6 state changed to JBOD.
+
+Exit Code: 0x00
+
+
+root@lib28:~# lsblk --scsi -m
+NAME HCTL       TYPE VENDOR   MODEL             REV TRAN NAME   SIZE OWNER GROUP MODE
+sda  0:0:7:0    disk ATA      INTEL SSDSC2BW24 DC32      sda  223.6G root  disk  brw-rw----
+sdb  0:0:0:0    disk ATA      ST1000NM0033-9ZM GA0A      sdb  931.5G root  disk  brw-rw----
+sdc  0:0:1:0    disk ATA      ST1000NM0033-9ZM GA0A      sdc  931.5G root  disk  brw-rw----
+sdd  0:0:2:0    disk ATA      ST1000NM0033-9ZM GA0A      sdd  931.5G root  disk  brw-rw----
+sde  0:0:3:0    disk ATA      ST1000NM0033-9ZM GA0A      sde  931.5G root  disk  brw-rw----
+sdf  0:0:4:0    disk ATA      ST1000NM0033-9ZM GA0A      sdf  931.5G root  disk  brw-rw----
+sdg  0:0:5:0    disk ATA      ST1000NM0033-9ZM GA0A      sdg  931.5G root  disk  brw-rw----
+sdh  0:0:6:0    disk ATA      ST1000NM0033-9ZM GA0A      sdh  931.5G root  disk  brw-rw----
+
+root@lib28:~# mdadm --create /dev/md0 --level=10 --raid-devices=7 /dev/sd{b,c,d,e,f,g,h}
+mdadm: cannot open /dev/sdb: Device or resource busy
+root@lib28:~# lsblk 
+NAME      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
+sda         8:0    0 223.6G  0 disk 
+├─sda1      8:1    0   260M  0 part /boot/efi
+├─sda2      8:2    0    10G  0 part /
+└─sda3      8:3    0 213.3G  0 part 
+sdb         8:16   0 931.5G  0 disk 
+└─bcache0 254:0    0 931.5G  0 disk 
+sdc         8:32   0 931.5G  0 disk 
+└─bcache1 254:1    0 931.5G  0 disk 
+sdd         8:48   0 931.5G  0 disk 
+sde         8:64   0 931.5G  0 disk 
+sdf         8:80   0 931.5G  0 disk 
+sdg         8:96   0 931.5G  0 disk 
+sdh         8:112  0 931.5G  0 disk 
+
+Duh!
+
+root@lib28:~# wipefs /dev/sda 
+offset               type
+----------------------------------------------------------------
+0x1018               bcache   [other]
+                     UUID:  2dbf6232-0e89-4d7b-87c7-79897b0a34f2
+
+root@lib28:~# wipefs /dev/sdb
+offset               type
+----------------------------------------------------------------
+0x1018               bcache   [other]
+                     UUID:  2dbf6232-0e89-4d7b-87c7-79897b0a34f2
+
+root@lib28:~# echo 1 > /sys/block/sda/bcache/stop 
+root@lib28:~# [Wed Sep 19 20:25:14 2018] bcache: bcache_device_free() bcache0 stopped
+
+root@lib28:~# echo 1 > /sys/block/sdb/bcache/stop 
+root@lib28:~# [Wed Sep 19 20:25:20 2018] bcache: bcache_device_free() bcache1 stopped
+
+root@lib28:~# lsblk 
+NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
+sda      8:0    0 931.5G  0 disk 
+sdb      8:16   0 931.5G  0 disk 
+sdc      8:32   0 931.5G  0 disk 
+sdd      8:48   0 931.5G  0 disk 
+sde      8:64   0 931.5G  0 disk 
+sdf      8:80   0 931.5G  0 disk 
+sdg      8:96   0 931.5G  0 disk 
+sdh      8:112  0 223.6G  0 disk 
+├─sdh1   8:113  0   260M  0 part /boot/efi
+├─sdh2   8:114  0    10G  0 part /
+└─sdh3   8:115  0 213.3G  0 part 
+
+root@lib28:~# mdadm --create /dev/md0 --level=10 --raid-devices=7 /dev/sd{a,b,c,d,e,f,g}
+mdadm: Defaulting to version 1.2 metadata
+mdadm: array /dev/md0 started.
+
+