黑群晖，抢救由于SATA数据线质量差造成的磁盘掉线

pcdoctor

黑群晖，用了8块4T的硬盘，

最近在折腾10G网卡，结果不巧，这个黑群晖用的主板，pci-e x16插槽不支持网卡，实验过程中拔插了SATA数据线

结果造成了8个硬盘中的一个硬盘掉线了，重新开机后，掉线的硬盘回来了，但数据卷坏了，
黑群晖自动运行了恢复，但恢复的速度异常的慢，只有几个MB 最后到了几百KB的速度，但进行到了19%的时候，磁盘报错了，恢复过程终止了，

这时候，数据卷的磁盘列表中，有一个磁盘也消失了
从磁盘列表中，看到了那个掉线的磁盘，状态栏变成了系统分区错误


接下来，我就要找出来8块硬盘中，是哪块硬盘从磁盘列表中消失了

根据硬盘的品牌和序列号，我找出来这块报错的硬盘
取出来，链接到别的电脑检查smart信息，发现磁盘本身状态良好，

因为之前经历过一次由于SATA数据线造成磁盘误判的问题，
所以我就考虑更换这条对应的SATA数据线，这条数据线是早期买的，没有金属卡口的那种，换成了有金属卡口的


在我重新开机进入黑群晖系统，发现了另外一个硬盘不见了，再重启，进入BIOS，果然也看不见另外一块硬盘

我核对另外一个硬盘的数据线，是卡口松动了

重新插好后，再次进入黑群晖系统

从磁盘列表中看到，有两块硬盘报错了

我感觉硬盘本身应该没有问题，只是软RAID阵列自己出问题了


到了现在，从群晖web 界面上已经没有办法操作了，要尝试进入命令行
打开SSH登录

使用admin账号登录SSH

使用命令
cat /proc/mdstat


Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [raidF1]
md2 : active raid5 sdc3[0] sde3[7] sdb3[5] sdg3[4] sdh3[3] sda3[2] sdf3[1]
      27315375808 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/7] [UUUUUUU_]

md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
      2097088 blocks [12/8] [UUUUUUUU____]

md0 : active raid1 sda1[5] sdb1[2] sde1[7] sdf1[6] sdg1[3] sdh1[4]
      2490176 blocks [12/6] [__UUUUUU____]

unused devices: <none>



其中显示md0,系统分区掉了两个硬盘
md2，数据分区掉了一个硬盘


接下来需要mdadm操作，需要root权限

使用命令
sudo su
进入root权限，

首先查看阵列详细信息
mdadm --detail /dev/md2

然后尝试把掉线的磁盘/dev/sdd3添加回去
mdadm --manage /dev/md2 --add /dev/sdd3


然后再次查看md2的详细信息，
mdadm --detail /dev/md2
就会显示系统正在对/dev/sdd3进行spare rebuilding


然后对md0进行类似操作，并把/dev/sdc1和/dev/sdd1加回到md0

mdadm --manage /dev/md0 --add /dev/sdc1

mdadm --manage /dev/md0 --add /dev/sdd1

再次查看mdstat
cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [raidF1]
md2 : active raid5 sdd3[8] sdc3[0] sde3[7] sdb3[5] sdg3[4] sdh3[3] sda3[2] sdf3[1]
      27315375808 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/7] [UUUUUUU_]
      [>....................]  recovery =  0.2% (9771520/3902196544) finish=977.7min speed=66350K/sec

md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
      2097088 blocks [12/8] [UUUUUUUU____]

md0 : active raid1 sdd1[12](S) sdc1[13] sda1[5] sdb1[2] sde1[7] sdf1[6] sdg1[3] sdh1[4]
      2490176 blocks [12/6] [__UUUUUU____]
      [======>..............]  recovery = 34.7% (865408/2490176) finish=2.6min speed=10214K/sec

unused devices: <none>



md0是RAID1，添加进入的两个磁盘，会顺序重建，由于md0分区很小，所以很快完成重建恢复正常了


cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [raidF1]
md2 : active raid5 sdd3[8] sdc3[0] sde3[7] sdb3[5] sdg3[4] sdh3[3] sda3[2] sdf3[1]
      27315375808 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/7] [UUUUUUU_]
      [>....................]  recovery =  3.4% (136153968/3902196544) finish=955.4min speed=65690K/sec

md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
      2097088 blocks [12/8] [UUUUUUUU____]

md0 : active raid1 sdd1[1] sdc1[0] sda1[5] sdb1[2] sde1[7] sdf1[6] sdg1[3] sdh1[4]
      2490176 blocks [12/8] [UUUUUUUU____]

unused devices: <none>



这时候可以看到md2数据阵列重建的速度也明显快了起来，到了65MB/s，这才算是正常的速度
之前表现的重建速度只有几个MB甚至更低，

antonio17

虽然我看不懂，但是直觉告诉我，你老牛X了:biggrin:

rabbitry

高手，先标记下，万一以后找不到了。

amano512

技术贴，学到不少东西了

cnsddata

楼主牛啊，学习了。

bearxu

对于普通用户来说 raid 风险比单个硬盘更大

pcdoctor

bearxu 发表于 2020-1-3 12:31
对于普通用户来说 raid 风险比单个硬盘更大

也对，普通用户没有几十个TB的数据需要保存，没必要折腾raid

muyan

bearxu 发表于 2020-1-3 12:31
对于普通用户来说 raid 风险比单个硬盘更大

这想法还是不对的，raid的数据可靠性还是值得肯定的，因为你无法保证单盘寿命

lz只是数据线问题，如果遇到单盘故障，没有raid就无法恢复数据

普通用户只不过不熟悉恢复raid的命令，缺少的只是恢复的方法，qnap之类的可视化系统还是做得很完善的

遇到过2次单盘故障，正是因为有raid在，所以换盘就能恢复