数码之家

标题: 再组装一个新NAS, 10TBx4 [打印本页]

作者: pcdoctor 时间: 2020-1-22 14:55
标题: 再组装一个新NAS, 10TBx4
硬盘用的是seagate 10TB外置硬盘，拆开当内置硬盘，

Seagate Expansion STEB10000400 10 TB

[attach]580664[/attach]

这款外置硬盘用的是barracuda pro系列，7200转的，性能比较好，稳定性也不差

遇到打折就买了，比内置barracuda pro系列要便宜不少了，

买回来后，先连接USB检查，都是0小时使用，两三次启动，全新盘

拆外壳也比较简单，沿着顶盖的边缘撬开就好了，不过卡口肯定会裂开的

唯一比较意外的是，这种外置硬盘里面用的盘，旁边的螺丝孔只有4个，不是常见的6个孔位，每一个边，少了中间一个螺丝孔

我在网上查了一下，很多barracuda pro系列图片，也是看到4个螺丝孔

装这个NAS的用途，还是备份，不是常年开机的，所以不考虑耗电，机器还是用了15年前的旧电脑，主板有4个SATA，板载网卡只有百兆，所以外加了一张PCI口的千兆网卡

NAS系统还是轻便的OMV 5，基于debian 10, 不挑硬件，任劳任怨，能在15年前的老电脑上流畅运行

这也是老电脑发挥余热，等到9年前的老电脑被替换下来，OMV的数据盘可以很轻松的迁移到新的主板上，到时候就考虑升级万兆网卡了，15年的旧电脑，主板性能实在太差了

[attach]580665[/attach]

四个10T硬盘，组RAID5，最后可用容量是27T多一点，仔细一看，原来一个盘只有9.1T空间，哈哈

新组的阵列，还在同步中

[attach]580671[/attach]

同步完成以后，计划先测试一下千兆网下的速度，再试验一下这块老主板对万兆网卡的支持情况

作者: jxxgqbpan 时间: 2020-1-22 15:13
这么老的电脑，能识别，又有3T多的空间，算不错了！

作者: pcdoctor 时间: 2020-1-22 20:57
使用OMV5，也算是有点经验了，可是这次在组建RAID过程中，出现了异常现象，
四个10T硬盘，都执行了擦除，使用的是OMV 管理的硬盘管理页面提供的擦除功能，选择了快速擦除

在RAID管理页面，组建RAID5，选择四个盘，确定以后，同时出现了三个RAID5分区，第一个是正常的，后面两个状态显示失败

从命令行cat /proc/mdstat，只能看到第一个正常的RAID5分区进行同步，并没有剩下两个RAID5分区的任何信息

在一开始的时候，我并没有重视这个异常，半天过去了，同步过程已经进行过半了，才尝试从互联网上找找别人是不是遇到同样的奇怪现象

最后，在omv官网论坛找到一个网友报告了同样问题，他用的是三块12T硬盘组RAID5, 遇到同样的异常，下面转载他的截图，我没有对错误进行截图

原帖链接

https://forum.openmediavault.org ... artitions/?pageNo=1

其他网友提示，出现这种异常，很可能是硬盘上有隐藏的分区记录，擦除的时候并没有被擦除干净，造成了OMV的误判
不同网友也给出了不同的解决办法，但到最后，有效的办法还是用dd命令，直接向硬盘写入0，进行彻底擦除

命令：
dd if=/dev/zero of=/dev/sda
dd if=/dev/zero of=/dev/sdb
dd if=/dev/zero of=/dev/sdc
dd if=/dev/zero of=/dev/sdd

那个遇到问题的网友，等待dd写入了大约250G数据以后，就强制终止dd操作

我没有那么多耐心，每个硬盘大约等待三五分钟的样子就强行终止dd
过程中，还学了一招，如何让dd显示进程
其中一个方法是，进入另外一个登录会话，执行命令
watch -n 5 pkill -USR1 ^dd$

之前的dd命令，就会报告进度了

我的操作，给每个盘写入了大约3～5GB的零数据，就终止了dd

在使用dd命令处理了四个硬盘后，再次组RAID5,就不会出现多余的失败阵列了

作者: baihan1986 时间: 2020-1-23 02:20
我最近买的12t硬盘可用10.9t，10t可用9.1怎么t感觉少了点。

作者: pcdoctor 时间: 2020-1-23 02:44

baihan1986 发表于 2020-1-23 02:20
我最近买的12t硬盘可用10.9t，10t可用9.1怎么t感觉少了点。

我查了一下，原来硬盘商家标的10TB，跟我们理解的不一样

商家的10TB，意思是10000000000000比特

这个数字除以四个1024,等于9.094947TB，约等于9.1TB，这才是电脑看到的，哈哈

作者: pcdoctor 时间: 2020-1-24 12:48
报告一下速度测试，

可能是这块主板太老了，pci-e总线速度跟不上，插了10G网卡，倒是识别出来了，
但是，复制进去的速度仅仅只有90MB/s, 读出的速度大约160MB/s

看来真的要升级新系统了，这样就可以把i7 2700k那套用来做NAS,才能充分发挥10G网卡速度

作者: pcdoctor 时间: 2020-1-24 12:53
网卡的速度，系统识别的的确是10G

$ ethtool eth0
Settings for eth0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Cannot get wake-on-lan settings: Operation not permitted
Link detected: yes

复制代码

作者: dark0082 时间: 2020-1-25 23:41

pcdoctor 发表于 2020-1-24 12:48
报告一下速度测试，

可能是这块主板太老了，pci-e总线速度跟不上，插了10G网卡，倒是识别出来了，

如果是PCIE口速度不足，读写速度应该是对等。
文件拷贝速度，在千兆甚至万兆网络中，最大的瓶颈是硬盘，机械硬盘极限也就那么个速度了写很少超过130M,读也差不多就是150-160M了。你换个三棒子的SSD测试下，读写速度就起来了
我一前840EVO速度就能明显的感觉比机械盘快很多，现在960PRONVME更是能有快感。。。。

作者: pcdoctor 时间: 2020-1-26 09:56
换了一个主板, cpu 是amd athlon x64 4000+, 也是识别了10G 网卡，写入速度146MB/s ，读出速度310MB/s

作者: pcdoctor 时间: 2020-1-26 10:11

dark0082 发表于 2020-1-25 23:41
如果是PCIE口速度不足，读写速度应该是对等。
文件拷贝速度，在千兆甚至万兆网络中，最大的瓶颈是硬盘， ...

这种10TB硬盘是从外置硬盘拆出来的，拆之前测试过速度，USB 3链接，写速度大约180MB/s，读出速度大约220MB/s，已经不算慢了

作者: mzhboy 时间: 2020-1-27 04:19
擦磁盘只需要把前面的2MB擦掉就够了
楼主好像是软RAID

作者: pcdoctor 时间: 2020-1-27 10:48

mzhboy 发表于 2020-1-27 04:19
擦磁盘只需要把前面的2MB擦掉就够了
楼主好像是软RAID

对的，OpenMediaVault这种系统，使用的都是软RAID,成本低啊

作者: pcdoctor 时间: 2020-1-29 02:08
继续折腾这组NAS，

终于下决心，把那套i7 2700K从主力电脑替换下来了，上了一套ryzen 5 3600x，打游戏足够了

这套i7 2700k板子上有8个sata口，intel 芯片链接2个sata 3代口，4个sata 2代口，还有两个是第三方

测试发现，两个第三方的sata口和intel芯片的口一起用，反而速度比较慢

四个硬盘
intel 两个三代口，两个两代口，写入速度 442MB/s 读出速度620MB/s，四个都是二代口，速度非常接近

如果两个intel 三代口，加两个第三方芯片的sata 三代口，写入速度大约370MB/s ，读出速度一样大约620MB/s

作者: pcdoctor 时间: 2020-1-29 07:48
对比之前组装的FreeNAS 6盘，速度，写入610MB/s, 读出766MB/s

我就很好奇，这套4盘OMV如果改装FreeNAS, 同样的硬件速度能差多少了，

哦，更真正一下这台i7，是2600k，

内存16G DDR3，如果只玩OMV实在是大材小用了

那就花时间装一次FreeNAS吧，满足一下好奇心

作者: pcdoctor 时间: 2020-1-30 03:33
在同样的平台上装了一套freenas，测试速度，果然是一样的，写入速度445MB/s，读出速度622MB/s ，同OMV的速度差别可以忽略不计了，

不过FreeNAS的硬盘组，并不需要同步以后才能使用，剩下了二十多小时的阵列同步时间，那就是太方便了
看来很有必要在i7平台上继续使用freeNAS了，反正16G内存用OMV太浪费了

作者: pcdoctor 时间: 2020-1-30 11:07
有趣的事情发生了，第一次安装freenas，使用了一个verbatim 32G的U盘，没想到非常的慢，整个系统反应迟钝，实在是难受，测试完文件传输速度后，打算放弃这个U盘

后来换了sandisk的mini U盘，再装了一次，安装过程就感觉飞快了，系统感觉流畅起来

做速度测试，写入速度没有变化，读出速度猛然增长到了730MB/s，这就比较奇怪了，
这次反复测试多次，发现复制过程的曲线非常的平稳，读写都是非常平稳，
测试用的文件是10G文件，10200964KB

作者: ask0wizard 时间: 2020-1-30 17:26
各种折腾，本意其实就是我们穷叼的扒拉垃圾的本色本质而已。。一个『穷』字怎么能描述我们这些垃圾佬的心酸。。。。
不说了，我也去折腾俺的525小板子去了。。

作者: pcdoctor 时间: 2020-1-30 20:49
在这套nas上测试了IBM ServeRAID M1015， PCI-e 2.0 x8 接口，支持8个SATA口

IBM ServeRAID M1015本身是RAID卡，支持freenas需要刷固件成为LSI9211-8i in IT模式的卡，刷机过程另外开贴总结

把四个10TB硬盘都连接到这张卡上，测试速度和直接连主板上的SATA口几乎一样，说明这张卡性能没问题

我原计划的是把另外一个OMV 系统上8个4TB硬盘也一起转到这台i7的平台上面，找一个大机箱，把12块硬盘装在一起，都享受高一些速度的10G网卡，另外可以节省出来一张10G网卡

老主板装10G网卡，写入170MB/s 读出300MB/s，实在是憋屈了

作者: whgf 时间: 2020-1-31 15:43
都是大户人家，组RAID都10TB起步。羡慕......

作者: mzhboy 时间: 2020-2-3 15:55
这么好的平台，不搭pve可惜了

作者: pcdoctor 时间: 2021-6-13 02:36

mzhboy 发表于 2020-2-3 15:55
这么好的平台，不搭pve可惜了

在家已经没兴趣再玩虚拟机了

作者: lht7508 时间: 2021-10-20 18:15
太折腾了，不好用。

作者: digitking 时间: 2021-10-21 11:31
恕我多嘴，软raid5后期重建的时候想死。
这么好的硬件，可以上pve，多搞点玩法

欢迎光临数码之家 (https://www.mydigit.cn/)

Powered by Discuz! X3.4