数码之家

 找回密码
 立即注册
搜索
查看: 7146|回复: 18

我的家庭freenas存储和服务器1:硬件选型方案

[复制链接]
发表于 2019-12-31 18:16:31 | 显示全部楼层 |阅读模式

爱科技、爱创意、爱折腾、爱极致,我们都是技术控

您需要 登录 才可以下载或查看,没有账号?立即注册

x
鼓捣了半年左右,这次把家庭服务器和nas存储的硬件基本搭建完毕,发个贴把过程记录下来,顺便给网友们做个参考。

    接触电脑大概20多年了吧,大概我是在09年的时候感觉到只用一台电脑储存数据不是很方便,恰巧当时流行AMD 5000+开四核,于是我也搞了一套玩玩,顺便搭建成一个小型家庭服务器提供存储和服务功能。那时我还不知道有nas这个概念,当时系统选择的是centos,搭samba服务做共享,一直用的也还可以。就这么用到了17年,想着系统有点老旧了,就升级了一次,这次本着静音节能的需求搭建了2台,一个是j3455,一个是j1900,配长城400NF无风扇电源,一共12块硬盘,10块酷狼4t,2块酷鱼2t,系统是ubuntuserver,但是实际用起来发现,节能倒是节能了,静音无从谈起,12块硬盘同时工作没法静音。于是就有了这次的再次升级。

    18年大病了一场,一直休息,今年年中开始慢慢恢复,就打算再鼓捣点东西,j3455和j1900既然无法静音,性能有那么差,干脆抛弃掉静音方案,选大机箱大主板,性能强扩展性好,而且散热也更强。那么接下来就是下面这些具体选型过程。

    1.软件系统选择
        为什么先选定系统?因为系统是需要硬件支持的,先选定硬件的话,万一想换系统,一旦出现兼容性问题甚至装不上就麻烦了。既然是存储加服务,我个人长期使用linux,所以服务系统肯定选ubuntu server,那接下来nas选什么?我自己用虚拟机玩了下各种热门的,包括群晖,freenas,omv,nas4free,unas等等,winserver我就不考虑了,远程管理在外网麻烦,用字符界面或web界面管理我更喜欢。
        经过一段时间摸索,觉得freenas更适合我,首先是硬件,既然抛弃了j3455这种低性能的,那直接上高性能的,搭载freebsd系统我也想学习了解下,另外各种配置和安装和linux差别不大,很快能上手,zfs拥有快照和写入是复制特性,都是我需要的。再就是免费开源,freenas官方论坛基本对各种问题都有回复。
        群晖的话,买正版硬件性能太差,企业级群晖好几万,感觉划不来,黑群晖说不定哪天出问题了,不敢用,毕竟是要保存工作生活这么多年来绝对不能丢失的数据。
        omv,nas4free等属于freenas分支,不如freenas支持稳定,毕竟freenas有商业公司支持。
        unas等国产还需要努力,暂不考虑。

        这样基本系统就定下来了
        家庭存储系统选择freenas,家庭服务系统选择用proxmox搭建虚拟机平台,1个win10做下载等服务(下载工具还是windows方便),1个ubuntu做其他服务,包括视频播放,云文件同步,ftp等等。

    2.数据存储方案
        我个人包括家人数据我是这么分类的
        按重要性分类
        a.绝对不能丢失的,比如个人的工作数据和资料,这是很多年的积累,绝对不能丢,方案是双机备份+云盘备份
        b.最好不要丢失,但实在丢失了只有接受,比如家庭成员照片,视频生活资料等等,方案是单机raidz2(raid6)+云盘备份
        c.能不丢就不丢,丢了可以再想办法获取,比如下载的各种资料,方案就是单机raidz(raid5)

        按使用频率和存储模式分类
        a.频繁读取修改的热数据,使用ssd组stripe(raid0),配合双机热备,保证访问效率和安全性
        b.只是经常读取,一般不会修改,使用机械硬盘组raidz(raid5),多用在照片,视频,游戏读取
        c.备份后的数据,永远不会修改了,单机械硬盘+云盘

    3.硬件选择
        软件系统和数据存储方案定了,接下来选硬件也是挑了好久,反反复复买买卖卖,最后终于定下来了。
        硬件选择分两块,一块是电脑的各部件,一块是网络结构,先说下电脑部件吧。按照上面的方案,我需要3台freenas服务器,一台用作最高性能ssd存储,一台左右ssd存储的备份机使用机械硬盘,另外还需要一台存储各类视频,照片等家庭成员数据。理论上搭建一台服务器塞下足够的硬盘也是可以的,但是我还是选择分开,在预算允许的情况下分开更安全,特别是我的工作数据不想和家庭成员数据搅在一起,怕万一哪一天家人一个误操作把服务器搞崩了。实际上成本来看硬盘是大头,多几台机器不会贵太多,而且在一台机器上更多硬盘还是要阵列卡,一样也贵。

        既然定下来了freenas做存储系统,那么必须上ecc内存,反正reg ecc内存也不贵,加上大船货这么多,直接上好了,其实只要是长期提供不间断服务的机器最好都用ecc内存。那么ecc又有几种选择,比如ddr3还是ddr4,reg ecc还是纯ecc,我一般在预算允许的情况下会选择买新不买旧,尽量买新一代的设备,因为制程规格等方面,发热量低支持新特性等等。如果选ddr3的话,那主板芯片组只能是c602,x79,x58一类,这类主板我看了一圈,原生sata3接口少,一般只有2个,剩下的都是sata2,而且较新一代c612,x99等便宜不了多少,这样内存就定下ddr4,那纯ecc和reg ecc怎么选,我优先选纯ecc,相对来说延迟小,但是reg ecc优点就是容量大,纯ecc ddr4我最大看到单条16g,reg ecc 32g很常见也很好买。
        主板和cpu我是一起考虑得,首先得配合内存,其次pcie通道数要多,因为以后还要扩展阵列卡,万兆网卡等设备,家用级别i7/i5或amd ryzen就不考虑了,当然高端的pcie通道数多,但太贵了,不考虑。ryzen pro到是支持ecc内存,但问题是很难买到,我有个习惯就是供应量稀少的商品除非是非他不可,否则不买,因为一旦出问题很难找到配件。
        这样一来,可选的cpu也就是志强系列了,首先是价格足够合适,其次供货量充足,e5系列有40条pcie通道,配合c612主板或x99主板以后扩展非常方便,e3只有16条pcie通道不考虑,e7太贵了也不考虑。
        主板/cpu/内存都确定了,剩下的就很好办,电源尽量选静音,手上有两个长城400nf,再配2个长城450w智能温控电源,低温下风扇停转。机械硬盘已有的10块酷狼4t继续服役,2块酷鱼可以作为冷备盘,新购入4块500g ssd,三星和西数各两片,这两种都带缓存,贵一点但是性能有保障。
        最后来说一下网络的选择,千兆网卡现在主板都自带,没什么好说的,关键是要不要上万兆网,我也纠结了很久,最后决定上,万兆会用在什么场景呢?就是进行数据备份双机互拷的时候用,硬盘难免不会出现问题,以后动则几十个t的数据互拷如果是千兆那得好几天,万兆的话时间会节省3-5呗吧。
        那万兆方案是选光口还是电口呢?最开始我倾向光口,就是便宜,淘宝上能找到达创24口全万兆交换机才1100,万兆光口网卡200多也可以买到,电口的话交换机最便宜的8口全万兆就是网件x508m,而且还得海淘,算下来接近3000,电口网卡大约300左右。但我又来发现光口网卡要买光模块或者直连线,这两个成本都很高,而家里以前留下了很多cat6的网线,跑家庭万兆足够了。并且电口的兼容性更好,配合万兆交换机,所有千兆万兆设备可以直接连在一起,用光口的话就麻烦点。更重要的是,光口设备都是老旧的,说明制程低发热量大,也就是说功耗高噪音大,家用不太适合。
        分析了下家里的设备情况,一共有5台机器需要进行万兆组网,那是不是可以让一台机器做交换机直连其他4台呢?于是开始四处找资料,发现可以用网卡做网桥搭建一个简单的二层交换机实现网络互通,而万兆电口网卡都是双网口的,单网口有价格也和双网口差不多,5台机器本来就要购入5块万兆网卡,现在多买1块,让一台机器有2块4口提供网桥就可以实现5台机器万兆互联了。

        最终简单的网络拓扑图就是这样的:




    下面是所有硬件清单了:
    freenas 重要数据存储服务器 1台
            主板:超微X10SRL-F C612, 8个内存插槽,4个pcie3.0x8,2个pcie3.0x4,1个pcie2.0x4,10个sata3.0 1200元带散热器
            内存:8x16G 纯ECC 三星 ddr4 2133 3200元
            CPU:e5 2650L v3 12核24线程,低压版里面性能比较不错的 460元
            网卡:超微X540-t2 双口10Gb 2块 330元
            硬盘:三星860evo 500g x 2,wd blue 3d 500g x 2

    freenas 家庭数据和热备机 各1台 配置一样
            主板:寨板x99(实测好像是c612,可以上regecc),1个pcie3.0x16,1个pcie3.0x8,1个pcie2.0x4,1个pcie3.0x1,9个sata3.0,390元
            内存:4x16G REG ECC 三星 ddr4 2133 780元
            CPU:e5 2650L v3 460元
            网卡:BCM 57840S 双口10Gb 325元
            硬盘:酷鱼2T x 2,酷狼4T x 10

    homeserver 家庭服务器 老机器废物利用
            主板:华硕Z97-K,1个pcie3.0x16,1个pcie2.0x4,2个pcie2.0x1
            内存:4x8G 三星 ddr3 1600
            CPU:i5 4590
            网卡:silicom X540-t2 双口10Gb
            硬盘:pm981 256g 做pve系统盘放虚拟机足够了

    自用PC 17年配的
            主板:华硕Z170-p d3,1个pcie3.0x16,1个pcie3.0x4,2个pcie2.0x1
            内存:4x8G 威刚 ddr3 1600
            CPU:i7 7700k
            网卡:BCM 57810S 双口10Gb 238元
            硬盘:pm981 512g

    前前后后大概折腾了小半年吧,到这个月算是最终定下来了,装机运行大概快1个月了,还比较稳定,当然中间有些小插曲,我后面慢慢在整理出来,目前测试效果大概是这样的
    4块ssd组stripe,PC机互联万兆可以跑到1GB/s,5块酷狼4t组raidz大概跑到400-500MB/s,性能还是不错的,费用肯定比j3455要高些,但是也没高到哪里去,当年买j3455带8G ddr3就去了1000多,现在我配的热备机用寨板+cpu+64g内存也才1600,性能就不说了,待机是高些,大概50w左右,但是我的j3455实测待机也有30w,也没多到哪里去。
     其实对性能要求不高的朋友,如果想用freenas,也可以选择低端i3或奔腾,这两天个支持ecc,但是板子贵,用x99寨板基本都支持reg ecc,原因就是他们其实用的是c610系列芯片组,用品牌的x99主板反而用不了reg ecc,要特别注意。cpu的话也有很多更便宜的选择,要是不像我这样选正式版,选es版,100-200左右都性能不错了,散热选个好点拆机的,然后换个静音风扇,我感觉和j3455这类带大量硬盘噪音差不多。
     总之,我对这次的升级还是挺满意的,3台机器加网卡总费用不到1万(不算硬盘),比那个群晖企业级5,6万的不知道强哪里去了。当然这对动手能力有一定要求,不过人生不就是折腾吗,哈哈。



网络拓扑

网络拓扑

打赏

参与人数 4家元 +170 收起 理由
tdj7691 + 50 認真發帖
pcdoctor + 50 優秀文章
锰子 + 20 謝謝分享
青柠 + 50 以資鼓勵

查看全部打赏

发表于 2019-12-31 21:46:42 | 显示全部楼层
要是我搞这么多机  LP得打死。。。。

这个大点的要放储物间吧。。。。。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-12-31 22:58:16 | 显示全部楼层
cutu 发表于 2019-12-31 21:46
要是我搞这么多机  LP得打死。。。。

这个大点的要放储物间吧。。。。。 ...

合理安排就行啊,我放在阳台角落里面,目前噪音控制的也可以,电费也不多,下一步还打算自己再设计点漂亮的机箱,就更没什么问题了
回复 支持 反对

使用道具 举报

发表于 2020-1-1 12:08:24 | 显示全部楼层
只能说有钱任性啊:biggrin:
回复 支持 反对

使用道具 举报

发表于 2020-1-1 13:12:16 | 显示全部楼层
确实,有钱任性...
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-1-1 13:30:09 | 显示全部楼层
其实费用大头是内存,128g 纯ecc,128g reg ecc,除开这,但看主板 cpu 和配itx的价格其实没高多少,itx板子又贵,扩展性又不好,如果上itx得话,万兆就只有交换机了,那更贵了,我这个方案在我的需求里面算是比较合适的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-1-1 18:11:29 | 显示全部楼层
补充一下实测功耗,原来有两台nas,映泰j1900+4G+6块硬盘,实测待机功耗40-50W,华擎j3455+8G+8块硬盘实测待机功耗60-70W,这就有100-120W了,还不算满载的情况,而且这两台都没有任何风扇,电源是长城400NF无风扇的,到了夏天温度感人。

现在的情况是
FreenasA 超微C612 + e5 2650L v3 + 128G + 4块 500g ssd + 6块120g ssd ,待机功耗60w
FreenasB x99 + e5 2650L v3 + 64G + 2块 酷鱼2t,待机功耗 60W
FreenasC x99 + e5 2650L v3+ 64G + 10块 酷鱼4t,待机功耗 80W
HomeServer z97 + i5 4590 + 32G,待机功耗35w,一个pve跑win10下载和ubuntu

实际上FreenasC并不是24小时开机,只需要工作日晚上6点到12点,休息日全天。
其他三台机器加起来待机功耗大概160w,比之前两台就多了几十w而已,但是性能弹性很大,散热效果也好,以前的两台机器如果cpu满载功耗也会增加的。
实际上宣传的低功耗板U是在极限情况下测出来的,一旦上了硬盘散热待机功耗比高性能的少不了太多。

电费是这样的,看起来很吓人,但是和家里的空调取暖器等一比,花不了多少,要是用商业电那确实要省一点,但是相比数据安全性,电费就不算什么了。
回复 支持 反对

使用道具 举报

发表于 2020-1-2 18:54:13 | 显示全部楼层
数据存储方案这块楼主给了很大启迪~学习哦:handshake:
回复 支持 反对

使用道具 举报

发表于 2020-1-3 12:44:35 | 显示全部楼层
我刚想说这么多机器,很耗电啊,你可以顺便搭一套太阳能供电?
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-1-3 14:01:48 | 显示全部楼层
hqy 发表于 2020-1-3 12:44
我刚想说这么多机器,很耗电啊,你可以顺便搭一套太阳能供电?

我确实有这个计划搭太阳能供电,还在学习中,耗电的原因是硬盘多内存大,当然耗电
回复 支持 反对

使用道具 举报

发表于 2020-1-4 23:16:33 | 显示全部楼层
真爽,有需求才有动力有资金……

像我这种就是想备份一下手机相片的,搞不搞nas还在两可……
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-1-5 00:00:07 | 显示全部楼层
huangpd 发表于 2020-1-4 23:16
真爽,有需求才有动力有资金……

像我这种就是想备份一下手机相片的,搞不搞nas还在两可…… ...

只备份照片的话,搞两个百度网盘就可以了,免费2t
回复 支持 反对

使用道具 举报

发表于 2020-1-5 12:10:24 | 显示全部楼层
有钱能折腾就是不一样。关键不要有技术!
回复 支持 反对

使用道具 举报

发表于 2020-1-7 15:56:22 | 显示全部楼层
真土豪!一般家庭可不敢这么玩。
回复 支持 反对

使用道具 举报

发表于 2020-1-27 03:06:58 | 显示全部楼层
家用万兆网络怎么组建
回复 支持 反对

使用道具 举报

发表于 2020-3-3 15:41:31 | 显示全部楼层
amano512 发表于 2020-1-5 00:00
只备份照片的话,搞两个百度网盘就可以了,免费2t

我也是想备份一些照片和视频之类的,考虑了NAS和百度网盘,又怕资料全部在了,网盘最后没得玩了
回复 支持 反对

使用道具 举报

发表于 2020-3-8 20:26:37 | 显示全部楼层
这个介绍得很细,很强的存储网络。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2024-3-29 06:21 , Processed in 0.171600 second(s), 17 queries , Redis On.

Powered by Discuz!

© 2006-2023 smzj.net

快速回复 返回顶部 返回列表