黑化版的家用算力服务器HomeLab

　　本内容来源于@什么值得买APP，观点仅代表作者本人  作者：值个大头鬼起因
　　之前基于NUC6改的HomeLab（之前发过帖）磁盘有点吃紧，就升级了硬盘，结果新换的硬盘可能是温控做得不太好，经常遇到虚拟机死机和网络断流的情况，所以去年下半年开始骑驴找马。按照我个人的习惯，动手前需求必须明确：
　　一、硬件：机箱不能太大，设计得漂亮，不需要提供太多接口，不要光污染，越简单越好；8代之后的平台，核心数得够用；稳定省电，适合7x24；最好能上10G，5年内不用再折腾。
　　二、系统：ESXi玩过了，灵活度欠缺一些，在PVE/UNRAID中二选一。软路由/黑群/Docker/影音服务器/下载/远程管理/DNS服务器/广告过滤/智能家居，one by one，all in。
　　某一天逛CHH还真让我给找到了（外链不放了，搜索引擎关键字：Build a Black Server），感谢大神（errantry83）提供的现成方案，我准备抄作业，当然最终考虑到实际情况，抄了八九成吧。 经过一、装机
　　机箱：aboStudio ContainerXS
　　主板：华擎Z370m itx/ac
　　CPU：Xeon E-2286M
　　内存：Sumsung ECC UDIMM 2666 16GB x 2
　　存储：Intel S4610 1.92TB x 2 + Micron 5200 ECO 1.92TB x 2
　　网卡：Intel X550-T2
　　电源：G大定制
　　1、机箱
　　aboStudio ContainerXS
　　机箱侧面蜂窝细节1
　　机箱侧面蜂窝细节2
　　侧面其实是全镂空的，散热没有问题
　　背面是两条PCIE开口和开机键，没错开机键在后面
　　开机键（茶轴+黑色键帽），罩子应该是3D打印的
　　开机后亮微弱白光
　　沉头螺丝和垫片细节
　　每颗螺丝带刻字
　　全铝CNC，磨砂质感，细节拉满，做工吹爆，好几斤重，我个人觉得物超所值！机箱可以竖放或者横放，但卖家只提供了一套橡胶脚垫，并且螺丝垫片也没有冗余，容易丢，装机要小心。
　　2、主板、内存和CPU
　　自带两个1G口（Intel I211/Intel I219-v）
　　内存插槽一边4个SATA，另一边2个SATA
　　华擎Z370m itx/ac这块板子刷了BIOS后能支持Xeon和ECC，自带6个SATA3.0、两个1G网口、两个HDMI和若干USB3.0，接口对我来说够丰富了。
　　Sumsung ECC UDIMM 16GB
　　内存必须是ECC UDIMM，也就是所谓的纯ECC，比较常见的ECC是REG。UDIMM比较少见，价格非常贵，二手16G一根卖四五百。为ZFS准备的。
　　CPU用的Xeon E-2286M，8代平台自带UHD630核显，TDP 45W，移动版至强还是比较少见的，8C/16T，主频2.4GHz，睿频最高5GHz，单核性能一般，胜在核多（Passmark单核2760多核15153），性能差不多i9-10900T的水平。
　　CPU风扇和机箱风扇基本照抄作业，不同的是风向，CPU我选择下吹风，机箱风扇向外排风，这样效果会好一些，
　　3、存储
　　容量和安全性需求大于IO速度，手上这根980Pro无用武之地
　　4块企业级SSD
　　这款机箱内部没有锚点可以固定SATA硬盘，所以我买了四盘位的硬盘支架，然后用3M魔术贴纸固定在机箱内侧。
　　Intel S4610 1.92TB x 2：PVE系统盘，RAID1 on ZFS
　　Micron 5200 ECO 1.92TB x 2：直通黑群晖
　　题外话，Intel无论是做工还是散热都远远好于镁光，当然价格也摆在那儿
　　4、网卡
　　Intel X550-T2，1G/2.5G/5G/10G自适应，适应面更广，贵是有理由的。
　　5、电源
　　右边电源本体，左边魔改HPE电源适配器
　　关机红灯，开机蓝灯
　　直插式，用料做工都还不错
　　电源主板合体
　　电源细节
　　受机箱容积限制，只能外置电源，也就是像笔记本一样拖一个电源适配器。没有跟CHH大神一样买HDPLEX DC-ATX，是因为需要海淘且官网无货。最终找了G大定制，4个硬盘电源，评估下来综合功率不会超过200W，舍得堆料，额外加钱买了其HPE魔改电源适配器，体积小散热强，属实是别人眼中的亡命之徒，不过使用下来其实还算稳定。
　　DC接口暂时用扎带固定
　　找来一根半高挡板，斜口钳+锉刀
　　这款机箱还需要解决DC电源接口挡板的问题，一个办法是找人定制，最终我选择DIY，效果居然比定制还要好。 二、装系统
　　处女座，本职就是运维，折腾过程中所有步骤和细节我都会完整记录下来，并且整理备份归档。如果要全部分享出来，感觉又可以水好几篇文章了。大部分是重复造车，网上一搜一大把，所以就点到为止了。
　　1、PVE
　　ZFS好用但有代价，本身就非常吃内存，且不会释放，所以PVE中要给它限定一个最大内存。
　　创建虚拟机时：网卡类型选择VirtIO，防火墙关闭；CPU类型选择host，打开NUMA；开启虚拟机的qemu-guest-agent功能，虚拟机内部一般也要安装agent，比如qemu-ga。
　　2、OpenWrt
　　CPU高级选项中，把AES打开。
　　直通前务必搞清楚网口对应关系，否则会徒增不少烦恼。
　　编译OpenWrt时需要选择qemu-ga，这样才能正常开启qemu-guest-agent功能。
　　配置本地接口DNS：带伪装的科学XX一般配置了域名，如果接口中没有配置DNS，那么这个域名本身就会无法解析导致无法科学XX。
　　配置DNS转发：可以将DNS服务器（我用的docker方式部署AdguardHome）通过DHCP下发给客户端，如果AdguardHome出现问题，客户端依然可以通过OpenWrt自身转发到配置的DNS服务器进行解析。
　　OpenWrt越简单越好，我就选了几个必要的功能：上网时间控制、应用控制、网速控制、科学XX。
　　OpenWrt Powered by Xeon
　　出口千兆，科学差不多能到700+，CPU使用率20%以下
　　3、Win11
　　PVE 7建议装Win11，之前装Win10，使用两周内必定崩溃蓝屏，原因不明，猜测跟底层驱动有关。
　　qemu-ga安装完后，会在＂设备管理器＂中多出一个带问号的PCI设备，选择加载virio镜像中的驱动后，就能正常启用qemu-guest-agent功能；另外，virio镜像中还包含virtio网卡驱动。
　　UHD630 GVT-g
　　UHD630通过GVT-g方式部分共享给了Win11，使得你想用这台Win11虚拟机轻办公看视频成为可能，实测4K GPU使用率在50%以下。
　　4、Ubuntu 20.04
　　目前就跑了下面这些容器：
　　Portainer：管理所有容器和镜像
　　Heimdall：导航页，用处不大
　　Gogs：放我自己的代码，迁移自树莓派
　　qinglong：刷豆子
　　AdguardHome：DNS服务器+广告过滤
　　着重说一下AdguardHome：
　　150W+的解析量，平均响应时间38ms，满意！从结果看，小爱音箱被拦截的请求是最多的，域名排行也是小米占了半壁江山！
　　为什么要单独部署docker，是因为如果跑在OpenWrt中的话，AdguardHome的IP就只能使用宿主机IP，也就OpenWrt的网关地址，AdguardHome中就无法区分客户端，客户端只有一个，即OpenWrt。这个问题可以通过在Portainer中配置macvlan，给AdguardHome容器单独分配一个独立IP来解决。
　　5、HassOS
　　几种安装方式对比，OS是功能最全的，所以直接HassOS。功能非常多，对技术有一定要求，目前就试着加了一台新风机，成功了，后面再慢慢研究。
　　6、DSM 7
　　DSM Powered by Xeon
　　jellyfin作为海报墙
　　Intel QuickSync(QSV)
　　不开启硬件解码，资源利用率，主要是CPU
　　开启Intel QuickSync(QSV)后的资源利用率
　　黑群的规划是作为影音服务器，直通SSD做RAID1，速度和安全兼具，然后docker方式跑jellyfin，UHD630通过GVT-g方式部分共享给jellyfin，使得黑群同时具备了硬解能力。需要注意的是，如果是Intel显卡，建议用linuxserver/jellyfin而不是jellyfin/jellyfin，前者可以开启专门针对Intel显卡的硬解优化Intel QuickSync(QSV)，实测对比同样是硬解的VAAPI，硬解能力起码差10帧。
　　我选择的arpl引导方式，型号DS918+。
　　黑群无法启用qemu-guest-agent，进系统优雅关机，或者直接粗暴切断虚拟机电源。 结果
　　目前放在我儿子书架的顶层，HomeLab和DS418Play各接一台UPS，主要防浪涌和闪断。R2S作为备用，毕竟all in boom。
　　短板在IO
　　缺点：
　　散热有点压不住，室温20度，CPU都往50度靠了，担心夏天。
　　水桶效应，短板在SATA3.0的接口速度，这台机器理论最大传输速率6Gbps，跑不满万兆。实测黑群与Win11对拷，速度在450MBps-500MBps。 然后
　　有几个事情待办：
　　1、虚拟机和ZFS快照，定时自动备份到白群。
　　2、准备入手AppleTV，黑群作为存储，jellyfin作为海报墙，TMM刮削，infuse播放器。
　　3、HassOS还要进一步研究，最终目标是在门口安一块pad，找个好看的UI，把所有设备都集成进来，包括特斯拉。
　　4、移远EC20+短信转发微信（之前发过帖子），从树莓派迁移到Ubuntu，把树莓派卖了。
　　作者声明本文无利益相关，欢迎值友理性交流，和谐讨论