構建完美、廉價的家庭使用網絡附加存儲 (NAS)

這是第一次出現在這裡的帖子的自動翻譯： https://blog.georgovassilis.com/2020/04/01/building-the-perfect-cheap-diy-nas/

這篇文章在 Hacker News 上得到了廣泛的討論。

這篇文章討論了硬件注意事項、安裝 Linux、設置軟件 RAID、穩健性和處理數據損壞。

我已經在家裡運行了十年的自建 NAS，所以我想我會寫下我的經驗，以便其他人可能會為我的許多失敗而幸災樂禍，並為我的幾次勝利而驚嘆不已。

HP Proliant 微服務器 gen8 價格實惠、結構緊湊，可在 Ubuntu 上運行

NAS 是完美的，因為它簡單、安全、模塊化和可擴展，而且價格便宜，因為它是由二手商品零件製成的。

NAS 主要將文件（文檔和媒體）存儲在軟件 RAID 6 上，並通過 Windows 共享將它們提供給本地網絡。 我遠離專有 NAS 解決方案，因為如果沒有完全相同的硬件更換，硬件故障會使數據恢復變得幾乎不可能。 在這十年裡，從硬盤到機箱和主板的每一塊硬件都被換成了別的東西，有時甚至不止一次，所以對模塊化的關注是有回報的。 由於長期數據完整性和穩健性是一個問題，NAS 應該運行某種冗餘 RAID 級別。

目標

非目標 典型的媒體服務器任務：流式傳輸、編碼、轉碼等 比特幣挖礦 洪流 其他一切🙂

獲取硬件

獲得正確的硬件是最難（雙關語）的部分，因為它是模塊化、價格、能耗、尺寸和我感興趣的許多其他目標的平台。周圍有許多二手、廉價的專有 NAS 服務器 ，但我不喜歡封閉的硬件和軟件系統的想法。 例如，如果硬件 RAID 控制器以專有格式在硬盤驅動器上存儲數據，我將需要完全相同的替換控制器來在控制器發生故障時恢復該數據。

空間也是一個問題，因此服務器應該緊湊，同時允許在其上運行 Linux； 這很難找到，因為大多數緊湊型 NAS 都有專有系統，並且不允許安裝您自己的操作系統。 有很多二手 x86 PC 和服務器，但它們大多太大或沒有足夠的驅動器托架或 SATA 端口。 通過 USB 連接驅動器也不是一種選擇，因為速度低、功耗高和空間要求高。 我在 2010 年左右的前幾次 NAS 修訂版使用了緊湊的準系統，後來使用了一個迷你塔式機箱，周圍有 3 或 4 個硬盤托架，但我發現這些天來這些盒子格式更難獲得。 如果你能以實惠的價格買到一個，你會很幸運！

我遇到了一台二手的 HP proliant microserver gen8，從那以後我就沒有後悔過。 基本型號配備 2GB ECC RAM、Celeron 2 核 CPU 和無硬盤驅動器，價格約為 100 歐元。 Louwrentius 上有對該服務器的出色評論。 該服務器非常緊湊（每個尺寸約 26 厘米），待機時噪音相當低（雖然不是靜音），有一個被動冷卻 CPU，兩個 GBit 以太網端口，四個 3.5 英寸硬盤驅動器托架和一個有點隱藏的專有格式插槽，用於 我用於 SSD 的第五個低調 2,5 英寸磁盤。 驅動器托架可以直接接收 SATA 磁盤，而第 5 個插槽需要一個 4 針 FDD 公頭到 SATA 適配器和一根 SATA 電纜將 2.5 英寸 SSD 連接到主板。 作為額外的獎勵，該服務器具有 ILO 功能，允許使用 Web 瀏覽器遠程訪問服務器 – 因此無需鍵盤或屏幕！

我承認服務器不是 100% 的商品部件； 例如。 主板或 CPU 故障將需要訂購完全相同的備件（這可能會很昂貴）或在不同平台上構建全新的服務器。 然而，RAM、網絡和存儲是相當標準的，我在上面運行 Ubuntu，前面概述的好處足以承擔這個風險。 大約 6 年後，服務器仍然可以正常運行； 除非倖存者偏見，我認為這種方法效果很好。

我購買的服務器有 2014 年的固件，幸運的是，惠普最近開始免費發布更新，最後一個是 2019 年末的，我用它刷新了微服務器以獲得流暢的 HTML5 管理 UI。

該服務器多年來經歷了各種升級； 從三個 2TB 硬盤的 RAID5 陣列到當前設置的 3x6TB + 1x8TB + 1x 512MB SSD 以及 CPU 升級到 Xeon 型號和 RAM 升級到 16GB ECC。 我幾乎完全重新利用了比內部硬盤便宜的外部 USB 硬盤驅動器（在打開、提取硬盤和告別保修之後）……起初，考慮到額外的硬件（外殼、USB 到 SATA 適配器、電纜、電源），這令人驚訝 供應）他們來了； 然而，保修和技術規格明顯不如內部驅動器，這解釋了價格差異。 由於服務器運行 RAID 6（其全部目的是為了避免磁盤故障），我認為這是一個可以承擔的風險。

服務器通過以太網電纜連接到家庭 Wifi 路由器； 網絡速度接近 100mb/s 沒問題，USB3 端口可以達到 40mb/s 左右。

安裝

即使沒有物理鍵盤和屏幕，ILO 也可以輕鬆設置服務器。我從 Ubuntu 服務器 LTS 14.04 開始，切換到 16.04，目前正在運行 18.04。升級從未到位，在每種情況下都需要全新安裝。

我建議在您的工作站上安裝 VM（如 VirtualBox），從實時映像啟動 Ubuntu Server 18.04 並在 USB 硬盤上安裝 Ubuntu。我無法使用 UEFI 啟動 Proliant 微服務器，因此需要安裝傳統的 grub BIOS。

四個硬盤按照下面的模式進行分區：一個 1MB 的分區用於 GRUB 引導加載程序，一個 50GB 的分區用於 Ubuntu，一個 5.5TB 的分區用於 RAID。

我使用 Ubuntu Server 18.04 替代安裝程序將 Ubuntu 分區設置為 RAID 1，它將該分區鏡像到所有硬盤上。安裝程序能夠將 Ubuntu 安裝到該 RAID 1 中，並且 GRUB 能夠從中引導。如果硬盤出現故障，只需卸下該硬盤即可讓服務器再次啟動。

要使安裝程序正常工作，RAID 中至少需要有兩個磁盤。 以後可以添加更多磁盤。 只需確保在所有磁盤上安裝 GRUB 引導加載程序：

grub-install /dev/sdX

在我的第一個實驗中，Ubuntu 能夠正常啟動，但無法激活以太網卡。 這需要對netplan進行一些擺弄。

引導 RAID 注意事項

正如“安裝”中所討論的，Ubuntu 從 RAID 1 啟動。md 將更改鏡像到所有啟動分區，這太棒了。 引導 RAID 映射在 /dev/md0 下——我沒有找到為其分配名稱的方法，但我發現設備名稱是穩定的。 不幸的是，Ubuntu 在正常運行期間會不斷訪問引導驅動器，這在我的情況下意味著四個驅動器總是在旋轉。 我嘗試了各種方法，例如將日誌目錄重新映射到 ram 磁盤和預加載文件，但由此產生的腳本叢林無法維護。 破解後，解決方案變得非常簡單和優雅：我在第 5 個硬盤托架中安裝了一個 SSD，並將其添加到啟動 RAID 1。當鏡像工作時，Proliant (gen8) BIOS 無法從 第 5 個托架，如果它在其他地方找到硬盤。 解決方案是一個腳本，該腳本在啟動後運行並使 RAID 中的所有機械硬盤發生故障：

mdadm --manage /dev/md0 --fail /dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2

該腳本比那個複雜一些，因為設備名稱不穩定並且需要考慮各種錯誤情況（例如，如果硬盤出現故障，則不應觸及 RAID）——但這是一個不同的主題 郵政。 MD 在重新啟動後會忘記磁盤已被標記為失敗，這是一個有用的默認設置，因為它允許服務器從任何可用的硬盤啟動。

重要提示：正如我之前寫的，我很少更新服務器上的軟件，但有幾次需要更新時，需要將丟失的硬盤重新插入 RAID，以便將更新鏡像到所有引導分區。

數據 RAID 注意事項

服務器上運行的第二個軟件 RAID 也是重要的一個：數據 RAID。 我的存儲需求歷來與存儲技術的進步競爭，因此數據 RAID 經歷了從雙磁盤 RAID 1 到 3 磁盤 RAID 5 到 3 磁盤 RAID 1 到 4 磁盤 RAID 6 的各種轉變，目前是 .

如果您負擔得起，RAID 1 是最好的解決方案； 它管理最簡單，提供最高的數據一致性和可用性級別，最好的性能，並且作為一個令人愉快的副作用，也是最安靜的操作，這要歸功於寫入模式，它允許在數據存儲時關閉除一個磁盤之外的所有磁盤 只從數組中讀取。 可悲的是，我的數據需求超出了我使用 RAID 1 所能做的。有關“主要寫入模式”的更多信息。

RAID 5 是冗餘和存儲效率之間的一個很好的折衷方案，所以我多年來一直在這種模式下運行數據 RAID。 然而，這個設置有點冒險，正如一個實驗所證明的那樣：想像一個硬盤在半夜突然壞了。 當我注意到故障時，至少 2 天過去了，購買更換並安裝它，再加上 12 小時進行完全重新同步。 因此，陣列在 2.5 天內保持降級和不受保護的狀態——在該時間範圍內任何進一步的故障都會不可挽回地破壞所有數據。

RAID 6 目前是我的用例的選擇級別：它以兩倍的可用性提供一半的總容量，能夠承受雙磁盤故障。 唯一的缺點是 mdadm 的“主要寫入”模式不起作用，因此對 RAID 的任何訪問都需要四個活動磁盤並且噪音很大。

在使用 mdadm 創建 RAID 時，我確保為它分配了一個名稱，所以現在它映射到 /dev/md/data 下。

為了提高數據一致性，我讓 NAS 運行一個腳本來清理數據 RAID。 這是一個長時間運行、I/O 密集和嘈雜的過程，它會使磁盤保持忙碌，並且可能應該在不需要 NAS 時執行； 適用於工作日辦公時間的家庭 NAS。 Cron 是你的朋友。

關於分區的注意事項：您可以在沒有任何分區的情況下使用原始設備（/dev/sdb、/dev/sdc…），但不建議這樣做。 擁有分區（帶有 RAID_1 等標籤）可確保在重建或磁盤交換的情況下，驅動器不會意外安裝在不同的計算機上，並且數據不會被覆蓋（未分區的驅動器將始終顯示不包含任何數據，因此 “安全”用於格式化）。

RAID 加密

下一步是為數據 RAID 設置加密。 為此，我使用了 dmcrypt LUKS，將密鑰存儲在 U 盤上。 確保備份密鑰和 LUKS 標頭，否則在標頭損壞的情況下將無法訪問數據。 加密的好處是我可以移動服務器而不用擔心數據被盜，只要加密的 RAID 和密鑰通過不同的路線傳輸。

加密數據 RAID 是映射到 /dev/mapper/data 的塊設備

文件系統

選擇的文件系統是 ext4，有一些調整：

mkfs.ext4 -O metadata_csum -E lazy_itable_init=0,lazy_journal_init=0 /dev/mapper/data 

這些選項啟用元數據校驗和，從而提高數據一致性並禁用延遲初始化； 後者對於具有機械磁盤的大型陣列尤其重要，因為否則 inode 初始化將需要幾天時間。

本著模塊化的精神，數據 RAID 沒有安裝在 /etc/fstab 中，而是在引導期間通過腳本和 mdadm 安裝。 該腳本還使用 noatime、nodiratime 和 data=journal 選項掛載數據 RAID 文件系統，在掛載之前運行 fsck，調整 stripe_cache_size 並調整電源管理。

另請注意，對於大型 ext4 文件系統，第一次寫入訪問可能需要很長時間——因此請查看此“解決方法”。

Proliant 的 Celeron CPU 成為 dmcrypt 的瓶頸，因為它缺乏硬件輔助加密，但對同一插槽的 Xeon E3-1220L 進行廉價升級解決了這個問題，同時還將 TDP 減半至 17 瓦。

2020 年 9 月更新：我不記得這種情況是否一直如此，或者在更新後開始發生，但數據 RAID 硬盤即使空閒也永遠不會減速。 原因是 ext4 的“多掛載保護”不斷寫入文件系統。 可以使用 tune2fs 調整或禁用多掛載保護（這就是我所做的）。

更安全的數據！

不幸的是，在 2020 年，ext4 和 md 仍然無法有效地對抗默默地破壞文件的“位腐爛”。 我聽到並閱讀了關於 ZFS 的相互矛盾的證詞，據稱它可以更好地處理數據損壞，並且會在某個時候嘗試一下。 目前，我使用 md5sum 創建和驗證備份 .tar.gz 存檔的校驗和，並使用 parchive 創建錯誤恢復文件。 我以前寫過關於 parchive 的文章，直到今天我仍然是一個忠實的粉絲。

自動化

我已經在這里和那裡提到了不祥的“腳本”，但醜陋的事實仍然是當前的設置需要大量的腳本才能順利運行。 從好的方面來說，現在大部分的日常操作都是腳本化和自動化的，不需要人工干預：RAID 可以自行組裝，具有容錯性，即使一兩個硬盤發生故障，服務器也能正常運行。 備份會自動存檔和校驗和，並定期檢查有關損壞文件的警報，然後我手動（我喜歡參與這些事情……）糾正。 我的 github 存儲庫中提供了一些服務器腳本，很快就會有更多腳本。

網絡

服務器使用以下網絡組件：

 用於管理兩個板載以太網卡的 netplan（參見安裝）
 UFW 阻止所有傳入流量，但 SSH、samba 和 netbios
 netbios 向家庭路由器和其他計算機宣布服務器名稱
 samba 在本地網絡中共享文件

我在只讀模式下使用 samba； 一些目錄（如音樂和電影）與訪客訪問共享，其他一些包含個人文檔的目錄受密碼保護，但又是只讀的。 對數據文件系統的任何寫入操作都需要 SSH 訪問。 由於 ext4 不提供快照，我仍然擔心在喝完幾杯酒後的午夜後“誤刪”； 我還沒有找到一個好的解決方案。 對於大型目錄，在 Ubuntu nautilus 中瀏覽 samba 共享可能會很慢——如果處理太多，請考慮使用 CIFS 或 sshfs。

視頻和圖形

我從沒想過我會需要這個，但我需要將物理屏幕和鍵盤連接到 gen8 的那一天終於到來了——並且無法讓桌面環境運行。 gen8 有一個 Matrox g200 顯卡，Ubuntu 很久以前就放棄了對它的支持，但是有一種方法可以從中獲取一些圖形。

第一步：在服務器環境安裝桌面支持：

apt install ubuntu-desktop

重新啟動後，您會看到一個 640×480 的登錄屏幕。 顯示設置中沒有其他可用模式。 這條關於相關問題的評論 [1] 有助於：

# Install vesa xserver. Was not needed in my case.
apt-get install xserver-xorg-video-vesa  

# Boot into text mode
init 3
 
# Create new X-server configuration
X -configure 

# Install configuration. The original post says to replace mga with vesa; in my case, vesa was already pre-filled.

mv xorg.conf.new /etc/X11/xorg.conf

# Boot into graphics
init 5

公平警告：圖形加速不可用，最大分辨率為 1280×1024。

我在研究時發現了一個有趣的事實：gen8 在門後的前面有一個非標準的 DisplayPort 連接器。