part 2 來了 這台主機前後花了半年才完成完全體 這個機殼不裝硬碟上去怎麼能看呢？ https://i.imgur.com/mt4aP45.jpeg https://i.imgur.com/1oRi8yO.jpeg 但是插滿需要五個 SATA 孔，主機板只有兩個，需要擴充卡 我甚至還有一張 10G 網卡，但是唯一的 PCIe 插槽拿去插顯卡了 怎麼辦呢？當然是從 M.2 上動腦筋啦 https://i.imgur.com/cxMPVWy.jpeg https://i.imgur.com/qJoveNo.jpeg https://i.imgur.com/jgq8Ght.jpeg https://i.imgur.com/WctUohz.jpeg 一個 A+E key 來自無線網卡，拔掉改插 SATA 擴充卡 晶片選用 ASM1064，為 PCIe Gen3 x1 to SATA x4 控制器 我特別選擇 Mini SAS 接頭的 M.2 擴充卡 僅需一接頭即可轉出四個 SATA 接頭，減少佈線空間 並透過 M.2 A+E key 轉 M key 延長線轉接 由於此主機板 A+E key 僅能提供一個 PCIe Gen3 通道 計算後接三顆傳統硬碟效能不會成為瓶頸，況且主控晶片也只能 x1 若是接 SATA SSD 就不夠用了 線材除了 SFF-8087 to SATAx4 外，還有兩條接主機板的 SATA 線 都是已經用好幾年的安費諾無鐵扣 L 頭，這次也淘了幾條新的回來 拔插不需按壓鐵扣，在狹小機身內更易於安裝，並且不傷硬碟接頭 安費諾線材品質有保證，而且卡扣夠緊不會鬆脫 不過那條 SFF-8087 的就有鐵扣了 另一個 M key 來自主機板背面，插 Intel X550-T2 X550-T2 為 PCIe Gen3 x4 雙埠 10 GbE RJ45 網卡 剛好填滿主機板背面的 M.2 Gen3 x4 並透過延長線轉接 但放的位置就很尷尬，最後僅剩顯卡後方空間有位子 放在這裡有兩個問題： 1. 網路線轉接 手壓一條延長線解決 https://i.imgur.com/TmSYngT.jpeg 2. 散熱 X550-T2 本身發熱量就不低，以目前配置若僅靠被動散熱會當機 最後加了一顆風扇解決，剛好拿之前多的 A9x14 用束帶綁一綁 https://i.imgur.com/c4Lbmq0.jpeg 談到風扇，由於電源壓在主機板上方，有明顯的搶風道問題 https://i.imgur.com/raYeTNF.jpeg 後來將風扇反過來裝後待機溫度降了三、四度 (上圖還沒反過來) 除了加裝的零件外，小機殼必備客製電源線當然也有上 https://i.imgur.com/dUPMTk6.jpeg 但 372 把我的硬碟電源線做錯了... https://i.imgur.com/pAYFUuN.jpeg 應該有三個大 4P 一個 SATA 電源線的，結果全部做成 SATA 電源 而且接頭間距也是錯的，其中一條應是 58mm 結果只有 50mm 聯絡客服後他們會再寄新的給我 還好在找 372 前，我有先找台灣某知...名...店家幫我做一組 沒錯就是鄉民想的那家，因為當時嫌上淘寶訂很麻煩 不過我對選用的線有點後悔，加上 ATX 線長度稍嫌不足，才又訂了一組 但就結論而言，上淘寶訂真的很麻煩 XD 知名店家的收費貴但至少規格沒搞錯，就是接頭狗幹難插 不過價格差了快五倍，不嫌出賣個資跟轉運麻煩的話... 嗯 淘寶跟著訂的還有一個有 2.5G 網孔的 USB-C Hub 這是買給 MacBook 用的，為了外接第二個螢幕及有線網路 https://i.imgur.com/gqoduUX.jpeg https://i.imgur.com/58T67zW.jpeg https://i.imgur.com/Min4OHX.jpeg 很划算，價格大約一千出頭，就能以 2.5G 高速存取 NAS 至於 Mac 用的 Thunderbolt 10G 網卡還太貴，我先用 2.5G 就好 而舊的 USB-C Hub 甚至可以轉給這台 ITX 主機使用，後面會講到 附帶一提 QxxP 的 TB3 10G 網卡請接 SFP DAC 線使用 接 SFP to RJ45 會過熱，傳一傳會死給你看 硬碟則是以成本考量為主，買重新認證與伺服器拆機碟 透過 RAID 與異地備份保護 當然還是有幾顆全新台灣有保的硬碟，例如這顆 WD 金標 (基本等同 HC550) https://i.imgur.com/iZSrW7J.jpeg 因為少一排螺絲裝不上硬碟架，最後把導軌中間凸點剪掉磨掉硬上 其實聯力的硬碟架都是共用的 我也可以拿另一台 PC-K9X 的螺絲來裝，就不用對導軌動手 我有跟聯力訂購新的硬碟螺絲， 畢竟舊的都銹的差不多了，順便連 K9X 的黑色螺絲一起買 大推聯力現在還能買到十年老殼配件 硬體的部分就談到這邊，接下來談談軟體 其實一開始就準備好上 PVE 了，裝上 TrueNAS Scale 與 Windows 中間各種坑與雷，真的印證 Linux is free if you don't value your time 不過我就喜歡搞事！ 這兩個主要 guest VM 都有 PCIe passthrough 進去 TrueNAS 放了兩個 SATA 控制器 (AMD SATA + ASM1064) Windows 放了顯卡與一個 USB root hub device 除了顯卡直通 Windows 得以打遊戲外，直通 USB root 好處是 USB 裝置插上對的孔可以直接被 Windows 識別，不需經 PVE 轉譯 上面提到舊的 USB-C hub 就是為了讓 Windows 使用， 所有接到這個 hub 的鍵盤滑鼠讀卡機以及音源孔都是直通 Windows 若沒有將 USB root 直通給虛擬機， 那麼每次插新的 USB 裝置都需要到 host 設定裡新增，非常麻煩 因此這個配置用起來有如原生 Windows 主機，除了不能打楓之谷外 附帶一提我的螢幕有 KVM，可以快速切換 MacBook 跟 Windows 主機 TrueNAS 直通 SATA 控制器則很好理解，可以直接存取硬碟 五顆硬碟使用 ZRAID2 提供兩顆冗餘 並以 SMB 分享給 Windows 與另一台 Linux VM，以及 MacBook 只是... ZFS 非常吃記憶體，Windows 更不用說 32G 在這個情境下捉襟見肘，於是就不小心撿到... https://i.imgur.com/u65EM7A.jpeg 64G兩台主要 VM 各分 16G，剩下還可以再分幾台機器用，終於夠用了 然而這半年來除了等零件慢慢組起來外 系統也不穩定，曾經遇過 Windows VM 開機用幾分鐘就整台當掉 或是開機發現網路死去，PCIe 無法直通虛擬機 後來慢慢除錯後發現主要是幾個問題： 1. 網卡過熱 跑個幾天後就會帶 switch 一起下去，拔掉網路線則恢復正常 加風扇解決 2. 記憶體不穩 這是後來幫別人修電腦時發現的，memtest86+ 不通過 結果他的記憶體沒事，反倒是我的有問題 只要跑 DDR5-6000 就會失敗，4800 則正常 壞掉的是威剛的 16Gx2，幸好後來買的金士頓 32Gx2 正常 威剛的甚至送修沒貨可以快換，等了快兩個禮拜才拿到 3. BIOS 設定 a. Resizable BAR 不能開，否則 Windows VM 會遇到顯卡 error 43 b. SR-IOV 相關功能要開，否則 USB root hub 與 SATA 控制器不能直通 並且會造成網卡開機被停用 SR-IOV => Enabled PCIe ARI Support => Enabled IOMMU => Enabled c. 內顯留給 PVE host 做 debug 用 所以要強制啟用內顯，並分配最少的記憶體給內顯使用 iGPU Configuration => UMA_SPECIFIED Integrated Graphics Controller => Customize UMA Frame buffer Size => 64M 除了 VM 的問題，host 系統抓不到 HW monitor 也是個問題 跑 sensors-detect 沒有就是沒有，只有 k10temp (CPU 溫度) 可以看 華擎當然沒有提供 Linux 驅動程式，只能自行解決 查主機板說明書，有提供 block diagram，可以看到 提供監控功能的 super I/O 是 NCT6686D 用這個型號去查，發現 kernel in-tree 就有一個 nct6683 驅動可以用 但如果可以用就應該抓的到，手動 modprobe 結果是... 不行 下了 force=1 是可以抓到，但電壓全都是錯的，PWM 看的到轉速控不了 後來找到一個 out-of-tree 驅動 nct6687 可以控 PWM 風扇轉速 但是電壓也還是錯的，甚至沒有讀完全部的電壓與溫度 最後還是要靠自己修，花了整個周末惡補相關知識 把上面提到兩個驅動整在一起，弄出一個縫合怪 瘋狂 google 查 V/Temp IN 定義，把電壓與溫度對應表補上 終於把該弄上去的都弄上去了，並且可以控 PWM https://i.imgur.com/oyX1KN3.png k10temp 是 AMD CPU nvme 是 WD SN850X，系統碟 amdgpu 其實是內顯，獨顯已直通，不會顯示在這裡 nct6686 即主機板 super I/O，華擎請給我錢 (X 現在搞到這邊，就缺 372 補線給我 其他系統問題都解的差不多了，剩下把各種服務裝上去而已 -- 推 Kroner: 苦瓜胜肽 112.321.206.233 12/02 01:26 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.245.37 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1732992171.A.901.html 推 Chricey: 苦瓜胜肽 112.296.206.129 12/02 01:27推 Chricey: UC2 112.249.206.27 12/02 01:30推 Kroner: 苦瓜胜肽副作用 112.223.206.147 12/03 05:35