看板 PC_Shopping
標題
[心得] AMD平台搭建ESXi
作者 NCTUFAIWEN
時間 2019/09/18 13:16:36
人氣 推:14 噓:1 留言:80
熱門文章不漏接,馬上點此訂閱每日熱門文章通知
訂閱Line日報 熱門文章不漏接,馬上點此訂閱
先上配置 CPU : AMD Ryzen 3 Pro 2100ge MB : ASRock B450M Pro4 RAM : Samsung DDR4 16G ECC (M391A2K43BB1-CRC) 主要是原本用Freenas卻沒裝ECC有點抖,再加上突然在某寶看到這顆CPU就撿回來玩了 Ryzen只有沒內顯版本的才全系列支援ECC,帶G版就要找Pro的,市面上很少 主機板目前是小石頭全部都有支援ECC,大石頭中階以上都有(像B350M-A、TUF) 技嘉只有頂級的才有支援,其他的應該都沒有 https://imgur.com/R9BlMok 目前已經運行3個禮拜了,應該算是穩定吧 安裝的是ESXi 6.7 Update 3 過程網路上應該都有,總之就是要先打網卡的驅動進去才可以上 然後之前看到的6.5必須關SMT才可以動的目前6.7開著SMT也沒有問題 主要要講的坑點有兩個 1. Passthrough大多數裝置都無效 https://imgur.com/Z4OG9rF 不管怎麼重開機都會長上面這樣 翻log檔會發現"Device passthru not possible on this system (no PCI ACS support)" 但事實上之前在Intel平台(I5 3570 + H61)就沒事... 搜尋網路上資料少得可憐,只有找到這篇韓文的有解決 https://bit.ly/2lZBh3q 但所謂的打ACS Patch卻沒有說怎麼做(翻桌 最後摸兩天摸出來 https://imgur.com/z8l0uLV disableACSCheck = true,無視就好 再來很重要,BIOS最多到AGESA 1.0.0.6的版本 再上去Bug一堆,最新版連Passthrough都打不開 重點是,升上去還不給降級,我*&#@$^&@.... (當初我還想說升級BIOS看會不會好,畢竟新平台) 2. IOMMU有點坑 借一張微星B450M的block diagram https://imgur.com/GQUk0h9 如果我passthrough板子上的sata port,同時有兩個usb孔也會一起過去,這沒問題 我不能理解的是,一條PCIe x4的也被強迫passthrough過去了== 但如果單獨passthrough那條PCIe x4卻又沒事 https://imgur.com/PTyya89 想Passthrough內顯的話,很抱歉,幾乎板子剩下的東西都會一起被Passthrough 開機就跟廢了一樣,感覺ACS沒有支援的很完善 總結一下,我覺得如果要搞EXSi虛擬機之類的話,Intel還是比較好的選擇 我就不記得以前用I5 3570 + H61有這麼折騰== 然後我感覺打ACS Patch應該可以解決大部分的問題 不知道有沒有大大能解惑QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.173 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1568783798.A.593.html
w180112: 板子不對 09/18 13:53
w180112: 你的iommu問題在於分的group都被分到同一個 09/18 13:53
w180112: intel其實也有這問題 09/18 13:53
w180112: 我是挑X470太極才解決 09/18 13:54
suitup: b350m-a 算低階吧 09/18 14:02
AKSN74: 剛好以前有在研究 說明一下 09/18 14:05
cancelpc: b350m-k 不是更低階?不懂 Asus 的分法 09/18 14:06
我用晶片組分啦XD,b350就叫他中階了,管他的 是說B350m-k應該也有支援ECC
AKSN74: 就像樓上說的,都被分到同一個IOMMU Group才會這樣 09/18 14:07
AKSN74: 通常這要主機板有好的VT-d或AMD-Vi才不會有問題 09/18 14:08
WeAntiTVBS: 更低階應該是像PRIME A320系列這種吧???? 09/18 14:08
AKSN74: 通常不是高階的主機板或CPU很容易踩到這雷 但廠商不 09/18 14:08
AKSN74: 會跟你說 09/18 14:09
這個部分我了解,但我理解的沒錯的話,ACS這個技術就是可以把IOMMU內的裝置分離 在之前Intel平台我就可以成功單獨Passthrough板子上的sata port 目前我想Passthrough sata port板子上的網卡(好像,不太記得是哪個關鍵的東西讓我放棄直通sata)也會一起過去 除了這個之外,貌似還有一條PCIe x16的插槽插任何東西都沒辦法Passthrough 我在猜應該是從CPU出來的那條PCIe x16,不過現在只有插兩張卡就不管了
cancelpc: 320是晶片更低一階,我不懂是同級350晶片一樣搞出-A, 09/18 14:12
cancelpc: -K...一堆版本 09/18 14:12
cancelpc: 剛好打算弄個散片+350板子跑 EXSi 說 09/18 14:13
cancelpc: Asus PRIME B350M-A 不用 2000, 外加4個DIMM,在口袋 09/18 14:15
cancelpc: 名單說 09/18 14:15
Saren: wikichip上面寫2200g有支援ecc... 09/18 14:16
Saren: 不過應該是錯的就是了. 以實測為主. 09/18 14:20
2200g不帶pro的應該確定不支援ecc,對岸論壇跟reddit都有人講
huckerbying: B350M-K只有兩個DDR4插槽,其他跟-A差不多 09/18 14:24
cancelpc: 當初也是-A有4個DIMM選它,倒是沒考慮用ECC 09/18 14:30
w180112: 除了X470的某幾張板子之外都算低階啦 09/18 14:41
w180112: intel的更狠 VT-D只有給半殘 09/18 14:41
marunaru: 收一台2手360 365比較快 09/18 14:50
mirc: 基本上用AMD就是找麻煩。祝好運,AMD現在確實很好 09/18 14:50
mirc: 但是畢竟ESXi用AMD的人真的很少阿 09/18 14:51
目前要有ECC的平台最便宜應該就是Ryzen了吧,主板挑個A320m就夠了其實 要不然我也不想搞這麼複雜,在組之前我就有心理準備會弄很久了
cancelpc: 看用途吧,我只是拿來自玩.這些不會是問題.樓主可能 09/18 14:56
cancelpc: 用在更專業需求上 09/18 14:56
小弟我也是玩玩的QQ,目前就跑NAS跟軟路由而已
felaray: 幾個月前我用APU跑黑蘋果也是很痛苦 選I會輕鬆點 09/18 14:57
cancelpc: 這篇學到不少東西,雖然之前用x3650跑,但6.7之後不 09/18 14:57
cancelpc: 支援舊CPU. 09/18 14:57
felaray: 當時主要是卡在APU的內顯驅動問題 09/18 14:57
cancelpc: AMD廉價的多核+RAM與SSD便宜,比以前跑VM已經快太多 09/18 14:59
cancelpc: 了. 09/18 14:59
marunaru: 6.7還是可以在一些舊時代的機器上裝起來 DL380G8裝 09/18 14:59
marunaru: 成功過 09/18 14:59
flylee: Ryzen 從來不在 EXSi 的相容平台 09/18 15:08
flylee: EXSi 只支援 EPYC 09/18 15:08
cancelpc: 6.7的文件有提到,但手上那台x3650就是不給裝 09/18 15:09
cancelpc: 只能繼續用6.5 09/18 15:09
cancelpc: 樓主沒考慮跑PVE嗎? 09/18 15:21
NCTUFAIWEN: 沒考慮過,也沒能力考慮QQ,主要是當初用Intel裝很 09/18 15:26
NCTUFAIWEN: 順利,這次換平台根本不想重弄我的虛擬機,只好硬幹 09/18 15:27
hakugetsu: 我買了一張小石頭的x470d4u server板 等cpu到我來試 09/18 15:35
hakugetsu: 試iommu 09/18 15:35
hakugetsu: 牙膏廠的iommu有時候也蠻神奇的 我有一台J3455 在ES 09/18 15:37
hakugetsu: Xi下直通卻都沒問題 不會同時直通多個裝置過去 但我 09/18 15:37
hakugetsu: 在PVE就遇到iommu group問題了 09/18 15:37
hakugetsu: 是說你可以問看看華擎 看能不能改一下iommu group 09/18 15:38
hakugetsu: 華擎在這部分蠻用心的應該有機會讓他們修 09/18 15:38
AKSN74: ACS通常是跟IOMMU綁在一起的,就算CPU與晶片組支援 09/18 16:00
AKSN74: 還要看每一家BIOS怎麼寫 09/18 16:01
AKSN74: 就讓某樓說的 Intel給一般桌上或是E3等級的CPU 09/18 16:01
AKSN74: 在VT-d支援上都是半殘 不少都是指這件事情 09/18 16:02
AKSN74: 以前在KVM上玩GPU Passthrough的時候就被搞過很久 09/18 16:02
AKSN74: 真的要完整支援就只能上兩家的HEDT或Server了 09/18 16:13
xu3fu6xup6: 你這些問題跟這位板廠比較有關 09/18 16:27
xu3fu6xup6: 另外你應該要買tr才對 09/18 16:28
xu3fu6xup6: tr頂級主板例如asus zenith或者鳥頭 iommu都分的很 09/18 16:29
xu3fu6xup6: 乾淨 09/18 16:29
xu3fu6xup6: ecc ryzen主機板大多數半殘 板廠基本上都亂閹割 09/18 16:30
xu3fu6xup6: 另外 apu確實問題比較多 你怎不考慮無內顯cpu加上u 09/18 16:31
xu3fu6xup6: sb爛顯卡就好? 09/18 16:31
如果我錢很多,我就會去買Intel c236 + Xeon 重點就是買不起阿... 買不起就有買不起的玩法,就這樣而已 我那顆U才買1100而已,整組CPU+MB+RAM才不到5000 連張server板子都買不起
yuu123: 問個蠢問題請別見怪,都要玩VGA Passthrough了 09/18 16:43
yuu123: 為啥不直接用Xen或是Proxmox VE呢? (思 09/18 16:43
顯卡直通只是弄看看而已XD,我目前並沒有應用要用到 再來真的想玩VGA Passthrough,我不會用內顯,到時候掛了我怎debug
xu3fu6xup6: 不ˉ不是叫你買高級版 09/18 16:49
xu3fu6xup6: L1TF這一類論壇有人整理哪些是能正常使用的 09/18 16:49
xu3fu6xup6: 不是噓你 是要噓不肖板廠 09/18 16:50
這應該也沒辦法,畢竟是消費級主板,板廠有做就謝主榮恩了 想要完整的功能就只有掏錢一途 ※ 編輯: NCTUFAIWEN (140.112.4.192 臺灣), 09/18/2019 16:53:34
cancelpc: 請問MSI的板子都沒支援嗎? 09/18 17:37
cancelpc: 手上4台香香機都是MSI的板子Carbon AC, Mortar Ti, 09/18 17:39
cancelpc: Mortar MAX 09/18 17:39
WeAntiTVBS: 真要玩應該會去找Pro WS X570-ACE來搞吧.. 09/18 17:42
WeAntiTVBS: 但缺點是保固... 09/18 17:42
terry1043: 乖乖用intel 09/18 18:08
terry1043: 不過你這樣弄起來好便宜 09/18 18:13
cancelpc: 若RAM不用ECC會更便宜 09/18 18:47
saito2190: 折騰花了很多時間,換成時薪頭夠買Intel了 09/18 19:38
badyy: 真便宜 單一使用者沒ACS應該還好 09/18 21:04
Darkautism: ACS是打在kernel上吧,好懷念啊… 09/20 01:19
Darkautism: 以前用消費級的pc也有解過這個問題 09/20 01:20
近期熱門文章
PC_Shopping 看板熱門文章