Зарлага зөвхөн 300,000 юань? 4 ширхэг 512GB Mac Studio дээр хувийн AI супер компьютер байгуулж, триллион параметртэй Kimi-K2.5-ыг орон нутгийн хэмжээнд суулгах гарын авлага

Энэ том загварын эрч хүчтэй цаг үед бид бүгдэд нэг мөрөөдөл бий: орон нутгийн хэмжээнд GPT-5 зэрэг триллион параметртэй загварыг ажиллуулах. Гэвч бодит байдал хатуу, триллион параметртэй загвар нь 4-bit хэмжээгээр ч их хэмжээний график санах ой шаарддаг. H100, B200 үнэтэй, худалдаж авах боломжгүй бол яах вэ?

Өнөөдөр JamePeng биднийг 4 ширхэг M3 Ultra Mac Studio-ийг EXO+MLX болон Thunderbolt 5-ийг ашиглан 2TB нэгтгэсэн санах ойтой орон нутгийн AI супер компьютерийг бүтээхэд хөтлөнө! Зорилго ганцхан: орон нутгийн хэмжээнд Kimi-K2.5 триллион параметртэй том загварыг ажиллуулах.

Яагаад ийм их зүтгэж байна вэ?

Зөвхөн гайхалтай байхын тулд биш, харин мэдээллийн нууцлал болон дээд зэргийн орон нутгийн хяналтыг хангахын тулд.

Гол зэвсэг нь EXO (GitHub: exo-explore/exo) бөгөөд энэ нь RDMA (алсын шууд санах ойд хандах) дэмждэг, 4 ширхэг Mac-ийн нэгтгэсэн санах ойн нэгдсэн том график санах ойг бий болгодог.

Төхөөрөмжийн жагсаалт: 4 ширхэг Mac Studio (M3 Ultra, 512GB санах ойтой), нийт график санах ой ойролцоогоор 2TB, Thunderbolt 5 (120Gbps өргөн зурвас) ашиглан холбогдсон, систем нь macOS Tahoe 26.2 эсвэл түүнээс дээш хувилбартай байх шаардлагатай.

Алхам 1: RDMA дэмжлэгийг идэвхжүүлэх

Бүх Mac дээр ажиллах:

• Mac-ийг унтрааж, сэргээх горимд орох (тогтмол товчлуурыг барьж, "Options" > "Continue"-г сонгоно)
• Terminal-ийг нээгээд, дараах командыг гүйцэтгэнэ: bputil -a rdma
• Mac-ийг дахин асаана
• Баталгаажуулах: systemprofiler SPThunderboltDataType RDMA идэвхжүүлсэн эсэхийг шалгана

Thunderbolt 5 нь 120Gbps өргөн зурвас хангаж, өгөгдөл дамжуулахад төгс дэмжлэг үзүүлдэг.

Алхам 2: EXO-г суулгах

macOS App суулгах: GitHub-аас EXO-version.dmg-ийг татаж авч, суулгаж ажиллуулна. Dashboard-ийг нээгээд бусад Mac IP-г нэмнэ.

Эх кодыг суулгах:

• Homebrew-ийг суулгана
• git clone https://github.com/exo-explore/exo.git
• pip install -e .
• exo start

Алхам 3: Биеийн холболт ба топологи

Wi-Fi-гаар сүлжээ байгуулахгүй! Wi-Fi 7 ч бас боломжгүй. Триллион загварын дүгнэлт нь өргөн зурвасанд маш мэдрэмтгий. Thunderbolt 5 кабелийг ашиглан нэг Mac-ийг үндсэн узел (Master) болгон, бусад гурван Mac-ийг ажиллах узел (Worker) болгон тохируулна. Одны хэлбэрийн топологи эсвэл гинжин холболтыг санал болгож байна.

EXO Dashboard-д та 4 төхөөрөмж бүгд онлайн байгаа, нийт санах ой 2048 GB гэж харах ёстой.

Алхам 4: MLX нийгмийн хувилбар Kimi-K2.5-ыг татаж авах ба ажиллуулах

Загварыг татаж авах:

pip install huggingfacehub huggingface-cli download mlx-community/Kimi-K2.5 --local-dir ./models/mlx-community/Kimi-K2.52. Дүгнэлт хийх хөдөлгүүрийг эхлүүлэх:

exo run --model ./models/mlx-community/Kimi-K2.5 --quant 4 --shards auto --engine mlx командыг тайлбарлах:

• --model: загварын директорыг заана
• --quant 4: 4-bit хэмжээг ашиглан санах ойг багасгана
• --shards auto: EXO автомат ухаалаг загварыг хуваана
• --engine mlx: M3 Ultra-ийн 76 цөмтэй GPU болон Neural Engine-ийг дүгнэлт хийхэд ашиглана

Эцсийн үр дүн ба туршилт

Терминал "Ready" гэж харуулбал, та өөрийн AI супер компьютертэй болсон байна.

Урьдчилан дүүргэх (Prefill) үе: 4 Mac-ийн сэнс бага зэрэг хурдсах болно (M3 Ultra-ийн энергийн үр ашигтай байдлын ачаар, нисэхгүй).

Үүсгэх (Generation) үе: Token нэг нэгээр гарч ирнэ.

Хурд: H100 кластерын хурдтай адилгүй ч Thunderbolt 5-ийн RDMA дэмжлэгийн ачаар Token үүсгэх хурд 17-28 tokens/s хүрч чадна. Энэ нь триллион параметртэй загварын хувьд бүрэн интерактив юм!

Дүгнэлт

Энэ шийдэл нь үнэхээр хямд биш боловч Apple Silicon + нээлттэй эхийн нийгмийн хүчин чармайлтын ачаар төвлөрсөнгүй AI-ийн ирээдүй ирж байгааг баталж байна. Бид өгөгдлөө үүлний томоохон компаниудад дамжуулах шаардлагагүй, гар дээрх төхөөрөмжүүдийг ашиглан хүчирхэг хувийн дүгнэлт хийх кластерийг бий болгох боломжтой.