Je, inagharimu tu 300,000? Mwongozo wa Kuweka AI Supercomputer ya Kibinafsi kwa kutumia Mac Studio 4 zenye 512GB, Kimi-K2.5 yenye vigezo trilioni

Katika enzi hii ya mifano mikubwa, sote tuna ndoto: kuendesha mfano wa vigezo trilioni unaoshindana na kiwango cha GPT-5 kwenye eneo la kazi. Lakini ukweli ni mkali, mifano ya vigezo trilioni hata ikiwa na 4-bit quantization, inahitaji kumbukumbu kubwa sana. H100, B200 ni ghali sana, je, tufanyeje?

Leo JamePeng anatuleta kutumia Mac Studio 4 zenye M3 Ultra, kupitia EXO+MLX na Thunderbolt 5, kuunda kwa nguvu supercomputer ya AI ya ndani yenye kumbukumbu ya umoja ya 2TB! Lengo ni moja tu: kuendesha Kimi-K2.5 mfano wa vigezo trilioni kwa ndani.

Kwa Nini Tunapaswa Kufanya Hivi?

Sio tu kwa ajili ya kupendeza, bali pia kwa ajili ya faragha ya data na udhibiti wa ndani wa hali ya juu.

Silaha kuu ni EXO (GitHub: exo-explore/exo), inasaidia RDMA (Remote Direct Memory Access), inaweza kuunganisha kumbukumbu ya umoja ya Mac 4 kuwa hifadhi kubwa ya kumbukumbu.

Orodha ya vifaa: Mac Studio 4 (M3 Ultra, toleo la 512GB), jumla ya kumbukumbu ya takriban 2TB, kuunganishwa kwa kutumia Thunderbolt 5 (120Gbps bandwidth), mfumo unahitaji macOS Tahoe 26.2 au toleo jipya zaidi.

Hatua ya 1: Washa Msaada wa RDMA

Fanya kwenye kila Mac:

• Zima Mac, ingia kwenye hali ya urejelezi (shikilia kitufe cha nguvu, chagua "Options" > "Continue")
• Fungua Terminal, endesha: bputil -a rdma
• Anzisha tena Mac
• Thibitisha: systemprofiler SPThunderboltDataType angalia RDMA imewashwa

Thunderbolt 5 inatoa bandwidth ya 120Gbps, inasaidia kwa ukamilifu uhamishaji wa data.

Hatua ya 2: Sakinisha EXO

Sakinisha App ya macOS: Pakua EXO-version.dmg kutoka GitHub, sakinisha na uendeshe. Fungua Dashboard ongeza IP za Mac nyingine.

Sakinisha msimbo wa chanzo:

• Sakinisha Homebrew
• git clone https://github.com/exo-explore/exo.git
• pip install -e .
• exo start

Hatua ya Tatu: Kuunganisha Kimwili na Topolojia

Usitumie Wi-Fi kuunda mtandao! Hata Wi-Fi 7 haiwezi. Uhamasishaji wa mfano wa trilioni unahitaji bandwidth kubwa sana. Tafadhali tumia kebo ya Thunderbolt 5, weka Mac moja kama node kuu (Master), na nyingine tatu kama nodes za kazi (Worker). Inapendekezwa topolojia ya nyota au muunganisho wa mfuatano.

Katika EXO Dashboard, unapaswa kuona vifaa 4 vyote vikiwa mtandaoni, jumla ya hifadhi ya kumbukumbu inayoonesha kama 2048 GB.

Hatua ya Nne: Pakua na Kimbia MLX toleo la Jamii Kimi-K2.5

Pakua mfano:

pip install huggingfacehub huggingface-cli download mlx-community/Kimi-K2.5 --local-dir ./models/mlx-community/Kimi-K2.52. Anzisha injini ya uhamasishaji:

exo run --model ./models/mlx-community/Kimi-K2.5 --quant 4 --shards auto --engine mlx Tafsiri ya amri:

• --model: inaelekeza kwenye saraka ya mfano
• --quant 4: inatumia 4-bit quantization kupunguza matumizi ya kumbukumbu
• --shards auto: EXO inagawanya mfano kiotomatiki
• --engine mlx: inaita GPU ya M3 Ultra yenye nyuzi 76 na Neural Engine kwa ajili ya uhamasishaji

Matokeo ya Mwisho na Vipimo

Wakati terminal inaonyesha Ready, tayari unayo supercomputer yako ya AI.

Awamu ya kujaza (Prefill): Mashabiki wa Mac 4 huanza kuongezeka kidogo (shukrani kwa ufanisi wa M3 Ultra, hawataondoka).

Awamu ya uzalishaji (Generation): Token moja baada ya nyingine zinatokea.

Speed: Ingawa haiwezi kulinganishwa na klasta ya H100, lakini shukrani kwa msaada wa RDMA wa Thunderbolt 5, kasi ya uzalishaji wa Token inaweza kufikia 17-28 tokens/s. Hii ni ya kuingiliana kabisa kwa mfano wa vigezo trilioni!

Muhtasari

Mpango huu sio wa bei nafuu, lakini unaonyesha kuwa chini ya juhudi za Apple Silicon + jamii ya chanzo wazi, siku zijazo za AI zisizo na kituo zinafika. Hatuhitaji kuhamasisha data zetu kwa makampuni makubwa ya wingu, kwa kutumia vifaa vilivyo karibu nasi, tunaweza kujenga klasta za uhamasishaji za kibinafsi zenye nguvu.