30 லட்சம் செலவா? 4 512GB Mac Studio-ல் தனிப்பட்ட AI சூப்பர் கணினி அமைக்க, 1 டிரில்லியன் அளவீட்டு Kimi-K2.5 உள்ளூர் அமைப்பு வழிகாட்டி

இந்த பெரிய மாதிரிகள் வேகமாக வளர்ந்து வரும் காலத்தில், எங்களுக்கு ஒரு கனவு உள்ளது: உள்ளூர் அளவில் GPT-5 அளவீட்டிற்கு ஒப்பான 1 டிரில்லியன் அளவீட்டு மாதிரியை இயக்குவது. ஆனால் உண்மை கடுமையானது, 1 டிரில்லியன் அளவீட்டு மாதிரிகள் 4-bit அளவீட்டில் இருந்தாலும், மிகப்பெரிய வீடியோ நினைவகம் தேவை. H100, B200 மிகவும் விலை உயர்ந்தவை, வாங்க முடியாதால் என்ன செய்ய வேண்டும்?

இன்று JamePeng நமக்கு 4 முழுமையான M3 Ultra Mac Studio-ஐ EXO+MLX மற்றும் Thunderbolt 5 மூலம் இணைத்து, 2TB ஒருங்கிணைந்த நினைவகம் கொண்ட உள்ளூர் AI சூப்பர் கணினியை உருவாக்குவதற்கான வழிமுறைகளை எடுத்துக் கூறுகிறார்! இலக்கு ஒரே ஒன்று: உள்ளூர் Kimi-K2.5 1 டிரில்லியன் அளவீட்டு பெரிய மாதிரியை இயக்குவது.

ஏன் இவ்வாறு சிரமப்படுத்த வேண்டும்?

இது குளோபல் மட்டுமல்ல, தரவுப் தனியுரிமை மற்றும் மிகுந்த உள்ளூர் கட்டுப்பாட்டுக்காகவும்.

முக்கிய ஆயுதம் EXO (GitHub: exo-explore/exo) ஆகும், இது RDMA (தூர நேரடி நினைவக அணுகல்) ஐ ஆதரிக்கிறது, 4 Mac-இன் ஒருங்கிணைந்த நினைவகத்தை ஒரு பெரிய வீடியோ நினைவக கிணற்றாக இணைக்க முடியும்.

கணினி பட்டியல்: 4 Mac Studio (M3 Ultra, 512GB நினைவகம்), மொத்த வீடியோ நினைவகம் சுமார் 2TB, Thunderbolt 5 (120Gbps பாண்ட்விட்த்) மூலம் இணைக்கவும், முறைமைக்கு macOS Tahoe 26.2 அல்லது புதிய பதிப்பு தேவை.

படி 1: RDMA ஆதரவை இயக்கவும்

ஒவ்வொரு Mac-இலும் செயல்படுத்தவும்:

• Mac-ஐ மூடவும், மீட்பு முறையில் செல்லவும் (செயல்பாட்டு பொத்தானை அழுத்தி, "Options" > "Continue" என்பதை தேர்ந்தெடுக்கவும்)
• Terminal-ஐ திறக்கவும், இயக்கவும்: bputil -a rdma
• Mac-ஐ மறுதொடக்கம் செய்யவும்
• சரிபார்க்கவும்: systemprofiler SPThunderboltDataType RDMA இயக்கப்படுகிறதா எனச் சரிபார்க்கவும்

Thunderbolt 5 120Gbps பாண்ட்விட்தை வழங்குகிறது, தரவுப் பரிமாற்றத்தை முழுமையாக ஆதரிக்கிறது.

படி 2: EXO-ஐ நிறுவவும்

macOS செயலி நிறுவல்: GitHub-இல் இருந்து EXO-version.dmg-ஐ பதிவிறக்கம் செய்து, நிறுவவும். Dashboard-ஐ திறந்து மற்ற Mac IP-ஐச் சேர்க்கவும்.

மூலக் குறியீடு நிறுவல்:

• Homebrew-ஐ நிறுவவும்
• git clone https://github.com/exo-explore/exo.git
• pip install -e .
• exo start

படி 3: உடல் இணைப்பு மற்றும் கட்டமைப்பு

Wi-Fi-ஐப் பயன்படுத்தி நெட்வொர்க் அமைக்க வேண்டாம்! Wi-Fi 7 இருந்தாலும் கூட முடியாது. 1 டிரில்லியன் மாதிரியின் கணிப்பு பாண்ட்விட் மீது மிகவும் உணர்வுப்பூர்வமாக இருக்கிறது. Thunderbolt 5 கேபிள் பயன்படுத்தி, ஒரு Mac-ஐ முதன்மை düğüm (Master) ஆகவும், மற்ற மூன்று Mac-ஐ வேலை düğüm (Worker) ஆகவும் அமைக்கவும். நட்சத்திர வடிவமைப்பு அல்லது சங்கிலி இணைப்பை பரிந்துரைக்கிறோம்.

EXO Dashboard-ல், நீங்கள் 4 சாதனங்கள் அனைத்தும் ஆன்லைனில் உள்ளன என்பதை காண வேண்டும், மொத்த நினைவக கிணறு 2048 GB எனக் காட்ட வேண்டும்.

படி 4: MLX சமூக பதிப்பு Kimi-K2.5-ஐ பதிவிறக்கம் செய்து இயக்கவும்

மாதிரியை பதிவிறக்கம் செய்யவும்:

pip install huggingfacehub huggingface-cli download mlx-community/Kimi-K2.5 --local-dir ./models/mlx-community/Kimi-K2.52. கணிப்பு இயந்திரத்தை இயக்கவும்:

exo run --model ./models/mlx-community/Kimi-K2.5 --quant 4 --shards auto --engine mlx கட்டளை விளக்கம்:

• --model: மாதிரி அடைவு நோக்கி
• --quant 4: 4-bit அளவீட்டை பயன்படுத்தி நினைவக பயன்பாட்டை குறைக்கவும்
• --shards auto: EXO தானாகவே புத்திசாலித்தனமாக மாதிரியைப் பிரிக்கிறது
• --engine mlx: M3 Ultra-இன் 76-கோர் GPU மற்றும் Neural Engine-ஐ கணிப்புக்கு அழைக்கிறது

இறுதி விளைவுகள் மற்றும் உண்மையான அளவீடு

Terminal "Ready" எனக் காட்டும் போது, நீங்கள் உங்கள் சொந்த AI சூப்பர் கணினியை பெற்றுள்ளீர்கள்.

முன்கூட்டிய (Prefill) கட்டத்தில்: 4 Mac-இன் விசிறிகள் மெதுவாக வேகமாக்க ஆரம்பிக்கின்றன (M3 Ultra-இன் சக்தி திறனைப் பயன்படுத்தி, அது பறக்காது).

உற்பத்தி (Generation) கட்டத்தில்: Token ஒன்று ஒன்றாகவே வெளிவருகிறது.

வேகம்: H100 குழுவை விட குறைவாக இருந்தாலும், Thunderbolt 5-இன் RDMA ஆதரவால், Token உருவாக்கும் வேகம் 17-28 tokens/s ஆக இருக்க முடியும். இது 1 டிரில்லியன் அளவீட்டு மாதிரிக்கு, முற்றிலும் தொடர்புடையது!

சுருக்கம்

இந்த திட்டம் கண்டிப்பாக மலிவானது அல்ல, ஆனால் Apple Silicon + திறந்த மூல சமூகத்தின் முயற்சியில், மையமற்ற AI-இன் எதிர்காலம் வருகிறதென நிரூபிக்கிறது. நாங்கள் தரவுகளை மேகத்தின் பெரியவர்களுக்கு அனுப்ப தேவையில்லை, எங்கள் அருகிலுள்ள சாதனங்களைப் பயன்படுத்தி, வலுவான தனிப்பட்ட கணிப்பு குழுக்களை உருவாக்கலாம்.