Bomba vjen! Udhëzues për Claude Code me Token të Pakufizuar Lokal

Claude Code është shumë i fuqishëm, por konsumi i Token është i dhimbshëm!

Më në fund, Claude Code mund të punojë me modele lokale, konfigurimi është shumë i thjeshtë.

Ambienti i mëposhtëm është Mac Mini4. Gjithashtu është i mundur edhe në Windows.

Në kohën e tanishme, nëse dëshironi të përdorni AI në desktop, rekomandohet të blini një kompjuter të vogël Mac M series, si mini4\mini4 pro\m3 ultra\m4 max, mjet i shkëlqyer për AI personal në desktop.

Së pari, duhet të përditësoni LM Studio në versionin më të ri, pra 0.4.1, sepse versioni i ri shton mbështetje për Claude Code. (Ollama gjithashtu është i mundur)

Ju mund të përdorni çdo model me burim të hapur lokal, për sa kohë që Mac-i juaj ka memorie të mjaftueshme. Si shembull, marrim gpt-oss-20b-mlx, ky është një model me burim të hapur i OpenAI.

Kushtojini vëmendje: Context length duhet të jetë në maksimum, pra gjatësia e kontekstit të tërhiqet në maksimumin që modeli mbështet, sepse performanca e agjentëve në detyra me shumë cikle varet shumë nga gjatësia e kontekstit, nëse është e vogël nuk funksionon. Ky parametër duhet të rregullohet sipas memorie së Mac-it tuaj dhe shpejtësisë së inferencës së modelit. Një tjetër pikë e rëndësishme: Në mjedisin Mac, preferoni të shkarkoni modele në format MLX, sepse shpejtësia e inferencës është më e shpejtë se modelet në format GGUF.

Më pas, ne instalojmë claude code në terminalin e komandës.

Konfiguroni variablat e mjedisit:

export ANTHROPIC_AUTH_TOKEN=lmstudio

export ANTHROPIC_BASE_URL=http://localhost:1234

Instaloni trupin e claude code:

npm install -g @anthropic-ai/claude-code

Pastaj, nisni claude code:

claude --model gpt-oss-20b-mlx

Në këtë moment, claude code do të përdorë modelin tuaj lokal për të prodhuar rezultate.

Përveç përdorimit në terminal, mund të përdoret edhe në VS Code, konfigurimi është si më poshtë:

Së pari instalojmë shtojcën Claude Code for VS Code.

Pastaj vendosim variablat e mjedisit:

{    "claudeCode.environmentVariables": [        { "name": "ANTHROPIC_BASE_URL", "value": "http://localhost:1234" },         { "name": "ANTHROPIC_AUTH_TOKEN", "value": "lmstudio" }     ]}

Pastaj mund të filloni punën.

Pyetje për mendim: A është Claude Code pa përdorur modelet e Anthropic ende i njëjti Claude Code?

Modeli gpt-oss-20b-mlx që ne përdorim sigurisht që nuk mund të krahasohet me Opus 4.5, por nëse keni vendosur Kimi K2.5 në mjedisin tuaj lokal, aktualisht duket se aftësia nuk është aspak inferiore ndaj Opus 4.5.