Бомба доаѓа! Стратегија за неограничени токени на Claude Code на локална машина

Claude Code е моќен, но потрошувачката на токени боли!

Конечно, Claude Code може да работи со локални модели, а конфигурацијата е многу едноставна.

Следната средина е за Mac Mini4. Windows средината е исто така можна.

Во денешно време, ако играте со десктоп AI, препорачувам да набавите Mac M серија мали компјутери, како mini4\mini4 pro\m3 ultra\m4 max, лично десктоп AI чудо.

Прво, треба да го надградите LM Studio до најновата верзија, односно 0.4.1, бидејќи најновата верзија додава поддршка за Claude Code. (Ollama е исто така можна)

Можете да вчитате кој било локален отворен модел, се додека вашата Mac меморија е доволна. Ние ќе земеме gpt-oss-20b-mlx како пример, ова е OpenAI отворен модел.

Забележете една работа: Context length повлечете го до максимум, односно должината на контекстот повлечете ја до максимумот што го поддржува моделот, бидејќи изведбата на агентот за повеќекратни задачи многу зависи од должината на контекстот, мала не е добра. Овој параметар исто така треба да се балансира и прилагоди според меморијата на вашиот Mac и брзината на заклучување на моделот. Забележете уште една работа: за Mac средина, првенствено преземете MLX формат на модел, брзината на заклучување е побрза од GGUF формат на модел.

Следно, во терминалот на командната линија инсталираме claude code.

Конфигурирање на променливи на средината:

export ANTHROPIC_AUTH_TOKEN=lmstudio

export ANTHROPIC_BASE_URL=http://localhost:1234

Инсталирање на claude code:

npm install -g @anthropic-ai/claude-code

Потоа, стартувајте го claude code:

claude --model gpt-oss-20b-mlx

Во овој момент, claude code ќе го повика вашиот локален модел за да произведе излез.

Покрај употребата во терминал, може да се користи и во VS Code, конфигурацијата е како што следува:

Прво го инсталираме додатокот Claude Code for VS Code.

Потоа поставуваме променливи на средината:

{    "claudeCode.environmentVariables": [        { "name": "ANTHROPIC_BASE_URL", "value": "http://localhost:1234" },         { "name": "ANTHROPIC_AUTH_TOKEN", "value": "lmstudio" }     ]}

И тогаш можете да започнете со работа.

Прашање за размислување: Дали Claude Code што не користи Anthropic модели е ист Claude Code?

Моделот gpt-oss-20b-mlx што го користиме секако не може да се спореди со Opus 4.5, но, ако имате Kimi K2.5 распореден на вашата локална средина, во моментов, способноста не е нималку инфериорна на Opus 4.5.