Ollama

Ollama — запуск LLM локально без облака: llama, mistral, gemma, qwen и другие open-source модели.