Запуск собственного комплекса ИИ

Задача

Запустить комплекс , состоящийи из следующих частей:
1. Чат с ИИ
2. Кодовый агент для работы с проектами в консоли
3. Кодовый агент для работы в PyCharm

Требования к компонентам

Программа для работы с моделями LLM

1. Бесплатность
2. Запуск GGUF моделей LLM* с Hugging Face
3. Доступ к модели в режиме чата
4. Доступ к модели по протоколу OpenAI API
5. Многопользовательский режим (несколько одновременных сессий)
6. Большое кол-во параметров LLM при запуске

Предполагаемый кандидат:
1. text-generation-webui - не удачно
2. llama-server - удачно

Кодовый агент для работы с проектами в консоли

1. Бесплатность
2. Работа по протоколу OpenAI API
3. Возможность настройки на разные OpenAI серверы

Предполагаемый кандидат: Codex - удачно

Кодовый агент для работы в PyCharm

1. Бесплатность
2. Работа по протоколу OpenAI API
3. Возможность настройки на разные OpenAI серверы

Предполагаемый кандидат:
1. плагин Continue - не удачно
2. плагин ProxyAI - удачно

Статьи по теме:
1. Внедряем AI Code Assistant в разработку бесплатно и без вендорлока — Инструкция

*Модели LLM

Jetson Orin NX 16 GB способен работать с моделями до 13B параметров, на это и будем равнятся.
Статьи по теме:
1. Всё, что я узнал о запуске локальных языковых моделей
2. How To Calculate GPU VRAM Requirements for Local LLMs (Advanced Guide)
3. Выбор моделей LLM

Дополнительные статьи

NVIDIA Jetson AI Lab Tutorial