Инструменты для запуска LLM

llama.cpp

Движок с открытым исходным кодом на C/C++, предназначенный для локального запуска больших языковых моделей. Не позволяет модели делать веб-поиск.

Решения с веб-поиском

Open WebUI + Ollama

наиболее популярный стек - Встроенный веб-поиск (DuckDuckGo, Google, SearXNG, Brave) - Ollama использует llama.cpp под капотом, так что производительность схожая - Поиск активируется как tool call при необходимости

AnythingLLM

• Агентный режим с веб-поиском из коробки
• Подключается к Ollama или llama.cpp напрямую
• GUI для десктопа и self-hosted

Perplexica

• Open-source аналог Perplexity
• Использует SearXNG для поиска, подключается к Ollama
• Заточен именно под “спроси — получи ответ с источниками”

Через агентные фреймворки (больше контроля)

• LangChain / LlamaIndex + Ollama/llama-cpp-python — добавляешь DuckDuckGoSearchTool или TavilySearchTool, полный контроль над логикой
• CrewAI — мульти-агентный, хорошо документирован