Сервис запуска и взаимодействия с LLM.
- Управление сессиями, историей и параметрами диалогов
- Агентные сценарии: tool-loop, вызов инструментов, повторный инференс
- Подключение MCP-серверов и каталог внешних инструментов
- RAG: загрузка документов, поиск по контексту, rerank
- Инференс LLM на CPU или GPU, стриминг ответов
- Несколько узлов инференса с разными моделями и железом
- Подключение как Go-библиотеки в свой бэкенд (docs/library.md)
- docs/server.md - установка gen-server: основной сервис для чатов, MCP и RAG
- docs/llm-runner.md - установка gen-runner: отдельный процесс, который запускает модель на CPU или GPU
- docs/models-help.md - как выбрать модель и оценить, хватит ли памяти видеокарты
- docs/library.md - как подключить gen к своему Go-проекту вместо отдельного сервера
- gen-app - клиентское приложение для Linux, Android, iOS, macOS и Windows
- gen-mcp-servers - набор MCP-серверов для внешних инструментов, максимально адаптированных под gen
Для своего бэкенда на Go можно подключить модуль github.com/magomedcoder/gen и встроить его прямо в свой проект - без отдельного gen-server.
Gen-runner для инференса нужно запускать отдельно.
Подробно: docs/library.md.