-
Интересное про технологии и не только Для связи: @slokyton
n8n + Qwen 2.5 7b instruct + vLLM + SO = Мощный диджитал твин на своем железе!
Всем привет!
По следам экспериментов я решил собрать небольшой пост старт по тематике n8n здорового человека
Что это такое?
Low-code подход через n8n для построения логики "диджитал твина"
vLLM для оптимизации инференса модели на локальной инфре + под капотом есть xgrammar
Qwen 2.5 7b instruct(t-lite) - неожиданно эффективная для SO и классификации интентов под такие задачи
Интеграция с RAG Smart Platform как "знаниевый агент" в наборе инструментов
Как это работает?
Structured Output вместо встроенных агентов которые работат на tool которые ломаются чаще российского автопрома для классификации намерений
Гибкая архитектура инструментов через n8n ноды(пришлось попотеть через js Vibe Coding спасает)
Маршрутизация запросов на основе четкой классификации где нет места гибким условиям если есть только flow!
Интеграция с внешними API и базами знаний
Что сейчас умеет такой спрут? Причем n8n стоит локальной на моем сервере
Выбор инструмента на основе намерения пользователя
Роутинг между различными исполнителями задач
Универсальный метод для разных типов запросов (часто без необходимости переобучения модели)
Форматирование запросов от каждой внешней АПИ типо погоды или календаря под тот формат который я задумал для визуализации пользователю!
Система не идеальная, но уже можно автоматизировать множество процессов!
Если вам интересно то этот пост байт на коменты и реакции
Хочу понять стоит ли пилить отдельный пост разбор + выложить код всех нод на гит для повторения!