e/acc

25 July 2023 14:31

Сегодня за утро несколько раз подряд столкнулся с очень похожими проблемами у тех кто строит ИИ-приложения. Я вижу очень часто, что получив новые технологии, люди пытаются применить их везде где нужно и где не нужно.

В частности, сегодня крайне распространена идея про то что, мол, если хочешь сделать LLM приложение умнее — используй векторные эмбединги. Или даже хуже: что векторные базы данных это каким образом способ сделать LLM умнее. Но это не так. Это просто способ хранить и искать по данным, используя семантику, а не лексику. То есть, когда мне нужно найти в тексте определенную мысль или смысл, но я не знаю какими конкретно словами (или на каком языке) она там сформулирована.

Эмбединги не расширяют контекст модели и не помогают ей знать больше, чем она знает и так. И в 95% случаев вам вообще не нужна векторная база данных, потому что релевантные данные у вас уже и так лежат с постгресе, в архиве почты или на сайте. Вам просто нужно взять их и передать в контекст LLM в качестве инпута. Берем информацию из базы данных, скармливаем в контекст, задаем вопрос, повторяем. База данных стоит в ~100 раз дешевле, работает быстрее, геморроя меньше, инструментов для работы больше. Чем не профит?

То же самое верно для операций на основе ответа LLM. Допустим, Лама сказала что вам нужно пойти в спортзал чтобы похудеть. Можно конечно пытаться триллионом промтов добиться чтобы она в нужный момент напомнила, не забыла свои собственные слова и логику рассуждений. А можно просто выгрузить результат в типизированном и заранее строго отформатированном виде и затем работать с ним, как с любыми другими данными в рамках классической строго детерминированной парадигмы, где вы четко понимаете что ожидать на входе и на выходе. Никаких стохастических неожиданностей. И проще в тысячу раз.

Кстати, записывайтесь на очередной воркшоп по созданию автономных агентов, который пройдет в эту пятницу!