4323
Авторский контент Рвачева Никиты (@rvnikita): о чем думаю, мечтаю, что читаю.
🔍 Топ-6 выводов из отчета a16z: Generative AI в корпорациях 2024
1. Увеличение бюджетов: Корпорации значительно увеличивают инвестиции в Generative AI, средний бюджет достиг 7 млн долларов в 2023 году, с планами на увеличение в 2024 году.
2. Многообразие моделей: Корпорации переходят от использования единой модели к применению множества различных моделей AI, обеспечивая гибкость и адаптацию под разные задачи и избегание зависимости от одного провайдера.
3. Повышение интереса к открытому коду: В 2024 году корпорации планируют увеличить использование проектов проектов с открытым кодом, стремясь к балансу между открытыми и закрытыми моделями, что обеспечивает больший контроль и гибкость.
4. Рост внедрения и переход к производству: Корпорации переходят от экспериментального использования Generative AI к более широкому внедрению в производственные процессы, увеличивая эффективность и сокращая расходы.
5. Оптимизация инвестиций и измерение ROI: Корпорации пересматривают подходы к измерению возврата инвестиций, ориентируясь на повышение производительности и качества обслуживания.
6. Технические вызовы и подбор персонала: Корпорации сталкиваются с проблемами в области привлечения и обучения специализированных кадров для работы с Generative AI, что требует новых подходов к обучению и развитию сотрудников.
Всего в отчете 16 пунктов (вот это совпадение)
Полностью отчет можно прочитать тут: https://a16z.com/generative-ai-enterprise-2024/
#ai #gpt #llm #enterprise #a16z
—————————
Мысли Рвачева
—————————
Прослушал интересный выпуск подкаста “Александр Соколовский” с Русланом Фазлыевым (крутой предприниматель, который сделал и продал Ecwid (ecom платформа) за $500 mln.).
Все, что я потребляю я стараюсь просеять через призму “узнал ли я что-то новое”. В выпуске много интересного, но наверное, главная мысль, которая осела после прослушивания, это переделанная фраза Пабло Пикассо “ Вдохновение существует, но оно приходит во время работы. Да, вдохновение есть, но оно должно застать вас за работой.” в такую же, но про удачу.
“Да, удача существует и очень важна, но она должна застать вас за работой.”.
https://www.youtube.com/watch?v=IeC8jzm7P10
#entrepreneurship #luck #pablo_picasso #podcast #recommendations
—————————
Мысли Рвачева
—————————
Интересно, что индустрия GPT робототехники развивается с неменьшими темпами, но про нее не кричат на каждом углу.
Но (внимание каламбур!) вы можете покричать на робота. Ребята из Stanford и UCBerkeley сделали проект Yell At Your Robot (YAY Robot!) с возможностью голосом управлять задачами робота.
🧑💻 Github: https://github.com/yay-robot/yay_robot
▶️ Video: https://www.youtube.com/watch?v=1tvGV4nH7sI
📝 Paper: https://arxiv.org/abs/2403.12910
#ai #robotics #stanford #UCBerkeley
______________
МР.
🔍 Google интегрировал AI в Google Slides
Google представил новую функцию для своего сервиса создания презентаций Google Slides. Теперь с помощью интеграции AI Gemini пользователи могут автоматически создавать слайды, изображения и тексты, что делает процесс подготовки презентаций еще проще и быстрее.
Генерация слайда: Для создания нового слайда достаточно нажать на иконку Gemini в правом верхнем углу и описать, что именно вы хотите получить. Если результат не удовлетворяет, его можно легко перегенерировать и вставить в презентацию одним кликом.
Генерация изображений: Теперь не нужно открывать новую вкладку для создания изображения. Просто кликните на иконку Gemini или замените существующее изображение, напишите ваш запрос и выберите стиль. Выберите одно из четырех предложенных изображений и вставьте его в слайд.
Суммаризация и написание текста: AI Gemini способен понимать суть вашей презентации и помогать в суммаризации или дополнении содержания. Для этого достаточно выбрать иконку Gemini и указать, что именно нужно сделать с текстом.
Доступ к интеграции Gemini постепенно распространяется среди пользователей, зарегистрированных в программе Workspace Labs, и на данный момент доступен на английском языке в 170 странах.
🔗 Blog: https://support.google.com/docs/answer/14207419?hl=en
#ai #gpt #llm #google
———
МР.
🔥 Sam Altman в подкасте Lex Fridman
Микс Sam Altman и Lex Fridman – это всегда бинго.
В новом эпизоде Sam Altman обсуждает много горячих тем: от историй с советом директоров OpenAI и судебного процесса с Илоном Маском до обсуждения будущего Sora и GPT-5, а также размышлений об открытом исходном коде и развитии искусственного общего интеллекта (AGI). Особенно захватывает раздел про инвестиции в $7 триллионов в вычислительные мощности и возможное появление пришельцев.
▶️ Video: https://www.youtube.com/watch?v=jvqFAi7vkBc
#agi #ai #sam_altman #lex_fridman #elon_musk #gpt #gpt
———
МР.
🏙️🌁 City Math
Придумал забавную игру в которую можно играть с ChatGPT.
Используем вот такой промпт:
Picture a fictional "city math" where cities can be added or subtracted from one another based on their characteristics.
For instance, take Moscow and add the feature of constant sunshine; you end up with Singapore.
I will tell you a city math problem and you give me the result.
👨👩👧👦 Startup idea
В очередной раз проверяя не освободился ли для меня домен rvachev.com подумал об интересной идее для стартапа.
1. Регистрируем свободные домены по фамилиям
2. Автоматизируем создание почт и сайтов с поддоменами
3. Предлагаем людям почту с привязкой (например к Gmail) и конструктору сайта в аренду.
Что думаете?
МР.
#startup #idea #domain
📢 Startup idea
В очередной раз ковыряя запутанный кабинет Facebook Ads пришла достаточно очевидная идея стартапа - Text2Facebook Ads. Схоже как это реализовал Zapier у себя в кабинете, когда ты текстом пишешь что тебе нужно интегрировать, а он делает драфт цепочки интеграции. Так же и тут, ты пишешь текстом что ты промоутишь, какая цель и вот это все, а на выходе драфт рекламной кампании.
Что думаете?
МР.
#startup #idea #ads #adtech #ai #llm
📈 Рекорды Nvidia в финансовой отчетности: рост на 265% за год!
Nvidia продемонстрировала выдающиеся результаты, значительно превзойдя ожидания аналитиков. Компания отчиталась о скорректированной прибыли на акцию $5.16 и общем доходе в $22.10B за четвертый квартал, предвидя продажи на уровне $24B в следующем квартале. Основным двигателем успеха стали продажи серверных чипов Hopper, способствовавшие 265% увеличению годового дохода. Сегмент Data Center показал рекордный рост в 409%, в значительной степени благодаря спросу от крупных облачных провайдеров, что сделало его главным источником доходов Nvidia.
Игровой сектор также не отставал, показав увеличение на 56% по сравнению с прошлым годом, подчеркивая стабильный спрос на графические карты для ПК и ноутбуков. Несмотря на небольшое снижение в автомобильном сегменте, компания видит значительный потенциал в этой области благодаря развитию технологий автономного вождения.
Эти результаты являются ярким свидетельством того, как ускоренные вычисления и generative AI начинают играть ключевую роль в глобальной экономике, открывая новые возможности для роста в различных отраслях.
🔗 Link: https://investor.nvidia.com/news/press-release-details/2024/NVIDIA-Announces-Financial-Results-for-Fourth-Quarter-and-Fiscal-2024/
#ai #gpt #llm #nvidia #finance
МР
Выбираете векторную базу данных? Ловите таблицу сравнения 36+ различных БД на выбор.
https://vdbs.superlinked.com/
#llm #ai #vector
МР
🔍 GPT-5: Новый уровень искусственного интеллекта от OpenAI
OpenAI готовит к выпуску GPT-5 — новую версию своего чатбота ChatGPT, которая обещает стать самой продвинутой на сегодняшний день. GPT-5 станет частью миссии компании по созданию искусственного общего интеллекта (AGI), систем, способных превзойти человеческий ум. Сам Альтман, генеральный директор OpenAI, подчеркнул, что новая версия будет значительно умнее предыдущих, что делает ее более компетентной во всех задачах.
GPT-5 представляет собой следующее поколение технологии generative pre-trained transformer, позволяющей ChatGPT создавать тексты, распознавать и генерировать изображения, а также речь. Более того, ожидается, что GPT-5 сможет лучше адаптироваться к пользовательским запросам, делать меньше ошибок и обрабатывать больше типов контента, включая видео.
Работы над GPT-5 уже начались, и, судя по всему, OpenAI ускоряет разработку, чтобы не отставать от конкурентов, таких как Google с их моделью Gemini. Вопреки ожиданиям, точная дата выпуска GPT-5 пока не объявлена, но растущая интенсивность обновлений может намекать на ее скорый выход.
#ai #agi #gpt #llm #openai #sam_altman
МР
🔎 OpenAI против Google: новый игрок на арене поисковых систем
OpenAI, известная своими разработками в области искусственного интеллекта, объявила о создании нового продукта для поиска в интернете, который станет прямым конкурентом Google. Этот шаг усилит конкуренцию между двумя компаниями и может изменить расстановку сил на рынке поисковых систем.
Сервис от OpenAI будет частично использовать возможности Bing от Microsoft, что может предложить пользователям новый опыт поиска в сети. Это заявление последовало после того, как генеральный директор Microsoft Сатья Наделла выразил намерение "заставить Google танцевать", интегрируя технологии искусственного интеллекта от OpenAI в поисковик Bing.
Новый поисковый продукт OpenAI может не только усилить конкуренцию с Google, но и предоставить пользователей более быстрый и удобный способ поиска информации в интернете, несмотря на то что ChatGPT от OpenAI, использующий индекс Bing для ответов на вопросы, пока не может сравниться по скорости с Google.
Интересно, что OpenAI не первый стартап в области ИИ, пытающийся изменить рынок поисковых систем. Perplexity, например, предлагает поисковик с краткими ответами, генерируемыми ИИ, что может указывать на новую тенденцию в развитии поисковых технологий, основанных на искусственном интеллекте.
P.S. Все чаще и чаще слышу, что люди уже сейчас много запросов в гугл заменяют запросами в OpenAI. Как у вас с этим?
🔗 Source: https://www.theinformation.com/articles/openai-develops-web-search-product-in-challenge-to-google
МР.
#openai #google #search
11 февраля в Америке Super Bowl. Super Bowl — это борьба за звание национального чемпиона в футбольной лиге.
1 минута рекламного ролика во время трансляции стоит примерно 1,2 млрд рублей.
Microsoft разместил в этом году на Super Bowl рекламу Copilot.
Ход сделан.
https://youtu.be/SaCVSUbYpVc?si=Seiu4txnktGqAl1X
Так вот для чего нужен Apple Vision Pro!
МР
#ar #vr
🧳🤖 Исследование TravelPlanner: проблема планирования путешествий в ИИ и развитие специализированных бенчмарков для оценки и сравнения моделей
Математическая сложность задачи планирования маршрутов делает ее одним из ключевых вызовов в области искусственного интеллекта, особенно когда дело доходит до планирования путешествий. Задача включает в себя не только выбор оптимального пути из точки А в точку Б, но и учет множества переменных, таких как стоимость, время в пути и пересадки, а также дополнительных факторов вроде погодных условий и местных событий. Это напоминает о проблеме коммивояжёра, известной своей NP-трудностью, что делает поиск идеального решения алгоритмически сложным с увеличением числа точек назначения.
В свете этих вызовов, авторы исследования предложили TravelPlanner – бенчмарк, предназначенный для оценки способности языковых агентов к планированию путешествий. TravelPlanner включает виртуальную среду с доступом к обширной базе данных из почти четырех миллионов записей и предлагает 1,225 задач планирования с различными требованиями и ограничениями.
Результаты испытаний даже с использованием передовых языковых моделей, включая GPT-4, показывают успех всего в 0.6% случаев. Это подчеркивает сложность задачи планирования путешествий и выявляет ограничения текущих ИИ-систем. Такие результаты указывают на необходимость дальнейших исследований и разработок в этой области.
Заключительно, стоит отметить значимость разработки специализированных бенчмарков, как TravelPlanner, которые играют ключевую роль в оценке и сравнении моделей ИИ. Это позволяет научному сообществу более осмысленно подходить к измерению прогресса в развитии искусственного интеллекта, определяя текущие ограничения и выявляя новые направления для исследования. Такой подход не только способствует лучшему пониманию потенциала и ограничений ИИ в сложных задачах планирования, но и открывает дорогу к будущим прорывам в этой области.
📄 Paper: https://huggingface.co/papers/2402.01
МР
#ai #agi #gpt #llm #travel
Угадайте, что это за график?
#ai
—————————
Мысли Рвачева
—————————
Продолжая тему робототехники.
Совсем незамтно произошло важное событие - первое сально полноразмерного гуманойда на прямой поверхности.
Вообще ребята Unitree крутые, так как делают железки, которые уже сейчас в целом доступны по стоимости, но, очевидно, будут дальше снижаться.
https://www.youtube.com/watch?v=V1LyWsiTgms
В целом робототехника очень интересна и кажется привлекает сильно меньше внимания, чем сотфверная ветка прогресса. Например вот недавно слушал интересный подкаст от CEO Boston Dynamics Robert Playter у Lex Fridman
#robotics #ai
🖌️ Преобразование скетча+текста в изображения с img2img-turbo
Технология img2img-turbo позволяет быстро преобразовывать скетчи, дополненные текстом, в полноценные изображения, сокращая разрыв между идеей и её визуализацией. Этот инструмент приближает нас к эпохе, когда создание изображений станет похоже на неформальный разговор с дизайнером, где эскиз на салфетке оживает в полноцветном изображении. Generative AI развивается, делая процесс управления результатами интуитивно понятным и доступным. Благодаря img2img-turbo, кажется теперь не только профессия разработчика, но и дизайнера пойдет под нож.
🧪 Demo: https://huggingface.co/spaces/gparmar/img2img-turbo-sketch
📝 Paper: https://huggingface.co/papers/2403.12036
🧑💻 Github: https://github.com/GaParmar/img2img-turbo
#ai #gpt #llm #img2img
———
МР.
Интересный вопрос к Sam Altman из интервью Lex Fridman.
Если кто-нибудь даст тебе ноутбуку и скажет “Готово, тут доступ к AGI - что ты спросишь?”?
А что бы вы спросили?
#ai #agi #sam_altman #lex_fridman
———
МР.
🍏 Apple представляет AI модель MM1
Apple создала новую модель MM1, которая умеет работать с текстом и изображениями. В отличие от старых моделей, MM1 может анализировать фотографии и тексты вместе, что помогает лучше понять и объяснять содержание. MM1 включает в себя как большие модели с параметрами до 30 миллиардов, так и разнообразные варианты с использованием смеси экспертных подходов (MoE). Это сочетание позволяет модели лучше понимать и генерировать контент.
В этой новости есть 2 необычных аспекта:
- то, что Apple в принципе решила опубликовать в паблик что-то из своих наработок. Обычно они делают это в тишине и оставляют системы супер закрытыми. В целом виден тренд на открытые системы и это не может не радовать
- то, что Apple сделала это без грандиозного PR, просто выложили научную работу.
📝 Paper: https://arxiv.org/abs/2403.09611
#ai #llm #gpt #apple
🤖 Claude 3 превзошла ChatGPT-4
Anthropic выпустила Claude 3, превосходящую ChatGPT-4 по ключевым показателям интеллектуальных задач. Новая серия включает модели Opus, Sonnet и Haiku, каждая из которых нацелена на оптимизацию скорости, интеллекта и стоимости. Claude 3 доступна через API в 159 странах, обещая улучшенные возможности анализа, обработки языков и визуализации.
🔗 Docs: https://www.anthropic.com/news/claude-3-family
🔗 Demo: https://claude.ai
#ai #llm #gpt
МР.
🔍 Открытие тысячелетия: как AI раскрыл секреты свитков, уничтоженных Везувием
История не супер свежая, но каждый раз, натыкаясь на новые подробности, меня снова и снова она поражает.
Профессор из Университета Кентукки, Брент Силс, реализует проект по чтению свитков Геркуланума, утраченных после извержения Везувия в 79 г. н.э. Эти свитки, похожие на куски угля, невозможно физически открыть без повреждения. Использование AI и технологии микро-КТ позволяет "виртуально развернуть" свитки и читать их, не касаясь. В результате проекта Vesuvius Challenge, нацеленного на декодирование текстов без разрушения, раскрыты первые слова, включая термины, связанные с "пурпурной краской".
Только представьте - получится вытащить знания который считались безвозвратно утраченными. Ученые начали с нескольких слов и ожидают расшифровки сотней свитков в ближайшие годы.
#ai #library #books
МР.
💰 Старт монетизации Telegram каналов. 50% от рекламы владельцу канала
В следующем месяце владельцы Telegram каналов смогут начать зарабатывать на своем контенте. Ежемесячно каналы в Telegram набирают 1 триллион просмотров, но до сих пор только 10% из них монетизировались через Telegram Ads. В марте платформа для рекламы Telegram будет официально открыта для всех рекламодателей почти в сотне новых стран. Владельцы каналов в этих странах начнут получать 50% доходов, которые Telegram зарабатывает на показе рекламы в их каналах. Для обеспечения быстрых и безопасных выплат, использование будет исключительно через TON blockchain. Аналогично подходу с именами пользователей Telegram на Fragment, реклама будет продаваться и доходы делиться с владельцами каналов в Toncoin. Cоздатели контента смогут обналичивать свои Toncoins или реинвестировать их в продвижение и улучшение своих каналов.
🔗 Source: /channel/durov/247
#telegram #web3 #crypto #ads
МР.
Друг сегодня рассказал про интересную динамику между пользователем LLM и ее разработчиком: на ранней стадии пользователь не особо знает, что может и чего не может LLM, и поэтому достаточно свободно задает вопросы. Но, спустя время, эта свобода заметно снижается: сталкиваясь с ситуациями, когда чатбот не так отрабатывает на одни, но не на другие вопросы, человек АДАПТИРУЕТ свой стиль общения, тем самым усиливая сильные и “обходя” слабые стороны продукта. Несмотря на то, что спустя время эти слабые стороны уже отработаны новыми версиями продукта, пользователь уже уложил себе на ментальную полочку, что может и что не может этот продукт, и это очень сложно исправить.
В связи с этим несколько мыслей - будет интересно услышать и ваше мнение:
1. Чат-интерфейс по своей сути заметно повышает “свободу” запросов и паттернов использования продукта, но при этом, ожидаемо, снижает точность ответов. На контрасте GUI (графический пользовательский интерфейс) совершает обратное - снижает свободу в угоду точности. Скажу даже больше: в большинстве случаев он вообще не позволяет пользователю допустить неуспешный кейс.
Отсюда 2 предсказания:
- мы будем видеть больше специализированных нетекстовых интерфейсов поверх LLM для доменных областей, где точность важна по совокупности функциональных, эмоциональных и социальных факторов. В эту тему прикольный разговор из YCombinator на тему оберток вокруг базы данных и SaaS, и аналогичной ситуации с LLM.
- там, где важна точность, узкие/специализированные модели будут превосходить general модели, потому что будут свои метрики точности и по отношению к ним снижаться свобода запросов
2. Вообще, это прямо идеальный пример path dependence (зависимость от пути), работы усиливающих обратных связей (привет стрим по системному мышлению) и адаптивных систем из complexity theory, о которой я обязательно сделаю стрим в ближайшие недели.
3. Мне стало интересно, каким образом этот процесс работает в связке: я и читатели канала. Условно, не происходит ли из-за моего внимания к метрикам а-ля reactions per view и forwards per view “оптимизация” и “сужение” контента моих постов. И хорошо это, или плохо.
М?
⚡ Новый проект OpenAI: Sora превращает текст в видео
OpenAI представляет Sora - новая text-2-video модель, которая может создавать реалистичные и фантазийные видеосцены, основываясь на текстовых указаниях. Этот проект открывает новые возможности для визуализации идеи, перенося текст в движущиеся изображения без необходимости вручную редактировать видео.
Sora умеет генерировать видео длительностью до минуты, обеспечивая высокое визуальное качество и точное следование указаниям пользователя. Модель научена понимать физический мир в движении, что позволяет создавать видео, помогающие решать задачи с реальным взаимодействием.
Доступ к Sora уже предоставлен командам специалистов для оценки возможных рисков и вреда, а также визуальным художникам, дизайнерам и кинорежиссерам для сбора обратной связи и дальнейшего улучшения модели.
Выглядит невероятно! Пример сгенерированного видео про промпту “Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.”
UPD:
Если вы думаете, что Sora от OpenAI - это просто творческая игрушка, похожая на DALLE, подумайте еще раз. Sora - это движок, основанный на данных, который является симуляцией множества миров, будь то реальные или фантастические. Симулятор осваивает сложный рендеринг, "интуитивную" физику, рассуждения с широким горизонтом и семантическую привязку, всё это благодаря определённым методам удаления шума и математике градиентов.
Не удивлюсь, если Sora обучалась на большом количестве синтетических данных с использованием Unreal Engine 5.
Больше подробностей и примеров по ссылке ниже.
🔗 Link: https://openai.com/sora
#ai #gpt #llm #text2video #3d
МР
🧠 ChatGPT тестирует новую функцию памяти
OpenAI начала тестирование новой функции для ChatGPT - память, которая позволяет сохранять информацию из предыдущих бесед. Это нововведение направлено на упрощение общения, уменьшение необходимости повторения информации и повышение релевантности ответов. Пользователи получают полный контроль над памятью ChatGPT: могут указывать, что именно следует запомнить, узнавать, что уже запомнено, а также удалять ненужную информацию через диалог или настройки.
На данном этапе функция доступна лишь ограниченному числу пользователей ChatGPT, включая владельцев бесплатных и Plus аккаунтов, в рамках первоначального тестирования. OpenAI планирует в ближайшее время расширить доступ к памяти и поделиться планами по её дальнейшему внедрению.
Память ChatGPT предназначена для того, чтобы со временем и чем больше вы взаимодействуете с сервисом, тем лучше он становится в адаптации к вашим предпочтениям и потребностям. Например, если вы укажете, что владеете кофейней, ChatGPT будет использовать эту информацию для формирования более релевантных предложений в будущем.
В любой момент пользователи могут отключить функцию памяти в настройках, а также управлять сохраненной информацией: просматривать, удалять отдельные фрагменты памяти или очищать её полностью. Временный чат предлагается для диалогов, которые не должны сохраняться в памяти и не будут использоваться для обучения моделей.
OpenAI обновила свои принципы конфиденциальности и безопасности, учитывая введение функции памяти, и предпринимает шаги для минимизации рисков и предвзятости, а также для защиты чувствительных данных пользователей.
🔗 Link: https://openai.com/blog/memory-and-new-controls-for-chatgpt
#ai #agi #gpt #llm
МР
🤖 Google наконец выпустил своего AI GPT
Google запустил платную подписку Gemini Advanced за 19,99 долларов в месяц, предоставляя доступ к мощной модели Ultra 1.0 AI. Подписка включает в себя два терабайта облачного хранилища и скоро будет расширена для использования в Gmail и Google's productivity suite. Это предложение ставит Google в прямую конкуренцию с Microsoft и OpenAI, предлагая пользователям продвинутые возможности ИИ в повседневной работе и общении.
Продукт предназначен для тех, кто ищет передовые технологии генеративного ИИ, способные генерировать новый контент и обрабатывать сложные запросы. Google рассчитывает привлечь пользователей, включая обширную базу владельцев Android, предложив легкий доступ к Gemini через мобильные устройства и приложения. Gemini Advanced уже доступен на английском языке в 150 странах, с планами на расширение поддержки языков и международного присутствия.
🔗 Blog: https://blog.google/products/gemini/bard-gemini-advanced-app/amp/
▶️ Video: https://youtu.be/b5Fh7TaTkEU?si=9l_ClvVQePVIWpeE
🧑💻 Try: https://one.google.com/explore-plan/gemini-advanced
МР
#google #ai #llm #gpt
👶 Startup idea
Нейросеть, дорисовывающая на фото детям глаза, чтобы их можно было наконец нормально сглазить.
МР
#ai #computer_vision #startup #idea
То, что Apple воткнули проприетарную батарейку вместо того, чтобы поддержать любую USB-C это конечно 🤯.
Apple такой Apple 🤬
#apple #vr #ar
🔍 RAG против Finetuning: Как улучшить знания ИИ?
Современные модели искусственного интеллекта (AI), такие как GPT и другие, уже обладают обширными знаниями благодаря процессу обучения на больших массивах текста. Однако эти знания ограничены данными, на которых модель обучалась, и не обновляются с течением времени. Для решения этой проблемы используются два метода: finetuning и Retrieval Augmented Generation (RAG).
Finetuning – это дополнительное обучение модели на специализированном наборе данных. Этот метод улучшает знания ИИ в конкретной области, но не всегда эффективен для общего расширения знаний.
RAG же подходит к задаче обновления знаний иначе. Он работает путём добавления в запрос к модели релевантной информации, найденной в огромной базе данных. Это позволяет модели генерировать ответы, которые лучше основаны на фактах и актуальной информации.
Недавние исследования показывают, что RAG более эффективен, чем finetuning, в задаче внедрения новых знаний в ИИ. Хотя finetuning и улучшает производительность модели по сравнению с базовым вариантом, RAG имеет значительное преимущество.
📝 Paper: https://arxiv.org/abs/2312.05934
#ai #gpt #llm #rag_vs_finetuning
МР