47347
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Вчера в очередной раз практиковался в промпт-инженеринге на своей img2img GPT и случайно открыл режим смешивания картинок, теперь там суммарно три режима:
1) img2img – просто отправляете ей картинку и получаете новую, похожую (видел на реддите кто-то копирайты так у некоторых картинок «сбрасывает», кек)
2) txt2edit – заливаете картинку, и пишите что поправить. Старый режим, в последней картинке показано как работает.
3) Image Merge – новый режим: заливаете несколько картинок (можно больше двух даже) и GPT попробует их усреднить между собой; работает и с мемами, и с логотипами, и с фото и тп.
Img2img GPT v3 работает быстрее, стабильнее, а я достиг предела промпта у GPT – 8000 токенов, потому что я упоротый 😵
Буду обновлять картинку по мере нарастания безумия
Читать полностью…
Я думаю вы теперь то тут то там будете слышать сложный термин Mixture of Experts (MoE), так что вот вам простое описание как оно работает внутри:
«Модель смешанных экспертов» (MoE) похожа на большую команду игроков, где каждый игрок хорош в своей работе: один игрок может быть очень хорош в понимании имен людей (это был бы точно не я, я их сразу забываю), другой игрок может быть очень хорош в понимании чисел, третий игрок может быть очень хорош в понимании чувств и тп.
Еще в команде есть тренер, который решает, какой игрок должен выполнять какую задачу. Так что, если тренер видит лист бумаги с надписью «Димастик забил 5 голов и был очень счастлив», он заставит игрока, который понимает имена, посмотреть что там у нас за «Димастик», игрока, который понимает числа, разобраться в «5 голах», и игрока, который понимает чувства, разобраться в том, что «был очень счастлив» вообще значит.
Наличие множества игроков узкого профиля делает всю команду умнее и быстрее, чем если бы пару игроков пытались делать все самостоятельно. Но все игроки все равно должны прийти на игру, даже если на самом деле играют только несколько из них. Игроки занимают много места на скамейке запасных, но хитрость Микстраля в том что они усадили игроков буквально на голову друг другу, то есть места занимать они сильно больше не стали, потому что акробаты.
Разные команды по миру работают над способами помочь команде лучше работать вместе и сделать так, чтобы количество игроков было небольшим — а задач они решали, как можно больше.
Самое удобное в MoE подходе, что многих игроков можно учить одновременно разным вещам, что быстрее чем учить одного игрока всем задачам сразу.
Поздравляю, вы ML-инженер, вот ваш сертификат.
Сложное описание тут, с формулами 🫶
@Denis
Хорошие новости в мире опенсорса: последняя публичная модель Mistral 8x7b Small догнала в результатах тестов уровень GPT 3.5
Почему это важно: у сообщества заняло примерно 1.5 года (GPT 3.5 добавили в API в марте 2022) чтобы достигнуть этих результатов, при довольно низких требованиях к железу.
Другие модели, которые в опенсорсе выдавали похожие результаты, были слишком большими чтобы простые смертные могли с ними поиграться – я, например, так и не смог завести модели на 120 миллиардов параметров дома, у них слишком конские требования, при этом новый Мистиаль ниже по требованиям к железу.
В ближайшую неделю-две нас ждет обилие файнтюнов от сообщества (с отключенным алайментом в том числе), так что я думаю, что GPT 3.5 не только догнали, но и вот-вот перегнали, с чем я всех нас и поздравляю.
Про модель можно почитать тут.
Не хотел писать про Gemini, который на днях анонсировали как мультимодальную модель уровня GPT-4, пока сам не пощупаю. Но Google обделался в пиаре своего Gemini, что тут грех не написать.
Демо-видео Gemini оказалось смонтированным, а не отражающим реальные возможности модели в реал-тайм. Видео нарезали, ускорили и смонтировали, выбросив то, какие именно промпты и какие кадры подавались модели, чтобы получить красивые ответы для демки.
Google признал монтаж, но утверждает, что целью было вдохновить разработчиков. ПРОСТО ГЕНИИ 🤣.
Кстати, у Гугла был похожий PR-провал во время анонса Bard 👍.
@ai_newz
Ситуация со своими GPT-аппами для ChatGPT такая: кажется их уже очень много, но как оказалась моя img2img на ~120 месте в мире по популярности среди вообще всех GPT, что как-бы говорит о том, что пользы пока в них мало и часто они заменяют какой-то простой промпт.
Поэтому, я чуть доработал img2img идею, и теперь загружая картинку, вы ее сможете отредактировать как в примере выше, просто написав текстом что хотелось бы поправить.
Рассчитывать на картинку 1 в 1 не стоит, так как Dalle 3 часто не умеет слушаться даже простых команд в стиле «сделай 3 человека» — держи 11 дружище, просил же команду целую 😎
Ссылка тут.
Может, я не понимаю маркетинг, может, не знают работяги в Google, а может технология очень сырая и появится не скоро — но я чуть не пропустил ОЧЕНЬ крутую фичу, которую представили вместе с Gemini. На странице анонса модели и в ключевом видео просто места не уделили...ужас.
Предлагаю посмотреть видео📹, а не читать слова...но если вы остались тут, то ОК!
Фича называется Bespoke UI, суть в том, что на ваш запрос модель сначала генерирует ИНТЕРФЕЙС, а затем его наполняет (реальным или сгенерированным контентом). По сути это такой маленький сделанный на заказ (bespoke 🤔) веб-сайт с разными блоками. И с каждым из них пользователь может углубить взаимодействие — выделить, попросить дописать или переписать.
Причём, по ходу этой генерации под капотом модель (сама? из-за тренировки? через промпты?) раскладывает весь процесс на шаги, вытягивая их в цепочку. Например, перед генерацией «сайта» модель сначала уточнит, а что а как а чего (по контенту ответа, не по форме сайта), потом, как сочтёт, что деталей достаточно — выдаст PRD (Product Requirements Document), и шаблон для наполнения. Здесь, мол, одна кликабельная карточка, у неё есть заголовок, основной текст, а также ссылка на открытие полного блока с информацией.
Так как LLM в некотором приближении это дистилляция всего интернета (плюс, Gemini умеет гуглить и «смотреть» видео на ютубе), то можно с натяжкой и верой в будущее сказать, что это — новый способ взаимодействия с сайтами: убрать всё лишнее, добавить контекстную рекламу (сгенерированную???), и выдать исключительно концентрированный контент. А если нужно что-то уточнить — выделяешь, просишь сгенерировать новую страницу, и всё.
Как думаете, зря не показали всем?)
Помните я как-то писал про то, что нашел способ получать от GPT4 код без ленивых сокращений сказав, что у меня нет пальцев?
Спустя месяц это попало в народ, в комментариях на реддите вон даже делятся люди 🤪 OpenAI удивится когда на чатах тренить начнет, хехе
Ура, трейлер GTA 6 вышел:
https://youtu.be/QdBZY2fkU-0
Игра выйдет в 2025
Довольно техническая, но наглядная визуализация того как работают
языковые модели внутри – от ввода до вывода текста, с пояснениями и формулами:
https://bbycroft.net/llm
Сайт работает лучше с компьютера
То, с чего AI art начинался 🔡🔡 то, как эту картинку сейчас видит GPT4V и перерисовка Dalle 3
Читать полностью…
И еще, у нас тут в мире локальных больших языковых моделей тоже событие:
на той неделе вышла Yi-34B-Chat и ее базовая версия с «контекстным окном в 200k» (помнит больше истории вашего общения и тп).
Yi-34B-Chat протестировали в сообществе и она заняла первое место среди всех опенсорсных моделей которые выходили — я обычно скептически отношусь к таким результатам но решил сам попробовать, и я честно скажу что офигел.
Модель построена на llama2 архитектуре, но натренирована с нуля, в основном на английском.
34 миллиарда параметров и очень качественный датасет, оказались достаточным рецептом чтобы я два дня выходных вечером сидел и генерировал с ней разные истории с зомби-апокалипсисом – обычно я локальные LLM только настраиваю и дальше ухожу играться в GPT4, в этот раз такого не случилось.
Очень советую ее потестировать (если любите когда компьютер вам пишет книжки).
Дальше у меня по палану доучить с qlora эту модель на Гарри Поттере (и методах рационального мышлении тоже) и пропасть на две недели вообще, путешествуя во вселенной и выдуманных рассказов на мой вкус.
— Модель
— Разные интерфейсы для работы с локальными LLM (включая OSX аппы которые с клика ставятся)
Лучшие настройки какие я нашел для задачи «креативного» написания рассказов (для нердов):
—temp 1 \
—top-k 40 \
—top-p 0.95 \
—min-p 0.05 \
—repeat_penalty 1.18 \
В видео показано с какой скоростью она пишет, что отдельно магия каждый раз. Очень жду доступа к Масковскому Grok чтобы сравнить 😈
Давно не было этой рубрики: Властелин Колец, теперь в Берлине
Читать полностью…
🐟 Ой, хватит этих ИИ-штук, давайте лучше посмотрим как наковальня плавает в ртути 🐟
🌹🌹🌹
Спустя месяц OpenAI опять начали принимать новых пользователей которые хотели бы им заплатить за ChatGPT и GPT4 в вебе
Хочу тоже такой бизнес, когда чисто по фану продукт делаешь и если серверов не хватает — просто закрываешь прием денег от пользователей ☕️ а чего такого
Лол, нашли очередной баг в веб версии GPT4:
При использовании, в ChatGPT, передается текущая системная дата и из-за того, что декабрь месяц праздников, она начала давать ответы короче.
То есть тупо сравнили даты май и декабрь, как часть промпта, и при декабре – ответы на сообщения короче ☕️
Автор
Запустил Mixtral 8x7b модель у себя, пока в сыром виде и без настроек, просто скорость проверить – это офигеть же для модели уровня GPT 3.5 😔
В сыром виде про зомби фанфики не пишет.
UPD разобрался почему:
Модель выложили как раз для файнтюнов сообщества и особо не парились с форматом промпта, его нету, в итоге модель нужно за ручку водить чтобы она правильные ответы дописывала. Я думаю уже завтра появится чат-формат и тп, вот тогда заживем
БОЛЬШИЕ НОВОСТИ - Согласован Европейский The AI Act!
TL;DR: На большие AI модели наложено очень много ограничений. Кончилась лафа для компаний, строящих LLM в EU.
Основные последствия The AI Act:
1️⃣Система рисков по уровням: Для систем AI, классифицированных как высокорисковые, были согласованы четкие обязательства и требования прозрачности. Теперь потребуется обязательная оценка потенциально негативных воздействий на здравоозранение, бузопасность, базовые права человека, и общество в целом.
2️⃣ Foundation модели будут регулироваться, если на их обучение ушло как минимум 10^25 flops вычислительной мощности - в эту категорию попадут модели как минимум уровня GPT-3.5.
3️⃣Благодаря немцам, французам и итальянцам удалось добиться значительных поблажек для Open-Source моделей. Это слегка снимает стресс с некоторых компаний которые публикуют опенсорсные модели, включая французскую компанию Mistral и немецкую Aleph Alpha, а также Meta с ее моделями LLaMA. Ян Лекун поспособствовал.
4️⃣ Следующие системы будут запрещены, и у компаний будет всего шесть месяцев, чтобы обеспечить соблюдение:
▪️системы биометрической категоризации, использующие чувствительные характеристики (например, политические, религиозные, философские убеждения, сексуальная ориентация, раса);
▪️ненаправленное скрейпинг изображений лиц из интернета или с камер видеонаблюдения для создания баз данных распознавания лиц;
▪️распознавание эмоций на рабочем месте и в образовательных учреждениях;
▪️социальное скоринг на основе социального поведения или личных характеристик;
▪️ AI, которые манипулируют человеческим поведением, чтобы обойти их свободную волю;
▪️AI, используемый для эксплуатации уязвимостей людей (из-за их возраста, инвалидности, социального или экономического положения).
5️⃣Системы AI высокого риска будут особенно тщательно проверяться на наличие байесов, предвзятости, обеспечивая их недискриминационность и уважение основных прав человека.
6️⃣Поставщики систем AI высокого риска должны вести тщательную документацию, чтобы продемонстрировать свое соответствие регуляциям. Это включает запись методов обучения и используемых наборов данных.
7️⃣ Санкции: Несоблюдение может привести к значительным штрафам, варьирующимся от 35 миллионов евро или 7% от глобального оборота до 7,5 миллиона евро или 1,5% от оборота, в зависимости от нарушения и размера компании.
Усиленные требования к прозрачности могут вызвать проблемы с защитой интеллектуальной собственности, требуя баланса между раскрытием информации и сохранением коммерческой тайны.
Все это потенциально увеличит операционные затраты и наложет значительную административную нагрузку, что потенциально может повлиять на время выхода на рынок новых AI продуктов в Европе.
А скоро, думаю, и другие страны подтянутся со своими законами. В долгосрок выиграют те, кто не так сильно закинет удавку на разработчиков AI. Как же сейчас британские компании радуются, что они не в EU.
@ai_newz
Хех, кажется твиттерский Grok от Маска понятно на чем тренировали ☕️
UPD. Создатели Грока говорят это из-за того что в интернете постят ответы gpt4 тут и там
Провел небольшой эксперимент на днях:
Взял субтитры фильма «Темный рыцарь», скормил их в специальную штуку со сложным названием RAG, которая обрабатывает ваш текстовый файл и потом подставляет его кусочки в промпт сложным способом, и получил совершенно шикарный диалог с Джокером — такой подход очень глубоко держит персонажа в роли, начинаешь верить ответам LLM намного больше.
После минут 10 общения с ним я понял что он все же просто поехавший вредитель, но интервью было довольно клевым.
Потом, скормил Wiki статью о Троцком тем же методом, рассказал ему последние новости, ему не понравилось.
Таким же способом скормил Гарри Поттера и методы рационального мышления, и в диалоге с Гарри в баре получил хороший урок рациональному мышлению.
Таким же способом, скормил книгу про зомби и получил интересную историю на выходе и поговорил с Пирамидоголовым из Silent Hill, короче вы поняли.
Мне кажется скоро эта штука будет всюду, потому что это правда интересно — я понимаю, что владельцы копирайтов на эти вселенные будут недовольны, но даже на уровне «костылей» это уже интересное чтиво, которое работает С ЛЮБЫМ ТЕКСТОМ. Так что, как минимум, владельцы популярных франшиз будут делать такие сервисы сами.
Тут я сделал туториал как повторить результаты и настроить это все на своем железе.
P.S. Тестировал я это все только на английском
P.P.S. На самом деле RAG это костыль, поскольку в идеале вся книга/статья должна помещаться в контекстное окно модели – но это просто пока сложно делать из-за высоких требований к RAM и тп. А метод выше работает просто на чем угодно и с какой угодно моделью.
Про сам GPT4 от Гугла «Gemini» я пока не могу что-то однозначно сказать – вы все это уже видели и так. Заявление о том, что их модель вышла лучше чем GPT4 я тоже видел, но пока скептически настроен и хотел бы дождаться тестов от сообщества.
Бесплатный доступ тут (нужен VPN США):
https://bard.google.com/chat
~
Еще, я думаю, в 2024 мы снова увидим острую конкуренцию iOS vs Android, прям как в старые добрые, но уже в сфере AI штук – может и Siri поумнеет наконец-то
Интересный взгляд на будущее «динамических» интерфейсов, фронтендерам особенно понравится:
Читать полностью…
Ресчеры показали довольно клевое новое применение диффузии — x10 зум внутрь любой картинки, естественно с «придуманным» содержанием внутренности картинки (можно зумить и больше x10).
К сожалению, модели пока нет, описан только метод, но идея, как по мне, интересная чтобы «копнуть глубже» в старинные фотографии / мемы / текстуры.
Тут детали:
https://powers-of-10.github.io/
Ждем в опенсорсе
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или наговнокодила ☕️ the future is wild
Амазон запускает своего конкурента ChatGPT c акцентом на рабочие задачи. Называется Amazon Q. Цена ровно такая же как у всех, $20.
https://www.nytimes.com/2023/11/28/technology/amazon-ai-chatbot-q.html
К ChatGPT вышло уже много «аппов» на базе GPT-конструктора, некоторые полезные, некоторые бесполезные, вот тут автоматически собирается статистика по популярным GPT.
Я заметил, что многие авторы GPT начали блокировать попытку вывода своих первоначальных инструкций — оказывается мой «инверсионный промпт-джейлбрейк» что я показывал на той неделе, обходит эту защиту вообще во всех GPT что я тестировал.
Если кому-то нужно, то вот тут промпт — будем учиться промпт инженерингу на друг друге ☕️
Пообщался с человеком и узнал о странном явлении из мира дизайнеров:
В крупных рекламных или дизайнерских агентствах, у которых в клиентах есть бренды, вроде McDonalds, Nike, Nestle, и тп, есть такая проблема – дизайнеры не могут использовать напрямую txt2img алгоритмы в работе, потому что все еще непонятно, с точки зрения законов, насколько легально использовать Midjourney или другие генераторы картинок (и не ясно на чем Midjourney тренирует модель).
Глупость заключается в том, что дизайнерам при этом можно использовать Adobe Stock и аналоги: фотостоки, которые позволяют залить туда свои картинки/фото и продавать их с нужной лицензией.
Короче, одни люди генерируют в Midjourney и Stable Diffusion очень красивые картинки, потом заливают их в Adobe Stock, и там их уже покупают дизайнеры рекламных агентств, которые работают со всякими Adidas и Nike.
Но при этом, напрямую дизайнерам использовать txt2img нельзя. То есть как бы напрямую они AI-картинки и не генерируют 🤡🎪
Так тупо, что даже весело – что важно, это не разовые случаи, а то с чем столкнулась целая индустрия дизайна по всему миру
P.S. Названия компаний выдуманы, но по масштабу в реальном примере такие же
