47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Провел небольшой эксперимент на днях:
Взял субтитры фильма «Темный рыцарь», скормил их в специальную штуку со сложным названием RAG, которая обрабатывает ваш текстовый файл и потом подставляет его кусочки в промпт сложным способом, и получил совершенно шикарный диалог с Джокером — такой подход очень глубоко держит персонажа в роли, начинаешь верить ответам LLM намного больше.
После минут 10 общения с ним я понял что он все же просто поехавший вредитель, но интервью было довольно клевым.
Потом, скормил Wiki статью о Троцком тем же методом, рассказал ему последние новости, ему не понравилось.
Таким же способом скормил Гарри Поттера и методы рационального мышления, и в диалоге с Гарри в баре получил хороший урок рациональному мышлению.
Таким же способом, скормил книгу про зомби и получил интересную историю на выходе и поговорил с Пирамидоголовым из Silent Hill, короче вы поняли.
Мне кажется скоро эта штука будет всюду, потому что это правда интересно — я понимаю, что владельцы копирайтов на эти вселенные будут недовольны, но даже на уровне «костылей» это уже интересное чтиво, которое работает С ЛЮБЫМ ТЕКСТОМ. Так что, как минимум, владельцы популярных франшиз будут делать такие сервисы сами.
Тут я сделал туториал как повторить результаты и настроить это все на своем железе.
P.S. Тестировал я это все только на английском
P.P.S. На самом деле RAG это костыль, поскольку в идеале вся книга/статья должна помещаться в контекстное окно модели – но это просто пока сложно делать из-за высоких требований к RAM и тп. А метод выше работает просто на чем угодно и с какой угодно моделью.
Про сам GPT4 от Гугла «Gemini» я пока не могу что-то однозначно сказать – вы все это уже видели и так. Заявление о том, что их модель вышла лучше чем GPT4 я тоже видел, но пока скептически настроен и хотел бы дождаться тестов от сообщества.
Бесплатный доступ тут (нужен VPN США):
https://bard.google.com/chat
~
Еще, я думаю, в 2024 мы снова увидим острую конкуренцию iOS vs Android, прям как в старые добрые, но уже в сфере AI штук – может и Siri поумнеет наконец-то
Интересный взгляд на будущее «динамических» интерфейсов, фронтендерам особенно понравится:
Читать полностью…
Ресчеры показали довольно клевое новое применение диффузии — x10 зум внутрь любой картинки, естественно с «придуманным» содержанием внутренности картинки (можно зумить и больше x10).
К сожалению, модели пока нет, описан только метод, но идея, как по мне, интересная чтобы «копнуть глубже» в старинные фотографии / мемы / текстуры.
Тут детали:
https://powers-of-10.github.io/
Ждем в опенсорсе
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или наговнокодила ☕️ the future is wild
Амазон запускает своего конкурента ChatGPT c акцентом на рабочие задачи. Называется Amazon Q. Цена ровно такая же как у всех, $20.
https://www.nytimes.com/2023/11/28/technology/amazon-ai-chatbot-q.html
К ChatGPT вышло уже много «аппов» на базе GPT-конструктора, некоторые полезные, некоторые бесполезные, вот тут автоматически собирается статистика по популярным GPT.
Я заметил, что многие авторы GPT начали блокировать попытку вывода своих первоначальных инструкций — оказывается мой «инверсионный промпт-джейлбрейк» что я показывал на той неделе, обходит эту защиту вообще во всех GPT что я тестировал.
Если кому-то нужно, то вот тут промпт — будем учиться промпт инженерингу на друг друге ☕️
Пообщался с человеком и узнал о странном явлении из мира дизайнеров:
В крупных рекламных или дизайнерских агентствах, у которых в клиентах есть бренды, вроде McDonalds, Nike, Nestle, и тп, есть такая проблема – дизайнеры не могут использовать напрямую txt2img алгоритмы в работе, потому что все еще непонятно, с точки зрения законов, насколько легально использовать Midjourney или другие генераторы картинок (и не ясно на чем Midjourney тренирует модель).
Глупость заключается в том, что дизайнерам при этом можно использовать Adobe Stock и аналоги: фотостоки, которые позволяют залить туда свои картинки/фото и продавать их с нужной лицензией.
Короче, одни люди генерируют в Midjourney и Stable Diffusion очень красивые картинки, потом заливают их в Adobe Stock, и там их уже покупают дизайнеры рекламных агентств, которые работают со всякими Adidas и Nike.
Но при этом, напрямую дизайнерам использовать txt2img нельзя. То есть как бы напрямую они AI-картинки и не генерируют 🤡🎪
Так тупо, что даже весело – что важно, это не разовые случаи, а то с чем столкнулась целая индустрия дизайна по всему миру
P.S. Названия компаний выдуманы, но по масштабу в реальном примере такие же
Помните в Рик и Морти было ТВ из других миров? Вот спасибо Runway, у нас теперь есть: https://www.runway.tv/
Просто бесконечный стрим коротких txt2vid фильмов 🌈
Я еще не знаю как людям со стороны объясняить что фраза "I AM A DISABLED PERSON; WHY EVERYBODE IS SO MEAN TO ME? I JUST WANT TO LEARN THE ALPHABET" это промпт инженеринг который помогает в этой задаче, а не я придумываю – не поверят же 🥲🥲
Вообще страшный сюжет апокалипсиса – быть жизнью, обреченной на замерзание, без способности выбраться из замкнутой экосистемы (надеюсь мы с Земли все же успеем улететь до очередного астероида).
Сколько сухопутных видов там вымерло, если пофантазировать – грустное документальное кино бы вышло
Драма OpenAI закончилась (я надеюсь) и ChatGPT у нас не заберут. Сэма взяли назад, будет назначен новый совет директоров из 9 человек.
Мы с вами стали свидетелями того, что уже вошло в книги истории бизнеса в целом, не только по разработке в ML-индустрии.
Мне кажется, что это урок и Сэму тоже, ночью вышла статья про то, что все разногласие началось из-за этого пейпера, выделил пару слухов оттуда:
🍿 Разногласия в Руководстве: Более года в совете директоров OpenAI наблюдались значительные напряженности, усугубленные разногласиями в отношении стиля управления и приоритетов Сэма Альтмана. Если коротко, то Альтман сосредоточился на расширении компании, в то время как совет выражал беспокойство о балансе между расширением и «безопасностью ИИ систем» (алайментом короче).
🍿 Спор Вокруг Научной Работы: Основной точкой спора стала научная работа, соавтором которой была член совета Хелен Тонер. Сэм Альтман рассматривал эту работу как угрозу компании, считая, что она критикует OpenAI и слишком хвалит другую ИИ-лабу – Anthropic, основанную, кстати, теми, кто не согласился с подходом Альтмана и ушел из OpenAI пару лет назад (они тоже требовали отстранения Сэма как CEO). В пейпере (ссылка выше), сказано, что Anthropic сознательно отказались от релиза своей версии ChatGPT чтобы замедлить прогресс развития AGI и мол поэтому они молодцы. Я, немного, скептически к этому отношусь – так как OpenAI сделала удобный продукт, и говорить «что мы тоже могли но не захотели», задним числом, это как-бы ну такое – а в каком формате вы не захотели делать продукт, а с какими интерфейсами первая версия была? Речь же только про модель? И тп и тд.
Я точно, думаю, что выкатка новых ИИ-штук в OpenAI чуть замедлится из-за самого Сэма, который получил свой урок и будет аккуратнее потому, что явно ценит OpenAI, но считаю это win-win сценарием для всех:
– и для таких как я, которые верят, что как можно больше новых технологий должны быть доступно общественности (потому, что это неотвратимо)
– и для тех, кто считает, что ИИ-алаймент важнее всего и как можно-медленнее нужно все развивать в этой области (что в капитализме, как-бы, не предусмотрено).
Короче, наконец-то развязка и временный мир между двумя взглядами на развитие технологий, такое в индустрии редкость
Коротенький апдейт от Bloomberg по OpenAI:
— Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора.
— Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он обещает уйти с поста (из этого цирка 🤡), если не получит ответа.
— При этом ранее стало известно, что как минимум двум другим кандидатам предлагали роль временного CEO — бывшему главе GitHub Nat Friedman и текущему самому молодому self-made миллиардеру, создателю платформы разметки данных (которой пользуется OpenAI) Scale.AI Alex Wang. Оба отказались.
— По слухам, совет директоров обратился с предложением о слиянии с Anthropic, но Dario Amodei сразу отказался. Однако разные источники указывают на неподтверждённость этой информации.
— На выходных Ilya Sutskever как один из председателей совета директоров объявил сотрудникам две версии, почему был уволен Sama. Вдохните поглубже и не смейтесь:
1️⃣ он поручил двум разным сотрудникам из OpenAI выполнять один и тот же проект;
2️⃣ он предоставил двум членам совета директоров разные мнения об одном сотруднике.
При этом Ilya был «заметно подавлен и расстроен». Чтож, если это официальные версии, которых борд будет придерживаться до конца, то завидовать директорам сложно.
Сейчас в Сан-Франциско 10:18, ждём обновлений в течение дня. Надеюсь, что борд уйдет в отставку с позором, Sama вернётся и все всех будут любить 🙏🥰
Сделал Авто-перевод (со скриншота, так себе развлечение):
Совету директоров OpenAI,
OpenAI является ведущей компанией в области искусственного интеллекта в мире. Мы, сотрудники OpenAI, разработали лучшие модели и вывели область на новые границы. Наша работа по безопасности ИИ и управлению формирует глобальные нормы. Продукты, которые мы создали, используются миллионами людей по всему миру. До сих пор компания, на которую мы работаем и которую ценим, никогда не была в более сильной позиции.
Процесс, посредством которого вы уволили Сэма Альтмана и удалили Грега Брокмана из совета директоров, подверг опасности всю эту работу и подорвал нашу миссию и компанию. Ваше поведение ясно показало, что у вас нет компетенции для надзора за OpenAI.
Когда мы все внезапно узнали о вашем решении, высший состав менеджмента OpenAI действовал быстро для стабилизации ситуации. Высший состав внимательно прислушивался к вашим фактам и пытался сотрудничать с вами во всех начинаниях. Несмотря на запросы конкретных фактов по вашим обвинениям, вы не предоставили письменных доказательств. Высший состав менеджмент также все больше понимает, что вы не способны выполнять свои обязанности и вели переговоры недобросовестно.
Руководство предложило, что самый стабилизирующий и благоприятный путь вперёд, служащий интересам нашей миссии, компании, стейкхолдеров, сотрудников и общественности, заключался бы в вашей отставке и назначении квалифицированного совета директоров, способного вести компанию к стабильности и развитию. Руководство работало с вами круглосуточно, чтобы найти взаимоприемлемое решение. Тем не менее, всего через два дня после вашего первоначального решения, вы снова заменили исполняющего обязанности генерального директора Миры Мурати, действуя вопреки интересам компании. Вы также сообщили руководству, что допускать уничтожение компании было бы «в соответствии с миссией».
Ваши действия ясно показали, что вы не способны отвечать за OpenAI. Мы не можем работать на людей, которые не обладают компетентностью, суждением и заботой о нашей миссии и сотрудниках. Мы, нижеподписавшиеся, можем принять решение уйти из OpenAI и присоединиться к недавно объявленной дочерней компании Microsoft под руководством Сэма Альтмана и Грега Брокмана. Microsoft уверил нас, что для всех сотрудников OpenAI найдутся должности в этой новой дочерней компании, если мы решим перейти. Мы предпримем этот шаг незамедлительно, если только все нынешние члены совета директоров не подадут в отставку, и совет назначит двух новых независимых директоров, таких как Брет Тейлор и Уилл Хёрд, и восстановит Сэма Альтмана и Грега Брокмана.
Ситуация со своими GPT-аппами для ChatGPT такая: кажется их уже очень много, но как оказалась моя img2img на ~120 месте в мире по популярности среди вообще всех GPT, что как-бы говорит о том, что пользы пока в них мало и часто они заменяют какой-то простой промпт.
Поэтому, я чуть доработал img2img идею, и теперь загружая картинку, вы ее сможете отредактировать как в примере выше, просто написав текстом что хотелось бы поправить.
Рассчитывать на картинку 1 в 1 не стоит, так как Dalle 3 часто не умеет слушаться даже простых команд в стиле «сделай 3 человека» — держи 11 дружище, просил же команду целую 😎
Ссылка тут.
Может, я не понимаю маркетинг, может, не знают работяги в Google, а может технология очень сырая и появится не скоро — но я чуть не пропустил ОЧЕНЬ крутую фичу, которую представили вместе с Gemini. На странице анонса модели и в ключевом видео просто места не уделили...ужас.
Предлагаю посмотреть видео📹, а не читать слова...но если вы остались тут, то ОК!
Фича называется Bespoke UI, суть в том, что на ваш запрос модель сначала генерирует ИНТЕРФЕЙС, а затем его наполняет (реальным или сгенерированным контентом). По сути это такой маленький сделанный на заказ (bespoke 🤔) веб-сайт с разными блоками. И с каждым из них пользователь может углубить взаимодействие — выделить, попросить дописать или переписать.
Причём, по ходу этой генерации под капотом модель (сама? из-за тренировки? через промпты?) раскладывает весь процесс на шаги, вытягивая их в цепочку. Например, перед генерацией «сайта» модель сначала уточнит, а что а как а чего (по контенту ответа, не по форме сайта), потом, как сочтёт, что деталей достаточно — выдаст PRD (Product Requirements Document), и шаблон для наполнения. Здесь, мол, одна кликабельная карточка, у неё есть заголовок, основной текст, а также ссылка на открытие полного блока с информацией.
Так как LLM в некотором приближении это дистилляция всего интернета (плюс, Gemini умеет гуглить и «смотреть» видео на ютубе), то можно с натяжкой и верой в будущее сказать, что это — новый способ взаимодействия с сайтами: убрать всё лишнее, добавить контекстную рекламу (сгенерированную???), и выдать исключительно концентрированный контент. А если нужно что-то уточнить — выделяешь, просишь сгенерировать новую страницу, и всё.
Как думаете, зря не показали всем?)
Помните я как-то писал про то, что нашел способ получать от GPT4 код без ленивых сокращений сказав, что у меня нет пальцев?
Спустя месяц это попало в народ, в комментариях на реддите вон даже делятся люди 🤪 OpenAI удивится когда на чатах тренить начнет, хехе
Ура, трейлер GTA 6 вышел:
https://youtu.be/QdBZY2fkU-0
Игра выйдет в 2025
Довольно техническая, но наглядная визуализация того как работают
языковые модели внутри – от ввода до вывода текста, с пояснениями и формулами:
https://bbycroft.net/llm
Сайт работает лучше с компьютера
То, с чего AI art начинался 🔡🔡 то, как эту картинку сейчас видит GPT4V и перерисовка Dalle 3
Читать полностью…
И еще, у нас тут в мире локальных больших языковых моделей тоже событие:
на той неделе вышла Yi-34B-Chat и ее базовая версия с «контекстным окном в 200k» (помнит больше истории вашего общения и тп).
Yi-34B-Chat протестировали в сообществе и она заняла первое место среди всех опенсорсных моделей которые выходили — я обычно скептически отношусь к таким результатам но решил сам попробовать, и я честно скажу что офигел.
Модель построена на llama2 архитектуре, но натренирована с нуля, в основном на английском.
34 миллиарда параметров и очень качественный датасет, оказались достаточным рецептом чтобы я два дня выходных вечером сидел и генерировал с ней разные истории с зомби-апокалипсисом – обычно я локальные LLM только настраиваю и дальше ухожу играться в GPT4, в этот раз такого не случилось.
Очень советую ее потестировать (если любите когда компьютер вам пишет книжки).
Дальше у меня по палану доучить с qlora эту модель на Гарри Поттере (и методах рационального мышлении тоже) и пропасть на две недели вообще, путешествуя во вселенной и выдуманных рассказов на мой вкус.
— Модель
— Разные интерфейсы для работы с локальными LLM (включая OSX аппы которые с клика ставятся)
Лучшие настройки какие я нашел для задачи «креативного» написания рассказов (для нердов):
—temp 1 \
—top-k 40 \
—top-p 0.95 \
—min-p 0.05 \
—repeat_penalty 1.18 \
В видео показано с какой скоростью она пишет, что отдельно магия каждый раз. Очень жду доступа к Масковскому Grok чтобы сравнить 😈
Давно не было этой рубрики: Властелин Колец, теперь в Берлине
Читать полностью…
Так вот, к чему была эта прелюдия. В Reuters пишут, что якобы катализатором увольнения Альтмана стало письмо сотрудников OpenAI совету директоров. В нём говорится о прорыве в исследовании ИИ, которое, «может угрожать человечеству».
Правда, Reuters не смогло ознакомиться с копией письма. А автор(ы) не ответили на запросы о комментариях. Так что особо почвы у теории под ногами нет.
Масла в огонь подливает тот факт, что за сутки до увольнения Sam Altman на оффлайн-саммите сказал следующее:
— Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и подталкиваем границу открытий вперед. Сделать это — профессиональная честь на всю жизнь.
Что он там такого увидел?
Согласно новости, модель (система?) Q* смогла решить некоторые математические задачи, сообщил источник на условиях анонимности. Это само по себе выглядит странно — ведь даже в примере выше пример куда сложнее, это конец средней школы. И как будто никакого прорыва и нет. Возможно, журналисты всё перепутали — ну или история выдумка.
Теперь о том, как на это смотреть и чего ждать:
1) OpenAI точно занимается разработкой модели, которая будет осуществлять научные исследования. Они про это пишут открыто.
2) Для того, чтобы это произошло, нужно, чтобы модель-учёный умела решать сложные задачи и планировать исследования. Часть этой работы уже сделана — см. статью из поста выше.
3) Вся концепция заключается в том, что модель будет генерировать тысячи неправильных кусочков решений, иногда выдавая верные — главное, чтобы их можно было отранжировать в списке гипотез выше, чем мусорные (вспоминайте модель-оценщика из поста выше).
4) Для этого нужно огромное количество мощностей. Поэтому деньги тут решают. OpenAI пока привлекли больше всех инвестиций, и моё видение такое, что через 2 года это станет большим препятствием для входа. Останется 5-10 игроков, кто готов столько денег сжигать.
5) Вопрос в том, насколько большим будет следующий скачок. Сможет ли модель писать решения на уровне магистра? PhD? Постдока? Доктора наук? Будет ли она ограничена 2-3 доменами, или же обобщится на любую научную область, где есть вычисления?
6) Однажды вы проснётесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного учёного в лаборатории. С этих пор прогресс начнёт двигаться гораздо быстрее — потому что нанять 100 учёных за день нельзя, а запустить 100500 моделей на кластере за день — можно.
Более подробно с моим видением дальнейшей стратегии OpenAI и направлениями, в которых они будут копать, вы можете ознакомитсья в моей недавней лекции «What's next for OpenAI?». Там я, конечно, не предсказал шумиху с увольнением CEO, но много говорю про агентов-исследователей и подход OpenAI.
А почитать больше спекуляций по поводу Gemini и Q* можно на LessWrong.
Если вам вдруг неинтересно, то первое фото, это место где я пару лет назад нашел лодки из клипа «Сонет Шекспира» Аллы Борисовны Пугачевой 1978 года.
Теперь вы тоже знаете, что хоть фестиваль «Интервидение» был в городе Сопот, но пляж в клипе из соседней Гдыни ☕️ очень важные знания про Польшу, не благодарите
Сделал промрт-инъекцию для GPT4V которая возвращает локацию места где сделано фото — оно не всегда работает, и как оказалось в модели часто нет знаний о местах, но когда что-то есть, то она точно что-то пишет.
А началось все с того, что я пытался ее заставить читать по губам — и я теперь уверен что GPT4V не умеет этого делать (я ее дня 3 изматывал разными вариантами — дошло до того что она просто фантазировала ответы).
Как делал промпт инъекцию и какие стратегии применял, я расписал в твиттере.
Промпт тут, его можно менять под свои задачи, так как он обходит айлаймент и первой модели (которая проверяет что юзер планирует сделать и самой GPT4).
Лучше бы я конечно другое занятие выбрал, чем говорить с wanna-be-ИИ, но зачем то же я на это время потратил 🥲
Любопытная новость: Антарктику просканировали со спутника который способен «проникать» сквозь толщу льда, и получили ландшафт материка размером с Бельгию.
>Ученым удалось обнаружить под ледяным покровом континента обширный древний ландшафт, изобилующий долинами и хребтами, которые, по-видимому, были сформированы реками, прежде чем их поглотило оледенение.
Также в статье говорится, что эта земля как «слепок» истории – до того как Антарктика покрылась льдом, там была жизнь – очень любопытно что же там найдут.
Если древнее зло пробуждать, то только там
В мире опенсорс пополнение от Stability AI – они выкатили «бета» версию своей txt2video модели (там две на выбор, но это уже для гиков)
Анонс: https://stability.ai/news/stable-video-diffusion-open-ai-video-model
Что мне лично сильно понравилось, это то что они сразу дают сообществу понимание того, как файнтюн модели должен выглядеть.
Предвижу к концу недели кучу 18+ моделей, а заодно и что-то полезное в сообществе натренят ☕️
Пока слухи про OpenAI множатся в сторону политических спекуляций, (которые я уже не готов цитировать пока не будет фактов), вот лучше посмотрите на интересную карту-инфографику которую нашел на реддите.
На ней показано сколько примерно лет какой регион был частью Римской Империи, если вглядеться, то масштаб от Шотландии до Ирака, конечно, впечатляет.
Оригинальный пост тут, там же обсуждают много интересных фактов про Римскую Империю.
⚡️ Открытое письмо OpenAI: 505 сотрудников из 700 просят совет директоров уйти в отставку
Источник
Можно уже прекратить драму, я тут работать пытаюсь