47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Стадии принятия деградацим модели
Гнев - да хейтеры closed Ai все врут
Дебаг - щаща промпт поменяю и нормально будет
Торг - ну, зато быстрее... И в ASCII рисует лучше... И e2e мультимодалка...
Депресия - блять ну как так то, почему я должен писать: I give you 100$
Принятие - ну, зато дешевле и быстрее и слава богу
/channel/denissexy/8156
Короче, я потратил сегодня весь день пытаясь делать разные промпты «эксперта в написании кода» под GPT-4o и у меня пока не очень хорошие новости:
— Чистый ChatGPT на GPT-4o пишет код лучше (!) чем запромченый эксперт через API, такого я еще не видел;
— Помните я писал раньше про модель «im-a-good-gpt2-chatbot» о которой мы мало что знаем и она мне понравилась больше всего? Она все еще лучше всех, не пропускает инструкций и слушается;
В видео есть 3 вида змейки написанных с первого раза (то есть я не дебажил код самой моделью, просто копировал его и запускал — все модели прекрасно дебажат сами себя если попросить, я тестировал генерацию с первого раза):
— GPT-4o БЕЗ какого-либо промпта, кроме системного промпта ChatGPT: модель сделала симпатичную игру которая сразу работает, нормально считает очки и тп. Код.
— GPT-4o С моим системным промптом, где я ей говорю какая она классная в разработке и описываю детально как лучше писать код: во-первых, не с первого раза игра заработала, пришлось пару раз делать перегенерации — я пробовал и длинные и короткие системные промпты, ей все равно. Во вторых, игра с багами — очки считаются x10, при врезании в стену показывается алерт JS с очками который я отключил потому что невозможно же. Код.
— Im-a-good-gpt2-chatbot с тем же самым промптом разработчика выше: сделала прекрасную игру, которая считает правильно очки, содержит игровое сообщение «Game Over» и в целом норм работает. Код.
Я утром читал какие-то негативные комментарии про GPT-4o, и подумал что люди просто хейтят ClosedAI, такое часто происходит — а сейчас вижу, что есть за что — модель плохо промптится.
Поэтому:
1) Или так задумано
2) Или у OpenAI баг в API
3) Или нас ждет скорый релиз еще лучшей модели – «im-a-good-gpt2-chatbot», а GPT-4o чисто для аудио-ассистента сделана (это мое мнение, высосанное из пальца)
P.S. Мой текущий промпт разработчика, который хорошо работает (execution mode штука только для моделей OpenAI и не ясно он вообще работает или нет, удалите если в другие модели понесете)
Давно не было милых новостей в стиле SimCity 3000 – вот версия от GPT-4o:
🔸 Кошка захватила мэрский офис, требуя бесплатного тунца для всех. Жители города поддерживают её кандидатуру.
🔸 Робот-пылесос стал героем дня, спасая хомячка из-под дивана. Теперь его зовут Суперпылесос.
🔸 Гигантская тыква выросла на крыше мэрии. Теперь она служит новой городской достопримечательностью и кафе.
🔸 Местная белка стала звездой социальных сетей, собирая орехи в форме сердечек. Жители дарят ей орехи каждый день.
🔸 Птица-певчая взяла под контроль городской светофор, поет песни на зеленый свет. Водители благодарны за музыкальные остановки.
🔸 Городской пруд захватили утки, организовав утиную регату. Победители получают золотые булочки.
🔸 Местный фермер вырастил арбуз в форме звезды. Симы считают, что это новый символ города.
🔸 Бабочка стала сенсацией, случайно прилетев на заседание городского совета. Все решения теперь принимаются с её согласия.
🔸 Городской почтальон на велосипеде заменен на почтового дрона, который раздает письма вместе с печеньем.
🔸 Местный музыкант учит кошек играть на пианино. Теперь каждую ночь город наполнен мелодичными мурлыканьями.
🔸 Местный хорек стал мэром города после случайного голосования. Жители утверждают, что его решения значительно улучшили городскую инфраструктуру, особенно туннели.
🔸 Почтовый голубь случайно доставил любовное письмо в соседний город, вызвав цепочку романтических встреч.
🔸 Власти города заменили все уличные фонари на светлячков. Жители довольны природным освещением.
🔸 Роботы-бариста готовят кофе с художественными рисунками на пенке. Теперь у каждого кофе своя история.
🔸 Городская библиотека ввела программу 'чтение с котом'. Теперь каждый читатель получает мурлыкающего напарника.
🔸 В зоопарке открылась школа танцев для слонов. Их выступления собирают аншлаги.
🔸 Местные жители случайно обнаружили подземный город хомяков. Экскурсии проводятся каждую субботу.
🔸 На городской площади установлен фонтан с мыльными пузырями. Дети и взрослые не могут наиграться.
🔸 Городская станция метро начала использовать вагоны для пикников. Пассажиры наслаждаются путешествиями с бутербродами.
🔸 Жители города нашли способ выращивать миниатюрные деревья-бонсай на балконах. Теперь у каждого дома своя зеленая мини-аллея.
🔸 В зоопарке открылась школа фехтования для пингвинов. Туристы не могут поверить своим глазам, наблюдая за их поединками на льду с миниатюрными рапирами.
🔸 Власти города заменили все автобусы на гигантские тапки. Симы признают, что новый транспорт мягкий, уютный и идеально подходит для коротких поездок.
Прошлая подборка.
Девушки этих парней – нам нужно серьезно поговорить:
У нас тут снова переизобретение электричества происходит и нужно реагировать как в этих мемах – 😮😆😮😮😮😱😮😬
Спасибо за понимание
А еще, я думаю это будет шикарный способ подготовиться к собеседованию — скармливаете историю компании, вакансию которую они разместили, ваше CV и гоняете с утра до ночи тренировки пока вас не возьмут на работу 👍
Читать полностью…
Я подключился по API к GPT-4o модели – просто посмотрите на скорость написания кода 😮
Сам код: https://codepen.io/shir-man/pen/GRaKzLg
– Показали GPT4o, самую мощную новую модель: она будет доступна для платных и ДЛЯ БЕСПЛАТНЫХ пользователей ChatGPT (даже без регистрации). Модель сейчас на первом месте по тестам сравнивая с другими лучшими моделями — и в коде и в других задачах.
– GPT4o это «Омнимодель» натренированная сразу на тексте, фото и видео — то есть та самая мультимодальность которую мы ждали.
– GPT4o уже доступна через API и стоит в два раза дешевле, и работает в 2 раза быстрее.
– Показали улучшенную версию аудио-чата через ассистента — она теперь шутит, понимает ваши эмоции; теперь ассистента можно перебивать своим голосом и сам ассистент говорит с эмоциями, и вы можете просить ее менять эти эмоции (даже петь). Переводчик с помощью GPT4o просто работает как в Sci-Fi кино (не путаясь и не требуя дополнительных нажатий кнопок).
– Запустят десктопные приложение наконец-то, чтобы не в вебе сидеть; в десктопном приложении ей можно показывать экран целиком и просить ее подправить код, что-то рассказать и тп. То есть это ассистент, который всегда видит ваш экран.
Дополнительные мелочи:
— Заявленные фичи выкатят через пару недель.
— Теперь через приложение можно просто ей показывать видео фид и она будет давать советы как решить какую-то задачу (не нужно фоткать ничего, работает как стрим);
— Во время демки ассистент тормозил хехе.
А вот что я предсказывал в посте выше и что сбылось или не сбылось:
✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
❌ Размер контекстного окна в 1М (128k токенов)
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1 (с названиями, они, конечно, не консистентны)
❌ Новую версию Dalle 3, с улучшенным фотореализмом
А еще оказалось, что скандальная реклама новых iPad от Apple (за которую они извинились), это не что-тот новое, а просто скопированная реклама LG из 2008-го года ☕️
Мне вот тоже неприятно смотреть как давят классические инструменты, хоть я и фанат технологий, и люблю Apple
Производитель робособак Unitree, показал своего гуманоидного робота G1 Humanoid – и это уже выглядит интересно, потому что цена на него всего 16000$ (в сравнении с другими ценами на таких роботов)
Я теперь знаю зачем я рекламу в этом канале продаю, напитков будет кому принести пока я шитпощу ☕️ точнее, поднести напитки и облить меня ими
В Antropic (это конкурент OpenAI и авторы модели Claude 3 Opus) на днях запустили свой промпт генератор (доступен тут) и там какой-то дикий по объему инструкций промпт, я его вставил сюда, можете почитать. Если коротко, при генерации промпта сразу подставляются переменные которые будут нужны, чтобы максимально облегчить разработчику работу, добавляются «Chain Of Thougths» приемы и тп.
Только возникшая индустрия промпт-инженеринга уже двигается к своей автоматизации и это нормально, потому что намного быстрее «промпт-инженерить» языковую модель чтобы она, на основе уже готовых, одинаковых правил, написала какой-то промпт — потому что самому вычитывать 100 раз один и тот же текст абсолютно унылое занятие, поверьте мне.
Последние месяца три, все системные промпты которые я пишу для GPT / локальных моделей, я пишу с Claude 3 Opus или GPT4. Это правда хорошо работает — запускаешь какую-то новую модель и хочешь протестировать ее на предмет написания рассказов во вселенной «Ведьмака» или «Властелина Колец», а самому писать эти постоянные «Ты самый лучший в мире писатель фанфиков по вселенной...» и тп и тд, очень утомляет.
Поэтому, я собрал новую GPT задача которой промпт-инженирить за вас, создавая LLM-агентов на основе ваших предпочтений. В эту GPT сразу включены какие-то хаки которые хорошо работают по моему опыту, включая «Chain Of Thougths», негативный промптинг, выделение капсом нужных частей и тп. И если вы знаете размер языковой модели (например 8B, 30B, 70B) модель адаптирует сложность промпта, так как маленькие модели в больших инструкциях путаются.
Ссылка:
Agent Prompt Generator for LLM's
Прошлая версия промпта промпт-генератора доступна тут (я ее уже постил), в GPT более новая и сложная.
P.S. Шутка агента кринжовых-анекдотов со скриншота выше:
Путешественник во времени решает поехать в прошлое, чтобы предотвратить создание популярного мема «Forever Alone». Возвращается обратно и обнаруживает, что стал главным героем этого мема.
OpenAI в понедельник вечером покажет презентацию (я еще скину ссылку на нее), вот что лично мне кажется покажут (спекулятивно):
✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
✅ Размер контекстного окна в 1М
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1
✅ Новую версию Dalle 3, с улучшенным фотореализмом
Ну то есть будет прикольно, но не AGI-прикольно, но все еще ничего.
В понедельник сравним насколько я плохо предсказываю вещи (планирую как минимум одну угадать, но это максимум)
Нидерланды радикально решили вопрос «чувака с горячей кукурузой на пляже» – по всему пляжу циркулируют такие вот тракторы с разной едой и напитками, и паркуются на 15 минут в разных местах ☕️
Читать полностью…
А вообще, я другое хотел рассказать – я уже пару месяцев как промпты для LLM пишу не сам, а с помощью Claude Opus: это быстрее, так как самому писать эти простыни текста не самое приятное занятие и это отлично работает для простеньких задач и локальных агентов что я пощу в канал, но сложные GPT так не напишешь – даже большие модели путаются и начинают исполнять промпт, вместо переписывания.
Но вчера нам показали очередную «таинственную» модель которая прекрасно слушается команд, и вот уже с помощью нее я за пару часов переписал главные свои GPT – они стали получше и конкретнее, и работают на максимуме возможностей GPT4
Ссылки:
⚙️ Creative Answers & Brainstorm GPT – эта теперь попробует добавить конкретных деталей в ответ, то есть вместо «Собирать виноград в Италии» она назовет и виноградник, и потенциальный город рядом и тп;
⚙️ Image Edit | img2img – эта просто стала лучше работать с картинками и не забывает их пересоздавать. Кстати, раз теперь в ChatGPT есть редактор картинок, то работает еще лучше: вы подаете сюда картинку, она создает похожую (без нарушения копирайта и тп), и уже ее вы можете подправить в редакторе.
⚙️ Anti AI-Detection – переписывание текста от «АИ-детекторов» стало тоже лучше: случайно выбирается один из 3х способов переписывания и добавлено больше правил по тому пейперу о котором я писал.
⚙️ Growth Hacking Expert – эта просто стала умнее: во первых она теперь нацелена на стартапы, во вторых добавит технических деталей если нужно, в третих по дефолту работает в условиях ограниченного бюджета. Эта GPT содержит большой датасет успешных кейсов внутри.
⚙️ Creative Ad Maker – помните фильм «99 Франков»? Вот это ваш Октав, правда без наркотиков. Она все еще забывает генерировать картинки и нужно напоминать, но сами идеи стали креативнее и лучше. Эта GPT содержит большой датасет виральных кейсов внутри.
Как водится, делюсь промптом агента, с помощь которого я делаю задачи промпт инженеринга – в промпт уже включены какие-то мои лучшие практики, которые проверено заставляют модели слушаться.
P.S. Я кстати потестировал генерацию «креативных идей» с новой моделью – вы все сильно удивитесь на что она способна когда ее выкатят в прод 👍
На Google I/O показали новые AI штуки и пока я не увижу в проде, я не вижу смысла о них писать свои мысли – это уже второй Goole I/O где показывают AI-фичи для поиска, для Gmail и тп. и их как в меме с рыбами, только показывают (или уже встроили и показывают повторно, типа быстрых ответов на почту 🙂)
Из любопытного (как по мне):
– Показали конкурент SORA который понятно, что никто из нас не потрогает;
– Показали новый генератор картинок Imagen 3 который пока что никто из нас не потрогает (вход по заявкам и не для всех стран);
– Вернули функцию «Magic» в Google Sheets, если помните, была такая – выделяли ячейки и появлялись быстрее инструменты процессинга данных, теперь работает на Gemini и эта фича которую я правда ждал назад;
– Сделали свой платный аналог ChatGPT – Gemini App, буквально копия почти 1 в 1 – там есть свои GPT которые называются Gems, поддержка 35+ языков; сказали что аудио-асситента можно перебивать и угадайте показали ли демку этого ассистента 👍 (нет, дайте угадаю когда добавили эту фразу в презентацию хехе);
– Gemini еще больше интегрируют в Android, прям на уровень системы – удобно для пользователей Android. Ждем такое же в Siri + OpenAI;
– А это вызовет wild fire среди любителей безопасности данных: Gemini теперь слушает ваши телефонные разговоры сама по себе, процессинг случается на устройстве и может предупредить что вам позвонил «сотрудник тюрьма-банка и пытается вас заскамить». Надеюсь дадут отключать постоянную прослушку, в мире для этого уже есть органы.
Остальное вы уже видели в том или ином виде, саму модель Gemini 1.5, я бы хотел увидеть в результатах тестов.
P.S. Довольно кринжово выглядит когда спикер замирает ожидая аплодисменты и зал никак не реагирует, думаю разойдется на нарезки
#промo
Всем привет!
Сейчас практически ежедневно происходят сенсации в сфере ИИ. Буквально несколько часов назад OpenAI сделали ещё один прыжок в сторону личных ассистентов.
Мы (конечно же, не без помощи OpenAI 🙃) создали личного гида для прогулок по городу или виртуального туризма - Tourly Immersive Audio Guide. Почему виртуального? Потому что в самое ближайшее время мы добавим в приложение возможность гулять по локациям в режиме Gaussian Splatting.
Сегодня мы запускаем наше детище на Product Hunt 🚀 и нам очень нужна ваша поддержка! Если у кого есть аккаунт там – будем также благодарны за объективные отзывы на платформе. За самые интересные комментарии предусмотрены приятные промокоды 😊
🔶Ссылка на AppStore: https://apps.apple.com/app/id6473921781
🔶Android версия: на подходе )
🔶 Ссылка на Product Hunt: https://www.producthunt.com/posts/tourly-immersive-audio-guide
#текстприслан
С утра читаю отзывы людей (негативные опущены, они тоже есть):
— Вау, такой голос! Как живое!
— Невероятно, всё утро веду диалог, мне теперь живые люди не нужны!
Штука в том, что свежая модель на данный момент для пользователей генерирует лишь текст. Генерацию голоса новой моделью, а также создание картинок завезут позднее, «в ближайшие недели».
Представьте, что будет когда включат эту функциональность, как люди обрадуются 😀
То есть как работало мобильное приложение ChatGPT раньше:
— Одна модель слушает вас, переводит речь в текст. На этом этапе теряются все эмоции, никаких тегов <вздох> или *радостно* там нет — просто текст
— Текст подаётся в GPT-4-Turbo (вторую модель) на вход (как будто бы вы сами написали сообщение своими руками)
— Эта модель генерирует ответ текстом
— Этот текст озвучивается третьей моделью. Она не может петь, шептать, играться интонацией. Если в запросе попросите её это сделать — она не будет следовать инструкции
Насколько я понимаю, на сегодняшний день эта функциональность сохраняется — несмотря на то, что модели с номерами 1 и 3 можно заменить на новую GPT-4o (она может нативно слушать вас и генерировать голос сразу, без вспомогательных средств). OpenAI не выкатывают всё сразу. А вот модель 2 как раз заменили. То есть сами ответы могут показаться умнее, уровень понимания тоже повысился — потому что LLM стала мощнее. И скорость выросла.
Не верите? Попробуйте попросить отвечать медленнее/быстрее, или даже шёпотом.
Sorry to disappoint you 🤷♂️
Я одного не понимаю, Google показал это в 2018 году – робот резервирует прием в салон красоты:
/channel/denissexy/788
Как они умудрились не сделать масс продукт из этого?
Спустя 6 лет OpenAI просто обыграла их как дешевок ¯\_(ツ)_/¯
Буду радоваться когда Сундар Пичаи уйдет с поста, честно – риторические вопросы все
У новой модели контекстное окно 128k токенов, это две копии книги «Великого Гетсби» примерно – столько она может держать «в уме» работая с данными.
Это немного, хочется миллионы конечно
Примеры возможностей нового GPT4o ассистента – серьезно, фильм "Her" теперь реальность
Читать полностью…
Через 15 минут начнется трансляция OpenAI с новыми моделями и всяким таким:
https://www.youtube.com/live/DQacCB9tDaw?si=DvCLorkJUWR3MbGU
Подключайтесь, попробуем подсчитать сколько сегодня стартапов закроется от их анонсов – свое саммари сделаю после трансляции 😇
Помните Саудовская Аравия обещала построить мега-город с названием «NEOM»? Такая зеркальная полоска через пустыню диной в ~170 км (первые две картинки)?
Так вот, они начали его строить — но чуть-чуть скорректировали планы:
полоска теперь будет длиной всего 2.5 километра, высотой в 500 метров и шириной в 200 метров.
Мне кажется там будет прекрасные фильмы сниматься про дистопийное будущее, особенно если проект забросят. Но 2.5 км звучит куда более достижимо, так что может и построят.
А учитывая, что власти готовы применять жесткую силу если что-то помешает строительству, я думаю к 2030 правда увидим зеркало в пустыне – с одной стороны нафига, с другой стороны это просто такой майнкрафт для сверх-богатых
#промo
Стартап Exactly.ai ищет Machine Learning стажеров
Exactly.ai это маркетплейс, который позовляет художникам тренировать ML-модели на своих иллюстрациях и давать брендам свои модели в аренду. Бренды могут создавать иллюстрации для маркетинговых кампаний с помощью моделей лучших художников.
Exactly - самый большой хаб персональных моделей, созданных профессиональными художниками и иллюстраторами. В сентябре Google включил Exacly.ai в топ-15 лучших стартапов 2023 года. Компания привлекла Seed Round и хочет расширяться.
Стили ML-моделей могу отличаться самыми разными скрытыми паттернами, поэтому для каждого из них нужен свой подход. Мы ищем ML-стажеров, которые помогут исследовать и разработать уникальные пайплайны для переноса уникальных стилей.
После стажировки успешные кандидаты получат контракт с компанией.
Если вам интересно, отправьте ваше резюме и сопроводительное письмо на адрес nikita@exactly.ai
Подробнее о вакансии:
https://exactly.ai/career/ml-intern-MBb358K3
#текстприслан
･ *ﾟ
･ ﾟ*
･｡
*･｡
*.｡
｡･
°*.
RuntimeError: CUDA out of memory.
｡｡ ･
｡ ･ﾟ
｡°*.
｡*･｡･ *ﾟ
･ ﾟ*
🔊 Помните, в старом интернете, было принято к кейгену или кряку программы прикладывать музыку, ASCII арт и всякое такое? Эта традиция с названием «cracktro» никуда не делась, и теперь выглядит так
Наткнулся на реддите, где юзер жаловался что после запуска взломанного Red Dead Redemption 2 вместо игры показывается это ☕️ чел испугался и снес пиратскую копию после записи видео, ха-ха – слабак, настоящий пират проходит под эту музыку
UPD. Нашел трек целиком
Neuralink поделились обновлением касательно их первого пациента. С момента вживления чипа почти полностью парализованному человеку прошло 100 дней, и с ним всё в порядке.
Через пару недель после операции видел разные обсуждения в ТГ и на реддите, мол, на самом деле там уже ничего не работает, электроды отклеились, и даже что вместо считывания сигнала мозга на самом деле там происходит считывание движений глаз. Однако если верить посту — то всё в порядке. Noland продолжает играть в видеоигры и даже начал выигрывать своих друзей — причём не только на PC, но даже на портативной приставке Nintendo Switch.
Управление можно осуществлять в любом положении — лежа, сидя, на боку и так далее — и это важно, так как метод, с которым он жил несколько лет (специальный стик во рту) сильно ограничивал свободу, но зато увеличивал требование к близким людям вокруг. «Это дало мне возможность снова делать что-то самостоятельно, не нуждаясь в семье в любое время дня и ночи» — говорит Noland.
У пациента регулярно (почти каждый рабочий день) проходят сессии работы с инженерами Neuralink, а в выходные он занимается своими делами — суммарно даже больше, чем в будни! Бывают дни, когда Noland пользуется нейроинтерфейсом по 12 часов в день, а за неделю вообще натекло 69 часов (в среднем по 10 в день). Однако на графике активности действительно видно спад в первой половине марта. Действительно, компания признаёт, что через некоторое время после операции несколько «нитей» (всего их 64, суммарно хранят 1024 электрода) потеряли контакт и перестали считывать сигналы.
Но и инженеры ведь не спят — и в ответ на это они пошаманили с алгоритмами, допилили механизм преобразования сигнала в движения мыши, и теперь всё на уровне даже выше прежнего. Чтобы это оценивать, пациент играет в игру — на огромной сетке то и дело загораются маленькие квадратики, и нужно привести к ним мышку и нажать. Уже во время первой сессии почти сразу после операции у Noland'а был показатель 4.6 BPS (bits-per-second, не знаю, почему bits) — и это был мировой рекорд для нейроинтерфейсов!
...а сейчас этот показатель достигает уже 8, а Noland задаётся целью догнать людей, полноценно оперирующих мышкой (у них этот показатель равен 10). Но в целом можно сказать, что управление мышкой очень точное и быстрое. А в будущем кроме этого способа ввода добавятся и другие — инженеры планируют распространить функциональность Link на управление роборуками, инвалидными колясками и другими технологиями, которые могут помочь повысить независимость людей, живущих с параличом нижних конечностей.
Короче я понял – я теперь официально инфлюинсер в Индии ☺️
А что если я все это время копировал контент слово в слово у этого чела, получается он Денис настоящий? А кто я тогда? Анкит?
Кажется, у нас появилась новая копипаста – то есть кто-то взял мою знакомую, мой текст из поста про Sora, мой скриншот и перенес в Индию
Говорю же, люблю LinkedIn, никогда не подводит ☕️
