80002
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
🌸Чаевые для LLM: сколько нужно пообещать?🌸
#nlp #про_nlp #prompt_engineering
Популярный прием в промпт-инжиниринге — добавить обещание денег за хорошо выполненную работу (что? да!)
"I'm going to tip $200 for a perfect solution!"
Изначальный reddit-тред показывает, что в сравнении с отсутствем чаевых можно получить примерно +5-11% итогового качества.
На стриме Сиолошной Денис пошутил, что обещает вообще 5к долларов для эффективности своих затравок. В тот же момент я подумала — а как бы сделать оптимизировать выбор суммы чаевых? Конечно, такое уже кто-то проверил в интернете.
🟣Метод очень простой:
— будем делать перебор сумм разного порядка, подставляя их в шаблон
I'll tip you {tip} for a perfect answer.
Принес вам кринжатины:
Чувак в твиттере подумал, что дейтинг это сложно, и поэтому лучше ChatGPT за меня пообщается на всем этом рынке мяса, и он буквально, цинично и по айтишному прагматично, описывает как из 5239 свайпов получил 1 девушку, которая строит с ним отношения и которой он сделал предложение.
В треде есть логические несоответствия — мотивация сделать бота для дейтинга, у автора, это «чтобы было время заняться чем-то еще», но при этом времени этот проект занял явно намного больше чем обычный человеческий способ знакомств.
В итоге, девушка встречается с ChatGPT оболочкой в виде кожаного мешка, и я бы ей конечно посоветовал хорошо подумать стоит ли выходить за него (да и в целом одного года отношений мало чтобы жениться, но это уже другая тема):
https://twitter.com/biblikz/status/1752335415812501757
Забрутфорсить до отношений тиндер это не тактика, а говно какое-то, потому что за каждой анкетой живой человек время которого тратится на эксперимент автора о котором он конечно же не рассказывал девушкам.
Если дейтинг дается сложно, то возможно стоит использовать самые передовые технологии чтобы понять как быть, изменить что-то в себе, а не устраивать прагматичный мясо-лайк.
Осуждаю провдинутый кэтфишинг, мог бы и свои фотки в Midjorney сделать, а чо нет.
Из-за таких вот «экспериментаторов» нас будет ждать регуляция AI на каждому углу как только это все начнет обретать популярность.
Кажется, у знаменитого в среде больших языковых моделей стартапа Mistral AI украли модель «Mistral Medium 70b» и выложили ее для всех в формате gguf с именем «miqu-70b».
Автор модели не признается что это утечка и утверждает что все натренил сам, при этом детали тренировки не раскрывает и отказывается опубликовать «несжатую» (fp16) версию модели – якобы, выложить не может так как у него плохой интернет, при этом уже залил больше 100гб разных «пожатых» версий этой модели (модели «ужимают» или «квантируют» жертвуя немного их качеством, чтобы проще было запустить на слабом железе).
Я тоже поигрался и согласен, что модель подозрительно хорошая – не gpt4, но блин, от ноунейма в индустрии таких уровней не ждешь обычно.
Вы можете потестировать ее бесплатно тут, какой-то реддитор выложил (без регистрации):
https://www.neuroengine.ai/Mixtral-7b-8expert
Еще, на тестах с реддита видно, что «неизвестная модель miqu» подозрительно близко подобралась по количеству очков к известной закрытой модели «Mistral Medium».
Ждем деталей, выглядит все очень подозрительно.
Но если правда, нас скоро ждет gpt3.5 уровень в каждом тостере хотим мы этого или нет ☕️ правда, даже если это не утечка, нас всё равно это ждало бы, так что ничего не поменялось
Нашел совершенно тупой способ проводить время с ChatGPT: даешь ей скучную картинку и просишь конвертировать в постер к фильму, столько эпичности на ровном месте иногда
Так воскресенье и прошло ☕️
Мне кажется милым как создатель формата картинок WebP ходит по Твиттеру и рассказывает про бенефиты формата – и он на самом то деле прав, если сервис или ОС нормально не поддерживает WebP в 2024, это как минимум странно, потому что формат экономит терабайты трафика интернету.
Надеюсь, в телеграмме этот формат тоже начнут поддерживать наравне с Jpeg файлами, а не конвертировать в стикеры автоматом 😔
На наших глазах происходит переворот, в рамках отдельно взятого евросоюза:
1. Эппл разрешили сторонним браузерам и подобным приложениям использовать свои движки. Ждем настоящий Firefox и Chrome.
2. Начиная с iOS 17.4 разрешены альтернативные маркетплейсы приложений. Комиссии за продажу приложений не будет, но будет сбор в пол евро “за технологию”
3. Эппл разрешает сервисам стримминга игр (таким как Xbox Cloud Streaming или Nvidia GeForce Now) пристуствовать в AppStore. Т.е. теперь можно будет из аппстора поставить GeForce Now и удаленно играть в 3d игры прямо с планшета!
Это бомба, теперь заживем.
Классный пост от Антона, про то как он принял участие в соревновании по расшифровке древних свитков уничтоженных Везувием (тот вулкан, что уничтожил Помпеи и соседние города в 79 году).
Антон хоть пока и не выиграл главный приз, но выиграл промежуточный:
/channel/repushko_channel/1953
…пока в августе два студента (один из штатов, второй из Берлина) независимо друг от друга глазками(!) нашли какие-то непонятные рельефы, которые подтвердили изначальную идею: не смотря на то, что чернилы не видны, бумага осталась деформированной в местах написанных букв. В итоге задачей стало пытаться программно научиться определять вот эти деформированные места (иногда глазу и незаметные) и читать буковки. Где-то в этот момент (начало августа) я и ушел в соревнование с головой.
Очень люблю такое – сочетание передовых технологий и исторических материалов, это единственный способ заглянуть в наше, человеческое, прошлое
Плюсы своей офисной двери:
Можно прикинуться выдуманной корпорацией из фильма робокоп и смущать соседей ☕️
Минусы:
Приходится ходить в офис
Специально посмотрел промо-ролик Vision Pro, и видимо если маска не индивидуальная (а обещали такие именно делать при покупке, то есть под лицо юзера), то лицо может провалиться в эту маску – и придется так затягивать свое мини-лицо
Лучше бы рассказали, тянет это на внешний монитор или нет
Если вы пропустили, то нейролав это стартап, который возник из-за телеграм канала который вы сейчас читаете, точнее, после видео по ссылке и еще нескольких подобных, которые я делал исключительно чтобы поразвлекать вас и себя:
https://youtu.be/3RYNThid23g
Потом у меня была почти-что судебная тяжба с приведеньями Братьев Люмьер (их институтом), но наступил 2024, а значит видео в публичном домене, чтобы они там не говорили. Можете смотреть (ну или не смотреть, сюжета там не много, но зато все персонажи – актеры ☕️)
Я наткнулся на новый тул text2video (только не сгенерированное, а со стоков) – поэтому сегодня вам в ленту достается профессиональное рекламное видео, о том как какать не снимая футболки ☕️
✨ Хорошего дня ✨
Делал тут:
ai.invideo.io
UPD перезалил, пощажу ваши интернеты, 220 Mb даже для каканья перебор
Нравится наблюдать как новые технологии влияют на интерфейсы, вот интересный концепт на базе LLM:
– Если читаете длинный текст и хотите сделать его короче просто сожмите его пальцами и он суммаризируется не потеряв суть;
– Если хотите подробнее разобрать какой-то концепт, просто раздвиньте пальцами как при увеличении фото;
Форвардните, пожалуйста, кто-нибудь Дурову, мне кажется идеально для формата телеграм каналов и как premium фича, спасибо 🦆 я готов все каналы читать в виде пары предложений, даже свой
Автор концепта
Пятничная новость: куча товаров на Амазоне называются “I apologize but I cannot fulfill this request (because it violates OpenAI use Policy)” и подобными. Да, потому что выкладка товаров в магазины у многих уже автоматизирована через GPT. 2024, что ты делаешь, прекрати.
https://www.theverge.com/2024/1/12/24036156/openai-policy-amazon-ai-listings
Норм мы день для запуска на product hunt выбрали, какие-то ноунеймы конкурируют с нами ☕️
Читать полностью…
Как раз наткнулся на реддит тред на тему сегодняшнего поста
Полным ходом несемся в SciFi 🦆
Твое лицо когда работаешь в VR в будущем 😂
Пока самая сомнительная фича шлема Apple Vision Pro – «прозрачность для лица», выглядит крипово
Лол, я спросил модель напрямую кто ее натренил и она призналась, что это Mistral AI
Я почти уверен что это слив – потому что модель очень выского уровня, даже код рабочий пишет
#промо
В наш EU-стартап который делает AI-тулы нужен Backend Developer. Последние 4 года мы растем, ~х2 в год и планируем попробовать сделать ~х3 в этом году. Я недавно выкладывал наши финансы и продуктовые показатели – можете почитать тут.
Откликнуться и посмотреть детали вакансии можно по ссылке, вот ключевые моменты:
– €2,000 - €3,500 в месяц
– Удаленно
– Ищем человека с 3-5 годами опыта back-end разработки
– Важен опыт работы с PHP, REST API, кэш, очереди, nosql
Я посоветовался с чатгпт, и она говорит что я должен пытаться продать наш стартап будущим кандидатам и предложила такой текст, кто я чтобы отказаться добавить кринжа:
"Мы в [ваш стартап нейролав] переопределяем границы возможного! Мы не просто компания, мы семья из супергероев, спасающих мир бизнес-инновациями! Каждый день у нас - это не работа, а волшебное путешествие в мир успеха и саморазвития, где кофе всегда ароматный, а улыбки коллег светят ярче солнца. Наш офис (вакансия на удаленную работу, алло, чатгпт) - это космический корабль, отправляющийся в неизведанные галактики успеха, а наши сотрудники - это астронавты мечты, вооруженные ноутбуками и неутолимой жаждой инноваций. Присоединяйтесь к нашему путешествию в будущее, где каждый день - это шанс изменить мир к лучшему! #мечтайбольше #работайумнее #мыкомандамечты"
Как же хороша чатгпт в кринжатине, нет, мы не астронавты пока еще
Совершенно фантастический сайт по истории легендарной Nokia 3310:
https://legendary3310.tilda.ws/
🐱🐱🐱
Сегодня NASA объявили об окончании миссии героического вертолётика Ingenuity. Вертолётика, который смог.
Ingenuity разрабатывался на объедки бюджета миссии Mars 2020 (марсоход Perseverance), суммарно на программу было потрачено $85m. Кажется, что это много, но цена ровера БОЛЬШЕ ДВУХ МИЛЛИАРДОВ ДОЛЛАРОВ. В гирокоптере, например, процессор был тот же, что вставляли в телефоны Samsung Galaxy S5 или OnePlus One. Буквально кустарное производство по меркам космоиндустрии.
На него не возлагали больших надежд. Если правильно помню, в миссии было 5 основных целей (вроде успешного приземления на Марсе и развёртывания лопастей), и лишь пятая заключалась в тестовом полёте. В итоге за эти годы с момента десантирования малыш совершил невероятные 72 полёта, пролетев больше 17км (НА МАРСЕ) за 128 минут. Самый далёкий полёт позволил преодолеть 708 метров, самый длинный был 169 секунд (интересно, что ограничение вызвано не батарейками на борту, а тем, что моторы разогреваются на 1 градус Цельсия каждую секунду), а самая большая развитая скорость была 10 м/с (всё - разные полёты).
После недавней жёсткой посадки было обнаружено, что одна из лопастей повреждена, и продолжение миссии невозможно 😭 😭 Но в миссии было и много прекрасных моментов. Изначально Ingenuity не был предназначен для зимовки на Марсе, однако переписанная ээээ на лету (🙂) программа позволила скорректировать поведение (и самоподогрев). Также в ходе миссии коптер получил систему автоматического выбора посадочного места, пережил утрату сенсора, смог очиститься после песчаной бури... в общем, его жизнь была насыщенной.
Интересный факт: на Ingenuity был прикреплён кусочек первого самолёта братьев Райт — примерно так же, как и на Apollo 11 при высадке людей на Луну.
16-минутное видео от Veritasium о производстве Ingenuity.
На прикреплённом фото запечатлён момент «высадки» на Марс с брата-ровера в 2021м.
🫡🫡🫡 покойся с миром, мы за тобой придём
Нашел еще одно интересное применение моей "Image Edit, Copying & Merge GPT" для редактирования картинок:
Я уже больше года живу в текущей квартире, и все это время меня раздражают серые шторы которые достались от прошлых жильцов. Отсутствие ковра меня раздражает еще больше, но лень заняться этими вопросами всегда побеждала – подбирать что-то к чему-то это всегда муторный процесс и нужно лопатить пинтерест и тп, чтобы вдохновиться идеями, а это не самое мое любимое занятие, потому что я лучше поиграю в игры или поработаю.
В итоге, я просто скормил фотографию гостиной – и попросил добавить ковер на пол и поменять шторы.
Dalle 3, как мне кажется, в основном была обучена на "красивеньких картиночках" и модель почти всегда пытается сгенерировать то, что хорошо смотрится эстетически. В итоге, за ~5 минут получил идеи для ковра и штор, в цветовой гамме комнаты.
В текущей версии промпта GPT пытается перенести 21 (!) параметр исходный картинки. Если вы когда-то слышали про "оверинжениринг", то это про меня.
Если есть подписка в ChatPGT, то играться тут:
https://chat.openai.com/g/g-SIE5101qP-image-edit-copying-merge
А еще скоро будет 100k чатов с ней 💐
txt2img фейки успешно завоевывают инстаграм, новая эпоха интернета будет интересной 🔄
Читать полностью…
Как смотрят Тома и Джери мальчики:
>Ставят торренты и качают все сезоны
Как смотрят Тома и Джери мужчины:
>Открывают официальный сайт ЦРУ с раскрытыми по закону о прозрачности файлами ноутбука Усамы бен Ладена, скачивают Тома и Джери, смотрят
Серьезно, есть официальный ЦРУ-сайт с файлами с ноутбука найденного в «убежище» лидера Аль-Каиды и там 140 серий Тома и Джери можно скачать без регистрации ☕️ я уже писал про эти данные, но не ожидал, что дают скачать вообще все с двух кликов
Сайт, уже с фильтром по видео:
https://www.cia.gov/library/abbottabad-compound/index_video.html
Классическое правило: «Первое поколение продуктов Apple не очень» во всей красе
Оказывается есть люди с не-элитарными, не-эльфийскими ушами, вы только представьте ☕️
Иногда пишут а как там чего нейролав – решили открыть наши данные по выручке, потому, что нам то без разницы а людям интересно:
https://twitter.com/literallydenis/status/1747318935932882945
В треде:
– Почему запускали новые продукты
– Какие гроухаки были
– 1-2 мема
– Планы и почему мы не планируем больше чем на 3+ месяца как команда (потому что хрен что спланируешь с таким AI темпом)
Клевый пример научного видео, где Ким Кардашьян и Тейлор Свифт обучают тиктокеров концепту определенного интеграла.
Думаю, этим способом можно будет обучить большую часть население земли чего-нибудь полезном (или не очень), клево же и наконец-то AI-аватары не для скам-рекламы нового дропа крипто-чего-то-там ☕️
Большие языковые модели часто ругают за то что они "галлюцинируют" ответы.
Суть этой проблемы лежит в архитектуре технологии – но люди замечают что модель "галлюцинирует" только в те моменты, когда модель ошибается в фактах и человек это заметил, на самом деле "галлюцинировать" ответы, это все что модель умеет и то, что она делает все время, просто чаще всего ответы модели выписываются логически и выглядят уместными.
Хорошая новость, что проблема галлюцинаций чинится даже с текущей архитектурой – с помощью введения дополнительных промежуточных этапов:
В Stanford нашли рабочий метод как заставить LLM отвечать корректные, реальные факты и на тестах их метод показал ~97% точности в фактчекинге.
Если коротко, они заставляют модель саму себя проверять на соответствие фактам, подавая в модель предыдущие ее же ответы, но уже с новыми промптами. Минусы такого подхода – время ответа становятся медленнее.
Можете тут бесплатно поиграться с их методом поверх англоязычной Wiki:
https://wikichat.genie.stanford.edu/
То есть все что демка ответит, на ~97% действительно содержится в англоязычной Wiki в виде фактов
Если коротко описать как это, когда запускаешь продукты на языках на которых не говоришь:
ВbI НАМ МИСКА РИСÂ. МЫ ВАМ ПИСÀТЬ ИСТÛРИИ 1 0 0 0 0 СИ МВОЛ 🇨🇳
Запустили с командой новый продукт LittleStory:
AI-генератор длинных и (относительно) интересных сказок для детей.
Пользователь регистрируется, добавляет на сайт описание ребенка (характер, возраст) и получает возможность с пары кликов сгенерировать историю и иллюстрации, где сам ребенок — главный герой, а сказка строится вокруг какой-то позитивной темы — здорового питания, хорошего поведения или простым языком рассказывается сложный научный концепт, аля квантовая физика для самых маленьких (сложность языка сказки подстраивается под возвраст).
Из прикольного — можно прописать любимую вселенную для сказки, игровую, книжную или из мультика. Ну и само собой каждая генерация тщательно проверяется на «безопасность темы» для детей.
Все работает на GPT4, поэтому бесплатно дать генерации пока что не можем — но зато мы нагенерировали сотни бесплатных сказок на разные темы, можно почитать и оценить качество.
Уже сейчас есть шесть языков (Английский, Хинди, Русский, Традиционный Китайский, Украинский, Голландский) и скоро доведем до 11+, еще планируем фичи вроде озвучки сказок или копирования голоса родителя для чтения этих самых сказок (небольшое вложение в SciFi от нас ☕️).
Это первый запуск нашей команды на Product Hunt, так что если у вас есть аккаунт, буду рад фидбеку там (комменты не на английском там удаляют 👍):
https://www.producthunt.com/posts/littlestory-io
Сайт проекта:
https://littlestory.io
(если мы ничего не сломали — а мы могли, то сразу откроется правильный язык)
P.S. Когда-нибудь расскажу как мы намучились с другими языками и gpt4 как переводчиком и с промптами размером с девятиэташку
P.P.S. Если вдруг решите поддержать проект и попробовать, то вот промо-код на 10% скидку при первой покупке WELCOME10
Запустился GPT-стор и моя GPT на 6 месте в мире в разделе Dalle, прикольненько
Доступен тут:
https://chat.openai.com/gpts
Самое главное теперь есть поиск по этим самым GPT