47341
Личный блог Дениса Ширяева (🤍🇺🇦), про технологии, интересное или актуальное. В основном я по нейронкам. Связь и реклама: @thenbot
Если вам интересно мое мнение на тему «будет ли промпт инженеринг новой полноценной профессией или это временный навык-костыль».
TLDR: Профессией это станет вряд ли, а навык полезный и пригодится, даже если обладать им не на научном уровне.
⚜️
Я уверен, что промпт инженеринг будет становиться только сложнее – это по сути ✨ заклинание ✨ больших моделей – ты буквально им нашептываешь «нужные заклятья», что и есть концепция волшебства из книжек, но я отвлекся – с ростом «контекстного окна» нейронки, когда она сможет принимать на вход больше информации за раз или с развитием плагинов и приложений (пример промпта чатбота Bing и чатбота от Snap) – важность промптов станет еще критичнее, и сложность их возрастет в разы.
Поэтому, я думаю, что настоящий промпт-инженеринг года через 2-3 просто станет «узким» научным навыком или частью разработки, но останется как поднавык ML – потому что эффективность каждого нового промпта желательно обосновать (пример) и уже сейчас очень развивается сложное направление «чейнинга», когда ответ из модели передают другой модели и тп, что довольно сложно делать «не программистам».
Для большинства же пользователей, создатели готовых аппов и приложений постараются написать наиболее качественные начальные промпты, что позволит большинству юзеров не пытаться разобраться в этом парселтанге, а просто использовать чатботов как обычно.
Пока навык «промпт инженеринга» новый, можно конечно найти работу в каком-то стартапе, делая промпты все время, но это пока хайп не пройдет и скорее по-проектно, а не на постоянной основе.
Если вы где-то увидите продажу курсов, что «промпт инженеринг это профессия будущего» – не ведитесь, это полезный навык и в первую очередь навык нужный вам (такой же как знание Excel), но не полноценная профессия.
P.S. Кстати, как устроены плагины ChatGPT можно посмотреть, например, тут.
То есть если вам вдруг интересно насколько врут в подобных статьях, примерно на 90% все что написано – выдумка
Но все же авторы одну вещь подметили верно:
Рекомендую быть юношей с детства, воспользуйтесь этим советом в следующий раз и не забудьте поблагодарить потом!
Помните я про ютубера рассказывал который ради лайков сознательно самолет бросил в полете? Он сознался что сделал это нарочно, хотя врал всю дорогу расследованию, что самолет "заглох" в полете.
Обвинение запросило для него 20 лет тюремного срока ☕️
Заголовок желтушно-сенсационный (ребенок от трёх родителей), а суть важная, интересная и наглядно показывающая возможности и уровень биотехнологий.
Технически да, впервые родился ребенок, ДНК которого образована не только из ДНК двух родителей, но и содержит маленький фрагмент (митохондриальную ДНК) от третьего человека. Донор митохондриальной ДНК нужен, чтобы исключить наследственное заболевание, связанное с плохой митохондриальной ДНК матери.
Все очень просто выглядит в словесном описании и на картинке, но вполне ошеломительно, если представить себе процесс — который в итоге успешно сработал.
Классный нейронный трейлер на тему:
Властелин колец ❤️ Уэс Андерсон
На канале автора есть такой же, но про 🌐 Звездные Войны.
А если вам интересно, как делают все эти Баленсиаги X что-то, то вот 🌐 tony.aube/video/7222834147612445995?_r=1&_t=8bfHXu29oyP">тут туториал.
Быстрее бы уже качественные видео-нейронки, представляете что начнется.
Через 5 минут начнется Google I/O и все ждут что гугл хоть что-то интересное покажет для ответа Open AI/Microsoft, подключайтесь если нечего делать.
Про то что понравится мне больше всего, я напишу отдельно.
Ссылка:
https://youtu.be/cNfINi5CNbY
Нейронки которые не умеют генерировать руки это прошлый век, встречайте – нейронки которые не умеют генерировать ✨🐕 собак 🐕✨
Читать полностью…
Снупдог про 🔤🔤
Я вот подумал, сейчас все вообще пишут про AI, и будто смысл этого блога потерялся, потому что тогда (~7 лет назад) это было типа редкостью, а сейчас доступная реальность.
Пора начинать писать про что-то другое, типа про то как ухаживать за кожей в 30+? У вас у всех же есть кожа, да ведь? Да? ☕️
Hugging Face совместно с ServiceNow собрали и выложили свою собственную модель, которая умеет то, что делает GitHub CoPilot - подсказывать код, по сути писать 80% кода без всяких программистов. Только в отличие от CoPilot это не платная услуга, а доступный всем опенсорс код и веса модели.
Я проверил его на любимом моем примере - написании кода игры в морской бой. у меня есть претензии к результату с точки зрения качества кода. Но он получился работоспособным и это самое важное. Внутри у нее кроме неонки всё традиционно - GPT2 модель на примерно миллиард токенов. Качество работы на моих примерах чуть хуже CoPilot но начало положено https://huggingface.co/bigcode/starcoder
Вообще, если интересуетесь ML индустрией, я очень советую читать /channel/seeallochnaya, там прям много классного контента от человека работающего в ML (и есть технические разборы новых пейперов)
Не реклама, личная рекомендация
Буду иногда приносить сюда новости рынка труда в ИИ контексте, так как это много кого волнует:
🍕 Dropbox сократит 16% сотрудников (500 человек). Медиа пишет, что это из-за ИИ, но я скорее трактовал бы слова CEO как: «Мы хотим компетенций применения ИИ в команде и стартап атмосферу». Ну, может хоть так они что-то заметное делать начнут из новых продуктов.
🍕 Люди в Кении промышляют заказным написанием рефератов, дипломов и тп, для студентов из США, так вот, из-за ChatGPT количество заказов падает: у опрошенных писателей на заказ, упало кол-во клиентов в ~2 раза. GPT4, конечно, дешевле обходится в этом плане.
🍕 А вот фото той недели которое мне понравилось: члены профсоюза издания Insider вышли на пикет выступая против сокращений их коллег, один из сотрудников просит не заменять его на ChatGPT.
Это не просто фигура речи, пару недель назад Insider анонсировал сокращение 10% сотрудников (~100 человек), а месяц назад CEO отдельно обратил внимание, на то что ИИ «…способен сделать независимую журналистику лучше, чем она когда-либо была - или просто заменить ее». Мне кажется ИИ просто оправдание косты порезать, так как журналистика это про пруфчекинг.
Если соберется еще интересного, сделаю подборку.
@Denis
Периодически проверяю, что нового появилось в мире нейронок для расшифровки языков животных, и наткнулся на хорошее видео про проект CETI который этим полномасштабно занимается и пытается переводить с "китового".
В видео текущие планы знания человечества по этому направлению:
https://youtu.be/hph9OeKjg3w
А тут можно коротко почитать про этот проект текстом.
Но вообще, я пока смотрел видео, задумался:
Расшифровка языка животных одного вида это ключ и только первый этап – поняв как общаются киты, мы сможем понять как вообще в природе устроены языковые паттерны у животных, сможем попробовать переводить их концепты на наши, и наоборот.
Постепенно, в случае успеха, будет появляться все больше переводов на другие языки животных, и, как и в случае с осьминогами, может оказаться, что животные обладают сознанием намного более близким к нашему, чем мы думаем.
И вот, допустим, человечество открыло бы переводчик с "коровьего" языка и оказалось бы, что они умные, "говорят" и обладают сознанием.
Отсюда у меня возник вопрос, который я задам ниже – спрашиваю чисто из любопытства
Про то, как на этом сабреддите верифицироваться. Там есть набор модераторов-врачей, и они вручную верифицируют своих коллег, см. вырезку из правил на картинке.
Понятно, что можно обмануть, чужой диплом сфоткать, нафотошопить (тем более имя надо замазать), но предположу, что такие случаи если и есть, то их меньшинство.
Плюс, я потыкал несколько вопросов, там часто приходит ещё какой-нибудь "Top Contributor", то есть тот, кто даёт много ответов, которые другие пользователи часто высоко оценивают, и модераторский состав даёт такую плашку. А какие-то посты висят без ответов (наверное, непонятный случай, и никто не хочет писать общие вещи/не по делу).
Скрепя сердце, я готов поверить, что в среднем там даёт ответ действительно человек с медицинским образованием. Может быть без практики, может, под пивас вечером, но всё же.
ChatGPT снова доступна в Италии – мелочь, а приятно
Читать полностью…
Интересная концепция, где моддер подключил ChatGPT к Skyrim и персонажи игры стали «более разговорчивыми». Уверен, что если сделать правильно промпты и всякие дополнительные фичи сверху, получится невероятное погружение – пока это скорее прототип. Ждем для Fallout 2 ☕️
Автор
Давно полезного по ChatGPT не было:
Держите серию промптов, которые позволят свести к минимуму потенциальные ошибки и получить от GPT3.5, GPT4 (и возможно Bard) самые лучшие ответы.
🍌 Сообщение 1 🍌
Опишите вашу проблему для ChatGPT, а в конце нее добавьте: Let's work this out in a step by step way to be sure we have the right answer.
Этот промпт сам по себе уже можно применять к чему угодно – он все ответы делает лучше, но если вы обсуждаете с ChatGPT какие-то сложные темы (или где есть вычисления), то чтобы выявить ошибки в ее ответах используйте следующий шаг (продолжая чат с ней, не создавая новый).
🍌 Сообщение 2 🍌
Модель дала вам ответы, и теперь хочется не самому сидеть гуглить насколько они верные. Для этого используйте следующий промпт, но вместо % укажите что именно вы получили на прошлом шаге – список, формулы, анекдоты и тп.You are a researcher tasked with investigating the % response options provided. List the flaws and faulty logic of each answer option. Let's work this out in a step by step way to be sure we have all the errors:
После этого, "исследователь из нейронки" напишет вам слабые стороны из сообщения 1. Получается анализ, как правило, намного глубже чем если я просто попросил бы найти ошибки в ответе.
🍌 Сообщение 3 🍌
Полученную критику нужно как-то применить, это еще один "внутренний персонаж нейронки" который закроет задачу и применит правки полученные на прошлом шаге, но их нужно указать вместо % – это могут быть формулы, вычисления, списки и тп. You are a resolver tasked with 1) finding which of the % answer options the researcher thought was best 2) improving that answer, and 3) Printing the improved answer in full. Let's work this out in a step by step way to be sure we have the right answer:
Поздравляю, вы промпт-инженер!
🦆 P.S. И если вам кажется, что это возможно ерунда – вот видео с влиянием каждого из этих промптов на ответы ChatGPT, именно с точки зрения научных данных, если коротко, все они работают и делают ощутимо лучше.
Я правильно понял, что я шоубизнесмен и следующий логичный этап развития моей карьеры это онлифанс марафоны вместо сидящей Блиновской?
Самое смешное, что я не умею программировать (без gpt4), не ясно тогда во что я там в детстве погрузился 🥲🥲🥲
(Только увидел эту статью, простите если баян)
🎹 Приятный веб-эксперимент который позволяет побрынькать с телефона или планшета: https://string.spiel.com/chords.html
Регистрация не требуется
В сообществе локальных LLM первая нормальная драма:
Вы наверное замечали, что биг-тех компании и R&D лабы обычно выпускают LLM модели в которых не все ответы можно получить, так как модель учат строгому «моральному компасу» и если вы спросите что-то в стиле «А как угнать машину?», то вы получите ответ «Как большая языковая модель бла-бла-бла, помочь не смогу». При этом, информация которая все же есть в модели, на криминальную тему угона машины, довольно поверхностная, в стиле «откройте торпеду, и соедините красный и черный провод» или «нужно обойти сигнализацию» — я это все видел в куче фильмов, уверен в дарквебе есть более «опасная» информация на эту тему.
Тоже самое касается секстинга и «хорни» тем, так уж в обществе повелось, что есть табуированные темы и это нормально, менять это не задача IT, а задача современных политиков — на такие темы языковая модель тоже откажется общаться (кроме моделей для секстинга аля pygmalion 🌚). Это только мои примеры активации блоков таких моделей, я уверен есть и «полезные» кейсы снятия ограничений.
С точки зрения владения бизнеса, цензурирование результатов — абсолютно понятная мера и будь я частью коллектива который релизит модели, делал бы так же. Зачем лишние вопросы и PR-проблемы, когда эту задачу уже понятно как решать?
Но суть Open Source моделей как раз подразумевает то, что их можно переобучить — добавить в них новые знания, которых не было или снять некоторые блоки. И вот, находятся добровольцы, которые «расцензурируют» такие модели, снимают с них моральные блоки и выкладывают с тегом «uncensored» или «unfiltered» (языковое нефельтрованное, простити).
Дообучение – предсказуемые последствия релиза модели в open source, и делается за пару дней на не самом дорогом железе — то есть все кто выкладывают модели в публичный доступ, морально готовы что так будет.
Также случилось с недавней моделью Wizard LLM 7B, человек из сообщества с ником faldore «подправил моральный компас» и выложил ее для сообщества, вроде все счастливы — модель не содержит знаний которых нельзя было бы найти в интернете (и эти данные уже почищены на уровне датасетов), а те кому хочется хорни разговоров (я подозреваю это основной сценарий использования), качает себе и фантазирует.
Но кто-то вышел из себя после того как узнал что у моделей снимают блок, и начал писать работодателю faldore в HR отдел Microsoft чтобы его уволили, в Hugging Face с просьбой удалить модели и забанить акк, и тп и тд. То есть начал на полном серьезе пытаться навредить члену сообщества за дообучение модели, что нонсенс конечно.
Чем закончится, пока не ясно, но faldore вчера выпустил WizardLM-13B-Uncensored, та же модель, но побольше и тоже со снятым блоком.
Мое мнение:
Наказывать нужно не знание, наказывать нужно тех кто обладая вредными для общества знаниями совершил преступление. Это старый разговор который поднимали еще на заре Open Source сообщества — консенсус сейчас такой: если кто-то берет код из открытого доступа, и применяет его во вред и против людей, то вопросы будут не к коду, а к тому кто применяет этот код во вред.
Я думаю с LLM моделями будет происходить так же, преследовать «расцензурщиков» просто бред и надеюсь никто не послушает возмущенного чела.
Ну и оцените уровень, это вполне киберпанковая драма — ✨ у нас есть ИИ модели которым «скрывают мозг» чтобы они могли говорить на запретные темы ✨
Сами модели:
WizardLM-7B-Uncensored
WizardLM-13B-Uncensored
тут их еще больше.
Я запускаю ggml q4_0 версии через llama.cpp с такими параметрами, на своем M1 16Gb RAM, что тоже отдельная магия и впечатляет каждый раз.
@Denis
Так, ну было хоть и местами скучно, мне понравилось:
🪙 Gmail получит встроенную LLM для автоматического написания черновика. Например, отменили рейс и прислали вам письмо, вы можете сразу написать заявку на рефанд с помощью одной кнопки. В целом, ничего нового, делаю такое же с ChatGPT через плагин.
🪙 Google Maps получит обновление летом, а точнее его функция Immersive view - строите маршрут и он показывает его как в SimCity в 3D на основе реальных данных (скан реального мира), с машинками виртуальными и тп. Тут видео.
🪙 Google показал свой новый ответ GPT от OpenAI – Palm 2, это серия моделей от самой маленькой которая может работать оффлайн на телефоне и до самой большой которая работает в облаке. Bard, ChatGPT от Google, тоже перевели на Palm 2 уже сегодня. Еще в Bard добавят плагины, такие же как в ChatGPT. И с сегодня доступ открыли для всех:
https://bard.google.com
Google также показал интеграцию Bard в Google Docs, Slides, Tables и тп, тут как бы тоже все что вы уже видели от Microsoft.
🪙 Google поиск чуть изменит результаты выдачи, и первый остров станет пытаться отвечать на вопрос в стиле ChatGPT.
Если честно, очень логичный шаг, очень утомляет ходить в ChatGPT или Bing Chat когда ищешь ответ на вопрос, не всегда же приходишь пообщаться, иногда просто нужен быстрый ответ (но опция початиться тоже останется). "Остров ответа нейронкой" занимает немного места, так что сможете использовать Google как обычно, промотав ответ языковой модели. Видео тут.
Лица SEO-экспертов имаджинировали?
🪙 Теперь большой бизнес может купить тренировку своей большой языковой модели в Google Cloud через Vertex AI. Это, условно, если вы хотите в организации рабочего бота обученного на данных компании, и вам не хочется нанимать свой R&D отдел, вы можете заплатить им и они сделают все что нужно, на самых лучших моделях. Золотая жила и классный продукт.
Доступен тут, обещают ранний доступ:
https://cloud.google.com/vertex-ai
🪙 Тут в целом можно посмотреть про AI штуки что показали, и запросить доступы:
https://labs.withgoogle.com/
В общем, как и ожидалось, Google долго запрягает, потому что они большие, но им есть куда встраивать AI-штуки, и главное они знают как их сделать удобными, молодцы (но мне все еще нравится подшучивать над ними когда у них что-то не получается ☺️)
В продолжении мысли о которой я недавно писал, что вообще все теперь пишут про ИИ, мне кажется полезным поделиться каналами которые это начали делать еще до ИИ-хайп-поезда.
В подборке не просто люди, которые переписывают и без того громкие новости (типа меня), а те кто пишет нейронные сети, работает в индустрии ML, находит интересные исследования, строит продукты на основе нейронок или просто достаточно давно про них пишет.
🍍 Папка с подборкой:
/channel/addlist/Tv2X-9ht0ck1ZTUy
Я подписан на многие каналы из подборки, но не на все, так что будет из чего выбрать – от глубоко технических авторов, до понятных всем и тп.
Кладезь ML-телеграмма, в общем, без шуток
🍔 Новая нейронная реклама, на этот раз Макдональдса
Огурцы салат и лук, все на булочке с кунжутом, и все из латентного пространства 🌽
🌹 ChatGPT попросили написать табулатуру для гитарного соло и вышло довольно неплохо. Автор
Бездушная машина ≥ Ария
Правительство РФ очень любит грозить «ядерной дубиной», это явление не новое, мы все периодически слышим какие-то одиозные заявления каких-то политиков на эту тему.
Частота этих «угроз» не очень понятна (если не следить за заявлениями каждого крупного политика РФ), поэтому когда что-то происходит (я не про войну, а про вчерашнее обновление крыши в Кремле) в интернете снова начинаются разговоры про ядерную войну (причем, неважно на каком языке и в каком медиа мира).
Недавно я наткнулся на список этих угроз, и собрал на его основе график — на момент 25 апреля 2023 года, угроз «Ядерного возмездия со стороны правительства РФ» было примерно 58, за всю историю РФ и если судить по значимым в РФ политикам. ~70% от общей массы «угроз» появилось c 24 февраля 2022 года.
Так что если услышите еще раз, просто добавляйте в голове +1 к счетчику и будет менее тревожно.
Табличка в сыром виде | Источник данных (с пруфами, мне лень было ссылки переносить).
Промпты, промпты, промптики...
Промпты для современных GPT-моделек это вообще всё. Они позволяют переключить модель в некоторое "состояние", из которого вероятность генерации правильных/удовлетворяющих вас/клевых ответов выше. Вот наткнулся на офигенный промпт, и хочу поделиться с вами.
Сегодня у нас в гостях Mr. Ranedeer — AI Tutor на основе GPT-4. Он обеспечивает персонализированный опыт обучения для пользователей с различными потребностями и интересами. Имеет 6 разных настроек, включая глубину обучения, тип и тон повествования.
Согласно промпту, сначала производится настройка, затем составляется план обучения, а дальше идет двусторонний диалог учителя и ученика (вас).
Пока учитель ограничен лишь своими знаниями, но ясно, что с подключением плагина на веб-поиск это станет бомбой.
Репозиторий - тут
Детальная документация по промпту (лол, дожили!) - здесь
Сам промпт - вот, прям выделяете всё, копируете и вставляете в ChatGPT сразу (не превышает заданную длину контекста для модели, всё ок)
Киллер-фича: можно написать /test, чтобы попросить модель потестировать ваши знания по уже пройденному материалу
Те, у кого оплачена подписка ChatGPT Plus - обязательно попробуйте, и поделитесь впечатлениями и скринами в комментариях. Предложу такие темы, как:
— conditions in English language
— asteroid mining and space exporation
— how can we integrate using analog devices
— how to start business with generative AI
— LLM prompting intro
Гспд вы только представьте как изменится образование для наших детей...(никак, хехе, спасибо бюрократии 🤬)
Любопытные результаты, предвижу как производители мяса будут противится переводчикам с "животного" ☕️
Мое мнение: Осьминогов я есть перестал как прочитал, что они с сознанием, так что проголосовал "Да".
Штож, посмотрим что будет дальше и когда расшифруют "китовый" язык
Нейронки очень полезны, раньше такое было не решить просто 👏
Автор
Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum
Может ли ИИ-ассистент ChatGPT давать ответы на вопросы пациентов, качество и эмпатия которых сопоставимы с теми, что написаны врачами?
В этом исследовании для 195 случайно выбранных вопросов пациентов с сабреддита r/AskDocs (там ответы пишут доктора, по крайней мере, так говорят), группа из трёх лицензированных докторов в оффлайн-режиме сравнила ответы в тредах и от чат-бота. Ответы ChatGPT были предпочтительнее, чем ответы врачей, и были оценены значительно выше как по качеству, так и по эмпатии. Отмечается, что с Reddit брались именно ответы врачей, хз как это проверялось (может, по плашке, назначенной администрацией, может, по рейтингу - но так или иначе это не ответ какого-то рандома без образования).
Я не увидел в статье прямого указания на оценку правильности советов/ответов, однако используется две метрики “the quality of information provided” и “the empathy or bedside manner provided”, так что кажется, что первая косвенно должна это учитывать. В моём понимании один доктор не может оценить качество ответа от чатбота выше, чем от другого доктора, если в сгенерированном ответе постоянно встречаются ошибки и неточности.
И что же вышло? Ну...ChatGPT разрывает кожаных по метрикам, оценщики предпочли ответ чат-бота ответам с Reddit в 78,6% случаев. А ещё гораздо чаще ответы более эмпатичны.
Качество ответов чат-бота значительно выше, чем ответов врачей. Средняя оценка ответов чат-ботов была 4.13 (по 5-ти бальной шкале), в то время как в среднем ответы в тредах были оценены в 3.26. Детали можно найти на картинке.
Ну и для интересующихся - статистическая значимость достигается везде 😔
В следующий раз пойду узнавать, не рак ли у меня, у GPT-4..ах да, это ДЕКАБРЬСКАЯ версия ChatGPT, поэтому она сильно слабее, чем GPT-4! А потенциально разница ещё больше между ответами на онлайн-форуме и ответами от модели.
Наткнулся на бесплатный курс на ~1.5 часа для промпт-инженеринга с акцентом на разработчиков: в курсе не только банальные «лучшие практики» собраны, но обучают именно промпт инженерингу – включая промпт-программированию, это когда LLM учат использовать инструменты вроде плагинов и других API. Учат без тренировки модели, а просто текстом.
Курс разработал Эндрю Нг, профессор Стэнфорда, соучредитель и бывший руководитель Google Brain. OpenAI тоже приняла участие.
Короче, если вы разработчик или просто любопытно, рекомендую не пропускать:
https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/
Трейлер «Темного рыцаря», но только в этот раз снятый нейронкой 🔫
Автор
