Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum
Может ли ИИ-ассистент ChatGPT давать ответы на вопросы пациентов, качество и эмпатия которых сопоставимы с теми, что написаны врачами?
В этом исследовании для 195 случайно выбранных вопросов пациентов с сабреддита r/AskDocs (там ответы пишут доктора, по крайней мере, так говорят), группа из трёх лицензированных докторов в оффлайн-режиме сравнила ответы в тредах и от чат-бота. Ответы ChatGPT были предпочтительнее, чем ответы врачей, и были оценены значительно выше как по качеству, так и по эмпатии. Отмечается, что с Reddit брались именно ответы врачей, хз как это проверялось (может, по плашке, назначенной администрацией, может, по рейтингу - но так или иначе это не ответ какого-то рандома без образования).
Я не увидел в статье прямого указания на оценку правильности советов/ответов, однако используется две метрики “the quality of information provided” и “the empathy or bedside manner provided”, так что кажется, что первая косвенно должна это учитывать. В моём понимании один доктор не может оценить качество ответа от чатбота выше, чем от другого доктора, если в сгенерированном ответе постоянно встречаются ошибки и неточности.
И что же вышло? Ну...ChatGPT разрывает кожаных по метрикам, оценщики предпочли ответ чат-бота ответам с Reddit в 78,6% случаев. А ещё гораздо чаще ответы более эмпатичны.
Качество ответов чат-бота значительно выше, чем ответов врачей. Средняя оценка ответов чат-ботов была 4.13 (по 5-ти бальной шкале), в то время как в среднем ответы в тредах были оценены в 3.26. Детали можно найти на картинке.
Ну и для интересующихся - статистическая значимость достигается везде 😔
В следующий раз пойду узнавать, не рак ли у меня, у GPT-4..ах да, это ДЕКАБРЬСКАЯ версия ChatGPT, поэтому она сильно слабее, чем GPT-4! А потенциально разница ещё больше между ответами на онлайн-форуме и ответами от модели.
Наткнулся на бесплатный курс на ~1.5 часа для промпт-инженеринга с акцентом на разработчиков: в курсе не только банальные «лучшие практики» собраны, но обучают именно промпт инженерингу – включая промпт-программированию, это когда LLM учат использовать инструменты вроде плагинов и других API. Учат без тренировки модели, а просто текстом.
Курс разработал Эндрю Нг, профессор Стэнфорда, соучредитель и бывший руководитель Google Brain. OpenAI тоже приняла участие.
Короче, если вы разработчик или просто любопытно, рекомендую не пропускать:
https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/
Это Фредди Меркьюри поёт песню Imagine Dragons.
Вот нейронка. А вот подробная инструкция на YouTube, как сделать так же.
Решил включить донаты так как на канале больше нет рекламных публикаций (ту, что ставит ТГ сам я не могу отключать и не вижу ее) – если хотите поддержать канал, буду благодарен 😤
Но несмотря на донаты, канал все также останется открытым и без пейволла ⚪️
P.S. С iOS кнопки доната не видно ☕️
Это правда(((
>Марсоход Perseverance потерял свой "домашний-любимец-камень" после более чем года совместных путешествий на Марсе
Того, кто взял нейронное интервью у Шумахера – уволили ¯\_(ツ)_/¯
«Эта безвкусная и вводящая в заблуждение статья не должна была появиться. Она никоим образом не соответствует стандартам журналистики, которые мы - и наши читатели - ожидаем от такого издательства, как FUNKE» (лол), сказал управляющий директор журнала.
Анне Хоффманн, главный редактор газеты "Die aktuelle", которая отвечала за журнал с 2009 года, уволена 21 апреля.
Из плюсов технологии text2video: сообщество снимет нормальный последний сезон Игры Престолов
Читать полностью…«С помощью моей команды, я могу фактически стоять самостоятельно и даже медленно пройти несколько шагов» - "цитата" Шумахера.
«Моя жена и мои дети – для меня благословение, и без них я бы не справился. Естественно, они тоже очень огорчены тем, как все это произошло»
«Они поддерживают меня и твердо стоят на моей стороне»
Как вы помните, Шумахер пострадал на горнолыжном курорте в 2014 году и уже почти 10 лет не общается с прессой, а его семья отказывается рассказывать что-либо о его состоянии.
Но это не помешало немецкому таблоиду и его "журналистам", сказать большой языковой модели, что она теперь должна вести себя как Шумахер и взять у нее интервью ¯\_(ツ)_/¯
Семья Шумахера недовольна и пойдет в суд. Таблоиды и этика рядом конечно же не стояли, но это уже перебор сюра.
Интересно чем кончится суд.
🏠 Давайте посмотрим вторую попытку запустить Starship, запуск через 20 минут:
https://youtu.be/-1wcilQ58hI
На всякий случай:
Это самая большая и мощная ракета из когда-либо построенных (высота 120 метров, ширина ~9 метров)
Мы все ближе к генеративной сингулярности:
Nvidia показала работу алгоритма text2video, и он работает сильно лучше чем все предыдущие примеры.
Смонтировал примеры в одно видео, тут по ссылке технические детали про архитектуру и больше примеров.
Модель, поиграться, кажется, нам не дадут 🥲
Про качество AI-текст-детекторов:
Если скормить конституцию США в zerogpt.com (популярный анализатор текста на ИИ-написанность), то он выдаст, что отцы-основатели США на 93% были нейронкой ¯\_(ツ)_/¯
В общем, верить анализаторам нельзя, а если вы боитесь, что ваш текст «задетектят», то просто попросите ChatGPT писать текст «чтобы невозможно было проанализировать, что текст написан нейронной сетью
» и всё, правда сработает
Много где читал, что GPT5 вовсю тренят – судя по всему это не так, CEO OpenAI сказал, что пока что тренировка не начата
Так что GPT4 is all you need have
Интересная концепция, где моддер подключил ChatGPT к Skyrim и персонажи игры стали «более разговорчивыми». Уверен, что если сделать правильно промпты и всякие дополнительные фичи сверху, получится невероятное погружение – пока это скорее прототип. Ждем для Fallout 2 ☕️
Автор
🦜📞 Так, важная новость:
Попугаев в течение 3х месяцев учили пользоваться Zoom и звонить другим попугаям, в итоге ученые нашли что:
Птицы не только добровольно инициировали звонки и, похоже, понимали, что на другом конце находится настоящий попугай, но и в подавляющем большинстве случаев наблюдатели отмечали, что звонки приносили положительный эффект попугаям. Некоторые дрессировщики заметили, как их птицы обучались новым навыкам у своих видеодрузей, включая добычу корма, новые вокализации и даже методы полета. "Она прямо оживала во время звонков", - сообщил один из дрессировщиков.
И вот уже спустя год с начала эксперимента, в мире есть два попугая которые продолжают общаться по Zoom и сами, добровольно инициируют звонки друг другу 🥰
Исследование тут.
Распространите
🍕 Нейронная реклама, ммм, надеюсь теперь это будет постоянный жанр у сообщества. Режиссер 🍕
Главное ночью не включать
Поигрался с новым алгоритмом Bark для озвучки текста: в отличии от других доступных алгоритмов, этот умеет и в придыхания, и в копирование голоса (но в коде написано, что как-то ограничили эту функцию из-за этических рисков), и в кучу языков, и даже в пение (!), и все это работает довольно быстро.
Что мне больше всего понравилось, что можно в модель передавать помимо текста – эмоции которые алгоритм попробует озвучить.
Я протестировал все голоса доступные на русском, и мне кажется лучше всего справились голоса 3 и 5. В общем, собрал все тесты в видео, где этот алгоритм озвучил пикап лайны из моего прошлого поста.
✨ Поиграться онлайн | Исходный код
Для тех кто доберется поиграться сам, передавайте это вместе с текстом:[laughter]
или [laughs]
- и диктор засмеется во время озвучки, [sighs]
или [gasps]
- озвучит вздох или испуг, [music]
- будет музыкальная вставка (не очень хорошо работает),[clears throat]
- и диктор прочистит горло,—
или ...
и нейронка "запнется", как человек,♪
и нейронка попробует напеть текст, работает не очень стабильно.
А если выделить капсом, то алгоритм сделает акцент на этом слове.
Я некоторым людям скидывал первый фрагмент из видео, и они подумали что это мой голос ☕️ что забавно - в видео нет настоящих людей.
Как по мне, сильная заявка на «Лучший опенсорс алгоритм озвучки 2023»
Есть такой подреддит – /r/relationship_advice, это место где люди делятся проблемами в отношениях и пробуют помочь их решить другим людям.
На первом графике, показана суточная частота постов в этом подсайте до выхода ChatGPT и после: видно заметное падение суточных публикаций ☕️
На втором, как дополнительная проверка – общая картина частоты постинга за пару лет, падение все так же видно.
Это, конечно, не 100% корректное наблюдение, но я уже видел разные статьи, где люди говорят, что им проще общаться с роботом на личные вопросы и прекрасно понимаю это. Также я видел уже 3-4 проекта которые предлагают эту же функцию в виде аппа или бота, но за плату (и на русском, и на английском).
Мое мнение: если вы хотите пообщаться с роботом на тему личной жизни, то лучше делайте это все же в ChatGPT, там точно ваши личные и персональные переживания в большей сохранности, чем, в каком-то стартапе который скорее всего использует OpenAI API.
Ну и главное помнить – хороший промпт это 90% успеха, а робот все еще не замена терапии.
✨ Собрал нейронного инди-кинематографа вам на ночь на базе новой модели Gen2 ✨
Работы
🏕️ Утро природы // 🌹
🛏️ Образы сна // 🌹
🤷♀️ Анимешникам // 😐
🪐 Заброшенные миры // 🌹
Название для работ я конечно же придумал сам, но я скоро начну делать ревью таким работам в виде кино-критиков, приготовьтесь (и отпишитесь пока не поздно)
Очень нравится зарождение «нейронного кинематографа» – когда из текста генерируют видео кусочки, сшивают в фильм и добавляют озвучку.
Получается, что уже сейчас каждый может пойти и снять кино мечты, вот тут в треде подборка разных работ.
До больших экранов этому подходу еще много лет, но как же круто
Взорвалась во время отделения первой фазы, ну штож, ждем новый запуск ¯\_(ツ)_/¯
Только посмотрите на эту махину
UPD. Краткое саммари что пошло не так
Так, я не пойму, у нас революция где вообще происходит? 😮
Помните пост про игру за оперативника которую хрен отличишь от реальности?
Предлагаю еще раз провести подобный эксперимент, потому что с ходу я сам не смог, нужна ваша помощь.
Пока сам не поиграю или не увижу хотя бы тесты какие-то сетку, риги или геймплей у летсплееров, не поверю, хотя французы могу в такую динамику судя по LDR.
Вот страничка на стиме
Новые интересные фичи в онлайн-кинотеатрах появляются редко, но вот эта от Amazon Prime клевая:
Помните ситуации, когда смотришь кино и в какой-то момент главные герои начинают перешептываться на фоне музыки и почти непонятно, что они там говорят друг другу?
В общем, теперь с помощью фичи AI Dialogue Boost звук диалогов будет повышаться когда это необходимо, чтобы можно было все расслышать, а фоновые звуки останутся с прежней громкостью.
Мелочь, а приятно, жду во всех приложениях.
🚀 Через 15 минут давайте смотреть запуск "Starship" – это самая большая и мощная ракета из когда-либо построенных (высота 120 метров, ширина ~9 метров)
📢 UPD: Запуск на сегодня отменен, так что можно не смотреть стрим, я напишу когда будет новый
https://www.youtube.com/live/L5QXreqOrTA?feature=share
Интересная новость из Англии:
Очередной ИИ-художник выиграл конкурс, в этот раз "Sony World Photography Awards", в номинации "Creative Category", где занял первое место с синтезированной под старину фотографией (выше).
Сам художник отказался от приза, сказав что неэтично использовать ИИ в искусстве, но на самом деле мне кажется неэтично было не посвятить жюри в то, как сделана эта работа, если бы они знали, и все равно дали бы первое место, все было бы этично.
И если бы он принял приз, интернет, конечно бы катком по нему проехался, поэтому и отказался ☕️
Вангую скоро будут отдельные фото-конкурсы, только для ИИ работ
🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах
Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).
В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.
Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!
Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?
generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto")
generatetext("Who is Shcmidhuber?")
Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.
*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.
Блогпост про Dolly 2.0
@ai_newz