Авторский by @iamitbeard. Про IT, технологии и ИИ; без цензуры и политстирильности. Чат @itbeard_talk Слава Україні. Жыве Беларусь. АйТиБорода: https://youtube.com/itbeard Эволюция Кода: https://web.tribute.tg/l/ge AIA Podcast: https://itbeard.com/aia
Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример ⬆︎
Что на самом деле происходит с этой новой моделью Reflection-70B
:
1. Пару дней твиттерский показал языковую 70B модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот
2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)
3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала
4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)
5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)
6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)
7. Пару часов назад автор публикует новую версию модели Reflection 70b и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет
8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы<играет цирковая музыка, вы находитесь здесь>
Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.
Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)
⚡️ Новый выпуск AIA Podcast уже онлайн!
Сегодня говорим про миллиард для Суцкевера, хайп вокруг Cursor, самосознание у Claude, ИИ-цивилизацию в Minecraft, нового человеко-подобного робота NEO Beta, калифорнийский закон SB-1047 и следующую версию GPT - GPT Next.
👉 YouTube: https://youtu.be/udXFf5O5-0o
👉 Apple Podcasts: https://bit.ly/aia-apple
👉 Spotify: https://bit.ly/aia-spotify
👉 Скачать mp3: https://aia.simplecast.com/episodes/41
Текущая картина по моделькам для кодинга, мое грядущее выступление на DotNext и... конкурс
Но начну вот с чего: набрел тут на сервис https://glhf.chat/ - по описанию он позволяет в один клик запускать разные модели с HF, а по запросу могут даже включить API доступ к развернутым вами моделькам. Сервис пока в бете, поэтому доступ бесплатный (после регистрации). В лимиты пока не успел упереться, так что неизвестно, есть ли они вообще.
Быстрый чек показал, что модели похожи на настоящие (ну кто ж знает, вдруг, обманывают). Во всяком случае, по запросу Create API client in .NET for OpenAI that supports parallel embeddings generation with configurable dop
что-то адекватное выдала только самая большая ллама на 405b. Хваленая Reflection, кстати, без подсказок не реализует адекватный параллелизм.
А на скриншоте ключевой кусочек корректной реализации задачки на параллелизм от llama-3.1-405b (в котором моделька выбрала "продвинутый" метод из TPL, появившийся в .NET 6 - кажется, о нем разработчики-то не все еще знают).
Собственно, уже давно был запрос написать что-то про новую большую лламу на 400b параметров. Вот, пишу.
Опираясь на мой любимый LiveCodeBench (задачки а-ля литкод дают более-менее объективнумю картину), видно, что LLama3.1-405b-Ins-FP8 хорошая модель, но не лучшая. Что касается моего (небольшого) субъективного опыта применения этой модели в .NET-specified задачах, то могу лишь сказать, что мне ответы Sonnet 3.5 и gpt-4o нравятся больше.
Кстати, пощупать новую большую лламу помимо glhf.chat можно еще и на https://hyperbolic.xyz/ (при регистрации они дают халявные 10$ - этого должно хватить примерно на 2 млн токенов).
Далее, из интересных актуальных моделек хочу отдельно выделить Yi-Coder-9B-Chat - судя по LiveCodeBench на текущий момент это единственная открытая 9B модель, которая перегнала gpt-3.5 в кодинге. Напомню, что 9B модели можно запускать на M1,2,3 макбуках с 32 GB shared memory, а если они квантизованные, то 18 GB будет достаточно.
Еще, 11 сентября в 11:30 (по МСК) я буду выступать с очередным докладом про применения LLM в разработке (онлайн с Бали).
Кроме меня на конференции, как обычно, выступает много спикеров, в т. ч. многоуважаемый Евгений Пешков (@epeshkblog) с докладом про сравнение реализаций асинхронности в разных платформах: .NET, Java и Go - это одна из моих любимых тем (после AI, конечно), так что должно быть очень интересно. Кстати, конкретно доклад Жени будет транслироваться для всех безоплатно.
🔥Конкурс🔥
Я люблю коллекционировать классные кейсы применения LLM в разработке, а потом о самых удачных рассказывать другим разработчикам. Поэтому, если у вас есть крутые кейсы из практики - предлагаю поделиться ими в комментариях к этому посту. А автору самого интересного кейса достанется билет на этот DotNext (онлайн или оффлайн).
—
Пробелов.NET. Спасибо, что читаете :)
На сколько эффективны Copilot для программистов?
Сборная солянка ребят из Princeton University, MIT, Microsoft и University of Pennsylvania провели масштабное исследование на влияние GitHub Copilot на кодинг.
В исследовании приняли участие 4867 человек из MS, Accenture и анонимной компании входящей в Fortune 100 производителей электроники (список 100 самых больших по обороту компаний США). Данные получились шумные и статистическая значимость вышла не слишком сильная, но сойдет для оценки
Выводы такие:
- количество еженедельных pull requests выросло на 26.08% (Standard Error 10.3%)
- еженедельные комитеты выросли на 13.55% (SE 10%)
- еженедельные билды выросли на 38.38% (SE 12.55%)
При этом в статье есть вот такой забавный момент (цитирую):
Before moving on, we discuss an additional experiment run at Accenture that was abandoned due to a large layoff affecting 42% of participants, resulting in a lack of data on Copilot usage (and hence adoption status)
Дизайнерско-стартаперский тусняк Con#fffaaa 2.0 стартует уже через 2 дня в Варшаве!
- 15+ спикеров из разных стран
- Сцена с презентациями
- Экспо-зона с дизайнерским стафом
- Нетворкинг и чиллаут-зона с развлечениями, воркшопами и активностями
- Welcome-drink на афтепати и тусовка до ночи! (конференция не конференция без крутой афтепати, все же это знают!)
А ещё, онлайн присоединятся Владимир Цеслер и Mr. Freeman (тот самый из 2020 🙂)
Ловите промик на скидку в 15% - EVOCODERS 😎
#материалы из выпуска про OCaml
🔹 Клуб "Эволюция Кода": https://itbeard.com/evocoders
🔹 GitHub Димы: https://github.com/dmtrKovalenko
🔹 LinkedIn Димы: https://www.linkedin.com/in/dmtrKovalenko
🔹 Сайт Димы: https://dmtrkovalenko.dev
Ссылки
🔸 Документация OCaml: https://ocaml.org/docs
🔸 Митап в Берлине: https://fun-ocaml.com
🔸 Сабина: https://x.com/sabine_s_
🔸 TJ который стримит OCaml: https://x.com/teej_dv
🔸 fframes: https://fframes.studio
🔸 Подкаст "goose&duck": https://www.youtube.com/playlist?list=PLZ16SMHYWmrUXXs4kCzXdM3lpSky9J9a_
🔸 Dune: https://github.com/ocaml/dune
🔸 Esy: https://esy.sh
🔸 Infer: https://github.com/facebook/infer
🔸 Js_of_ocaml: https://github.com/ocsigen/js_of_ocaml
🔸 revery: https://github.com/revery-ui/revery
🔸 OPAM: https://opam.ocaml.org
🔸 Dream: https://github.com/aantron/dream
🔸 Merlin: https://ocaml.github.io/merlin
🔸 Caravan: https://opam.ocaml.org/packages/caravan
Книги
🔹 Anil Madhavapeddy, Jason Hickey, and Yaron Minsky: "Real World OCaml: Functional Programming for the Masses"
🔹 Michael R. Clarkson: "OCaml Programming: Correct + Efficient + Beautiful" https://cs3110.github.io/textbook/cover.html
Опенсорс Димы
🔸 Odiff: https://github.com/dmtrKovalenko/odiff
🔸 blendr: https://github.com/dmtrKovalenko/blendr
🔸 date-io: https://github.com/dmtrKovalenko/date-io
🔸 fframes: https://github.com/dmtrKovalenko/fframes
Вот вам офигенная тулза от моего кореша - GITPMOJI.
Если кратко, то это bash-скрипт, который пишет за вас коммит-сообщение, и пишет ну прям ахуительно хорошо.
Использую его на всех проектах, экономит тону времени, IDE-независимый (в Cursor, например, нет автокоммитмеседжей).
Песня! Сказка! Закиньте автору звёздочек, Флопу будет приятно 😊
P.S. А ещё, ищу ребятушек, которые хорошо шарят за:
- Построение RAG-систем над кодовой базой
- Файнтюнингом GPT-4o или Claude.
Если ты из таких, то чиркани мне @iamitbeard, есть предложенице.
Крутой митап вышел, спасибо ребятам из юзергруппы AWS 3City и всем участникам и гостям. Гданьск в сердечке😊
Запись тут: https://www.youtube.com/watch?v=etoXrveUuCI
⬆️ Точка очень гуд программа с лайтовым обсуждением актуалочки в IT, а сегодня ещё и тема супер-горячая. Подрубайтесь.
UPD: смотрите в записи, я опять попутал эти часовые пояса. Писать время по МСК ещё не мувtтон, если есть СЕТ?
Ситуация с Дуровым сложная для Telegram
Опущу разные домыслы в стиле знал ли Павел, что его арестуют во Франции (потому что если знал, то это уже конспирологическая теория без каких-то пруфов) – и попробую оперировать только известными и подтвержденными фактами
1. В розыск его объявили за несколько минут до приземления, это требует координации разных служб, так что можем спокойно предположить, что его задержали настоящие спецслужбы
2. Судя по обвинениям – ему вменяют проблемы модерации Телеграм, потому что почти каждый пункт так или иначе про бездействие администрации, что местные власти расценивают как «пособничество» – будь я Цукербергом я бы во Францию теперь не ездил; обвинения настолько «объемлющие» что в чем конкретно Павла обвиняют не ясно, все это можно быть просто поводом к задержанию и взяли самую удобную статью обвинения
3. При этом, Телеграм сотрудничает с правительствами, например после блокировки в Бразилии, Телеграм исполнил требования регулятора и блокировку сняли – это подтверждает, что Телеграм сотрудничает с властями, иначе их удалили бы из сторов в целом
4. В Нидерландах есть закон о прозрачности полиции, где-то год назад я видел статью от местных журналистов что они получили от полиции официальные формы запроса данных о пользователе в Telegram. В форме можно запросить и IP, и номер телефона (вот пример такой формы )
5. То есть мы точно знаем, телеграм подчиняется законам разных стран и удовлетворяет их запросы – получается французское правительство хочет чего-то большего, чем текущие коллаборации
6. Гадать что именно хочет французское правительство смысла нет: потому что между «это может быть банальная попытка усложнить местным ОПГ жизнь» и «Телеграм активно используется как военный мессенджер одной там страной справа от ЕС и доступ к серверам переломит ключевое место коммуникации армии» могут поместиться вообще все гипотезы мира, поэтому просто ждем новых вводных и рассчитываем на публичный суд
Почему, как мне кажется, ситуация сложная для Телеграма:
– Если Павла отпустят под залог и дадут уехать, конспирологи поверят, что Телеграм скомпроментирован, Павел сдал «доступы» и репутация Телеграма как безопасного мессенджера пострадает
– Если Павла не отпустят, то у Телеграма пойдет вверх рейтинг популярности, но для этого нужно присесть и 100 биологическим детям Дурова придется рассказать, что их отец – сиделец
Пока что, выглядит так что Дуров не выйдет быстро – если его не отпустят в ближайшие сутки по недоразумению (допустим), то этот процесс серьезной и на долго
Отдельно отмечу какой же это бред – сажать ИТ-предпринимателей мирового уровня у себя в стране и рассчитывать, что стартаперы охотно будут строить стартапы в этой стране – тупой выстрел себе в ногу
Если мы знаем, что ТГ подчинялся запросам страны вроде Бразилии, то мы можем быть уверены, что ТГ подчинится официальным запросам США – лицо спецагентов там имадженировали, когда они поняли что франция им всех преступников из ТГ распугала и их снова нужно собирать в одном месте в новом мессенджере? Потому что преступники то никуда не денутся – даже с закрытием ТГ
⚡️ Новый выпуск AIA Podcast вышел не маленьким - три часа. Сегодня очень много этики и рассуждений о загрузке личности в облако.
А ещё, говорим с Витей про новинки от Гугла на конфе Myde by Google, делимся впечатлениями от Gemini Live и Apple Intelligence, обсуждаем первые отзывы о Grok 2, закидываем много новостей про рисовалки, разгоняем про цифровых людей, про роботов с оружием, близость AGI и любовь с нейросетью.
👉 YouTube: https://youtu.be/aENCvTWJvBY
👉 Apple Podcasts: https://bit.ly/aia-apple
👉 Spotify: https://bit.ly/aia-spotify
👉 Скачать mp3: https://aia.simplecast.com/episodes/40
Даже Андрей Карпатый, ex-Tesla AI-директор, ex-OpenAI фигачит на чиле с AI-ассистентом.
Программирование меняется так быстро... Я пробую VS Code Cursor + Sonnet 3.5 вместо GitHub Copilot и думаю, что теперь это выигрышная комбинация. Эмпирически, за последние несколько дней большая часть моего «программирования», - это
написание текста на английском (промпт, а затем просмотр и редактирование созданного
diffs) и немного «полукодирования», когда вы пишете первый фрагмент кода, который вам нужен, возможно, немного комментируете его, чтобы LLM знал, какой план, а затем tab - tab - tab - готово. Иногда вы получаете 100 строк нового кода, который идеально подходит, что могло бы занять 10+ минут раньше.
Я до сих пор не думаю, что достаточно освоился со всеми функциями. Это немного похоже на обучение кодированию заново, но я в принципе не могу себе представить, что на данный момент вернусь к «самостоятельному» кодированию, что было единственной возможностью всего около 3 лет назад.
Leetcode, leetcode... Сколько людей передергивают на него? Сколько HR'ов пылесосят рыночек в поиске алгомастеров, дабы забрать их к себе на галеру?
Только кажется, что всё это напускное.
Вот вам ИИ решает 633 задачи за 24 часа полностью автономно и за 9$. Или вот целый продукт для "успешного" прохождения собесов. И то и то с ИИ под капотом, и то и то решает литкод в разы лучше тебя, саксес-рейт у систем под 90%. И смысл от литкода в таком случае? Показать, что без нейроночки ты сможешь сам что-то там докумекать? А чем хуже это делать с нейроночкой? И быстрее и не нужно заниматься задротством перманентным неделями.
Ведь главное что? Главное - понимание. Понимание того, что ты пишешь у себя в редакторе кода. Понимаешь - красавчик\ца. Понимаешь и можешь объяснить - вообще мастер\ца. А с литкодами своими идите лесом, ломайте дрова и рынки.
В телеграмме подвезли звёздочки для постов - реакции, которые напрямую конвертируются либо в TON-коины либо в рекламу. Правда я пока не понял, какой у них курс и как он зависит от типа операции (вроде как вывод и реклама - разные курсы).
Короче, надо подсобрать звёзд, чтобы понять что тут к чему, буду благодарен за парочку-другую. Как пойму как оно работает - обязательно отпишусь тут 😊
⬆️ Переквалификация из программеров в системщики - ваши мысли?
Кстати, на канале года четыре назад был обзорный выпуск на системных инженеров и дата-центры.
Небольшое видео расслабиться перед трудовой неделей — как бы выглядел французский сериал 60-х о современных событиях и современных героях.
Читать полностью…Пост с подробной инфой о продажей техники Лексом из последнего выпуска AIA Podcast:
1. Ноутбук Macbook Pro 2020 13'' (space gray), процессор m1, 16Гб оперативы, винт 512Гб - одна из жирнейших комплектаций на 2020 год. Состояние отличное, был в чехле всё время, в основном в закрытом состоянии. Работает кк часы, программировал и монтажил на нем до последнего, пока не обновился на m3. Из комплекта: сам ноут, чехол, зарядка и кабель. Стоимость - 800 баксов (дешевле не найдете).
2. iPhone 12 про 128Гб, золотой. Состояние - идеальное, всегда был в чехле и стекле. Батарея сносная, но не менялась (оригинал). Из комплекта сам телефон и кабель зарядный. Стоимость - 150 баксов (дешевле не найдете).
Продаю в Польше, во Вроцлаве. Писать в лс @iamitbeard.
Вот вам крутая штука для рисования красивых архитектурных и UML диаграмм с помощью AI: https://www.eraser.io/diagramgpt
Утащил из Эволюции Кода, так то у нас там 130+ ИИ-инструментов ещё есть.
🔥 Новый выпуск про OCaml уже на всех платформах!
Сегодня разговариваем с Lead Software Engineer из LightSource, Димой Коваленко, про язык программирования OCaml: почему он лучше Haskell и других языков программирования, насколько он актуален и жив ли вообще, как устроена его архитектура и что Rust украл у OCaml, почему его нужно преподавать в университетах и как в него вкатиться. А еще говорим про опенсорс, так как Дима является создателем популярных библиотек Odiff, blendr, fframes, а также контрибьютером cypress и Material UI.
👉 YouTube: https://youtu.be/HjUEqTqseIU
👉 Apple Podcasts: https://apple.co/41hwOIQ
👉 Spotify: https://spoti.fi/3Ktbf1Y
👉 Скачать mp3: https://podcast.itbeard.com/e/202
Приятного и полезного просмотра и прослушивания 😊
P.S. Да, да, я помню, что Ангуляр выиграл в голосовании за следующий выпуск. Это была накрутка, я уверен 😅 Но так уж и быть, следующий выпуск будет про Angular.
Интересные новости от OpenAI Japan на конференции KDDI SUMMIT 2024:
- Количество активных пользователей ChatGPR превысило 200млн;
- В OpenAI работает ~2000 сотрудников;
- Основные клиенты: Apple, The Coca-Cola Company, Moderna. Microsoft видимо просто "папочка"😅;
- Следующая версия GPT получит название "GPT Next", будет в 100 раз мощнее GPT-4 и появится уже в этом году. Ух.
Статья на японском, готовьте переводчики.
Я вам уже рассказывал, что в Эволюции Кода у нас есть понедельничные созвоны. На них мы разбираем всякие шутки, которые помогают лучше понимать вектор развития ИИ, в том числе применительно к программированию.
Так, мы сделали пять созвонов общей длительностью в десять часов с разбором книги "SITUATIONAL AWARENESS" от нашумевшего экс-сотрудника OpenAI Леопольда Ашенбреннера. И я не совру, если скажу, что это самый подробный разбор его книги во всём интернете. Ещё и с техническим уклоном. Ещё и на русском.
Сейчас мы перешли к книге "1000 мозгов. Новая теория интеллекта", в которой создатель первых КПК рассказывает, как изобрел новую теорию работы неокортекса, как оно там всё устроено, и почему это связано с ИИ.
В общем, созвоны у нас интересные, расширяющие кругозор и местами жаркие, ибо наличествуют разные мнения.
По формату это выглядит так: я готовлю черновик и повествовательную канву, после чего мы созваниваемся, и в процессе моего повествования каждый желающий врывается с вопросами или топиками на дообсуждение. Чтобы лучше понять, как оно работает и какие там вайбы, вот вам запись разбора первой части "SITUATIONAL AWARENESS": https://youtu.be/-uJtZ_CE9H8
Если таких разговоров вам не хватает, то залетайте в клуб, в следующий понедельник продолжаем разбирать "1000 мозгов" 😎
Андрей Викторович прошёлся по базе: https://youtu.be/_kge4WXiBdk
Читать полностью…А в сегодняшней «Точке» ожидаются Григорий Бакунов, Михаил Гуревич и Михаил Климарев, с main_denis">Денисом Альшановым в качестве ведущего.
Будет, разумеется, и про арест Дурова, и про то, что РКН вытворял с российским интернетом на этой неделе, и многое другое.
Приходите — сегодня в 21.00 мск.
Наверное, вы уже знаете — Павла Дурова задержали в парижском аэропорту Ле Бурже, куда он прилетел частным джетом из Азербайджана.
Пишут, что ему будут предъявлены обвинения в содействии нелегальному обороту наркотиков и большому количеству других преступлений путем отсутствия модерации на платформе Telegram.
Какие у вас мнения — появится в результате тут модерация или как обычно?
https://www.tf1info.fr/justice-faits-divers/info-tf1-lci-le-fondateur-et-pdg-de-la-messagerie-cryptee-telegram-interpelle-en-france-2316072.html
Кстати, я 28го августа (среда) буду читать небольшую лекцию по использованию ИИ в разработке, для гданьского IT-комьюнити: https://wearecommunity.io/events/aws-user-group-3city-meetup-8
Залетайте, оно бесплатно, и будут другие интересные ребятки 😊
6 сентября 2024 года мои кореша делают идеальную пятницу, чтобы взять выходной и знатно потусить! Con#fffaaa 2.0 в Варшаве 🔥
Лекции, дизайн-ревью, мастер-классы, выставочная зона, отдых, афтерпати — всё в одном месте, в Fort Mokotów (очень крутое место!). Супер-крутой тусняк для дизайнеров, айтишников и стартаперов 😎
Не упусти шанс познакомиться с новыми людьми и перезагрузиться. Я там тоже буду, но пока не точно (сверяю календарики!).
👉 Покупай билеты тут: https://link.relivent.eu/gXVjGOIpjuiCeKQX
#permadv
Интернет шумит последние сутки от того, что восьмилетняя дочка вице-президента Cloudflare выложила 45-минутный ролик-мануал по написанию чат-бота, используя ИИ-IDE Cursor и Workers AI от Cloudflare. Восьмилетняя девочка из США знает про программирование с ИИ больше тебя, КАРЛ!! Это ли не повод начать въезжать?😁
Пару недель назад в evocoders мы делали двухчасовой воркшоп по Cursor IDE. Стараемся примерно раз-два в месяц их проводить, уже было пять штук: про Cursor, Obsidian, Aider, игры для мобилок, семейство LangChain.
Кстати, вот, посмотри как это выглядит на примере воркшопа про Лангчейн: https://youtu.be/NPSAyl8F1N8. И это только воркшопы, а кроме них есть дайджесты, интервью, туториалы (пока мало, но работаем над этим), обзоры, инструменты, комьюнити. Короче, идеальное место для "въезжания". Жду, ссылка под описанием воркшопа.
Семь часов про паттерны в JS от Тимура Шемсединова: https://www.youtube.com/live/QzxklJW4_LM
Моща неимоверная, конечно 👍
В Wall Street Journal назвали самый короткий и привлекательный путь в IT — стать специалистом по обслуживанию датацентров. Смотрите сами:
🟢 Для большинства должностей не нужна вышка.
🟢При этом средняя зп в год составляет $75к, но доходит и до шестизначной суммы.
🟢Еще и зарплаты растут. За 3 года на 43%.
🟢Количество рабочих мест только увеличивается. За последние 4 года на 18%.
🟢 Нужно много ходить. Героиня статьи «легко делает 10000 шагов за ночь, устраняя различные неполадки». + к здоровью
@xor_journal