39876
IT punks. ❤️ YouTube https://youtube.com/ExtremeCode 💸 Реклама @Mshvyag / eaa@extremecode.studio Для РКН: № 5025353650
Стоило только мне написать в сценарии, что искусственные слабаки абсолютно не пригодны для математики. Так сразу же, чятгпт решил одну из задач "тысячелетия" за 88 часов (Параллельно над задачей пахало 10 тыщь агентов — как они синхронизировались? Да хер его знает, мне кажется они просто пикнули рандомное случайное большое число, чтоб все кипятком обоссались и начали разгонять тему AGI).
Но как выяснилось, господа Тристан Бакмастер и Левент Альпёге уже в течении года решали эту задачу с использованием различных LLM, и благополучно сливали все свои черновики бездушным машинам. А чуваки из Open AI начали решать проблему с пару недель назад, как только до них дошли слухи, что какие-то челы активно промптят в духе "реши Навье‑Стокса, без ашибок по брацке".
Мораль? Да хер его знает. Я кстати в видосе сделал здоровенный акцент о бенчмаркинге на зафаршмаченных данных, и даже разобрал косвенные признаки, того как модель шпарит по "зазубренному" тексту. Это особо актуально для локальных тупорылых моделек.
Более того, через дистилляцию это все рано или поздно может утечь и к другим диллерам нейрослопятинки, так шо скриньте, скоро свежий локальный qwen 0.8B вам решит "Навье‑Стокса" за 5 наносек
Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄
Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем:
1. LLM
2. Промпт
3. Обучение модели и инференс как разные процессы
4. Пост-тренировка в формате «инструкция → вывод»
5. Веса / параметры модели
6. Предсказание следующего токена
7. Токены и токенизатор
8. Особенности токенизации латиницы и кириллицы
9. Число параметров
10. Dense-модели
11. Эмерджентные свойства
12. Типы данных и точность весов (в т.ч. 16-бит)
13. Оценка потребления памяти по числу параметров
14. Квантизация
15. Floating point, мантисса и экспонента
16. FP8 и низкобитные форматы
17. Аппаратное ускорение низкобитных вычислений
18. Влияние квантизации на качество модели
19. Запуск квантованных моделей на CPU (в т.ч. SIMD)
20. Слои модели
21. Статическая квантизация по шаблонам
22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки)
23. Адаптивная квантизация слоев с разной битностью
24. iMatrix и i-кванты
25. QAT (Quantization-Aware Training)
26. Сверхнизкобитная квантизация
27. Формат GGUF
28. Дистилляция (Distilled-модели)
29. Прунинг
30. Fine-tuning
31. LoRA и QLoRA
32. MoE (Mixture of Experts)
33. Роутер / маршрутизатор экспертов
34. Активные параметры
35. REAP
36. Спекулятивное декодирование
37. MTP (Multi-Token Prediction)
38. Reasoning
39. Мультимодальность
40. Vision
41. Speech-to-Text
42. Контекстное окно
43. Attention
44. Квадратичная сложность Attention
45. KV-кэш
46. Prefill / обработка промпта
47. Flash Attention
48. Квантизация KV-кэша
49. Paged Attention
50. Lost in the Middle
Теперь думайте, а чё же там происходит дальше 😄
Старые законы устарели, предлагаю ввести закон ЭхтримКода-Мура
Каждые 2 года стоимость транзистора на печатной плате удваиваетсяЧитать полностью…
Сидел тут, выборочно осматривал на чем конкретно определенные модели факапились. Решил поисправлять за ними тупые баги, что б узнать как конечная имплементация пашет.
Ну просто поразительный перформанс листа, особенно когда тебе ниче не нужно рендерить 😄
Погоняли тут тесты для ИИ. Выяснилось, что градацию тупости можно измерять следующим образом:
> Не может решить вообще ничего
> Может решить Python задачи
> Может решить React задачи
> Может решить Бекенд задачи на не python
Кто-то объяснит это тем, что в датасетах больше данных по питону, чем по другим языкам, а кто-то тем, что чтобы писать код на питоне надо быть чуть умнее собаки.
Мнение?
Ну как бы ёпта всё, сбор циферок официально закончен 😄
Осталось дописать выводы, сделать финальную мощнейшую вычитку, и можно записываться-монтажироваться.
UPD:
Авторская методика G0VNO перевыполнила план и работает просто великолепно. Показала кто из этих тупиц самый наитупейший. Заявка на патент уже отправлена, так же отправил методу во все самые топовые ВУЗы мира на рецензирование 😄
Нынче айтишный рыночек просто “чистый кайф”. Все ругаются, что всё, время поиска увеличилось до полугода. На моей памяти айтишка помирает уже четвёртый раз. В 2012 году ныли, что в айти вкатываться уже поздно. Бывает такое, что тучи над рыночком сгущаются как в горах, это будет ещё не раз.
Что делать в таких ситуациях?
Практикум PRO и АльпИндустрия разобрались. Мастер спорта по альпинизму поделился опытом сумасшедших восхождений и советами, как не потерять голову даже на самом крутом склоне. А ИИ-архитектор из промышленного сектора и арт-директор из Яндекса рассказали о трендах на рынке IT и навыках, которые стоит прокачивать цифровым спецам, чтобы устоять на любой вершине.
Подготовиться к переменам тут >>>
Эксперты из каментов, я с этими бенчмарками скоро с ума сойду.
Почему так ёпта?
Какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4?
Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу (скрин в каменты к посту закину)
Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg
Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг.
Скажем спасибо, моей G0VNO методике оценок моделей.
P.S.
Тесты еще до сих пор гоняю 🫠
P.P.S.
Всякие файнтюны квена, типа омникодера это плацебо. Мб для агентов он получше будет выполнять тул-колинг, но это не исчключает того факта, что сама модель крайне-тупая, и еще сильнее всех страдает при квантизации в 4-е бита.
Мда ёпта, 12 с копейками часов на 4B модельку и 6 млн слитых токенов на судейку. В бенче ровно 100 вопросов.
В ходе предварительных тестов понял, что вообще нет никакого смысла гонять по базовым алгоритмическим вопросам. С этими задачами даже 4B модель зажатая до одного бита прекрасно справится, а если миксовать сложные и простые вопросы, то просто размоем результаты.
В общем, зафигачил пока датасет с хардкорными задачками уровня мидл-сеньор по стеку JS/Nodejs/Express/React/Mongodb/Postgresql/Redis.
И что вы мне сделаете? Я вообще-то G0VNO изобрел, на какой стек мозгов хватило, тот и гоняю.
Помимо саммари, еще складирую все решения судейки отдельно, что б можно было посмотреть че там происходит. Конкретно у Qwen3.5 4B жОские проблемы со следованием инструкций, ну и естественно ей не хватает параметров
P.S.
По шкале вайб скор, модель должна хотя бы 60% в среднем набрать, в таком случае она с большей частью задач справилась, хоть и с небольшими, но терпимыми, косяками
Ёпта, кажется моя методика оценки "G0VNO" квантованных моделей реально работает (но это не точно, пока только предварительные результаты без массового прогона).
Чувствую себя поехавшим датасаентистом. Мне бля даже интересно стало, а какого хрена раньше до этого никто не додумался.
Обычно дилер модельки фигачит в ридми результаты модели, которых она набирает в FP16 на сраных публичных бенчмарках. А вот то, насколько она деграднула после сжатия — как будто бы и насрать всем, а на самом деле результаты могут ПИЗДЕЦ КАК СИЛЬНО отличаться.
Замер перплексии сам по себе хорош только для предварительной оценки, но не показывает реальной раскладки на настоящих задачах.
Ща сижу думаю, как не разориться на токенах, думаю после предварительного прогона перплексии брать только 3 самых лучших модели, а остальных отсекать из-за тупорылости.
Аррряяя, ИИ убыточен и вообще пузырь.
@@@
Выручка мелкомягких с клауда, срет вверх, как никогда раньше, чисто на ИИ.
P.S.
Скажу страшное, но вот компании, аля Amazon, годами не показывали прибыли, но при этом имели шизанутейшие обьемы выручки.
Около десяти лет им понадобилось, чтобы понюхать впервые чистую прибыль. Чет как то это не помешало им это все вести операционную деятельность, да и инвесторы не переставали инвестировать меньше.
Короче, думайте.
Рабочее название методологии GPU & 0-vibe Validation of Next-token Omega-quants
G — GPU-hardware (Тест декодинга и префилла на потребительском железе)
0 — 0-vibe (Насколько модель мертва изнутри и способна следовать инструкциям)
V — Validation (Валидация через LLM as Judge)
N — Next-token (Перплексия и угадывание токенов)
O — Omega-quant (Сравнение омежек с альфачом)
ахахаха, спасибо пайпалу, за невероятные усилия по обслуживанию моего замороженного счета
Читать полностью…
Знаете, постоянно наблюдаю клоунов, которые вываливают как готовый контент - нейрослоп, а после того как им в каментах накидывают хейта, ОНИ НАЧИНАЮТСЯ РВАТЬСЯ. Типа "ой бля, ну ладно, ну это эксперимент был, буду делать раньше как вы хотите, по старому блять((99(".
Чел, от тебя ждут, что ты будешь делать как раньше, лол. Если тебя спаслили на нейрослопе, то признайся. Чё ты жопой то крутишь?
Уже соскучились по отсутствию рекламы?
Я монтажирую, по 15 минут хронометража в день на черновой вариант, это примерно еще неделька на то что б основной костяк закрыть. Когда до G.0.V.N.O. дойду, вероятно замедлюсь, там просто 150 графиков надо вставить будет. Потом это все еще полирнуть и приправить мемесами. Думаю уйдет на все от 2-х недель до конца года (но какого?).
Крч, уже матерюсь, т.к. слишком плотно инфы нагородил, приходится дохрена визуала пилить под это все дело, пушо только на слух сложно воспринимать всю инфу.
Ура, я наконец-то закончил запись.
Осталось каких-то жалких 4/5 неделек, чтоб эту пиздецому смонтажировать 😄
Сбер открыл доступ к новому поколению моделей GigaEmbeddings
Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.
Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.
Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.
На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.
По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.
Ищите веса под лицензией MIT на GitVerse и HuggingFace.
Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией:
HF: 480M | 3B | 10B-A1.8B
Gitverse: 480M | 3B | 10B-A1.8B
Подробности читайте в посте команды ↖️
Продолжая ИИшную аксиому Эскобара
Есть 2 варианта, локальной "one-shot" генерации:
1) Модель выдает архитектурно слабое решение, но зато это полностью рабочий каркас, который без проблем запускается. На такую генерацию уходит ~5 минут
2) Модель выдает классный архитектурны анализ, но полностью факапится в написании кода, допустив тупорылые логические ошибки. На такую генерацию уходит ~15 минут
На какой стул сядешь?
UPD:
Камон, естественно нет варианта, чтобы и классно было и работало, а ты что думал, это локальное нейрохрючево
UPD2:
Ладно, еще микроспойлер, некоторые тяжелые и типа-умные модели на 20+ лярдов параметров реально работают на уровне подброшенной монетки, как повезет, он либо решит задачу, либо не решит 😄
☁️☁️☁️☁️☁️☁️☁️
24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.
Скоро чуваки, скоро все будет, я почти закончил с бенчмарками.
Скинуть вам мини-спойлер или не надо?
⚡️OpenAI остановила обучение новых моделей ИИ из-за киберрисков, сообщила компания
Читать полностью…
Эксперты из каментов, чёт затык у меня случился лютый, есть тут кто шарит как неподписанные дрова на венду поставить?
> Установить линукс не предлагать
> CiTool.exe --remove-policy "{8F9CB695-5D48-48D6-A329-7202B44607E3}" / Не работает, выдает 0x80070005
> Memory Integrity, Local Security Authority protection, Vulnerable Driver Blocklist / Выключено
> Заменяемый драйвер удалял в сейфмоде, ставил на чистую / похер
> Сетевой кабель выдернут
В мае втыкал патченные дрова на CMP 90HX и все вставало норм, щас же чето затык лютый, уже все перепробовал. Шинда просто блокирует драйвер в момент установки, а видюшки висят в системе с кодом ошибки 39.
Давайте думать, подсказывайте, чё вы 😤
UPD:
Спасибо эксперты из каментов, я как обычно разобрался сам. Пробелма появилась после июльского апдейта шинды, фиксится удалением политики
Либо так (у меня не сработало)
CiTool.exe --remove-policy "{8F9CB695-5D48-48D6-A329-7202B44607E3}"
mountvol S: /s
Remove-Item "S:\EFI\Microsoft\Boot\CiPolicies\Active\{8F9CB695-5D48-48D6-A329-7202B44607E3}.cip" -Force
Типичный Qwen, как эту помойку вообще можно локально использовать? 😄
Читать полностью…
Навайбкодено 😄
Осталось подождать 5 тысяч лет и потратить миллиард денег на прогоны всех тестов.
👉 Новое видео на канале: https://www.youtube.com/watch?v=y3EgOOfkir8
P.S.
Ну и если я какой-то текст дочитываю до конца, то никогда не поленюсь поставить лайк и в комменте написать что-то типа: "Братан, хорош, давай, давай, вперёд! Контент в кайф, можно ещё? Вообще красавчик! Можно вот этого вот почаще?"
Всё ребята, всё. Джуны больше никому нужны. Зачем нанимать естественный интеллект, когда искусственный идиот делает все то же самое, но еще при этом и не выгорает. Работодатели теперь охотятся за спецами-фундаменталистами, способными писать эффективные алгоритмы, чисто двигая магнитиком по жесткому диску, имея при этом минимум 100 лет опыта.
Конкурировать в этой среде за теплое местечко не просто, особенно в карьерном росте. Поэтому тебе позарез нужные любые преимущества. Например, можно закончить магистратуру. А поступить онлайн можно в Томский государственный университет, у них как раз есть множество направлений, связанных с АйТи.
Ты можешь получить полноценное университетское образование, вкатиться в сообщество экспертов и единомышленников, да и формат позволяет совмещать обучение с основной работой.
Преподавать тебе будут действующие эксперты и сотрудники топовых айти компаний.
Короче, переходи по ссылке в описании, чтобы ознакомиться детальнее: http://clck.ru/3UyxMX
Реклама. ФГАОУВО НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ, ИНН 7018012970
Короче, рассказываю почему производство видоса про сраный локальный нейрослоп затянулось.
Изначально была крайне тупорылая задумка — вот у меня есть пачка видеокарт, давайте запускать на них ИИ, хихи-хаха. Какого-то практического опыта у меня естественно не было (да как походу блин и у 95% других ютуберов, которые снимают про это всякую шляпу и продолжают это делать бездарно, это не упрек, просто факт).
Естественно, когда я начал разбираться с тем, как вообще это сделать, возникали вопросы. И чем глубже я погружался в тему, тем больше вопросиков возникало, некоторые из них даже могли показаться крайне тупорылыми. Но меня это реально волновало.
Один из десятков таких вопросов — а как ваще оценивать модели относительно друг друга. Вот есть пачка файлов одной модели по разному квантованных, как вообще мне понять какая между ними разница?
В итоге это все переросло в разработку собственной "гаражной" методологии оценки моделей по определенным ключевым параметрам. Да, конечно, она не сравнится с методами от навучных чуваков, которые придумывают их сидя на зарплатке, но это на порядок лучше чем "гыыы, давайте посмотрим на то, как 4B модель не сможет сделать дашборд на HTML". Ну и это задел на будущее, т.к. уже будет простая и устоявшаяся метода для оценок новых моделей.
В общем, терпим и ждем.
Шел 3814-ый день погружения в локальный нейрослоп. Одебилел окончательно, начал строить домики из видеокарт, до самих бенчмарков пока не добрался.
Эксперты из каментов, стоит ли помимо перплексии делать простой тест на задачках из своего датасета в формате "llm as a judge"? Ну типа, я думаю нахрена на это время тратить, если разница в качестве между одной и той же квантованной моделью будет не такая сильная.
Вот между Q8 и Q4 есть видимая разница. А вот между различными версиями Q4 хз как проверять. Короче, сложна.
UPD:
В основании BC-250, про нее отдельный видос
Слева RTX 2060
Справа RTX 3070
Сверху GTX 1050
На заднем фоне:
Снизу CMP 90HX
Сверху RTX 5070 Ti
Компик имеет 32 гига DDR5 оперативки, которые я купил за 12 тысяч рублей. Зажопил лишнюю десятку на 64 гиг, так как в прошлом компе было 64 гиг DDR4 и я не знал чем ее забить 👽
Из-за того что я красноглазик, я не высыпаюсь. Особенно если на ночь гоняю литкод. Могу до 3-ёх ночи в чертогах разума байтики двигать вместо того чтобы плющить кукурузку. Фитнес-часы показывают удручающий уровень глубокого сна. Естественно на следующий день я просыпаюсь как вафля. Пробовал хавать мелатанин - нерабочее фуфлище. И тут я узнал Deep Pressure Stimulation, это когда одеялко на тебя правильно давит, что ты отключаешься с полупинка. Это если чё не псевдонаучная дичь уровня "правильно какать надо закинув ноги за шею" (исследования Ekholm 2020, Frontiers Psychiatry 2024).
Попробовал утяжелённое одеяло Beauty Sleep (см. фото). И ляяяяяя, сначала подумал, что свет отключили, а оказалось я уже сплю. Айтишники, хотите спать? Есть два веса: 6 кг и 9 кг — подбирается под предпочтения и телосложение. В нем 11 слоев с микро-стеклянными гранулами, поэтому вес распределен равномерно, когда гранулы выстроились в рядочек и обнимают тебя своими маленькими микростеклянными ручками.
В этом году Beauty Sleep празднует юбилей — им целых 10 лет! Бренд за такой внушительный срок зарекомендовал себя. А к юбилею бренд решил нас радовать, мой промокод ЭКСТРИМ будет давать на сайте самую большую скидку 15% на весь ассортимент.