j_links | Unsorted

Telegram-канал j_links - Just links

6446

That's just link aggregator of everything I consider interesting, especially DL and topological condensed matter physics. @EvgeniyZh

Subscribe to a channel

Just links

SWE-rebench: A Continuously Evolving and Decontaminated Benchmark for Software Engineering LLMs

Сегодня стандартом для оценки SWE агентов является SWE-bench Verified. Его задумка очень понятная и как-то приближена к разработке чего-то большего, чем генерация кода: мы запускаем агента на настоящих задачках из GitHub, проверяем в конце прохождение отложенных тестов и смотрим на их результат. Но с SWE-bench Verified есть несколько проблем:

- Изначальный датасет был публично выложен в конце 2023 года. Последние модели может и неявно, но с очень высокой вероятностью захватили все эти данные в обучении, отчего рост чисел на бенче на какую-то часть связан с контаминацией. Да и без этого многие используют Verified как валидацию для экспериментов с агентом, неявно переобучаясь под него. По этой же причине в свое время появился LiveCodeBench для решения обычных задач для кодинга.
- Самые первые релизы на лидерборде хорошо описывали структуру агента и параметры запуска так, что было понятно, что вот это решение докинуло за счет перевода с gpt4o на sonnet-3.5, а вот это — просто промпты потюнили или тулы сделали лучше. Сейчас же лидерборд превратился в солянку, по которой просто непонятно, что происходит: best-of-N запуски, верификация доп тестами, MCTS, миллион разных скаффолдингов, уже даже непонятно, какая модель используется внутри, тк многие сабмиты на лидерборде — это закрытые решения компаний.

Мы попробовали закрыть часть этих пробелов и сегодня релизим SWE-rebench! Для борьбы с потенциальной контаминацией, мы будем регулярно обновлять лидерборд с замерами на свежих задачах. Скаффолдинг агента при этом везде фиксирован, чтобы запуски с разными моделями были сравнимы между собой. Так как наш пайплайн сбора данных позволяет автоматически контролировать сложность задач, то в будущем мы будем использовать это для борьбы с насыщением бенчмарка.

Детали можно прочитать на сайте самого бенча, ну и конечно приглашаю заглянуть на текущий лидерборд. Если вы привыкли читать обзоры в Х, там тоже есть подходящий контент.

Читать полностью…

Just links

Bulk excitations in ultraclean α-RuCl3: Quantitative evidence for Majorana dispersions in a Kitaev quantum spin liquid https://arxiv.org/abs/2505.00971

Читать полностью…

Just links

Wasserstein Policy Optimization https://arxiv.org/abs/2505.00663

Читать полностью…

Just links

Discrete time crystals detected by time-translation twist https://arxiv.org/abs/2504.21461

Читать полностью…

Just links

The Leaderboard Illusion https://arxiv.org/abs/2504.20879

Читать полностью…

Just links

https://github.com/Otter-man/ModelCollapser

Читать полностью…

Just links

SycEval: Evaluating LLM Sycophancy https://arxiv.org/abs/2502.08177

Читать полностью…

Just links

Science-T2I: Addressing Scientific Illusions in Image Synthesis https://arxiv.org/abs/2504.13129

Читать полностью…

Just links

ignore-topk: новая регуляризация для борьбы с деградацией LLM во время файнтюнинга (by DeepMind)

При дообучении языковые модели частенько портятся. Рисёрчеры из DeepMind показали, что проблема связана с тем, что LLM, пытаясь запомнить новый факт, начинает использовать лёгкие shortcut-ы вместо аккуратного внедрения новых знаний в веса. Она просто «раскладывает» новую информацию по уже знакомым ей понятиям (казалось бы это хорошо, но нет). Такое явление они назвали "праймингом" (aka разложение числа на простые множители), и из-за него LLM начинает путаться в фактах, выдавая новую информацию где не просили.

Авторы этой статьи предлагают потенциальное решение — регуляризацию ignore-topk. Идея до гениальности простая:
- Делаем обычный шаг файнтюнинга и смотрим на обновления весов (Δω).
- Отбираем top-k% самых больших обновлений и… просто удаляем их (умножаем на 0).
- Используем только небольшие изменения весов, которые не содержат шорткатов для быстрой меморизации.

Зачем так странно?
Оказывается, самые большие градиенты как раз и отвечают за «грязное» быстрое запоминание через прайминг. Игнорируя их, мы заставляем модель учиться медленнее и аккуратнее. При этом прайминг уменьшается на 90-95%, а способность запоминать новые факты не страдает.

Но авторы конечно молодцы, сами придумали бенчмарк, сами свой подход измерили, а на другие "learning without forgetting" методы вообще забили. Поэтому не могу сказать, что ignore-topk лучше чем, например, Child-Tuning или EWC, но выглядит прикольно, я его точно попробую 🤷‍♂️

Статья

Читать полностью…

Just links

A RISC-V 32-bit microprocessor based on two-dimensional semiconductors https://www.nature.com/articles/s41586-025-08759-9

Читать полностью…

Just links

Ising 100: review of solutions https://arxiv.org/abs/2504.09661

Читать полностью…

Just links

https://github.com/MoonshotAI/Kimina-Prover-Preview
via @black_samorez

Читать полностью…

Just links

Flux attachment theory of fractional excitonic insulators https://arxiv.org/abs/2504.05427

Читать полностью…

Just links

Hydrodynamics of the electronic Fermi liquid: a pedagogical overview https://arxiv.org/abs/2504.01249

Читать полностью…

Just links

ReferDINO-Plus: 2nd Solution for 4th PVUW MeViS Challenge at CVPR 2025 https://arxiv.org/abs/2503.23509

Читать полностью…

Just links

Accents in latent spaces: How AI hears accent strength in English (Score: 150+ in 7 hours)

Link: https://readhacker.news/s/6u2rd
Comments: https://readhacker.news/c/6u2rd

Читать полностью…

Just links

TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks https://arxiv.org/abs/2412.14161

via @neuralshit

Читать полностью…

Just links

MathConstruct: Challenging LLM Reasoning with Constructive Proofs https://arxiv.org/abs/2502.10197

Читать полностью…

Just links

https://github.com/deepseek-ai/DeepSeek-Prover-V2/blob/main/DeepSeek_Prover_V2.pdf
via @seeallochnaya

Читать полностью…

Just links

Quantum circuit lower bounds in the magic hierarchy https://arxiv.org/abs/2504.19966

Читать полностью…

Just links

CombiBench: Benchmarking LLM Capability for Combinatorial Mathematics https://moonshotai.github.io/CombiBench/

Читать полностью…

Just links

Short remarks on shallow unitary circuits https://arxiv.org/abs/2504.14005

Читать полностью…

Just links

usual test set
https://x.com/openaidevs/status/1915097067023900883
cost $5.66

Читать полностью…

Just links

Higher-Form Anomalies Imply Intrinsic Long-Range Entanglement https://arxiv.org/abs/2504.10569

Читать полностью…

Just links

Из реально прикольного пишут что автономный дрон из Micro Air Vehicle Lab Делфта обошел 13 других дронов, а еще обошел людей в гонках на A2RL Drone Championship в Абу Даби

Пару лет назад дрон уже обгонял людей, но там была предустановленная исследователями трасса. А в этой новости пишут, что трасса бала организаторами сделана (т.е. они или не затачивались под нее специально, или затачивались но не так сильно - тут я чот не очень понял).
RLем тренили
🥳 Оч круто

https://www.youtube.com/watch?v=yz2in2eFATE

https://www.tudelft.nl/2025/lr/wereldprimeur-tu-delft-ai-drone-wint-van-menselijke-bestuurders-op-wk-drone-racen

На ютубе на эту работу ссылаются

End-to-end Reinforcement Learning for Time-Optimal Quadcopter Flight
https://ieeexplore.ieee.org/document/10611665
https://arxiv.org/abs/2311.16948

PS Собираем кстати AI штуки и проекты делаем в /channel/researchim

Читать полностью…

Just links

Signatures of unconventional superconductivity near reentrant and fractional quantum anomalous Hall insulators https://arxiv.org/abs/2504.06972

Читать полностью…

Just links

The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation https://arxiv.org/abs/2504.05178

Читать полностью…

Just links

Scene-Centric Unsupervised Panoptic Segmentation https://visinf.github.io/cups/

Читать полностью…

Just links

Evaluating progress of LLMs on scientific problem-solving https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

Читать полностью…

Just links

https://fixupx.com/CraigGidney/status/1907199729362186309

Читать полностью…
Subscribe to a channel