LLM Strawberry

Source: https://github.com/hijkzzz/Awesome-LLM-Strawberry at 3f17fc9ee49c
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Подборка LLM Strawberry (OpenAI o1)

В этой подборке собраны научные статьи и блоги об OpenAI Strawberry (o1) и рассуждениях. Это сборник исследовательских работ и блогов для OpenAI Клубника (o1) и рассуждения. Репозиторий будет постоянно обновляться, чтобы отслеживать передовые достижения в области рассуждений LLM. И хранилище будет постоянно обновляться, чтобы отслеживать границы LLM Reasoning.

Документы OpenAI

• https://platform.openai.com/docs/guides/reasoning
• 

Новости

• [Открыто] Introducing deep research
• [Открыто] o3 preview & o3 mini
• [Открыто] Introducing ChatGPT Pro
• [Google DeepMind] Gemini 2.0 Flash Thinking
• [Илья Сатскевер] AI with reasoning power will be less predictable
• [Семьянский анализ] Scaling Laws – O1 Pro Architecture, Reasoning Training Infrastructure, Orion and Claude 3.5 Opus “Failures”
• [DeepSeek] DeepSeek-R1-Lite-Preview is now live: unleashing supercharged reasoning power!
• [Перестрелка] 数学对标o1系列，搜索再次进化，Kimi 新推理模型与你一起拓展智能边界
• [Перестрелка] Kimi 发布视觉思考模型 k1，多项理科测试行业领先
• [InternLM] 强推理模型书生InternThinker开放体验：自主生成高智力密度数据、具备元动作思考能力
• [新智元] 万字独家爆光，首揭o1 pro架构！惊人反转，Claude 3.5 Opus没失败？

Блоги

• [Открыто] Learning to Reason with LLMs
• [Открыто] OpenAI o1-mini Advancing cost-efficient reasoning
• [Открыто] Finding GPT-4’s mistakes with GPT-4
• [АРК-АГИ] OpenAI o3 Breakthrough High Score on ARC-AGI-Pub
• [Антропный] Building effective agents
• [hijkzzz] Stabilizing MoE RL Without Router Replay: The Online IcePop Solution
• [hijkzzz] REINFORCE++-baseline is all you need in RLVR
• [hijkzzz] Exploring OpenAI O1 Model Replication
• [Натан Ламберт] OpenAI’s Strawberry, LM self-talk, inference scaling laws, and spending more on inference
• [Натан Ламберт] Reverse engineering OpenAI’s o1
• [Андреас Штульмюллер, джунгофтевон] Supervise Process, not Outcomes
• [Нуха Дзири] Have o1 Models Cracked Human Reasoning?
• [Ришабх Агарвал] Improving LLM Reasoning using Self-generated data: RL and Verifiers
• [Вэй Шэнь] Generalization Progress in RLHF: Insights into the Impact of Reward Models and PPO
• [Dominater069] Codeforces - Analyzing how good O1-Mini actually is
• [Тибор Блахо] Summary of what we have learned during AMA hour with the OpenAI o1 team

Разговоры

• [Ноам Браун] Parables on the Power of Planning in AI: From Poker to Diplomacy
• [Ноам Браун] OpenAI o1 and Teaching LLMs to Reason Better
• [Хён Вон Чунг] Don’t teach. Incentivize.

Курсы

• [Глубокое обучение. АИ Reasoning with o1

Twitter

Разработчики OpenAI

• All the questions addressed by the API team during the December 17, 2024 AMA
• We’re hosting an AMA for developers from 10–11 AM PT today.
• Today we previewed Reinforcement Fine-Tuning
• 

Ноам Браун

• 
• 
• 
• 

Джейсон Вэй

• 
• 
• 

Другие

• 
• 
• 

Открытый источник

Модели

• [Команда Алибабы Квен] Qwen3
• [Команда Алибабы Квен] QwQ
• [Команда Алибабы Квен] QvQ
• [DeepSeek] DeepSeek R1
• [НВИДИЯ] Nemotron-Research-Reasoning-Qwen-1.5B
• [Скайворк] Skywork R1V2
• [rLLM] DeepScaler
• [НоваСки] Sky-T1
• [ГАИР-НЛП] O1 Replication Journey: A Strategic Progress Report
• [Команда OpenO1] Open-Source O1
• [Спустя] DRT-o1
• [Алибаба] Marco-o1
• [CUHK-SZ] HuatuoGPT-o1

Кодовая база

• [Команда OpenRLHF] OpenRLHF
• [Команда OpenRLHF] REINFORCE++ | REINFORCE++-baseline | Code
• [НоваСки-АИ] SkyRL
• [RUCAIBox] STILL: Slow Thinking with LLMs
• [ХКУСТ] Simple Reinforcement Learning for Reasoning
  • Это копия обучения DeepSeek-R1-Zero и DeepSeek-R1 на небольших моделях с ограниченными данными.
• [Убиквант] Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning
• [СтепФун] Open-Reasoner-Zero
• [Тайддра] LMM-R1
• [Модальные умы] MM-EUREKA: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning
• [Команда R1-V] R1-V
• [Команда завода LLaMA] EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework
• [Алибаба] ROLL | Paper
• [Морская лаборатория ИИ] Dr. GRPO
• [Berkeley AI Research] TinyZero
• [Maitrix.org] LLM Reasoners

Документы

format:
- [title](paper link) [links]
  - author1, author2, and author3...
  - publisher
  - code
  - experimental environments and datasets

Технический отчет о моделях O1

• INTELLECT-3: Technical Report
  • Команда Prime Intellect
• DeepSeek V3.2
  • DeepSeek AI
• MiMo-V2 Flash
  • Сяо Ми
• Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
  • Нидиа
• Qwen3 Technical Report
  • Команда Qwen
• Scaling Agents via Continual Pre-training
  • Команда Qwen
• WebResearcher: Unleashing unbounded reasoning capability in Long-Horizon Agents
  • Команда Qwen
• Towards General Agentic Intelligence via Environment Scaling
  • Команда Qwen
• Magistral
  • Mistral AI
• ERINE-4.5
  • Байду
• LongCat Flash
  • Мейтуан
• GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models
  • Zhipu AI
• Seed Thinking v1.5
  • Благотворительное семя
• DeepSeek-V3 Technical Report
  • DeepSeek
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  • DeepSeek AI
• DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition
  • DeepSeek AI
• MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention
  • MiniMax
• Kimi k2: Open agentic intelligence
  • Лунный снимок
• Kimi k1.5: Scaling Reinforcement Learning with LLMs
  • Лунный снимок
• KIMI-VL TECHNICAL REPORT
  • Лунный снимок
• Kimina-Prover Preview: Towards Large Formal Reasoning Models with Reinforcement Learning
  • Обсуждение MoonShot & Numina
• Llama-Nemotron: Efficient Reasoning Models
  • Нидиа
• Skywork Open Reasoner 1 Technical Report
  • Скайворк

2025

• Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models
  • Нидиа
• QwenLong-L1.5: Post-Training Recipe for Long-Context Reasoning and Memory
  • Команда Qwen
• DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning
  • DeepSeek-AI
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
  • Команда Qwen
• The Art of Scaling Reinforcement Learning Compute for LLMs
  • Девврит Хатри, Ловиш Мадаан, Ришабх Тивари, Рахит Бансал, Сай Сурья Дуввури, Манзил Захир, Индерджит С. Диллон, Дэвид Брандфонбренер, Ришабх Агарвал
• BroRL: Scaling Reinforcement Learning via Broadened Exploration
  • Цзянь Ху, Минцзе Лю, Симинь Лу, Фан Ву, Заид Харчауи, Шиже Дяо, Еджин Чой, Павло Молчанов, Цзюнь Ян, Ян Каутц, И Дун
• Why Language Models Hallucinate
  • OpenAI
• rStar2-Agent: Agentic Reasoning Technical Report
  • Нин Шан, Ифэй Лю, И Чжу, Ли Ля Чжан, Вэйцзян Сюй, Синью Гуань, Бузе Чжан, Бинчэн Дун, Сюдун Чжоу, Боуэн Чжан, Ин Синь, Зиминг Мяо, Скарлетт Ли, Фань Ян, Мао Ян
• RL Is Neither a Panacea Nor a Mirage: Understanding Supervised vs. Reinforcement Learning Fine-Tuning for LLMs
  • Ханжан Цзинь, Сычэн, Сифан Ву, Мохаммад Хамдака
• DuPO: Enabling Reliable LLM Self-Verification via Dual Preference Optimization
  • Shuaijie She, Yu Bao, Yu Lu, Lu Xu, Tao Li, Wenhao Zhu, Shujian Huang, Shanbo Cheng, Lu Lu, Yuxuan Wang
• Sample More to Think Less: Group Filtered Policy Optimization for Concise Reasoning
  • Вайшнави Шривастава, Ахмед Авадалла, Видхиша Балачандран, Шивам Гарг, Харкират Бель, Димитрис Папаилиопулос
• ProRL V2 - Prolonged Training Validates RL Scaling Laws
  • Цзянь Ху, Минцзе Лю, Шиже Дяо, Симин Лу, Синь Дун, Павло Молчанов, Еджин Чой, Ян Каутц, И Дун
• Part I: Tricks or Traps? A Deep Dive into RL for LLM Reasoning
  • Цзихэ Лю, Цзяшунь Лю, Яньчэн Хэ, Вэйсюнь Ван, Цзяэнь Лю, Линь Пань, Синью Ху, Шаопань Сюн, Цзю Хуан, Цзянь Ху, Шэньи Хуан, Сиран Ян, Цзяманг Ван, Вэньбо Су, Бо Чжэн
• Group Sequence Policy Optimization
  • Чуцзе Чжэн, Сиксуань Лю, Миндзе Ли, Сюн-Хуй Чэнь, Боуэн Ю, Чан Гао, Кай Дан, Юцюн Лю, Руй Мен, Ан Ян, Цзинген Чжоу, Цзюньян Лин
• Your Efficient RL Framework Secretly Brings You Off-Policy RL Training
  • Фэн Яо, Лиюань Лю, Динхуай Чжан, Чэнью Дун, Цзинбо Шан, Цзяньфэн Гао
• Gemini 2.5 Pro Capable of Winning Gold at IMO 2025
  • Yichen Huang, Лин Ф. Ян
• DeepSWE: Training a Fully Open-sourced, State-of-the-Art Coding Agent by Scaling RL
  • Вместе.ai
• OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling
  • Цзэнчжи Ван, Фань Чжоу, Сюэфэн Ли, Пэнфэй Лю
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
  • Mingjie Liu, Shizhe Diao, Ximing Lu, Jian Hu, Xin Dong, Yejin Choi, Jan Kautz, Yi Dong
• REINFORCE++: An Efficient RLHF Algorithm with Robustness to Both Prompt and Reward Models
  • Цзянь Ху, Джейсон Кляйн Лю, Вэй Шэнь
  • Код: REINFORCE++-baseline
• Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning
  • Команда Qwen
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning
  • Xinyu Zhu, Mengzhou Xia, Zhepei Wei, Wei-Lin Chen, Danqi Chen, Yu Meng
• Thinking with Generated Images
  • Итан Чернь, Жулин Ху, Штеффи Чернь, Сики Коу, Цзяди Су, Янь Ма, Чжиджи Дэн, Пэнфэй Лю
• Pixel Reasoner: Incentivizing Pixel-Space Reasoning with Curiosity-Driven Reinforcement Learning
  • Алекс Су, Хаоже Ван, Веймин Рен, Фанчжэнь Лин, Вэньху Чен
• DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
  • Цзивэй Чжэн, Майкл Ян, Джек Хун, Ченсяо Чжао, Гуохай Сюй, Ле Ян, Чао Шэнь, Син Юй
• Bring Reason to Vision: Understanding Perception and Reasoning through Model Merging
  • Шици Чэнь, Цзинхан Чжан, Тонъяо Чжу, Вэй Лю, Сиян Гао, Мяо Сюн, Манлинг Ли, Цзюньсянь Хэ
• QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning
  • Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan
• Agent RL Scaling Law: Agent RL with Spontaneous Code Execution for Mathematical Problem Solving
  • Синьцзи Май, Хаотянь Сюй, Син В, Вайнонг Ван, Инъин Чжан, Вэньцян Чжан
  • Код: https://github.com/yyht/openrlhf_async_pipline
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce
  • Вэй Сюн, Цзяруй Яо, Юхуэй Сюй, Бо Панг, Лэй Ван, Дойен Саху, Цзюньнань Ли, Нань Цзян, Тонг Чжан, Кайминг Сюн, Ханзе Донг
• Reinforcement Learning for Reasoning in Large Language Models with One Training Example
  • Ипин Ванг, Цин Ян, Чжиюань Цзэн, Лилианг Рен, Лукас Лю, Баолин Пэн, Хао Чэн, Сюэхай Хэ, Куан Ванг, Цзяньфэн Гао, Вэйчжу Чэнь, Шуохан Ванг, Симон Шаолей Ду, Елонг Шэнь
• Process Reward Models That Think
  • Мухаммад Халифа, Ришабх Агарвал, Ладжануген Логесваран, Джаекьеом Ким, Хао Пэн, Мунтэ Ли, Хунлак Ли, Лу Ван
• M1: Towards Scalable Test-Time Compute with Mamba Reasoning Models
  • Junxiong Wang, Wen-Ding Li, Daniele Paliotta, Daniel Ritter, Alexander M. Rush, Tri Dao
• A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility
  • Андреас Хохлехнерт, Хардик Бхатнагар, Вишаль Удандарао, Самуэль Альбани, Амея Прабху, Маттиас Бетге
• Concise Reasoning via Reinforcement Learning
  • Мехди Фатеми, Банафше Рафии, Минджи Танг, Картик Таламадупула
• VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks
  • YuYue, Yufeng Yuan, Qiying Yu, Xiaochen Zuo, Ruofei Zhu, Wenyuan Xu, Jiaze Chen, Chengyi Wang, TianTian Fan, Zhengyin Du, Xiangpeng Wei, Gaohong Liu, Juncai Liu, Lingjun Liu, Haibin Lin, Zhiqi Lin, Bole Ma и др.
• Inference-Time Scaling for Generalist Reward Modeling
  • Цзыцзюнь Лю, Пейи Ван, Рунсин Сюй, Широнг Ма, Чун Руан, Пэн Ли, Ян Лю, Ю Ву
• JudgeLRM: Large Reasoning Models as a Judge
  • Нуо Чен, Чжиюань Ху, Цинъюнь Цзоу, Цзяин Ву, Цянь Ван, Брайан Хуи, Биншэн Хэ
• DAPO: An Open-Source LLM Reinforcement Learning System at Scale
  • Циин Юй, Чжэн Чжан, Руофэй Чжу, Юфэн Юань, Сяочень Цзо, Ю Юэ, Тяньтянь Фань, Гаохун Лю, Линцзюнь Лю, Синь Лю, Хайбин Линь и т.д.
• Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
  • Jonas Geiping, Sean McLeish, Neel Jain, John Kirchenbauer, Siddharth Singh, Brian R. Bartoldson, Bhavya Kailkhura, Abhinav Bhatele, Tom Goldstein
• Optimizing Test-Time Compute via Meta Reinforcement Fine-Tuning
  • Yuxiao Qu, Matthew Y. R. Yang, Amrith Setlur, Lewis Tunstall, Edward Emanuel Beeching, Ruslan Salakhutdinov, Aviral Kumar
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
  • Huatong Song, Jinhao Jiang, Yingqian Min, Jie Chen, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen
• Visual-RFT: Visual Reinforcement Fine-Tuning
  • Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang
• Introducing Visual Perception Token into Multimodal Large Language Model
  • Рунпен Юй, Сюньин Ма, Синьчао Ван
• Scaling Test-Time Compute Without Verification or RL is Suboptimal
  • Амрит Сетлур, Нивед Раджараман, Сергей Левин, Авирал Кумар
• LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters!
  • Даченг Ли, Шии Цао, Тайлер Григгс, Шу Лю, Сянси Мо, Шишир Г. Патиль, Матей Захария, Джозеф Э. Гонсалес, Ион Стоика
• Demystifying Long Chain-of-Thought Reasoning in LLMs
  • Эдвард Йео, Юйсюань Тонг, Морри Ниу, Грэм Нойбиг, Сян Юэ
• LIMR: Less is More for RL Scaling
  • Сюэфэн Ли, Хаоян Цзоу, Пэнфэй Лю
• LIMO: Less is More for Reasoning
  • Yixin Ye, Zhen Huang, Yang Xiao, Ethan Chern, Shijie Xia, Pengfei Liu
• s1: Simple test-time scaling
  • Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, Tatsunori Hashimoto
• SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training
  • Тяньчжэ Чу, Юэсянь Чжай, Цзихан Ян, Шэньбан Тонг, Сайнинг Се, Дейл Шуурманс, Квок В. Ле, Сергей Левин, И Ма
• Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling
  • Zhenyu Hou, Xin Lv, Rui Lu, Jiajie Zhang, Yujiang Li, Zijun Yao, Juanzi Li, Jie Tang, Yuxiao Dong
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search
  • Маохао Шэнь, Гуантао Цзэн, Чжэнтин Ци, Чжан-Вэй Хун, Чжэнфан Чэнь, Вэй Лу, Грегори Уорнелл, Субхро Дас, Дэвид Кокс, Чуанг Гань
• Distillation Quantification for Large Language Models
  • Sunbowen Lee, Junting Zhou, Chao Ao и др.
• rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
  • Xinyu Guan, Li Lyna Zhang, Yifei Liu, Ning Shang, Youran Sun, Yi Zhu, Fan Yang, Mao Yang
• Evolving Deeper LLM Thinking
  • Куанг-Хуэй Ли, Ян Фишер, Юэ-Хуа Ву, Дэйв Марвуд, Шумит Балуджа, Дейл Шуурманс, Сюнюн Чен
• The Lessons of Developing Process Reward Models in Mathematical Reasoning
  • Zhenru Zhang, Chujie Zheng, Yangzhen Wu, Beichen Zhang, Runji Lin, Bowen Yu, Dayiheng Liu, Jingren Zhou, Junyang Lin
• Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought
  • Вайолет Сян, Чарли Снелл, Канишк Ганди, Алон Албалак, Аникайт Сингх, Чейз Благден, Дуй Фунг, Рафаэль Рафаилов, Натан Лиле, Дакота Махан, Луи Кастрикато, Ян-Филипп Франкен, Ник Хабер, Челси Финн
• PRMBENCH: A Fine-grained and Challenging Benchmark for Process-Level Reward Models
  • Миньян Сун, Чжаочен Су, Сяоэй Цю, Цзявэй Чжоу, Ю Чэнь
• Virgo: A Preliminary Exploration on Reproducing o1-like MLLM
  • Ифань Ду, Цзыкан Лю, Ифань Ли, Уэйн Синь Чжао, Юки Хуо, Биннинг Ван, Вэйпен Чэнь, Чжэн Лю, Чжунъюань Ван, Цзи-Рун Вэнь
• Imagine while Reasoning in Space: Multimodal Visualization-of-Thought
  • Чэнцу Ли, Вэньшань Ву, Хуанью Чжан, Янь Ся, Шаогуан Мао, Ли Дун, Иван Вулич, Фуру Вэй
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs
  • Omkar Thawakar, Dinura Dissanayake, Ketan More, Ritesh Thawkar, Ahmed Heakl, Noor Ahsan, Yuhao Li, Mohammed Zumri, Jean Lahoud, Rao Muhammad Anwer, Hisham Cholakkal, Ivan Laptev, Mubarak Shah, Fahad Shahbaz Khan, Salman Khan
• From chaos to order: The atomic reasoner framework for fine-grained reasoning in large language models
  • Цзиньи Лю, Янь Чжэн, Ронг Чэн, Цию Ву, Вэй Го, Фэй Ни, Хебин Лян, Ифу Юань, Хангю Мао, Фучжэн Чжан, Цзяньи Хао

2024

• Deliberative alignment: reasoning enables safer language models
  • OpenAI
• MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
  • Джун Шерн Чан, Нил Чоудхури, Оливер Яффе, Джеймс Аунг, Дэйн Шерберн, Эван Мэйс, Джулио Стараче, Кевин Лю, Леон Максин, Тейал Патвардхан, Лилиан Венг, Александр Модри
• From Medprompt to o1: Exploration of Run-Time Strategies for Medical Challenge Problems and Beyond
  • Скотт Маккинни
• LLM Critics Help Catch LLM Bugs
  • Нат Макалис, Рай Майкл Покорный, Хуан Фелипе Серон Урибе, Евгения Нитишинская, Майя Требач, Ян Лейке
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
  • Юэсянь Чжай, Хао Бай, Зипенг Лин, Цзяи Пан, Шэнбэн Тонг, Ифэй Чжоу, Алан Сухр, Саинин Се, Ян Лекун, И Ма, Сергей Левин
• ZoomEye: Enhancing Multimodal LLMs with Human-Like Zooming Capabilities through Tree-Based Image Exploration
  • Хаожан Шэнь, Канджиа Чжао, Тяньчэн Чжао, Руочен Сюй, Зилун Чжан, Минвэй Чжу, Цзяньвэй Инь
• Divide, Conquer and Combine: A Training-Free Framework for High-Resolution Image Perception in Multimodal Large Language Models
  • Венбин Ван, Лян Дин, Миньян Цзэн, Сябинь Чжоу, Ли Шэнь, Юн Луо, Дачэн Тао
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
  • Чарли Снелл, Джейхун Ли, Кельвин Сюй, Авирал Кумар
• An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models
  • Янчжэнь Ву, Чжицин Сун, Шанда Ли, Шон Веллек, Имин Ян
• Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling
  • Hritik Bansal, Arian Hosseini, Rishabh Agarwal, Vinh Q. Tran, Mehran Kazemi
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling
  • Брэдли Браун, Джордан Юравский, Райан Эрлих, Рональд Кларк, Квок В. Ле, Кристофер Ре, Азалия Мирхосейни
• Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems
  • Yingqian Min, Zhipeng Chen, Jinhao Jiang, Jie Chen, Jia Deng, Yiwen Hu, Yiru Tang, Jiapeng Wang, Xiaoxue Cheng, Huatong Song, Wayne Xin Zhao, Zheng Liu, Zhongyuan Wang, Ji-Rong Wen
• Training Language Models to Self-Correct via Reinforcement Learning
  • Aviral Kumar, Vincent Zhuang, Rishabh Agarwal, Yi Su, John D Co-Reyes, Avi Singh, Kate Baumli, Shariq Iqbal, Colton Bishop, Rebecca Roelofs, Lei M Zhang, Kay McKinney, Disha Shrivastava, Cosmin Paduraru, George Tucker, Doina Precup, Feryal Behbahani, Aleksandra Faust
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs
  • Сингю Чэнь, Цзяхао Сюй, Тянь Лян, Чживэй Хэ, Цзяньхуэй Пэн, Дянь Юй, Линьфэн Сун, Кючжи Лю, Мэнфэй Чжоу, Чжуошэн Чжан, Руй Ван, Чжаопенг Ту, Хайтао Ми, Дун Юй
• MEDEC: A Benchmark for Medical Error Detection and Correction in Clinical Notes
  • Асма Бен Абача, Вэнь-вай Йим, Юджуан Фу, Чжаои Сунь, Мелиха Йетисген, Фэй Ся, Томас Лин
• Qwen2.5-Math Technical Report: Toward Mathematical Expert Model via Self-Improvement
  • An Yang, Beichen Zhang, Binyuan Hui, Bofei Gao, Bowen Yu, Chengpeng Li, Dayiheng Liu, Jianhong Tu, Jingren Zhou, Junyang Lin, Keming Lu, Mingfeng Xue, Runji Lin, Tianyu Liu, Xingzhang Ren, Zhenru Zhang
• Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
  • Чжэню Хоу, Пэнфэн Ду, Йилинь Ниу, Чжэнсяо Ду, Аохан Цзэн, Сяо Лю, Минли Хуан, Хоннинг Ван, Цзе Тан, Юсяо Донг
• Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering
  • Xinyan Guan, Yanjiang Liu, Xinyu Lu, Boxi Cao, Ben He, Xianpei Han, Le Sun, Jie Lou, Bowen Yu, Yaojie Lu, Hongyu Lin
• Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective
  • Чжиюань Цзэн, Циньюань Чэн, Чжанъюэ Инь, Бо Ван, Шиминь Ли, Юньхуа Чжоу, Ципэн Го, Сюаньцзин Хуан, Сыпэн Цю
• Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking
  • Эрик Зеликман, Жорж Харик, Иджия Шао, Варуна Джаясири, Ник Хабер, Ноа Д. Гудман
  • https://github.com/ezelikman/quiet-star
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision
  • Чжихэн Си, Дингвен Янг, Цзяфу Тан, Цзяфу Ли, Юйвен Дин, Вэй Хэ, Боян Хун, Шихан До, Вэнью Чжан, Сяо Ван, Руй Чжэн, Тао Цзи, Сяоуэй Ши, Итао Чжай, Йонсян Вэнь, Цзинлян Ванг, Сюньлян Цай, Тао Гуй, Ци Чжан, Сюаньцзин Хуан, Юй Ган Цзян
  • https://mathcritique.github.io/
• On Designing Effective RL Reward at Training Time for LLM Reasoning
  • Цзясюань Гао, Шушенг Сюй, Вэньцзе Е, Вэйлинь Лю, Чуйи Хэ, Вэй Фу, Чжию Мэй, Гуанджу Ван, И Ву
• Generative Verifiers: Reward Modeling as Next-Token Prediction
  • Луньцзюнь Чжан, Ариан Хоссейни, Хритик Бансал, Мехран Каземи, Авирал Кумар, Ришабх Агарвал
• Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning
  • Амрит Сетлур, Чираг Нагпал, Адам Фиш, Сюньян Гэн, Якоб Эйзенштейн, Ришабх Агарвал, Алех Агарвал, Джонатан Берант, Авирал Кумар
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision
  • Лянчен Луо, Иньсяо Лю, Розанна Лю, Самрат Фатале, Харш Лара, Юньсюань Ли, Лэй Шу, Юн Чжу, Лэй Мэн, Цзяо Сунь, Абхинав Растоги
• Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations
  • Пейи Ван, Лей Ли, Чжихун Шао, Р.Х. Сюй, Дамай Дай, Ифэй Ли, Дели Чен, Ю.Ву, Чжифан Суй
• Planning In Natural Language Improves LLM Search For Code Generation
  • Эван Ван, Федерико Кассано, Кэтрин Ву, Юньфэн Бай, Уилл Сонг, Васкар Нат, Зивен Хан, Шон Хендрикс, Саммер Юэ, Хью Чжан
• PROCESSBENCH: Identifying Process Errors in Mathematical Reasoning
  • Чжуцзе Чжэн, Чжэньру Чжан, Бэйчэн Чжан, Рунджи Линь, Кеминг Лу, Боуэн Юй, Дэйхэн Лю, Цзинрен Чжоу, Цзюньян Линь
• AFlow: Automating Agentic Workflow Generation
  • Цзяйи Чжан, Цзиньюй Сян, Чжаоян Ю, Фэнвэй Тэн, Сюньхуй Чэнь, Цзяцзи Чэнь, Минчен Чжуге, Синь Чэнь, Сируй Хун, Цзиньлинь Ван, Биннань Чжэн, Банг Лю, Юйю Луо, Чэнлин Ву
• Interpretable Contrastive Monte Carlo Tree Search Reasoning
  • Зитян Гао, Бойе Ниу, Сюйчжэн Хэ, Хаотянь Сюй, Хунчжан Лю, Айвэй Лю, Сюминг Ху, Лицзе Вэнь
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents
  • Пранав Путта, Эдмунд Миллс, Наман Гарг, Сумет Мотвани, Челси Финн, Дивьянш Гарг, Рафаэль Рафаилов
• Mixture-of-Agents Enhances Large Language Model Capabilities
  • Цзюньлинь Ван, Чжу Ван, Бен Ативараткун, Се Чжан, Джеймс Зоу
• Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models
  • Чжиюань Ху, Чумин Лю, Сидун Фэн, Йилун Чжао, Си-Кионг Нг, Ань Туань Луу, Цзюньсянь Хэ, Пан Вэй Кох, Брайан Хуи
• Advancing LLM Reasoning Generalists with Preference Trees
  • Lifan Yuan, Ganqu Cui, Hanbin Wang, Ning Ding, Xingyao Wang, Jia Deng, Boji Shan et al.
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing
  • Е Тянь, Баолин Пэн, Линфэн Сонг, Лайфэн Цзинь, Дянь Юй, Хайтао Ми и Дун Юй.
• AlphaMath Almost Zero: Process Supervision Without Process
  • Гуоксин Чен, Минпенг Ляо, Ченкси Ли, Кай Фан.
• ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search
  • Дэн Чжан, Сининг Чжубян, Исон Юэ, Юсяо Дун и Цзе Тан.
• Mulberry: Empowering MLLM with o1-like Reasoning and Reflection via Collective Monte Carlo Tree Search
  • Huanjin Yao, Jiaxing Huang, Wenhao Wu, Jingyi Zhang, Yibo Wang, Shunyu Liu, Yingjie Wang, Yuxin Song, Haocheng Feng, Li Shen, Dacheng Tao
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models
  • Юхао Донг, Зуян Лю, Хай-Лонг Сунь, Цзинкан Ян, Уинстон Ху, Юнмин Рао, Зивэй Лю
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time
  • Jikun Kang, Xin Zhe Li, Xi Chen, Amirreza Kazemi, Qianyi Sun, Boxing Chen, Dong Li, Xu He, Quan He, Feng Wen, Jianye Hao, Jun Yao.
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning
  • Yuxi Xie, Anirudh Goyal, Wenyue Zheng, Min-Yen Kan, Timothy P. Lillicrap, Kenji Kawaguchi, Michael Shieh.
• When is Tree Search Useful for LLM Planning? It Depends on the Discriminator
  • Зиру Чен, Майкл Уайт, Раймонд Муни, Али Пайани, Ю Су, Хуан Сунь
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems
  • Чжиюань Ли, Хун Лю, Денни Чжоу, Тенгью Ма.
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
  • Зейн Спраг, Фангконг Инь, Хуан Диего Родригес, Дунгвей Цзян, Манья Вадхва, Прасанн Сингхаль, Синью Чжао, Си Е, Кайл Маховальд, Грег Дюрретт
• Do Large Language Models Latently Perform Multi-Hop Reasoning?
  • Сохэ Ян, Елена Грибовская, Нора Касснер, Мор Гева, Себастьян Ридель
• Chain-of-Thought Reasoning Without Prompting
  • Сюэчжи Ван, Денни Чжоу
• Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers
  • Чжэнтин Ци, Мингюань Ма, Цзяхан Сюй, Ли Ля Чжан, Фань Ян, Мао Ян
• Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
  • Сюань Чжан, Чао Ду, Тянью Пан, Цянь Лю, Вэй Гао, Мин Линь
• ReFT: Reasoning with Reinforced Fine-Tuning
  • Trung Quoc Luong, Xinbo Zhang, Zhanming Jie, Peng Sun, Xiaoran Jin, Hang Li
• VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment
  • Амирхоссейн Каземнеджад, Милад Агаджохари, Ева Портеланс, Алессандро Сордони, Шива Редди, Аарон Курвилл, Николя Ле Ру
• Stream of Search (SoS): Learning to Search in Language
  • Канишк Ганди, Дениз Ли, Габриэль Гранд, Муксин Лю, Уинсон Ченг, Арчит Шарма, Ноа Д. Гудман
• GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
  • Иман Мирзаде, Кейван Ализаде, Хуман Шахроки, Апол Тузель, Сами Бенджио, Мехрдад Фараджтабар
• Evaluation of OpenAI o1: Opportunities and Challenges of AGI
  • Tianyang Zhong, Zhengliang Liu, Yi Pan, Yutong Zhang, Yifan Zhou, Shizhe Liang, Zihao Wu, Yanjun Lyu, Peng Shu, Xiaowei Yu, Chao Cao, Hanqi Jiang, Hanxu Chen, Yiwei Li, Junhao Chen и др.
• Evaluating LLMs at Detecting Errors in LLM Responses
  • Рё Камой, Саркар Снигда Саратхи Дас, Рензе Лу, Джихён Дженис Ан, Йилун Чжао, Сяосин Лу, Нан Чжан, Юсен Чжан, Ранран Хаоран Чжан, Суджит Редди Вуммантала, Салика Дэйв, Шаобо Цинь, Арман Кохан, Вэньпэн Инь, Руи Чжан
• On The Planning Abilities of OpenAI’s o1 Models: Feasibility, Optimality, and Generalizability
  • Кевин Ван, Джунбо Ли, Нил П. Бхатт, Ихан Си, Цян Лю, Уфук Топку, Чжаньян Ван
• Not All LLM Reasoners Are Created Equal
  • Arian Hosseini, Alessandro Sordoni, Daniel Toyama, Aaron Courville, Rishabh Agarwal
• LLMs Still Can’t Plan; Can LRMs? A Preliminary Evaluation of OpenAI’s o1 on PlanBench
  • Картик Вальмикам, Кайя Стекли, Суббарао Камбхампати
• A Comparative Study on Reasoning Patterns of OpenAI’s o1 Model
  • Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, JH Liu
• Thinking LLMs: General Instruction Following with Thought Generation
  • Тяньхао Ву, Дженис Лан, Вейцхе Юань, Цзяньтао Цзяо, Джейсон Уэстон, Сайнбаяр Сухбаатар
• Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning Through Trap Problems
  • Чжун Чжао, Цзинци Тонг, Юронг Моу, Мин Чжан, Ци Чжан, Сюаньцзин Хуан
• V-STaR: Training Verifiers for Self-Taught Reasoners
  • Ариан Хоссейни, Синди Юань, Николай Малкин, Аарон Курвилл, Алессандро Сордони, Ришабх Агарвал
• CPL: Critical Plan Step Learning Boosts LLM Generalization in Reasoning Tasks
  • Тяньлун Ван, Цзюньчжэ Чэнь, Сюэтин Хань, Цзин Бай
• RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
  • Тяньхао Ву, Дженис Лан, Вейцхе Юань, Цзяньтао Цзяо, Джейсон Уэстон, Сайнбаяр Сухбаатар
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning
  • Чаоцзе Ван, Янчен Дэн, Чжии Лю, Лян Цзэн, Джудзе Хэ, Шуйчэн Янь, Бо Ан
• Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning
  • Хао Шао, Шэнджу Цянь, Хань Сяо, Гуанлу Сонг, Чжуофан Цзун, Летиан Ван, Юй Лю, Хуншэн Ли

2023

• Let’s Verify Step by Step
  • Хантер Лайтман, Винеет Косараджу, Юра Бурда, Харри Эдвардс, Боуэн Бейкер, Тедди Ли, Ян Лейк, Джон Шульман, Илья Сатскевер, Карл Коббе
• V*: Guided Visual Search as a Core Mechanism in Multimodal LLMs
  • Пэнхао Ву, Саин Се
• Training Chain-of-Thought via Latent-Variable Inference
  • Du Phan, Matthew D. Hoffman, David Dohan, Sholto Douglas, Tuan Anh Le, Aaron Parisi, Pavel Sountsov, Charles Sutton, Sharad Vikram, Rif A. Saurous
• Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training
  • Xidong Feng, Ziyu Wan, Muning Wen, Stephen Marcus McAleer, Ying Wen, Weinan Zhang, Jun Wang
• OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning
  • Фэй Юй, Аннингже Гао, Бенью Ван
• Reasoning with Language Model is Planning with World Model
  • Шибо Хао, И Гу, Хаоди Ма, Джошуа Цзяуа Хун, Чжэнь Ван, Дэйзи Чжэ Ван, Чжитинг Ху
• Don’t throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
  • Лю, Цзячэн, Эндрю Коэн, Рамакант Пасунуру, Еджин Чой, Ханнане Хаджиширзи и Асли Челикийлмаз.
• Certified reasoning with language models
  • Габриэль Поезия, Канишк Ганди, Эрик Зеликман, Ноа Д. Гудман
• Large Language Models Cannot Self-Correct Reasoning Yet
  • Цзе Хуан, Сюньюнь Чен, Сваруп Мишра, Хуайсю Стивен Чжэн, Адамс Вэй Юй, Сюньин Сун, Денни Чжоу

2022

• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
  • Джейсон Вэй, Сюэчжи Ван, Дейл Шуурманс, Маартен Босма, Брайан Ихтер, Фэй Ся, Эд Чи, Куок Ле, Денни Чжоу
• Self-Consistency Improves Chain of Thought Reasoning in Language Models
  • Сюэчжи Ван, Джейсон Вэй, Дейл Шуурманс, Куок Ле, Эд Чи, Шаран Наранг, Ааканкша Чоудхери, Денни Чжоу
• Self-critiquing models for assisting human evaluators
  • William Saunders, Catherine Yeh, Jeff Wu, Steven Bills, Long Ouyang, Jonathan Ward, Jan Leike
• Chain of Thought Imitation with Procedure Cloning
  • Мэнцзяо Янг, Дейл Шуурманс, Питер Аббель, Офир Нахум.
• STaR: Bootstrapping Reasoning With Reasoning
  • Эрик Зеликман, Юхуай Ву, Джесси Му, Ноа Д. Гудман
• Solving math word problems with processand outcome-based feedback
  • Джонатан Уэсато, Нейт Кушман, Рамана Кумар, Фрэнсис Сонг, Ноа Сигел, Лиза Ван, Антония Кресвелл, Джеффри Ирвинг, Ирина Хиггинс

2021

• Training Verifiers to Solve Math Word Problems
  • Карл Коббе, Винеет Косаражу, Мохаммад Баварский, Марк Чен, Хееву Джун, Лукаш Кайзер, Маттиас Плапперт, Джерри Творек, Джейкоб Хилтон, Рейитиро Накано, Кристофер Гессе, Джон Шульман
• Scalable Online Planning via Reinforcement Learning Fine-Tuning
  • Арно Фикингер, Хенъюань Ху, Брэндон Амос, Стюарт Рассел, Ноам Браун.
• Scaling Scaling Laws with Board Games
  • Энди Л. Джонс.
• Show Your Work: Scratchpads for Intermediate Computation with Language Models
  • Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, Augustus Odena

До 2021 года

• Improving Policies via Search in Cooperative Partially Observable Games
  • Адам Лерер, Хенъюань Ху, Якоб Фёрстер, Ноам Браун.
• Generative Language Modeling for Automated Theorem Proving
  • Станислав Полу, Илья Сутскевер
• Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
  • Дэвид Сильвер, Томас Хьюберт, Джулиан Шриттвизер, Иоаннис Антоноглоу, Мэтью Лай, Артур Гез, Марк Ланктот, Лоран Сифр, Дхаршан Кумаран, Тор Грепель, Тимоти Лиликрап, Карен Симоньян, Демис Хассабис.