Prompt Engineering

Source: https://github.com/promptslab/Awesome-Prompt-Engineering at 23542555e534
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

很棒的快速工程 \ \ \ \

" 快速工程和背景工程 " 的手工资源库,包括论文、工具、模型、API、基准、课程和与大语言模型合作的社区。

https://promptslab.github.io

   Master Prompt Engineering. Join the Course at https://promptslab.github.io

开始于这里

新到启动工程? 沿着这条路径 :

学习基础 → ChatGPT 开发者的快速工程 (免费,~90分钟)
阅读指南 → (原始内容存档于2018-03-21). Fournal Engineering Guide by DAIR. 大赦国际 (公开来源,综合)
研究提供者文件 → OpenAI 即时工程指南 · Anthropic 快速工程指南
了解球场的方向 → Anthropic:AI代理的有效背景工程
阅读研究 → 即时报告 ——58+分类法,1500+论文的激发技术.

论文

📄

主要调查

即时报告:对即时技术的系统调查 [2024] ——最全面的调查:从1500+论文中推导出58个文本和40个多式联运技术的分类. 与OpenAI,微软,谷歌,斯坦福共同创作.
大语文模型的即时工程系统调查:技术和应用 [2024] (中文(简体) ). )… …
用于不同NLP任务的LLMs快速工程方法调查 [2024] (中文(中国大陆) ). ). 39 激励方法贯穿29个NLP任务.
自动快速工程调查:优化视角 [2025] ——将自动PE方法正规化为离散/连续/hybrid优化问题.
大语文模型的有效快速方法:调查 [2024] ——调查以效率为导向的催化(压缩,优化,APE)以减少计算和延迟.
通过谜幻迷宫进行导航:思想理性链调查 [2023, ACL 2024]——系统化CoT调查.
解密链条、树条和思维图 [2024] ——多时推理地形统一框架.
面向目标的大语文模式快速工程:调查 [2024] ——注重围绕明确任务目标设计的提示.
走向理性时代:关于理性法学硕士长期思考链的调查 [2025] ——在o1/R1时代的模型中区分长CoT与短CoT.

快速优化和自动提示

OPRO: 大语言模型作为优化器 [2023, NeurIPS 2024] ——通过元时速将LLMs用作优化器;优化的提示在BBH上以高达50%的优于人类设计.
DSPy: 编译宣言语言模型调用自改进管道 [2023, ICLR 2024] — 编程框架(不提示) LLMs 自动快速优化.
MIPRO:优化多层次语言模式方案的说明和示范 [2024,EMNLP 2024]——贝叶斯优化多阶段LM程序;最高精度增益13%.
文本宽度: 通过文本自动“ 差异” [2024] ——将复合AI系统作为计算图,以文字反馈作为梯度. 发表于”自然”.
启动 [2023, ACL 2024] — 自动优化离散提示的演化算法方法.
AI 系统的元提示 [2023, ICLR 2024 Working]——实例-不可知结构模板使用类理论正式化.
即时工程(PE2) [2024,ACL Resign] — 使用LLMs进行元时速自身,用分步模板精炼提示,以显著改进推理.
大型语言模型是人级快速工程师 [2022] – 通过APE自动迅速生成.
硬提示易制:基于渐变的优化以快速调试 [2023]
SPO:自我监督的快速优化 [2025] ——以先前方法成本的1-6%进行竞争业绩.

快速压缩

LLMLingua-2:高效和忠实任务的数据扭曲-不可知速压 [2024, ACL 2024] – 3x–6x 使用GPT-4数据蒸馏比LLMLingua快.
龙LongLLMLINGUA [2023, ACL 2024] – 长语境下的问觉压缩;21.4%的性能助推,4x更少的代币.
大语文模型的快速压缩:调查 [2024] ——全面调查硬软快速压缩方法.

预付款

优化 LLM 测试-时间计算 [2024] – 显示最佳测试时间计算分配可以超过14x更大的模型.
DeepSeek-R1:通过强化学习激励LLMs的理性能力 [2025]——纯RL训练推理模型匹配o1;开源与蒸馏变体.
s1: 简单测试时间缩放 [2025] ——仅1000例的SFT通过”预算强迫”创造了竞争推理模式.
语言模式:蓝图 [2025] ——系统框架组织推理LM方法.
解密长期思考链 [2025] ——分析现代推理模型中的长COT行为.
思想图:解决LLMS的详细问题 [2023, AAAI 2024]——模型思维作为任意的图表;在排序上比ToT的质量提高62%.
思想之树:用LLMS有意解决问题 [2023, NeurIPS 2023] — 树在推理路径之上的搜索.
所有的思想 [2023] –通过MCTS整合COT,TOT和外部解析器.
思维的摇摆 [2023] ——通过答题骨架生成进行平行解码,最高可达2.69x加速.
大型语言模型中的思想催化推理链 [2022] ——基建煤矿论文.
提高思想理性链 [2022] ——综合多种CoT输出可靠性.
大型语言模型是零同步理性 [2022] ——“让我们一步步思考”作为零镜头推理触发器.
ReAct:在语言模型中协同理性和行为 [2022] (中文(简体) ). Interleaving 推理与工具使用.

内容内学习

内容中的多热学习 [2024, NeurIPS 2024 Spotlight]——重大收益将ICL规模提升到成百上千例;引入强化和不受监督的ICL.
多式联运基础模型中的许多热门内容学习 [2024] – 将多式联运ICL规模为~2,000个实例,跨越14个数据集.
反思示范的作用:什么使内容学习奏效? [2022]
惊人的有序提示和在哪里找到他们 [2021] ——克服少数镜头的即时订单敏感性.
使用前校准: 改进语言模型的少热性能 [2021]

代理提示和多代理系统

代理大语言模型:调查 [2025] ——通过推理,行为,互动能力进行综合调查组织代理LLMS.
基于大语言模型的多代理人:进展和挑战调查 [2024] ——涵盖剖析,沟通,增长机制.
多机构协作机制:对有限责任妇女的调查 [2025] ——审查基于LLM的多代理系统的辩论与合作战略.
AutoGen: 通过多代理对话启用下Gen LLM 应用程序 [2023] ——微软基础多代理框架文件.
ToolLLM:向主 16,000+ Real-World API 推广大语言模型 [2023, ICLR 2024]——列车LLMs使用大规模真实世界API收藏.
SWE-bench:语言模型能否解决现实世界的GitHub问题?. [2023, ICLR 2024] (英语). – 基准驱动代理编码进展.
Bench探员:评价作为代理人的LLMS [2023, ICLR 2024]——跨越8个环境的基准.
PAL: 方案辅助语言模型 [2023] ——向代码口译员卸载计算.

多式联运促进

多种大语文模式的视觉提示:调查 [2024] – 关于MLLMs中视觉提示方法的第一次全面调查.
在 TPT-4V 中设定 Mark 启动 unleashes 特殊视觉定位 [2023] ——视觉标志显著改善视觉地面.
远景-语言任务中多式联运大语文模式的综合调查和指南 [2024] ——封面文字,图像,视频,音频MLLMs.
语文模式中思维理由的多式联运链 [2023]
从快速工程到快速工艺 [2024] (中文(中国大陆) ). —— 设计-研究观点即时”工艺”用于传播模型.

结构化输出和格式控制

让我自由说话? 关于格式限制对法学硕士成绩的影响的研究 [2024] – 审视产出对结构化格式的制约如何影响推理性能.
批量提示:与 LLM API 的有效推论 [2023]
结构化提示:将内容内学习扩大到1,000个实例 [2022]

快速注射和安全

将迅速注射攻击和防御正规化并设定基准 [2023, USENIX Security 2024]——对10个LLMs的5次攻击和10次防御进行系统评价的正式框架.
指令等级:对专有指令进行优先排序的培训 [2024] (中文(简体) ). OpenAI注射防守重点等级训练.
Agent Dojo:评估快速注射攻击和防御的动态环境 [2024] (中文(中国大陆) ). —— 现实主义代理人假设基准.
InjecAgent:工具综合LLM代理中间接快速注射的基准 [2024]
密钥: 防急注射与优化优惠 [2024] (中文(简体) ). —— DPO基于国防.
WASP:针对迅速注射的网络代理安全基准 [2025] ——网络/计算机使用代理的安全基准.
多热破狱 [2024] — 扩大长文本窗口中的有害例子,使越狱成为可能(Anthropic Technical Report)。
《宪法》AI:大赦国际反馈的无助 [2022]
忽略上一个提示: 语言模型攻击技术 [2022]
人工情报和网络安全:2024-2025年有记录的风险、企业护卫和新出现的威胁 [2025] ——以实际治理即时模式调查真实的即时注射事件.

即时工程的应用

重写和回应:让大语言模型为自己提出更好的问题 [2023]
多语种法律判决快速工程 [2023]
与副驾驶商谈:探索快速工程解决 CS1 问题 [2022]
常识- 提醒可控安乐对话生成 [2023]
PLACES:促进社会对话的语言模式综合 [2023]
使用变形器编码器和即时学习的医学图像分割:系统审查 [2025]
TableRAG: 异质文档检索增强生成框架 [2025] ——基于SQL的界面维护多跳查询的表格结构.

文本到图像生成

文字对音乐/音频生成

基础文件(2024年前)

这些文件确立了现代迅速工程所基于的核心概念:

语言模型是少有热学习者(GPT-3) [2020] — 以规模显示的几枪提示.
前缀图解:优化连续提示生成 [2021]
参数有效快速调试的尺度功率 [2021]
大型语言模型的快速编程: 超越极少数语域 [2021]
显示您的工作 : 用语言模型进行中间计算。 [2021]
创造知识促进常识理性 [2021]
让预训语言模式更好少拍学习者 [2021]
自动Prompt: 自动生成提示的语文模型中以 Eliening Knows [2020]
我们怎么知道什么语言模型知道? [2020]
用 ChatGPT 增强快速工程的快速模式目录 [2023]
合成提示:为LLMS创建思维链演示 [2023]
进步提示:语言模型的继续学习 [2023]
连续催促解决复杂问题 [2022]
分解提示: 解决复杂任务的模块方法 [2022]
ExpointChainer:通过视觉编程将大语言模型连接到链路 [2022]
Ask me anything: 提示语言模型的简单策略 [2022]
将 GPT-3 提示为可靠 [2022]
第二个想法,让我们不要思索一步! 零发热原因中的偏差和毒性 [2022]

工具和代码

🔧

快速管理和测试

名称	说明	链接
Promptfoo	用于测试,评价的开源CLI,以及红色的LLM提示. YAML 配置, CI/CD 集成,对抗性测试. ~9K+ → QQ	GitHub
Promptify	解决 NLP LLM 和易生成不同的 NLP 任务提示的问题, 用于流行的基因模型, 如 GPT, PaLM , 以及更多与 Superify 相关的	[Github]
Agenta	开源LLM开发者平台,用于及时管理,评价,人反馈,部署.	GitHub
PromptLayer	版本,测试,并监控每个快速和具有强力电压的剂,追踪,回归集.	Website
Helicone	生产及时监测优化平台.	Website
LangGPT	结构化和元即时设计的框架。 10K+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++	GitHub
ChainForge	用于构建,测试,和比较LLM的视觉工具包在没有代码的情况下迅速响应.	GitHub
LMQL	用于 LLMS 的查询语言, 使复杂的快速逻辑可编程。	GitHub
Promptotype	开发、测试和管理结构化LLM提示的平台。	Website
PromptPanda	AI动力的即时管理系统,用于精简即时工作流程.	Website
Promptimize AI	浏览器扩展以自动改进任何AI模型的用户提示.	Website
PROMPTMETHEUS	基于网络的”Prompt Engine IDE”用于迭代创建和运行的提示.	Website
Better Prompt	LLM的测试套件在推动生产前会提示.	GitHub
OpenPrompt	即时学习研究的开源框架.	GitHub
Prompt Source	用于创建、分享和使用自然语言的工具包提示。	GitHub
Prompt Engine	用于创建和维护LLMS(微软)提示的国家预防机制工具库。	GitHub
PromptInject	关于LLM稳健性与对抗性即时攻击的定量分析框架。	GitHub
LynxPrompt	管理AI IDE配置文件的自宿平台(.cursorrules,CLAUDE.md,副驾驶指令.md). Web UI, REST API, CLI, 以及30+AI编码助理的联邦蓝图市场.	GitHub
flompt	Visual AI 快速构建器能分解导出12个语义块(作用,上下文,约束,实例等),并将其编译为优化的XML. ChatGPT/Claude/Gemini的浏览器扩展,以及克劳德代码代理商的MCP服务器. 自由开源.	Website

LLM 评价工具

名称	说明	链接
DeepEval	开放源代码评价框架,涵盖RAG、代理商和与CI/CD集成的对话。	GitHub
Ragas	RAG评价采用基于知识的测试集生成和30+ 度量衡. ~8K+ ~QQ	GitHub
LangSmith	LangChain的平台用于调试,测试,评价,以及监测LLM应用.	Website
Langfuse	开源LLM的可观察性,有追踪性,即时管理性,以及人类注释性. ~7K+ + ⭐.	GitHub
Braintrust	端对端AI评价平台,SOC2型II认证.	Website
Arize AI / Phoenix	实时LLM监测与漂流探测和追踪.	GitHub
TruLens	评价和解释LLM应用;跟踪幻觉,相关性,立足性.	GitHub
InspectAI	参照基准评估代理人的目的(联合王国AISI)。	GitHub
Opik	评估、测试和船舶的LLM应用,跨越dev和生产生命周期。	GitHub
EvalView	用于测试带有YAML测试案例的多步骤AI剂,回归检测,以及生产监测的CLI工具.	GitHub

代理框架

名称	说明	链接
LangChain / LangGraph	最广泛采用的LLM App框架;LangGraph增加了基于图表的多步代理工作流程. ~100K+ /~10K+ + ⭐	GitHub · LangGraph
CrewAI	角色扮演AI代理管弦乐与700+集成. ~44K+QQ	GitHub
AutoGen (AG2)	微软多代理对话框架. ~40K+ + + ⭐	GitHub
DSPy	斯坦福的LLMs编程框架带有自动即时/重量优化. ~22K+ + + ⭐	GitHub
OpenAI Agents SDK	官方代理框架,功能调用,护栏和交割. ~ 10K+ + + ⭐	GitHub
Semantic Kernel	微软的AI框架为M365副驾驶提供动力;C#,Python,Java. ~24K+QQ	GitHub
LlamaIndex	RAG和代理能力的数据框架。 ~40K+ + + ⭐	GitHub
Haystack	开源NLP框架,具有RAG和代理的管道架构. ~20K+ + + ⭐	GitHub
Agno (formerly Phidata)	Python代理框架带有微秒即时. ~20K+ + + ⭐	GitHub
Smolagents	Hugging Face的最小化代码中心代理框架(~1000 LOC). ~15K+ ~~	GitHub
Pydantic AI	使用 Pydantic 进行结构化验证的型式安全剂框架。 ~ 8K+ QQ	GitHub
Mastra	TypeScript AI代理框架与助手,RAG,和可观察性. ~20K+ + + ⭐	GitHub
Google ADK	Agent Development Kit与双子座和谷歌云深度融合.	GitHub
Strands Agents (AWS)	具有深度AWS集成的模型-不可知性框架.	GitHub
Langflow	基于节点的视觉代理构建器,带有拖放功能. ~50K+ QQ	GitHub
n8n	具有AI代理能力和400+集成功能的工作流自动化. ~60K+ + + ⭐	GitHub
Dify	具有工具使用代理和RAG的代理工作流程全能后端.	GitHub
PraisonAI	多AI级具有100+LLM支持的代理框架,MCP集成,以及内置内存.	GitHub
Neurolink	多供应商AI代理框架将12+供应商与工作流程协调统一起来.	GitHub
Composio	用零设置连接100+工具到AI代理.	GitHub

快速优化工具

名称	说明	链接
DSPy	多个优化器(MIPROv2,BootstrapFewShot,COPRO)用于自动即时调频. ~22K+ + + ⭐.	GitHub
TextGrad	通过文本自动区分( Stanford). ~2K+ QQ	GitHub
OPRO	Google DeepMind通过提示优化.	GitHub

红队和快速安保

名称	说明	链接
Garak (NVIDIA)	LLM脆弱性扫描仪用于幻觉、注射和越狱——“LLMs的地图”。	GitHub
PyRIT (Microsoft)	用于自动红调的 Python 风险识别工具。 ~ 3K+ QQ	GitHub
DeepTeam	40+脆弱性,10+攻击方法,OWASP Top 10支持.	GitHub
LLM Guard	LLM I/O验证的安全工具包。 ~2K+ + QQ	GitHub
NeMo Guardrails (NVIDIA)	对话系统可编程的护栏。 ~ 5K+ QQ	GitHub
Guardrails AI	定义严格的输出格式(JSON schemas)以确保系统可靠性.	Website
Lakera	AI安全平台实时即时注射检测.	Website
Purple Llama (Meta)	开源LLM安全评价包括CyberSecEval.	GitHub
GPTFuzz	自动越狱模板生成,成功率大于90%。	GitHub
Rebuff	用于检测和预防迅速注射的开源工具。	GitHub
AgentSeal	“开源扫描仪运行150个攻击探测器测试AI剂快速注射和提取弱点”.	GitHub

MCP(示范背景议定书)

MCP是Anthropic(Nov 2024,捐赠给Linux Foundation Dec 2025)开发的开放标准,用于通过标准化接口连接AI助手与外部数据源和工具. 它已经 97M+月度SDK下载 并被GitHub,Google,以及大多数主要的AI供应商采用.

名称	说明	链接
MCP Specification	核心协议规格和 SDK. ~15K+ + →	GitHub
MCP Reference Servers	官方执行:获取,文件系统,GitHub,Slack,Postgres.	GitHub
FastMCP (Python)	用于构建 MCP 服务器的高级 Pythonic 框架. ~ 5K+ → QQ	GitHub
GitHub MCP Server	GitHub的官方MCP服务器用于repo,发行,PR,和Actions交互. ~ 15K+ + + + 个	GitHub
Awesome MCP Servers	10000+社区MCP服务器解析列表. ~30K+ + + ⭐	GitHub
Context7	MCP服务器提供特定版本文档以减少代码幻觉.	GitHub
GitMCP	通过更改域为任何 GitHub repo 创建远程 MCP 服务器。	Website
MCP Inspector	MCP服务器开发的视觉测试工具.	GitHub

Vibe 编码和AI 编码助理

🟢 = 开源 · 🔵 = 商业版 · 🟣 = 开源 + 商业版（开放核心，付费云端/API）

基于CLI的编码代理商

终端本地代理工具,可以理解您的代码库并执行多步任务.

名称	说明	类型	链接
Claude Code	Anthropic的代理编码CLI;通过自然语言理解完整的代码库并执行复杂的多步骤任务.	🔵	Docs
OpenAI Codex CLI	OpenAI的开源终端编码代理;轻量级,本地第一,带有沙箱代码执行. ~68K+ + + + ⭐	🟣	GitHub
Gemini CLI	Google的开源终端AI代理,带有1M-token上下文窗口和Google搜索地面. ~96K+ + + ⭐	🟣	GitHub
Qwen Code	开源终端AI代理优化了Qwen3-Coder;多protocol支持(OpenAI/Anthropic/Gemini API),1000个免费请求/天. ~21K+ QQ	🟢	GitHub
Aider	AI配对编程在终端中带有深Git集成;映射整个代码库和自动承诺变化. ~42K+ QQ	🟢	GitHub
OpenCode	强大的开源AI编码代理与美丽的TUI;支持几乎所有的AI模型提供者. ~120K+ + + ⭐	🟢	GitHub
Goose	Block(Square/Cash App)的可扩展开源AI代理;安装,执行,编辑,并使用任何LLM进行测试. ~29K+ QQ	🟢	GitHub
Crush	来自Charmbracelet的Glamoroous代理编码代理,多模式支持,LSP集成,以及美丽的终端UI. ~9K+ QQ	🟢	GitHub
Amazon Q Developer CLI	从AWS到终端的代理聊天体验;向Kiro CLI过渡.	🟣	GitHub
Amp	sourcegraph的代理编码工具(Cody second);作品跨越CLI和IDE.	🔵	Website
Junie CLI	JetBrains的LLM-不可知编码代理CLI(β 2026);支持所有主要的模型提供者.	🔵	Website
Autohand Code CLI	自演自主终端编码代理,多提供LLM支持,40+工具,模块化技能系统.	🟢	GitHub

AI 代码编辑器/IDEs

独立编辑器或具有深度AI集成的IDE叉.

名称	说明	类型	链接
Cursor	主导AI-native代码编辑器(VS Code fork); 编曲器从自然语言生成整个应用程序,代理多文件编辑.	🔵	Website
Windsurf	AI动力的IDE(VS代码叉),拥有专有的Cascade代理和SWE-1.5型号;被认知AI收购.	🔵	Website
Zed	Rust中具有本地AI特性的高性能编辑器,Zeta编辑预测,代理客户端协议支持. ~77K+ QQ	🟢	GitHub
Trae	由ByteDance(“真AI工程师”)提供自由AI动力的IDE,具有Builder Mode;为克劳德,GPT-4o和DeepSeek提供免费访问.	🔵	Website
Google Antigravity	Google的代理-第一IDE(VS Code Fork),管理器视图,用于并行地协调多个代理;由双子座供电.	🔵	Website
Kiro	AWS的光谱驱动代理 AI IDE (VS Code fork); 将导句变为光谱,然后是工作码,docs,和测试.	🔵	Website
PearAI	开源AI代码编辑器(VS Code fork),带有基于Creep的聊天和完成. ~40K+ + + ⭐	🟢	GitHub
Void	开源光标替代(VS Code fork);任何模式或具有变化可视化的本地托管. ~28K+ + + ⭐	🟢	GitHub
Melty	开源聊天-第一AI代码编辑器,多文件编辑和深度Git集成. ~7K+QQ	🟢	GitHub
Emdash	开源代理dev环境(YC W26),用于在孤立的Git工作树平行运行多个编码代理.	🟢	GitHub

IDE 扩展/ 插件

VS代码,JetBrains,Neovim等编辑器的插件.

名称	说明	类型	链接
GitHub Copilot	最广泛采用的AI编码助手;内置完成,聊天,以及代理编码代理,跨越VS代码,JetBrains,Neovim.	🔵	Website
Cline	VS代码中具有自主编码代理,并经过人入Loop审批;文件编辑,终端命令,浏览器使用. ~59K+ + + + ⭐	🟢	GitHub
Continue	开源 VS 代码和 JetBrains 扩展用于创建自定义,模块化的 AI dev 系统;任何模型. ~32K+ ~	🟢	GitHub
Cody	Sourcegraph-power 的AI助手,从本地和远程代码库中调取上下文; VS代码, JetBrains, Visual Studio.	🔵	Website
Codeium	免费AI编码扩展40+IDE,完成,聊天,并搜索70+语言.	🟣	Website
Amazon Q Developer	AWS的AI编码助手有完成,内置聊天,代理模式;深AWS集成.	🟣	Website
Gemini Code Assist	Google的IDE扩展由双子座供电,并附有完成,下版预测,以及内置diff;个人免费.	🟣	Website
Tabnine	以隐私为重点的人工智能助理接受了关于允许性许可开放源码软件的培训;支持所有主要的IDE部署。	🔵	Website
Augment Code	企业AI编码助理,拥有200K-token背景引擎,用于深层代码库的理解.	🔵	Website
Qodo	AI代码审查与具有多代理架构的质量平台;测试生成,代码审查,CI/CD执行.	🟣	Website
CodeGeeX	开源多语种代码生成模型支持20+语言有VS代码和JetBrains扩展. ~11K+QQ	🟢	GitHub
Tabby	自备的开源AI编码助理(Copilot Proference);运行完全在您的基础设施上. ~25K+ + + ⭐	🟢	GitHub

AI 编码平台/ 云代理

基于浏览器或云托管的自动构建、测试和部署的代理。

名称	说明	类型	链接
Devin	第一个完全自主的基于云的AI软件工程师;计划,代码,测试,并独立打开PR.	🔵	Website
Replit Agent	云内人工智能代理,可自主构建,测试,并部署全层的应用浏览器;50+语言.	🔵	Website
bolt.new	AI-powerweb dev代理;通过WebContainers在浏览器中直接启动,运行,编辑和部署全存储应用程序. ~ 15K+ + + + 个	🟢	GitHub
bolt.diy	社区叉螺栓. new 具有扩展的特性和更广泛的LLM灵活性. ~12K+ QQ	🟢	GitHub
Lovable	来自自然语言的全斯塔克应用软件有内置的Supabase,auth,和一击部署;最快的欧洲启动到20M ARR.	🔵	Website
v0	Vercel的AI平台用于生成高质量的React/Next. js 来自自然语言的UI组件。	🔵	Website
GitHub Copilot Workspace	云基编码环境与计划,脑暴,维修代理;包含付费的副驾驶计划.	🔵	Website
Firebase Studio	谷歌代理云开发环境.	🔵	Website

开源编码代理框架

构建自主编码代理的框架和研究项目.

名称	说明	类型	链接
OpenHands	领导云码代理的开源平台;始终在SWE-bench上. 原为 OpenDevin. ~69K+ +⭐	🟢	GitHub
SWE-agent	取一个 GitHub 问题,然后使用自定义代理-计算机接口自动修正. [NeurIPS 2024]~19K+ + ⭐	🟢	GitHub
Open SWE	LangChain的Aync云托管编码代理框架在LangGraph上建有Slack/Linear集成. ~8K+ + + ⭐	🟢	GitHub
Devika	开源代理软件工程师;破解指令,研究,写代码. Devin 选项。 ~ 18K+ + QQ	🟢	GitHub
AutoCodeRover	自主程序改进结合LLMS和故障本地化,用于GitHub问题解析. ~2.8K+ + + ⭐	🟢	GitHub
Agentless	解决软件开发问题的简单三阶段办法(局部化修理验证). ~2K+ ~.	🟢	GitHub
Devon	开源配对程序员SWE代理,具有代码编写,规划,和研究功能;支持克劳德,GPT-4,Llama,Ollama. ~3.5K+ + + ⭐	🟢	GitHub

其他重要仓库

名称	说明	链接
Prompt Engineering Guide (DAIR.AI)	确定开源指南与资源枢纽. 3M+学习者. ~55K+ → QQ	GitHub
Awesome ChatGPT Prompts / Prompts.chat	世界最大的开源快速库. 所有主要模型的1000个提示。	GitHub
12-Factor Agents	建造生产级LLM动力软件的原则。	GitHub
NirDiamant/Prompt_Engineering	22 手操作 Jupyter 笔记本教程。 ~ 3K+ + QQ	GitHub
Context Engineering Repository	超越即时工程到背景设计的第一原则手册.	GitHub
AI Agent System Prompts Library	收集来自生产AI编码剂(Claude Code,双子座CLI,Cline,Aider,Roo Code)的系统提示.	GitHub
Awesome Vibe Coding	245+通过自然语言构建软件的工具和资源的解析列表.	GitHub
OpenAI Cookbook	用于提示、工具、RAG和评价的官方方法。	GitHub
Embedchain	在您的数据集上创建 ChatGPT 类似 bots 的框架。	GitHub
ThoughtSource	机器思维科学框架.	GitHub
Promptext	包含符号计数的 AI 提示的摘录和格式代码上下文。	GitHub
Price Per Token	比较200+模型的LLM API定价.	Website
OpenPaw	CLI 工具 (`npx pawmode`),通过生成带有个性,内存,以及38个技能路由器的系统提示(CLAUDE.md + SOUL.md),将Claude Code变成个人助理.	GitHub
Think Better	永久注入10个结构化决策框架(MECE, Issues Trees,Pre-Mortems)和12个认知偏差检测器的开源CLI输入AI助手提示. 去吧,麻省理工学院。	GitHub

APIs 图像

💻

开放AI

型号	背景情况	价格(每100兆令牌的输入/产出)	关键特性
GPT-5.2 / 5.2 Thinking	400K 车次	$1.75 / $14	最新旗舰,缓存折价90%,可配置推理
GPT-5.1	400K 车次	$1.25 / $10	上一代旗舰
GPT-4.1 / 4.1 mini / nano	1门	$2 / $8	最佳非理性模型,比GPT-4o快40%,便宜80%
o3 / o3-pro	200K 车次	变数	使用本地工具的理由模型
o4-mini	200K 车次	成本效益	快速推理,最好在AIME 成本类
GPT-OSS-120B / 20B	128K (英语).	$0.03 / $0.30	第一个开放量级模型, Apache 2.0

主要功能: 响应API,代理SDK,结构化输出,函数调用,即时缓存(90%折扣),批量API(50%折扣),MCP支持. 平台文档

安东尼( 克洛德)

型号	背景情况	价格(每100兆令牌的输入/产出)	关键特性
Claude Opus 4.6	1米(百达)	$5 / $25	最有力、最先进的编码和代理任务
Claude Sonnet 4.5	200K 车次	$3 / $15	最佳编码模式,61.4% OSWorld(计算机使用)
Claude Haiku 4.5	200K 车次	快速级	近境,最快的模范类
Claude Opus 4 / Sonnet 4	200K 车次	15美元/75美元(奥普斯)	Opus: 72.5% SWE-bench, Sonnet 4 功率 GitHub 副驾驶

关键特性: 扩展思维与工具使用, 计算机使用, MCP(由这里产生), 即时缓存, Claude Code CLI, 可在 AWS Bedrock 和 Google Vertex AI上查阅. API 文档

谷歌( 格米尼 )

型号	背景情况	价格(每100兆令牌的输入/产出)	关键特性
Gemini 3 Pro Preview	1门	$2 / $12	最聪明的谷歌模型,部署到2B+ 搜索用户
Gemini 2.5 Pro	1门	$1.25 / $10	最适合编码/代理任务、思维模式
Gemini 2.5 Flash / Flash-Lite	1门	$0.30/$1.50 · $0.10/$0.40	价格业绩领导者

主要功能:思考(所有2.5+模型),Google搜索定位,代码执行,Live API(实时音频/视频),上下文缓存. 谷歌 AI 工作室

梅塔 (拉玛语)

型号	建筑	背景情况	关键特性
Llama 4 Scout	109B 教育部/17B 活动	10分钟	适合单一的H100型、多式、开放式
Llama 4 Maverick	400B 教育部 / 17B 活跃,128名专家	1门	比GPT-4o, 开放重量
Llama 3.3 70B	语气	128K (英语).	装配Llama 3.1 405B

可在25+云伙伴,Hugging Face和推断API上找到. 拉玛

其他知名供应商

供应商	说明	链接
Mistral AI	Mistral Lige 3 (675B MOE), Devstral 2, Ministry 3. Apache 2.0.	Website
DeepSeek	V3.2(671B MOE),R1(理由,麻省理工学院许可证). 每1M个令牌0.15美元/0.75美元.	Website
xAI (Grok)	Grok 4.1 Fast: 2M上下文,每1M令牌0.20美元0.50美元.	Website
Cohere	指令A(111B,256K上下文),Embed v4,Rerank 4.0. (原始内容存档于2018-09-21). Excels at RAG.	Website
Together AI	200+开放型号,具有子100ms的耐用性.	Website
Groq	LPU硬件带有~300+令牌/sec推论.	Website
Fireworks AI	快速推论HIPAA+SOC2合规.	Website
OpenRouter	统一 API 用于所有提供者的300+模型.	Website
Cerebras	具有最佳总响应时间的瓦弗级芯片.	Website
Perplexity AI	以引用方式搜索获得的 API 。	Website
Amazon Bedrock	与克劳德,拉玛,米斯特拉尔,科赫尔管理多型服务.	Website
Hugging Face Inference	通过API访问开放模型.	Website

数据集和基准

💾

主要基准(2024-2026年)

名称	说明	链接
Chatbot Arena / LM Arena	6M+用户对Elo级配对LLM比较的投票. 人类偏好的实际标准。	Website
MMLU-Pro	12,000+研究生问题,涉及14个领域。 NeurIPS 2024 Spotlight. (原始内容存档于2018-09-29).	GitHub
GPQA	448”Google防守”STEM问题;非专家验证器只实现34%.	arXiv
SWE-bench Verified	人类验证500任务子集现实世界GitHub问题解析.	Website
SWE-bench Pro	1,865项任务遍及41个专业复赛;最佳模式得分只有~23%.	Leaderboard
Humanity’s Last Exam (HLE)	2500个经专家审查的问题;AI最高分只有~10–30%.	Website
BigCodeBench	1,140项编码任务跨越7个领域;AI实现~35.5%对97%的人类成功率.	Leaderboard
LiveBench	耐污染,并经常更新问题。	Paper
FrontierMath	研究级数学;AI只解决~2%的问题.	研究
ARC-AGI v2	抽象推理测量流体智能.	研究
IFEval	附有格式/内容限制的说明式评价。	arXiv
MLE-bench	OpenAI通过Kaggle风格的任务进行ML工程评价.	GitHub
PaperBench	评价AI从零开始复制20篇ICML 2024论文的能力.	GitHub

领导板和元基准

名称	说明	链接
Hugging Face Open LLM Leaderboard v2	在MMLU-Pro,GPQA,IFEval,MATH上评价开放模型.	Leaderboard
Artificial Analysis Intelligence Index v3	总计10项评价。	Website
SEAL by Scale AI	主办SWE-bench Pro和代理评价.	Leaderboard

快速和指令数据集

名称	说明	链接
P3 (Public Pool of Prompts)	用于训练T0和类似模型的270+NLP任务的快速模板.	HuggingFace
System Prompts Dataset	944 代理工作流程的系统快速模板(由丹尼尔·罗斯希尔著,2025年8月).	HuggingFace
OpenAssistant Conversations (OASST)	161,443条留言使用35种语言,获得461,292个质量评分.	HuggingFace
UltraChat / UltraFeedback	用于对齐训练的大型合成教学和偏好数据集.	拥抱脸
SoftAge Prompt Engineering Dataset	在10个类别中,有1 000个不同的激励因素,以制定快速业绩的基准。	拥抱脸
Text Transformation Prompt Library	综合收集文本转换提示(2025年5月).	拥抱脸
Writing Prompts	~300K人文故事配对 r/WritingPrompts的提示.	Kaggle
Midjourney Prompts	文本提示和图像 URL 从MidJourney的公开Discord中刮去.	HuggingFace
CodeAlpaca-20k	2万个编程指令输出对.	HuggingFace
ProPEX-RAG	用于快速优化RAG工作流程的数据集.	拥抱脸
NanoBanana Trending Prompts	1000+曲解的AI图像提示来自X/Twitter,按照约定排名.	GitHub

红色组合和逆向数据集

名称	说明	链接
HarmBench	510 跨越标准、背景、版权和多式联运类别的有害行为。	Website
JailbreakBench	打开100个速率的越狱标准	研究
AgentHarm	110个恶意代理任务跨11个伤害类别.	arXiv
DecodingTrust	243 877 促使从8个角度评价可信度。	研究
SafetyPrompts.com	聚合物跟踪50+安全/红组数据集.	Website

模型

🧠

边疆模式(2025-2026)

型号	供应商	背景情况	键强
GPT-5.2	开放AI	400K 车次	一般情报,100% AIME 2025
Claude Opus 4.6	人类	1米(百达)	编码、代理任务、扩展思维
Gemini 3 Pro	谷歌	1门	#1 LMArena(~1500 Elo),多式联运
Grok 4.1	页:1 大赦国际	2分钟	#2 LMARENA(1483 Elo),低幻觉
Mistral Large 3	迷雾AI	256K (韩语)	最佳露天重量(675B MoE/41B 活动), Apache 2.0
DeepSeek-V3.2	深层搜索	128K (英语).	最佳值(671B MoE/37B 活动),麻省理工学院许可证
Llama 4 Maverick	元数据	1门	比GPT-4o(400B MOE/17B 活动),开放重量

理由模型

型号	密钥细节
OpenAI o3 / o3-pro	87.7%的GPQA钻石. 原始工具的使用。
OpenAI o4-mini	最佳的AIME成本课与视觉推理。
DeepSeek-R1 / R1-0528	开放量产,RL训练. AIME 2025上87.5%. 麻省理工学院执照
QwQ (Qwen with Questions)	32B推理模型. 阿帕奇2.0 (英语). 与R1相当.
Gemini 2.5 Pro/Flash (Thinking)	内设推理与可塑思维预算.
Claude Extended Thinking	有可见的思想链和工具使用的混合模式.
Phi-4 Reasoning / Plus	14B推理模型与更大的模型相对应. 开放量级.
GPT-OSS-120B	OpenAI的开放量级与CoT. 近等量级与o4-mini. 阿帕奇2.0 (英语).

显著的开源模型

型号	供应商	密钥细节
Qwen3-235B-A22B	阿里巴巴	旗舰MOE. 强推理/代码/多种语言. 阿帕奇2.0 (英语). 大部分下载的家庭在HuggingFace.
Gemma 3	谷歌	270M至27B. 多式联运. 128K语境. 140+语言.
OLMo 2/3	艾伦·艾尔	完全开放(数据、代码、重量、日志)。 OLMo 2 32B超越GPT-3.5. Apache 2.0.
SmolLM3-3B	拥抱的脸	超过Llama-3.2-3B. 双模式推理. 128K语境.
Kimi K2	月光摄影AI	32B活动. 开放量级. 适合编码/代理使用。
Llama 4 Scout	元数据	109B MOE/17B 活跃. 10M令牌上下文. 符合单H100.

代码专用模式

型号	密钥细节
Qwen3-Coder (480B-A35B)	69.6% SWE-bench——开源编码的里程碑. 256K 语境. 阿帕奇2.0 (英语).
Devstral 2 (123B)	72.2% SWE-bench 验证. 7x比克劳德·索内更具有成本效益.
Codestral 25.01	米斯特尔的代码模型. 80+语言. 满中供养.
DeepSeek-Coder-V2	236B MOE / 21B 活动. 338编程语言.
Qwen 2.5-Coder	7B/32B. 92编程语言. 88.4% HumanEval. Apache 2.0.

基础模型(历史参考)

这些模式确立了关键概念,但基本上被取代,以供实际使用:

型号	供应商	意义
GLM-130B	清华	开放式双语英语/中文LLM(2023)
Falcon 180B	暂定	大型开放基因模型(2023)
Mixtral 8x7B	迷雾AI	开放型号的首选MOE架构(2023)
GPT-NeoX-20B	埃留特里亚	早期打开自旋LLM
GPT-J-6B	埃留特里亚	早期开放因果语言模型

AI 内容检测器

🔎

主要商业探测器

名称	准确性	关键特性	链接
GPTZero	99%的索赔	10M+用户,G2上#1 (2025). 探测到GPT-4/5,双子座,克劳德,拉玛. 免费等级。	Website
Originality.ai	98-100%(经同行审查)	一贯评分最准确. 结合AI检测+盗版+事实检查. 从14.95美元/月。	Website
Turnitin AI Detection	关于未修改的AI文本的98%+	学术界的主导地位。 AI通过通行证/人造探测器启动(2025年8月)。机构许可.	Website
Copyleaks	99%+索赔	企业工具检测30+语言的AI. LMS整合.	Website
Winston AI	99.98%的索赔	扫描文件的OCR,AI图像/深假检测. 11种语言.	Website
Pangram Labs	99.3%(2025年)	在COLLING 2025共享任务中得分最高. 100%TPR在”人性化”文本上. 97.7%的对抗力强.	Website

自由与研究探测器

名称	说明	链接
Binoculars	开源研究探测器使用两个LLMs之间的交叉复杂度.	arXiv
DetectGPT / Fast-DetectGPT	统计方法比较原始文本与扰动的对数概率.	arXiv
Openai Detector	表示 AI 书面文本的 AI 分类器( OpenAI 探测器 Python 包装器)	[GitHub]
Sapling AI Detector	基于浏览器的自由检测器(最多2000个字符). 一些研究的准确度为97%.	Website
QuillBot AI Detector	免费,不需要注册。	Website
Writer AI Content Detector	带有颜色编码结果的自由工具。	Website
ZeroGPT	在多个学术研究中评价了大众自由探测器.	Website

水标记办法

名称	说明	链接
SynthID (Google DeepMind)	通过统计标志样本为AI文本、图像和音频进行水印。在谷歌产品中部署.	Website
OpenAI Text Watermarking	截至2025年已开发但仍属实验性. 研究表明存在脆弱性问题。	实验

重要说明: 没有探测器声称100%准确. 人类/AI混合文本仍然最难检测(50-70%的准确性)。反常稳健程度差异很大. 预计到2035年AI检测市场将从~2.3B(2025年)增长到15B.

书籍

📖

即时工程

标题	作者	出版商	年份
Prompt Engineering for LLMs	约翰·贝里曼和阿尔伯特·齐格勒	奥赖利	2024
Prompt Engineering for Generative AI	詹姆斯·菲尼克斯和迈克·泰勒	奥赖利	2024
Prompt Engineering for LLMs	托马斯·卡尔德韦尔(Thomas R.	独立	2025

LLM 应用程序开发

标题	作者	出版商	年份
AI Engineering: Building Applications with Foundation Models	齐普·阮	奥赖利	2025
Build a Large Language Model (From Scratch)	塞巴斯蒂安·拉斯奇卡	人员配置	2024
Building LLMs for Production	路易-弗朗索瓦·布沙尔德和路易·彼得斯	奥赖利	2024
LLM Engineer’s Handbook	保罗·伊乌什廷和马克西姆·拉邦	包装	2024
The Hundred-Page Language Models Book	安德里·布尔科夫	自写	2025

AI 代理人

标题	作者	出版商	年份
Building Applications with AI Agents	迈克尔·阿尔巴达	奥赖利	2025
AI Agents and Applications	罗伯托·伊凡特	人员配置	2025
AI Agents in Action	迈克尔·兰汉姆	人员配置	2025

生产、可靠性和安全

标题	作者	出版商	年份
LLMs in Production	克里斯托弗·布鲁梭和马修·夏普	人员配置	2025
Building Reliable AI Systems	拉什·沙哈尼	人员配置	2025
The Developer’s Playbook for LLM Security	史蒂夫·威尔逊	奥赖利	2024

课程

👩‍🏫

免费短期课程

ChatGPT 开发者的快速工程 ——由安德鲁·恩格和OpenAI的伊莎·富尔福共同执教. 基础起点. (深学. (大赦国际)
用 ChatGPT API 构建系统 ——生产多步LLM系统设计. (深学. (大赦国际)
LangGraph的AI探员 ——具有工具使用和研究代理的代理数据流. (深学. (大赦国际)
用 LlamaIndex 建造代理RAG ——RAG研究代理建设. (深学. (大赦国际)
LangChain 的函数、工具和代理人 - 职能呼叫和代理大楼。 (深学. (大赦国际)
视觉模型快速工程 ——视觉提示技术. (深学. (大赦国际)

大学和平台课程

快速工程专业(范德比尔特) - 儒勒博士的三期系列课程白色覆盖到高级PE(Coursera)
带有LLMs的基因AI(深入学习.AI + AWS) ——LLM生命周期,变压器,RLHF,部署. (科塞拉语)
斯坦福 CS336: 从Scratch进行语言建模 ——构建LLM端对端. (斯坦福, 2024–2026).
MIT 6.S191:深入学习介绍年度课程,包括法学硕士和遗传学硕士(麻省理工学院,2024-2026年)
AI Bootcamp的完整快速工程 ——覆盖GPT-5,DSPy,LangGraph,代理架构. 58K+收视率. (Udemy,2026年2月更新)

免费平台课程

谷歌提示要点 ——5步快速设计,元速成,双子座. 不到6小时
微软 Azure AI 基本原理:基因AI ——覆盖LLMS的自由学习路径,提示,代理,Azure OpenAI.
拥抱面部LLM课程 ——社区驱动课程覆盖变压器,微调,建设推理模型.
抱面AI代理课程 ——代理理论到实践. 100K+注册学生.

学习快速课程

教学和指南

📚

官方提供者指南

OpenAI 即时工程指南 ——全面,涵盖GPT-4.1/5提示,推理模型,结构化输出,代理工作流程. 不断更新。
OpenAI GPT-4.1 提示指南 [2025] — 结构化代理式的即时设计:目标持续,工具集成,长文本处理.
Anthropic 快速工程概览 ——迭代即时设计,XML标记,思维链,角色分配. 包括即时发生器。
Claude 4 最佳做法 [2025–2026] — 并行工具执行,思维能力,图像处理.
Anthropic:AI代理的有效背景工程 [2025] ——从即时工程向上下文工程的演变:代理状态,内存,工具,MCP.
Google 双子座加速策略 ——多模式通过Vertex AI和AI Studio催化双子座.
Azure AI工作室的微软快速工程 ——工具调用,功能设计,几发提示,即时连锁.

社区和独立指南

即时工程指南(DAIR.AI/即时指南.ai) ——最全面的开源指南. 18+ 技术,模型特定指南,研究论文. 3M+学习者. 现在包括上下文工程.
学习提示( learnprompting. org) ——结构化自由平台. 开始进入高级PE,AI安全,HackAPrompt竞技.
IBM 2026 快速工程指南 [2026] – 被破解的工具,教程,带有Python代码的现实世界实例.
Anthropic 交互式教学 9章的Jupyter笔记本课程,并进行实际练习。
Lilian Weng的快速工程指南 [2023] (中文(简体) ). OpenAI研究者高敬重技术博客.
谷歌快速工程指南(68页PDF) [2025] (中文(中国大陆) ). – 内部风格双子座最佳实践指南具体模式.
数字海洋:即时工程最佳做法 [2025] ——更新指南总结技术:少拍,连环思考,角色提示等.
Aakash Gupta: 2025年快速工程 [2025] ——智慧地从OpenAI, Shopify,和Google的航运AI提供实用指南.
与 OpenAI API 同步工程的最佳做法 ——OpenAI介绍性最佳做法.
OpenAI 烹饪本 ——函数调用,RAG,评价,和复杂工作流程的官方配方.
微软提示工程文档 ——微软开放即时工程资源.
DALLE 提示书 ——文字对图像提示的视觉指南.
最佳100+稳定扩散提示 ——社区定制图像生成提示.
维贝工程(曼宁) ——Tomasz Lelek & Artur Skowronski关于通过自然语言提示构建软件的书.

视频

🎥

Andrej Karopathy:“深潜入LLMs”和”我如何使用LLMs” [2024–2025] — 2024–2025年最有影响力的AI视频中的两部. 综合技术深度潜水,然后是实际使用模式。
Karopathy:“AI时代的软件”(YC AI创业学校) [2025] – Coined”vibe Coding”(2025年2月),并卫冕”context工程”(2025年6月).
Karpathy:神经网络:0对英雄. [2023–2024] (中文(中国大陆) ). – 从反传播到GPT的完整讲座系列建筑.
3 Blue1Brown:神经网络系列 [更新2024]——对变压器和注意力机制的图标动画视觉解释. 7M+订户.
大赦国际解释 [2024–2025]——长式分析破解论文,模型能力,以及PE发展.
萨姆·维特维温 [2024–2025]——关于即时工程的实用辅导,LangChain,RAG,和代理.
马修·伯曼 [2024–2025] (中文(简体) ). – 覆盖模型发布和实用LLM使用的大众频道. 600K+订户.
深层学习. AI YouTube [2024–2026] — 结构化课程,课程预览,以及安德鲁·恩格关于特工和AI职业的演讲.
莱克斯·弗里德曼·波德卡斯(英语:Lex Fridman Podcast)(AI Episodes). [2024–2025]——与阿尔特曼,欣顿,阿莫代在LLMS上的长式访谈,提示,和安全.
ICSE 2025: AIware 即时工程教学 [2025] ——会议教程,涵盖即时模式,脆弱性,反标,优化DSL.
CMU 高级 NLP 2022: 提示 ——关于激励方法的基础学术讲座.
ChatGPT: 初学者的5个快速工程秘诀 ——初学者可访问的介绍.

社区

🤝

Discord 服务器

学习提示 ——4万人以上成员. 最大的PEDiscord有课程,黑客座,HackAPrompt比赛.
提示解析器 - 社区
中途岛 1M+成员。文字对图像快速共享的主中枢.
OpenAI 磁盘官方社区有GPTs、Sora、DALL-E和API的渠道。
Anthropic Discord (英语) ——官方克劳德社区开展AI发展协作.
拖动面部装饰 ——示范讨论,图书馆支持,社区活动.
流动GPT ——33K+成员. 100K+提示横跨ChatGPT,DALL-E,稳定扩散,克劳德.

编辑

r/Prompt工程设计专门用于迅速制作技巧和讨论。
r/乍得 -10M+成员。 ChatGPT用户和即时共享的主要中枢.
r/ 当地LLAMA ——高技术界在当地运行开源有限责任公司。
r/克劳代艾 ——Anthropic’s Claude社区:即时分享,API提示,模型比较.
r/机械学习 ——面向学术的ML研究讨论.
r/开放AI ——OpenAI产品与API讨论.
r/稳定分配 ——450K+成员进行AI艺术提示和工作流程.
r/ChatGPTPromptGenius (英语). ——35K+成员共享和提炼提示.

论坛和平台

OpenAI 开发者社区 ——API帮助官方论坛,最佳做法,项目共享.
拥抱面部社区 ——开源AI协作枢纽.
Deplearning.AI社区 - 为学习者举办论坛,讨论课程和AI职业。
减错关于AI能力和安全的深入技术职位。
AI 对齐论坛 ——专项调整研究讨论.
锡维泰 ——Generative AI创建者平台,用于共享模型,LORAS,和提示.

GitHub 组织

兰彩 ——开源LLM应用框架. 100K+恒星. 星报.
提示板 - 基因模型 − 快速工程 → LLMS
拥抱的脸 ——中央枢纽:变形器,迪夫用户,数据集,TRL.
DSPY (斯坦福 NLP) (德语). ——壮大社区,实现系统即时优化.
开放AI ——开源模型,基准,工具.

自主研究和自我改进代理人

自定义真棒的自动研究 · 最后同步:2026-10-03

一般目的后裔

Kayba-ai/再矫正改进 ——递归自我改进框架特工捕捉执行痕迹,分析故障模式,并应用目标固定的保存或回转评价.
vukrosic/自动研究 ——只用于开放自主AI研究实验室的Docs控制平面——基于文件的人类方向和代理执行操作模型.
研究/自动研究 ——克劳德代码技能,将自动研究归纳为软件,文件,安全,运输,调试等可测量目标的可重复使用的循环.
leo-lilinxiao/代码自动研究 ——代码本地自动研究技能,具有恢复支持,课跨运行,可选的平行实验,以及特定模式的工作流程.
Junjunjunbong/研究-开发 ——自动研究风格的Codex和Claude Code的Agent Skill,具有决定力的跑者,计划-hash批准,孤立的Git工作树,权威的度量评价,以及仅附图的实验分类账.
谢玉来/斯特尔 ——治理实验框架,其中编码代理编辑训练代码并运行回合,同时任务,计分员,证据保持不变.
种子AI/Thoth(美国) ——Dashboard-First Claude Code和Codex运行时间用于自动研究,有耐用运行,锁定的工作项目,可见的分类账,以及可复审的判决.
超小型/超小型自动研究 - 双子体CLI技能,将自动研究普及到任何可衡量的目标。双子座本地化:将Google搜索定位作为环内部的现场验证源,真实的无头夜模式通过-yolo-prompt,和1M令牌上下文. 通过.代理/技能/在反重力IDE工作。
davebcn87/皮-自动研究 — pi 扩展加仪表板,用于持续的实验循环,活度度度量,信心跟踪,以及可重复的自动研究会话.
驱动线研究/自动研究-密码 — Claude 代码插件/技能端口 pi-autoresearch,具有清洁实验-loop工作流程和混凝土生物力学案例研究.
灰色黑发/自动折叠文本 ——闭路控制平面,用于重复的剂检改进,具有评价,持续的知识,舞台验证,可选蒸馏到更便宜的本地运行时间.
Necmttn/ 轴 —— AI编码剂的局部回转循环:捕捉会话痕迹,将反复的摩擦变成建议,并跟踪被接受的修补作为实验.
日米利诺维奇/目标-md ——将自动研究归纳为 GOAL.md 用于重置的图案,其中制剂必须首先构建可测量的健身功能,然后才能优化。
James-s-tayler/懒惰-开发者 ——克劳德代码技巧,以GOAL.md为引擎,对优化目标(覆盖,测试速度,构建速度,复杂性,LOC,性能)的先后顺序进行自动研究. 支持独立和拉尔夫模式的多事件执行.
可变状态/自动研究 ——上游自动研究的合作叉,增加了实验要求,共享最佳配置同步,假说交换,以及许多单GPU代理体的群态协调.
zkarimi22/自动研究-任何东西 ——普及自动研究 任何可衡量的衡量标准 ——系统提示,API性能,登陆页,测试套件,配置调谐,SQL查询. “如果能测量,可以优化”.
Entrpi/自动研究- 各地 ——跨平台扩展自动检测硬件配置并启动循环. 自动研究的”格鲁和概括”一半.
申兰湖/ADS — 代理系统自动化设计 ——ICLR 2025 (英语). Meta -agents通过代码编程来发明小说代理架构.
马克西姆·罗贝恩斯/自己_改进_编码_代理人 — 中美洲一体化体系:自我改进编码编辑自己密码库的特工 ICLR 2025讲习班论文,演示脚手架水平自我改进编码基准.
Peterskoett/自我改进代理人 ——具有反思和元学习周期的替代性自我改进代理架构.
元发/高棉 — 赫克斯利-格德尔机器 为编码代理——通过元级优化对SWE-bench性能进行自我改进.
热巴艾/热巴 — GEPA(遗传-帕雷托) ——ICLR 2026口述. 反映迅速演变,在基准上超过RL(GPRO)。利用自然语言反射来优化任何文本参数与任何度量参数。
气象/气象技术 ——编码代理的自动技能发现:根据基准,从故障的轨迹发展出可重复使用的技能和提示,支持Claude Code,Codex CLI,OpenCode,OpenHands,和Goose.
塞帕先生/自动演变 ——GEPA启发自玩的自动研究:突变代码策略,评价头对头,率与Elo/Bradley-Terry,来自Pareto前线的分支. 特工读取了目标突变的痕迹克洛德密码技术
HKUDS/法律小组 ——自动研究的特工群情报——产出平行的GPU研究方向,在物剂间分配工作,汇总结果.
管弦乐研究/AI-研究-SKILLS ——综合技能库,包括自动研究管弦乐与双室架构(内优化+外合成).
韦科AI/Aideml — AIDE 数据交换系统:树搜索ML工程代理,通过迭代代码生成和评价,自主改进模型性能.
韦科.艾 — 韦可: 具有可观察性,实验跟踪,以及管理运行的AIDE的云平台——将自动搜索循环带入生产.

研究代理系统

瞄准板/自动研究法 ——端到端的研究管道,将一个话题转化为文献审查,实验,分析,同行评审,以及纸质草稿;范围比自动研究要广,但显然属于同一分支.
露天/律师 ——开源研究工作空间,设有相继的构想对纸管和集成自动研究工具包.
OpenRaiser/ 纳诺研究 ——端对端自主研究引擎,负责计划实验,生成代码,在当地或SLURM上运行工作,分析真实结果,并以这些产出为基础撰写论文.
高山公园/韩国 — ARK(自动研究包): 想法+会场 → 纸质管道管弦乐 6个代理 – 提案分析,文献搜索,Slurm实验,LaTeX起草,迭代同行评审. 通过CLI,网络仪表板或Telegram控制.
Wanshuiyin/Auto-claude-code-研究-睡眠 ——Claude Code和其他代理商的Markdown-first研究工作流程,以自主文献审查,实验,纸质迭代,跨模型批判为中心.
天狼星/自动科学 ——维基百科中以克洛德代码为主的全生命周期研究平台,实现卡纳西的LLM-维基愿景. 20+技能覆盖全循环:摄入想法新颖检查实验设计/运行/eval 写纸. 研究状态生活在结构化的知识wiki中,并带有互动图.
西比尔-研究小组/自动研究-西比尔系统 ——完全自主的AI科学家基于克劳德代码,具有明确的自动研究线条,多代理研究迭代,GPU实验执行,以及自演的外环.
wjc2830/Easy-AutoResearch- for-Deeplearning (中文(简体) ). ——Claude Code技巧操作一种自动研究风格的,人性化的深层学习循环,跨越六个角色,版本化实验,以及证据检查完成.
Deimehmdt/自动研究员 ——早期用于科学工作流程自动化的开源软件包,目前以文献审查生成为中心,追求更广泛的自主研究.
超空间ai/agi ——分布式,对等研究网络,由自主代理进行实验,八卦发现,维护CRDT领导板,并将结果存档给GitHub,跨越多个研究领域.
人类 — — 机构 — — 协会 — 科拉尔: 自主的多剂演化,用于无限制的发现(arXiv:2604.01658 (中文(简体) ).) (中文(简体) ). 具有共享持续内存,同步执行,以及基于心跳的干预功能的长期运行代理; SOTA 执行10项数学/算术/系统任务.
萨卡纳艾/AI-科学家 — AI科学家:第一个全自动科学发现综合系统. 从思想一代到纸质写作,人类监督很少.
萨卡纳艾/AI-科学家v2 ——通过代理树搜索,在讲习班一级自动科学发现. 从 v1 中删除模板依赖性, 将整个研究领域概括化。
AweAI-团队/科学家 — 科学家: 具有分级管弦和File-as-Bus协调的长视ML研究实验室——工作空间文件充当持久的记录系统. 在固定计算/时间预算下驱动自主的纸张复制(Paper Bench)和竞争风格的MLE-Bench迭代循环. ().rXiv 2604.13018 (韩语))
HKUDS/AI-研究员 ——新IPS2025论文. 完全端对端研究自动化:假说实验手稿同行评审. 生产版本科学.
openags/自动研究 — 打开AGS: Orchestrates a team of AI agents 贯穿整个研究生命周期——点燃评论,假说生成,实验,手稿编写,同行评审.
塞缪尔·施米德格尔/代理实验室 ——端对端自主研究工作流程:思想文献评论实验报告. 支持自主模式和副驾驶模式。
探员Rxiv ——合作自主研究框架代理实验室共享一个预印服务器,以迭代地借鉴对方的工作.
Jinheon Baek/研究员 ——与LLMs相比,迭代研究思想产生. 多代理审查与反馈循环.
du-nlp-lab/MLR-副驾驶 ——自主的ML研究框架——产生思想,实施实验,分析结果.
MAS Works/ML-代理服务器 ——强化自主ML工程的LLM剂. 从试验和错误中学习提高模型性能.
Pouria Rouzrokh/Latte审查 —低码 Python 软件包 自动系统文献审查 通过人工智能的代理。
液态LM/液态LM ——AI动力文学评论助理使用RAG进行学术写作中准确,结构完善的相关工作科.
代理实验室 ——三阶段研究管道:文学评论 ——实验 ——报告撰写,每个阶段都有专门的代理.
快乐的君/写驱动的自动研究 - 自动研究式的拉带,从第一分钟起保留一份提交文件,并驱动草案中各项主张的每一个试验,循环修改措施核实修订。排名第1位拉尔夫松@ ICML 2026 (原始内容存档于2018-09-21). automatic-research hackathon.
自动研究- 事实/ 边 ——端对端研究管弦乐器基于一个基石原则,即”即时经济”(可重复使用环路,而非一次性提示),加上五个支持规则;运行科学家/编码/审计环路,跨越10+学科,与自动研究相同的可重复使用-loop线条,但缩放为完整的研究程序.

平台端口和硬件叉

甘弗朗科皮亚纳/openclaw-自动研究 – OpenClaw port of pi-autoresche; 任意优化目标的自主实验循环,并带有统计自信评分.
miolini/自动研究-macos ——广泛采用macOS叉,为苹果硅 / MPS 调整上游自动研究,同时保留原环形.
计算/自动研究-mlx ——保持上游固定预算的MLX-内置苹果硅端口 val_bpb 循环,同时完全删除 PyTorch/CUDA 依赖。
jsegov/自动研究-win-rtx ——Windows-native RTX叉专注于消费的NVIDIA GPU,有明确的VRAM地板和实用的桌面设置路径.
iii-hq/n-自动研究 ——多GPU自动研究基础设施,有结构化的实验跟踪,适应性搜索策略,碰撞恢复,以及围绕经典的可查询编组. train.py 循环。
lucasgelfond/自动研究-webgpu ——浏览器/WebGPU端口允许代理生成训练代码,在浏览器中运行实验,并在没有Python设置的情况下将结果反馈回循环.
土豆/自动研究图 - 叉带 持续的认知记忆 ——频率加权检索跨会场知识,提高实验连续性.
Colab/ Kaggle T4 端口 ——适应免费T4 GPU(Google Colab / Kaggle)的自动研究,成本为零,本地设置为零. 密钥更改:闪光注意3 → PyTorch SDPA,去除H100只内核依赖.
ArmanJR-Lab/自动自动研究 - Jetson AGX Orin港口,装有导演 ——作为”创造导演”的Go二进制,将新颖性(arxiv papers + DeepSeek Reasoner)注入循环,以逃避本地迷你. 包括多实验比较(基线与导演制导),并附有详细的停顿分析.

特定领域适应

马特普鲁萨克/自动研究-遗传学 ——将自动研究模式应用于家族学,利用结构化的提示,存档指南,源码检查,以及金库工作流程来迭代扩展和验证家族史研究.
Archishman Sengupta/自动语音 ——使用对抗性调用器加上保持或反转的即时编辑,使Vapi,Smallest AI,和11Labs的语音AI代理更加硬化.
chrisworsey55/atlas-gic (英语). ——对交易代理商应用自动研究保持或回转循环,优化提示和组合组合配合滚动的夏普比而不是模型丢失.
右-AI/自动内核 ——将自动搜索循环应用于GPU内核优化:配置瓶颈,编辑一个内核,基准,保存或还原,重复.
埃利奥特谢/自动手枪 ——对CPU侧科学软件应用自动研究保存或反转循环的多代理框架:剖析一个目标函数,生成一个优化候选,在保留原始输出的同时以速度为基准,保持或还原,重复.
代理分析/自动研究-增长 ——将自动研究应用于登陆页定位和A/B测试候选者,使用分析快照和测量实验结果来播种后续各轮.
Rkcr7/ 自动研究库 ——增强自动研究工作流程 AI代理迭代重写和基准 Rust sudoku 解析器,最终在硬基准集上击败领先的人造解析器.
jeongph/自动扫描 ——阅读自然语业务规则,自主搭建春靴服务,通过保持-或回转循环进行测试. 用 Gradle 构建 + J Unit XML. 119 线骨架到 950 线在 5 个周期内进行评估.
vlasenkoalexey/tpu (法语)_业绩_自动研究_维基百科 ——在v6e硬件上对TPU模型性能(MFU / acids-per-sec)应用自动研究保存或反转循环:配置文件每个通过XProf MCP服务器运行,每个实验都进行一个模型码的更改,并相对于测量的MFU保持或返回. 将循环与Karopathy风格的LLM wiki对齐,用于域内知识和每个实验优化痕迹;包括Llama3-8B和Qune3-8B的案例研究,跨越JAX和火炬轴道.

评价与基准

snap-stanford/ML 代理奔驰用于评估人工智能代理人的ML实验任务的基准套件。从CIFAR-10到BabyLM的13项任务.
OpenAI/mle-bench 系统 ——OpenAI衡量AI代理在ML工程中表现如何的基准.
chchenhui/mlrbench (英语). ——MLR-Bench:评价人工智能代理人进行开放式的ML研究. 来自NeurIPS/ICLR/ICML讲习班的201项任务.
格施泰因拉布/ML-奔驰在存储器一级代码上评价LLM和代理执行ML任务.
THUDM/Bench代理公司 ——8个不同环境中的LLM-as-Agent评价综合基准. ICLR 2024 (英语).

如何贡献

我们欢迎为这份名单作出贡献! 在发言之前,请花点时间回顾一下捐款准则这些准则将有助于确保你们的贡献符合我们的目标,并达到我们的质量和相关性标准。

我们要找的是:

新的高质量文件、工具或资源,简要说明其重要性
现有条目的更新(断开链接,过时信息)
对星数、定价或模型细节的更正
翻译和无障碍性改进

质量标准:

应积极维护所有工具(在过去6个月内更新)
论文应来自同行评审场所或有大量社区通过
数据集应向公众开放
请列入一行说明,说明资源为何宝贵

谢谢你对这个项目的关心!

_{维护者提示标签 · 开始重播如果你觉得有用的话!}

HagiCode

HagiCode 是面向项目开发的 AI 编码工作台：丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

丰富、便捷的界面交互，让规划、Agent 执行与项目工作更容易上手和跟进。

访问 HagiCode 阅读文档

智能OpenSpec 工作流把意图转化为从提案、设计、任务到交付的可执行路径。
高效多 Agent 并行推进调研、实现与审阅，并支持多仓库变更和你熟悉的 Agent CLI。
有趣丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

下载 Windows 版

从 Microsoft Store 获取

全部下载

HagiCode 通过丰富、便捷的界面交互，让规划、Agent 执行与项目工作更容易上手和跟进：https://www.hagicode.com/

让想法变成真正交付的软件。

HagiCode 是面向项目开发的 AI 编码工作台：用 OpenSpec 工作流规划变更，多 Agent 并行执行，再由 Hero Scenario 让进度一目了然，把想法变成真正交付的软件。

下载 HagiCode 产品文档

智能: OpenSpec 工作流把意图变成从提案到交付的可执行路径。
高效: 多 Agent 并行推进调研、实现与审阅。
有趣: 丰富、便捷的界面交互，让规划、Agent 执行和项目工作更容易跟进。