《AI工程技术栈》：三层结构解析，AI工程如何区别于ML工程与全栈工程
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
《AI工程技术栈》：三层结构解析，AI工程如何区别于ML工程与全栈工程
由Gergely Orosz与Chip Huyen联合发布
2025年5月20日
在2025年6月16日周一，于伦敦举办的LDX3大会将迎来《务实工程师（The Pragmatic Engineer）》播客的现场录制环节。该环节是当日大会的闭幕环节，嘉宾为Shopify工程负责人Farhan Thawar。两人将围绕以下议题展开讨论：
-
Shopify的“反射式AI使用”策略如何重塑其工程团队工作方式
-
全远程团队如何实现快速迭代
-
一种非传统的工程职业成长路径：追求精通与工艺
-
以及Shopify作为一家极具创新性的科技公司是如何高效运作并实现目标的
当天Gergely本人还将发表大会主旨演讲，听众将有机会现场见到《务实工程师》团队成员，包括Elin与Dominic。如果无法亲临现场，录制内容也将在事后通过播客发布。
接下来进入正题——AI工程技术栈的核心内容。
AI工程的崛起与背景
“AI工程”一词在两年前还鲜有人知，但如今，AI工程师成为科技行业的紧缺人才。不少企业如Meta、Google、Amazon等给予AI工程岗位比普通软件工程师更高的薪酬待遇，AI初创公司与规模型企业也在大力争抢相关人才。
但进一步观察可以发现，很多AI工程师其实是熟练掌握大型语言模型（LLM）基础操作并能实现集成的资深软件工程师。
在这一领域，目前最具代表性的著作之一是Chip Huyen于2025年初由O’Reilly出版社出版的《AI Engineering》。作者曾在Netflix担任研究员，在NVIDIA核心开发NeMo生成式AI框架，并共同创办Claypot AI，同时还曾于斯坦福大学教授机器学习课程。
本文引用该书第一章节选，旨在深入介绍AI工程栈的结构，解析AI工程如何从机器学习（ML）工程发展而来，又如何区别于全栈开发。
AI工程三层技术栈概览
AI应用的技术栈可拆解为三层：应用开发层、模型开发层与基础设施层。开发AI应用通常从顶层的应用开发开始，逐层深入至模型与基础设施：
-
应用开发层（Application Development）
近年来最活跃的领域，主要任务包括输入优质提示词（prompts）与上下文信息给模型，并构建评估机制与人机交互接口。 -
模型开发层（Model Development）
涉及模型的训练、微调、推理优化等工作，以及数据集的设计与管理。 -
基础设施层（Infrastructure）
包括模型部署、数据与计算资源管理、系统监控等。
研究者在GitHub上检索了星标数量超过500的AI相关开源仓库，发现自Stable Diffusion与ChatGPT问世后，AI工具类仓库数量大幅上升，尤其以应用开发层最为显著，而基础设施层相对稳定。这表明尽管模型与应用迅速演进，资源调度与服务管理的底层基础设施变化较小。
尽管AI模型能力突飞猛进，但企业级应用依旧需要通过商业指标与机器学习指标的映射，并进行系统性实验与持续反馈优化。这些依旧沿袭传统ML工程的核心逻辑。
AI工程 vs. ML工程：核心差异
尽管AI工程继承了大量ML工程的基础方法，其核心区别包括：
-
无需自行训练模型：AI工程往往使用已有基础模型，侧重于模型适配与使用，而非从零训练。
-
模型规模更大，资源需求更高：AI工程面对更高的延迟与算力开销，因此对推理效率的优化要求更高，工程师需掌握GPU集群调度与资源管理。
-
开放式输出评估难度更大：传统ML任务如欺诈检测有标准答案，但AI模型面对开放式问题（如写一篇文章）时，难以设定标准输出，导致评估成为更大挑战。
因此，AI工程重点在于适配与评估模型。适配方式分为两类：
-
基于提示的适配（Prompt Engineering）：通过上下文与指令控制模型行为，不涉及模型权重修改，适合入门和快速实验。
-
微调（Fine-tuning）：需要修改模型参数，提升模型性能，但要求更多数据与更复杂操作。
模型开发层详解
该层工作传统上归属ML工程，包含：
-
建模与训练：涉及模型架构选择、训练方法、微调等，需要深厚ML理论基础。
-
数据集工程：AI工程更偏向处理非结构化数据，重视去重、标注、上下文构建，尤其在开放式输出场景下标注难度激增。
-
推理优化：目标是让模型更快、更便宜。基础模型通常为自回归生成，每次生成一个token，生成长文本会导致较高延迟，这对用户体验与成本均是挑战。
此外，作者还对预训练（pre-training）、**微调（fine-tuning）与后训练（post-training）**之间的区别做了详尽说明。
应用开发层详解
随着大模型普及，众多团队使用相同模型，差异化更多体现在应用开发层：
-
评估（Evaluation）
核心在于选择合适模型、检验效果与部署准备情况，尤其因开放式输出不具备“标准答案”，需多维度指标进行评估。例如Google在发布Gemini时，通过不同提示工程策略改变模型表现，显示出评估受提示工程影响巨大。 -
提示工程（Prompt Engineering）与上下文构建
通过不同输入设计改变模型表现效果，任务复杂时需提供内存管理机制协助模型保持对话历史。 -
AI接口设计（AI Interface）
包括网页、桌面、移动端应用，浏览器插件、聊天机器人（如Slack、微信、Discord），以及API插件集成方式（如GitHub Copilot、Grammarly）。新兴AI接口设计也带来新的用户反馈收集方式。
AI工程 vs. 全栈开发
随着接口设计比重提升，AI工程越来越接近于全栈开发。传统ML工程以Python为核心语言，但如今也出现了JavaScript生态支持，如LangChain.js、OpenAI Node库、Vercel AI SDK等。
全栈开发者凭借前端与产品构建能力，在当前AI模型随取即用的环境中，可以先建产品、后训练模型，快速实现想法、获取反馈并快速迭代。
如图所示（图1-16），全新的AI工程流程更重视产品与用户，而非一开始即深耕建模。
总结
本章节旨在阐明AI工程作为一门独立学科的兴起背景及其核心开发流程。AI工程虽然源自ML工程，但又有所区别。其突出特征是建立在基础模型上的开发流程创新，以及如何以最快速度将AI能力转化为具备实用价值的产品。
AI工程不仅是技术的革新，更是社区创造力的集中体现。虽然知识更新速度惊人，但也正因如此，更需要系统框架来帮助从业者理解与应对变化。
本书将以本章为起点，逐步展开对整个AI工程流程的深入讲解，从支持这一切的基础模型出发，帮助读者全面掌握AI时代的核心工程能力。