LLM大模型工具链
目录
1. 大模型开发与训练框架
(1) 大模型训练工具
(2) 微调（Fine-tuning）工具
(3) 模型压缩与优化
2. 大模型部署与服务化
(1) 推理框架
(2) 边缘端部署
3. 数据处理与增强工具
(1) 数据清洗与标注
(2) 向量数据库
4. 应用层工具
(1) 低代码/无代码平台
(2) 领域专用工具
5. 评估与安全工具
(1) 模型评估
(2) 安全与对齐
6. 多模态与扩展
(1) 多模态模型
(2) 插件系统
7. 开源模型与社区
(1) 开源大模型
(2) 模型中心
8. 云服务与基础设施
(1) 托管服务
(2) 计算平台
1. 大模型开发与训练框架
(1) 大模型训练工具
- PyTorch Lightning
- 简化大模型训练流程（如分布式训练、混合精度）。
- DeepSpeed（微软）
- 优化训练效率（支持千亿级参数模型，如ZeRO-3技术）。
- Megatron-LM（NVIDIA）
- 专为Transformer模型设计的高效训练框架。
(2) 微调（Fine-tuning）工具
- Hugging Face Transformers
- 提供预训练模型（BERT、GPT-2等）和微调接口。
- LoRA/Lit-GPT
- 低成本微调技术（适配小显存设备）。
(3) 模型压缩与优化
- TensorRT-LLM（NVIDIA）
- 大模型推理加速（GPU优化）。
- GGML
- 量化工具（支持CPU端运行LLaMA等模型）。
2. 大模型部署与服务化
(1) 推理框架
- vLLM
- 高吞吐量推理（支持连续批处理）。
- TGI（Hugging Face Text Generation Inference）
- 企业级推理服务（支持REST API）。
(2) 边缘端部署
- MLC-LLM
- 将大模型部署到手机、浏览器等终端。
- ONNX Runtime
- 跨平台模型推理优化。
3. 数据处理与增强工具
(1) 数据清洗与标注
- Label Studio
- 标注工具（支持文本、图像多模态数据）。
- Snorkel
- 弱监督学习（用规则生成训练标签）。
(2) 向量数据库
- Milvus/Pinecone
- 存储和检索嵌入向量（用于RAG应用）。
- FAISS（Facebook）
- 高效相似性搜索库。
4. 应用层工具
(1) 低代码/无代码平台
- Dify
- 可视化搭建LLM应用（支持国产模型）。
- BentoML
- 快速打包和部署模型服务。
(2) 领域专用工具
- 医学：DeepChem（药物发现）、BioGPT（生物文本生成）。
- 金融：FinGPT（开源金融大模型）。
5. 评估与安全工具
(1) 模型评估
- EleutherAI LM Evaluation Harness
- 标准化大模型评测（如MMLU、GSM8K）。
- HELM（斯坦福）
- 全面评估语言模型表现。
(2) 安全与对齐
- Guardrails
- 限制模型输出（避免有害内容）。
- RLHF（强化学习人类反馈）
- 工具库：TRL（Transformer Reinforcement Learning）。
6. 多模态与扩展
(1) 多模态模型
- CLIP（图文匹配）、Whisper（语音转录）。
- LLaVA（图文对话模型）。
(2) 插件系统
- ChatGPT Plugins
- 扩展模型能力（如订机票、查股票）。
7. 开源模型与社区
(1) 开源大模型
- LLaMA 2（Meta）、Falcon（阿联酋）、Mistral（法国）。
- 中文社区：ChatGLM（智谱）、Qwen（通义千问）。
(2) 模型中心
- Hugging Face Hub
- 共享和下载预训练模型。
8. 云服务与基础设施
(1) 托管服务
- OpenAI API、Anthropic Claude
- 国产云：文心千帆（百度）、通义灵码（阿里）。
(2) 计算平台
- Lambda Labs（GPU租赁）、RunPod（云容器）。
作者：Galdradraumur
链接：https://juejin.cn/post/7501892144794730506
来源：稀土掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。