模型各个参数详解
1.maxContext:最大上下文长度
(1)大模型(如 ChatGPT、Claude 等)能同时“记住”并处理的文本长度上限。
(2)最大上下文长度 ≈ 模型的“记忆力容量”:容量越大,能同时处理的信息越多。
(3)当你的问题+历史对话超过这个值时,模型会将超出的部分截断。
2.maxResponse: 最大回复
(1)maxResponse:模型一次性回复输出的最大token数。
3.quoteMaxToken: 最大引用内容
(1)quoteMaxToken:模型在回复中,能引用的知识库内容的最大token数。
4.maxTemperature:最大温度
(1)maxTemperature:温度越低回答越严谨,少废话。
5.记忆轮数(仅简易模式) link
可以配置模型支持的记忆轮数,如果模型的超出上下文,系统会自动截断,尽可能保证不超模型上下文。
所以尽管配置 30 轮对话,实际运行时候,不一定会达到 30 轮。
5.函数调用
支持函数调用的模型,在使用工具时更加准确。
6.回复上限
最大回复 token 数量。注意,是回复的Tokens!不是上下文 tokens。
通常,回复上限=min(模型允许的最大回复上限, 最大上下文-已用上下文)
所以,一般配置模型时,不会把最大上下文配置成模型实际最大上下文,而是预留预定空间给回答,例如 128k 模型,可以配置 max_context=115000
max_tokens: 限制的是模型在生成回复时最多可以输出的 token 数量