Ollama调优，提高性能与安全性

调优Ollama的环境变量可以显著提升其运行性能和安全性，尤其是在处理大语言模型（LLM）时。下边介绍针对性能和安全的优化建议及具体环境变量配置：

---

一、性能优化环境变量

1. 并行处理与硬件加速

环境变量	作用说明	推荐值示例
OLLAMA_NUM_PARALLEL	控制并行处理请求的数量，避免资源争用（CPU/GPU密集型任务时需调整）	4（根据CPU核心数调整）
OLLAMA_GPU_LAYERS	指定模型使用GPU加速的层数（需GPU支持）	-1（全用GPU）或40
HIP_VISIBLE_DEVICES	指定使用的GPU设备（AMD显卡）	0（使用第一块GPU）
CUDA_VISIBLE_DEVICES	指定使用的GPU设备（NVIDIA显卡）	0（使用第一块GPU）

示例配置：

export OLLAMA_NUM_PARALLEL=4
export OLLAMA_GPU_LAYERS=40
export CUDA_VISIBLE_DEVICES=0  # NVIDIA显卡
# 或
export HIP_VISIBLE_DEVICES=0   # AMD显卡

---

2. 内存与缓存优化

环境变量	作用说明	推荐值示例
OLLAMA_KEEP_ALIVE	控制模型在内存中的缓存时间（减少重复加载模型的延迟）	5m（5分钟）
OLLAMA_MAX_LOADED_MODELS	限制同时加载的模型数量，避免内存溢出	2（根据内存调整）

示例配置：

export OLLAMA_KEEP_ALIVE=5m
export OLLAMA_MAX_LOADED_MODELS=2

---

3. 网络与I/O优化

环境变量	作用说明	推荐值示例
OLLAMA_HOST	绑定服务监听的IP和端口（避免默认的0.0.0.0，减少暴露风险）	127.0.0.1:11434
OLLAMA_MODELS	指定模型存储路径（推荐使用高性能存储如SSD或内存盘）	/mnt/ssd/models

示例配置：

export OLLAMA_HOST=127.0.0.1:11434
export OLLAMA_MODELS=/mnt/ssd/models

---

二、安全性优化环境变量

1. 访问控制与认证

环境变量	作用说明	推荐值示例
OLLAMA_ORIGINS	限制跨域请求的来源（防止CSRF攻击）	http://localhost:*
OLLAMA_API_KEY	启用API密钥认证（需结合反向代理或自定义中间件）	your-secret-key

示例配置：

export OLLAMA_ORIGINS="http://localhost:*"
# 注：Ollama原生不支持API密钥，需通过Nginx等反向代理添加认证

---

2. 日志与审计

环境变量	作用说明	推荐值示例
OLLAMA_DEBUG	启用详细日志（排查问题，但长期开启可能影响性能）	true
OLLAMA_LOG_DIR	指定日志存储路径（集中管理日志，便于审计）	/var/log/ollama

示例配置：

export OLLAMA_DEBUG=true
export OLLAMA_LOG_DIR=/var/log/ollama

---

3. 资源隔离与权限

环境变量	作用说明	推荐值示例
OLLAMA_RUNAS_USER	以非root用户运行服务（降低权限风险）	ollama-user
OLLAMA_TMPDIR	指定临时文件目录（避免使用系统默认路径）	/tmp/ollama

示例配置：

export OLLAMA_RUNAS_USER=ollama-user
export OLLAMA_TMPDIR=/tmp/ollama

---

三、综合配置示例

将以下内容添加到 ~/.bashrc 或 /etc/environment（系统级配置）：

# 性能优化
export OLLAMA_NUM_PARALLEL=4
export OLLAMA_GPU_LAYERS=40
export CUDA_VISIBLE_DEVICES=0
export OLLAMA_KEEP_ALIVE=5m
export OLLAMA_MODELS=/mnt/ssd/models# 安全优化
export OLLAMA_HOST=127.0.0.1:11434
export OLLAMA_ORIGINS="http://localhost:*"
export OLLAMA_RUNAS_USER=ollama-user
export OLLAMA_LOG_DIR=/var/log/ollama

生效配置：

source ~/.bashrc

---

四、高级安全措施

1. TLS加密
   通过反向代理（如Nginx）为Ollama API启用HTTPS：

   server {listen 443 ssl;server_name ollama.example.com;ssl_certificate /path/to/cert.pem;ssl_certificate_key /path/to/key.pem;location / {proxy_pass http://127.0.0.1:11434;proxy_set_header Host $host;# 添加Basic认证auth_basic "Restricted Access";auth_basic_user_file /etc/nginx/.htpasswd;}
   }
   

2. 防火墙规则
   限制访问Ollama端口的IP范围：

   sudo ufw allow from 192.168.1.0/24 to any port 11434
   

3. SELinux/AppArmor
   为Ollama进程配置安全策略，限制其文件系统和网络访问权限。

---

五、验证与监控

1. 检查环境变量生效情况

   ollama --version
   env | grep OLLAMA
   

2. 监控资源使用

   # GPU监控（NVIDIA）
   nvidia-smi
   # 内存和CPU
   htop
   # 网络连接
   ss -tulpn | grep ollama
   

---

注意事项

• 硬件适配：GPU相关变量需根据显卡型号和驱动版本调整。
• 版本兼容性：不同Ollama版本对环境变量的支持可能不同，建议参考官方文档。
• 备份配置：修改前备份重要数据（如模型文件、配置文件）。