当前位置：首页 > news >正文

基于Surprise和Flask构建个性化电影推荐系统：从算法到全栈实现

news 2025/8/26 18:18:08

一、引言：推荐系统的魔法与现实意义

在Netflix每年节省10亿美元内容采购成本的背后，在YouTube占据用户80%观看时长的推荐算法中，推荐系统正悄然改变内容消费模式。本文将带您从零开始构建一个具备用户画像展示的电影推荐系统，通过协同过滤算法捕捉用户偏好，用Flask框架实现可视化交互。项目完成后，您将理解推荐系统的核心原理，并掌握从数据预处理到Web部署的全流程。

二、技术栈解析与项目架构

核心算法层：Surprise库实现SVD矩阵分解；
数据处理层：Pandas进行数据清洗与特征工程；
交互展示层：Flask框架构建RESTful API与前端模板；
数据源：MovieLens 100k数据集（包含943用户×1682电影的10万条评分）。

三、环境准备与数据集加载

# 安装依赖（在终端执行）
!pip install surprise pandas flask scikit-surprise# 数据加载脚本
import pandas as pd
from surprise import Dataset, Reader# 加载评分数据
ratings = pd.read_csv('ml-100k/u.data', sep='\t', names=['user_id', 'item_id', 'rating', 'timestamp'])# 定义Surprise数据格式
reader = Reader(rating_scale=(1,5))
data = Dataset.load_from_df(ratings[['user_id', 'item_id', 'rating']], reader)

四、协同过滤核心：SVD矩阵分解实现

4.1 算法原理简析

SVD（奇异值分解）将用户-物品评分矩阵分解为：

复制代码R ≈ P * Σ * Q^T

其中：

P：用户潜在特征矩阵
Q：物品潜在特征矩阵
Σ：奇异值对角矩阵

通过分解后的矩阵预测缺失评分，实现推荐。

4.2 Surprise实现代码

from surprise import SVD, accuracy
from surprise.model_selection import train_test_split# 划分训练集/测试集
trainset, testset = train_test_split(data, test_size=0.25)# 初始化SVD模型
model = SVD(n_factors=100,  # 潜在因子数n_epochs=20,     # 迭代次数lr_all=0.005,    # 学习率reg_all=0.02)    # 正则化系数# 训练模型
model.fit(trainset)# 评估模型
predictions = model.test(testset)
accuracy.rmse(predictions)  # 输出RMSE评估指标

五、用户画像构建与相似度计算

5.1 用户特征提取

def get_user_features(user_id):# 获取用户评分记录user_ratings = ratings[ratings['user_id'] == user_id]# 计算评分分布特征avg_rating = user_ratings['rating'].mean()rating_counts = user_ratings['rating'].value_counts().sort_index()# 获取用户潜在向量user_vector = model.pu[user_id-1]  # Surprise内部使用0-based索引return {'avg_rating': avg_rating,'rating_distribution': rating_counts.to_dict(),'latent_factors': user_vector}

5.2 用户相似度计算

from surprise.prediction_algorithms.matrix_factorization import SVDdef find_similar_users(target_user, n=5):# 获取所有用户潜在向量users = model.pu# 计算余弦相似度similarities = []for user in users:sim = cosine_similarity(users[target_user-1], user)similarities.append((sim, user))# 返回最相似的n个用户return sorted(similarities, reverse=True, key=lambda x: x[0])[:n]

六、Flask推荐服务实现

6.1 Web服务架构设计

/                   -> 主页（用户输入界面）
/recommend/<user_id>-> 推荐结果页
/user/<user_id>     -> 用户画像页

6.2 核心路由实现

from flask import Flask, render_template, requestapp = Flask(__name__)@app.route('/')
def index():return render_template('index.html')@app.route('/recommend/<int:user_id>')
def recommend(user_id):# 生成推荐（Top-N推荐）user_items = ratings[ratings['user_id'] == user_id]['item_id'].unique()all_items = ratings['item_id'].unique()predictions = []for item in all_items:if item not in user_items:pred = model.predict(str(user_id), str(item))predictions.append((item, pred.est))# 按预测评分排序recommendations = sorted(predictions, key=lambda x: x[1], reverse=True)[:10]# 获取电影元数据movies = pd.read_csv('ml-100k/u.item', sep='|', encoding='latin-1',usecols=['movie id', 'movie title', 'release date', 'genres'])# 合并推荐结果与电影信息recommended_movies = []for item_id, score in recommendations:movie = movies[movies['movie id'] == item_id].iloc[0]recommended_movies.append({'title': movie['movie title'],'year': movie['release date'],'genres': movie['genres'].split('|'),'score': round(score, 2)})return render_template('recommendations.html', movies=recommended_movies,user_id=user_id)@app.route('/user/<int:user_id>')
def user_profile(user_id):# 获取用户画像数据profile = get_user_features(user_id)# 获取相似用户similar_users = find_similar_users(user_id)return render_template('profile.html',profile=profile,similar_users=similar_users)if __name__ == '__main__':app.run(debug=True)

七、前端模板设计（Jinja2示例）

7.1 用户画像模板（profile.html）

<div class="profile-card"><h2>用户画像：User {{ user_id }}</h2><p>平均评分：{{ profile.avg_rating | round(2) }}</p><div class="rating-distribution">{% for rating, count in profile.rating_distribution.items() %}<div class="rating-bar"><span class="rating-label">★{{ rating }}</span><div class="bar-container"><div class="bar" style="width: {{ (count / total_ratings) * 100 }}%"></div></div><span class="count">{{ count }}</span></div>{% endfor %}</div><h3>相似用户：</h3><ul class="similar-users">{% for sim, user in similar_users %}<li>User {{ user + 1 }} (相似度：{{ sim | round(3) }})</li>{% endfor %}</ul>
</div>

7.2 推荐结果模板（recommendations.html）

<div class="recommendations"><h2>为您推荐（User {{ user_id }}）</h2>{% for movie in movies %}<div class="movie-card"><h3>{{ movie.title }} ({{ movie.year }})</h3><p>类型：{% for genre in movie.genres %}<span class="genre">{{ genre }}</span>{% endfor %}</p><div class="score">预测评分：★{{ movie.score }}</div></div>{% endfor %}
</div>

八、系统优化方向

冷启动问题：集成内容过滤（使用电影元数据）
实时更新：添加增量训练模块
深度学习扩展：尝试Neural Collaborative Filtering
性能优化：使用Faiss实现近似最近邻搜索
可视化增强：添加评分分布热力图、用户-物品关系图

九、完整项目部署指南

下载MovieLens数据集：https://grouplens.org/datasets/movielens/

创建项目目录结构：

movie_rec_system/
├── app.py
├── templates/
│   ├── index.html
│   ├── profile.html
│   └── recommendations.html
├── static/
│   ├── css/
│   └── js/
└── ml-100k/├── u.data├── u.item└── ...