Datawhale AI夏令营——基于带货视频评论的用户洞察挑战赛

赛事链接：基于带货视频评论的用户洞察挑战。

赛题背景：在当下电商直播爆发式增长的数字化浪潮中，短视频平台积累了海量的带货视频及用户互动数据。这些数据不仅仅是消费者对商品体验的直接反馈，更蕴含着驱动商业决策的深层价值。

带货视频评论用户洞察的核心逻辑，在于对视频内容与评论数据的联合深度挖掘。

• 通过智能识别视频中推广的核心商品，并结合评论区用户的情感表达与观点聚合，

• 企业能够精准捕捉消费者对商品的 真实态度 与 需求痛点。

• 这种分析方式不仅能揭示用户对商品功能、价格、服务等多维度的评价，

• 还能通过情感倾向聚类，构建消费者偏好画像，从而为 选品策略优化 和 网红合作评估 提供有力的数据支撑。

具体项目的baseline大家可以自行到datawhale官网查看，这里我自己在学习过程中对于baseline和进阶思路做一个简单的总结：

理解赛题：

赛事项目任务：「基于带货视频评论的用户洞察挑战赛」旨在利用自然语言处理、机器学习和大模型技术，从电商直播带货视频的用户评论中提取商业洞察。通过对用户评论的分析，帮助品牌方优化选品策略、评估网红带货效能、提升全链路价值。主要任务包括文本编码、文本分类和文本聚类。文本编码将文本转为机器可理解的数值向量，文本分类依据文本内容归类到预定义类别，文本聚类则按内容相似性自动分组文本。例如，在文本分类中，需识别评论的情感倾向及是否涉及用户场景等属性。
赛题及数据解读：赛题背景是电商直播发展产生海量数据，其核心逻辑是联合挖掘视频内容与评论数据。比赛提供带货视频和评论文本两类脱敏数据，包含少量人工标注的训练集和未标注测试集。最终提交的压缩包内特定文件夹需含两个CSV文件，且对文件字段有详细要求。如submit_comments.csv文件需包含情感分类及聚类提炼的主题词结果等字段。

解题要点与难点：解题要点在于理解文本特点并提取特征分类，构建和对比算法调整模型精度，对比深度学习和大模型应用场景做少样本学习。难点一是数据量少挑战模型泛化能力，二是多任务协同需全链路解决方案。商品识别、情感分析和评论聚类环环相扣，商品识别需尽可能准确，情感分析为聚类提供关键输入，评论聚类需考虑效果评估和主题词提炼质量。
Baseline方案：Baseline方案分阶段处理任务，利用TF - IDF / BGE向量化和线性分类器/KMeans聚类完成各项任务，对计算资源需求低。但TF - IDF无法捕捉上下文信息等，KMeans对初始质心敏感且处理不规则形状簇效果不佳。其核心逻辑通过sklearn库的相关函数实现，如TfidfVectorizer将文本转为TF - IDF向量，LinearSVC用于文本分类，KMeans用于文本聚类。 

上分思路：

Baseline 方案剖析：该方案优点在于 TF - IDF 特征可直接对应原始文本词项，线性分类器权重可可视化分析。但存在不足，TF - IDF 无法捕捉某些语义，聚类分析粗糙且未评估聚类质量，可升级为 BERT 等上下文嵌入来优化。

赛题进阶要点：提示词工程是精心设计输入提示引导大模型生成预期输出的技术，需明确结构化表达。评论聚类无标签指导，常见聚类目标数学表述多样，不同目标函数结果不同，在无监督场景中，噪声与真实数据点界限不明，高维数据中距离度量易失效，噪声会加剧该问题。

进阶方法思路：可利用大模型进行分类，为商品识别和多维度情感分析设计提示模板。在选择聚类个数方面，n_clusters = 8 可能不符合业务需求（5 - 8 个），可通过如 sklearn.metrics 中的 silhouette_score 动态确定最佳聚类数，在 5 到 9 的范围内循环，比较不同 k 值下的轮廓系数得分，选择得分最高时的 k 值作为最佳聚类数。 

# 动态确定最佳聚类数
from sklearn.metrics import silhouette_score
best_k = 0
best_score = -1for k in range(5,9):kmeans = KMeans(n_clusters=k)labels = kmeans.fit_predict(embeddings)score = silhouette_score(embeddings, labels)if score > best_score:best_k = k