NLP学习路线图(四十六):可解释性
在自然语言处理(NLP)技术重塑人机交互、信息检索甚至司法决策的今天,一个尖锐的问题愈发凸显:当模型在文本分类中判定你的贷款申请被拒,或在简历筛选中将你排除,你是否有权追问一句——“为什么?”
一、黑箱迷雾:NLP模型的不透明困境
现代NLP的核心驱动力——深度神经网络(如BERT、GPT系列)——本质上是复杂的“黑箱”系统:
-
层级抽象迷宫: 模型通过层层非线性变换(Self-Attention机制、前馈网络)构建文本表征,人类难以追踪输入词句到最终预测的完整逻辑链条。
-
高维嵌入鸿沟: 词语被映射为数百维的稠密向量(如Word2Vec、GloVe),其语义在向量空间中交织纠缠,远超人类直观理解。
-
海量参数黑洞: 大型模型参数动辄数十亿(如GPT-3达1750亿),任何单一预测都是海量参数微妙互动