自动化风控决策的可解释性：为什么合规需要它

可解释性（Explainability）是指人能够说清 AI 系统为什么得出某个结果（预测、推荐或决策）的能力。机器学习模型往往像“黑箱”，缺乏透明度会带来不信任，也会带来 AI 偏差的风险；因此，自动化决策要让人看得懂，就需要可解释性方法和工具的支持。

本文属于原厂介绍 SMARTS™ Washington 版本新功能的系列文章，讨论可解释性在基于 AI 的决策中扮演的角色，以及它如何让自动化决策整体上更容易被理解。

可解释性和可诠释性有什么区别？

非学术场合常把可解释性（Explainability）和可诠释性（Interpretability）混用，但两者其实不同：

概念	回答的问题
可解释性（Explainability）	AI 系统为什么得出某个结果
可诠释性（Interpretability）	AI 系统是如何得出某个结果的

两者都是为了应对 AI 系统中机器学习模型的“黑箱”、不透明问题。缺乏透明度，会导致不信任，并带来不利的 AI 偏差风险。

对国内和东南亚的意义：国内及东南亚的金融机构在信贷审批、反欺诈等风控决策中越来越多地引入机器学习模型。无论面对监管检查还是内部审计，能说清模型“为什么这样判”，都是风控决策用好模型的前提。

可解释 AI 有哪些常用方法？

可解释 AI（Explainable AI，XAI）是研究可解释方法的一门学科。解释可以是全局的（从整体上解释模型），也可以是局部的（解释某一组输入数据为什么得出某个结果）。以下是两个例子：

SHAP 是什么？

SHAP（SHapley Additive exPlanations）是一种基于博弈论的方法，为模型中的每个特征赋予一个重要性数值：数值绝对值越大，特征越重要；负值表示负向影响。SHAP 可用于任何机器学习模型（线性回归、决策树、随机森林等），既能给出全局解释，也能给出局部解释。

LIME 是什么？

LIME（Local Interpretable Model-agnostic Explanations）针对原模型的某个结果，构建一个近似的“玻璃箱”模型。简单说，LIME 生成合成的输入数据，让它们通过原模型，再用得到的结果训练这个新模型。LIME 可用于任何机器学习模型，但只能给出局部解释；不过正如名字所示，LIME 同时具备可解释性和可诠释性。

方法	原理	适用模型	解释范围
SHAP	基于博弈论，为每个特征赋予重要性数值	任何机器学习模型	全局 + 局部
LIME	用合成数据训练一个近似的“玻璃箱”模型	任何机器学习模型	仅局部

SMARTS™ 如何提供可解释性指标？

像 SMARTS™ 这样的决策管理平台，让业务分析师在一个地方统一管理自动化决策的决策逻辑。这些逻辑可以是显式的（业务规则），也可以是隐式的（机器学习模型）。

多数情况下，机器学习模型由数据科学家开发，他们有自己的可解释性（和可诠释性）工具。模型定稿后，SMARTS™ 提供多种方式把机器学习模型投入运行。

但也有一些情况，业务分析师希望自己建模，作为数据科学模型的补充：

• SMARTS™ BluePen：让业务分析师探索数据，并构建可执行的模型。
• 交互式树模型（Interactive Tree Model）：BluePen 中的这一工具让业务分析师以完全透明的方式，交互式地构建决策树。
• 可解释性与公平性指标：SMARTS™ Washington 新增了可解释性（以及公平性）指标。业务分析师可以对任意 BluePen 模型运行 SHAP、LIME 等可解释性算法：选定算法后，只需选择模型、输入和目标变量，SMARTS™ 就会运行算法，并以表格形式展示结果。

借助这些可解释性指标，业务分析师可以更好地理解自己构建的模型。

只有可解释性就够了吗？

可解释性有它的局限，这也是可诠释 AI 出现的原因。可理解 AI（Understandable AI）在可解释 AI 和可诠释 AI 的基础上更进一步，关注让 AI 对所有相关方都易于获取、透明、可理解。

让决策整体上可理解，一直是 Sparkling Logic 的目标。原厂在该系列的下一篇文章中，介绍了“可理解决策”（Understandable Decisions）的方法，以及新功能 Repository Time Travel 如何提升可理解性。