|
决策分析
从一开始,SMARTS就将决策自动化工作重点放在具体的业务目标上,这些目标可以通过决策管理环境的仪表板页面中的KPI和指标来衡量。您可以运行模拟来直观地了解规则更改的影响,比较不同的决策方法。使用现成的SMARTS map reduce框架,可以在非常大的数据集上执行模拟,以提高您对关键系统决策结果的信心。
如前所述,度量和KPI是使用SMARTS管理自动化决策的核心。我们鼓励您尽早创建这些指标和KPI,以便从实施的早期阶段就能从数据洞察中获益。建议您在需要的情况下,尽可能多的添加度量和KPI,并不断优化和维护它们。
只要将表单字段从文档窗格拖放到仪表板页面就能创建度量和KPI。您也可以配置有多个字段组合的复杂报告。
在本例中,我们根据ClaimBasedRiskIndicator计算模拟数据的分布,并按IsBadRisk的值进行分组。
通过这些报告,您可以深入了解:
· 您的决策所依据的数据和计算是什么样子的
· 决策的效果怎么样
· 等等
当您实施、测试和优化您的决策时,您将需要评估您所取得的进展,SMARTS允许您比较运行模拟的结果,例如:
· 针对相同的数据,在决策更改之前和之后,进行对比
· 针对同一个决策模拟运行不同的数据,进行对比
这使您能够在开发和优化决策时,快速了解决策的预期效果,这将帮助您提前做出更高质量的决策,而不必等待部署人员进行评估。
您可能需要用非常大的数据集来计算这些指标。SMARTS允许以多种不同的方式管理模拟数据:
· 您可以将数据上载到SMARTS中的存储库
· 您可以简单地让SMARTS知道数据在哪里,并让它使用相应的协议访问它。SMARTS支持文件、http(s)、ftp(s)、sftp和S3协议以及简单的REST协议。当通过这些机制访问数据时,SMARTS只是以数据流的方式来使用数据:它不存储数据,因此数据可以是任何大小,并且您不需要管理它的多个副本。
模拟数据支持多种格式。SMARTS支持:
· XML
· JSON
· CSV
· Avro
SMARTS还可以在决策调用执行过程中进行监控。您可以定义时间窗口,配置监控的决策服务,监控的数据,配置数据的聚合计算方法,以及配置指标超过阈值后的预警。
在上面的例子中,该实时度量跟踪在一个时间窗口内1类和2类欺诈交易的美元总额(该决策使用了冠军挑战试验)。此外,当总金额超过20万美元时,该实时度量会触发警报。
决策是活生生的。一个决策在其生命周期中不需要改变是非常罕见的,我们能提前知道一个决策应该如何改变也是相对罕见的。
一些改变的原因可能很清楚:例如,法律可能会施加一些限制,在处理贷款发放请求时需要考虑这些限制。这些法律可能会修改。
但是在许多其他情况下,虽然改变的动机可能是明确的,但是如何通过改变来满足这种动机却一点也不清楚。例如,如何让呼叫中心向客户推销新产品,以同时实现即时收益的增长和长期客户留存的目标,即使是行业专家也难以表达。
因此,我们面临的挑战是:我们如何改进决策以实现多个目标,而不事先准确地知道该改变什么,也许只是预感,或者充其量只是对该做什么的部分指示?我们可能有一些理论或模型,但这些理论或模型能否奏效并不确定。
在科学中,我们进行“实验”来评估理论的有效性。同样的实验方法也可以应用到决策管理中。对于一个给定的自动决策,我们引入一些替代决策,我们衡量它们的表现如何,评估它们的优缺点,然后我们选择其中一个方案替换当前的自动决策方案。该方法基于:
· 我们能执行替代决策
· 我们能衡量决策的效果
· 我们比较不同决策方案的效果
· 我们能够从备选(或原始)决策中选择一个作为整体更好的决策
· 我们能够用选定的决策替换当前正在应用的决策
这种方法是“实验设计”的一部分,通常被称为“冠军/挑战者”或“A/B测试”。
实验设计可以使用两种不同的方法来进行——这两种方法不是排他性的,而且经常结合在一起:冠军挑战者“实战”部署和多策略模拟。
· 冠军挑战者“实战”部署
这种模式常用于金融服务,备用决策与当前决策一起部署,并让一部分请求通过备用决策(通常是5-15%的请求)。备用决策的效果需要一定时间来衡量,与同一时间窗内的当前决策的效果进行比较。如果比较结果是肯定的,候补队员将取代冠军。有时可能会在冠军决策的同时部署多个备选决策。
· 多策略仿真
在这种模式下,您可以针对多个数据集,特别是历史数据集,测试多个策略。您可以比较任何给定的策略在多个不同数据集下的表现,您可以比较同一数据集下的多个策略,您可以比较挑战者策略和冠军策略,等等。
这两种方法各有利弊。模拟对于帮助确定有机会成为冠军的候选人很重要,而在没有历史信息的快速变化的环境中,冠军挑战者“实战”部署非常重要。
SMARTS决策实验功能对以上两种模式都支持。
作为用户,您可以:
· 为决策定义KPI
· 为某些规则定义KPI
· 图形化和量化比较不同决策的KPI
· 根据需要改进、添加、删除它们
利用决策实验功能,您可以:
· 您可以通过以下方式为当前执行的决策设计备选方案
· 对已实施决策的特定领域进行受控更改,例如利用SMARTS的派生和覆盖功能。
· 使用SMARTS的子决策功能替换决策的某个部分。
· 您可以创建多个实验来验证备选方案
对于每个实验,您可以自定义实验可以尝试的多种策略:
决策分析
对于每个决策和该决策的每个实验,您可以在多个数据集上模拟实验不同策略的执行情况,以便相互比较。
您可以对冠军挑战者进行“实战”部署,然后使用SMARTS实时度量跟踪冠军和挑战者的效果:
在企业环境中,您很容易会发现复用决策资产的机会。例如,
· 您可能想跨多个决策共用数据表单
· 您可能希望某个决策能在许多其他决策中被重复使用
SMARTS提供了几种重复使用资产的机制:
· 项目可以共享资产
· 决策可以调用子决策
· 表单和决策可以从其他表单和决策中派生
项目其实是引用者:组成项目的资产由项目引用,但不隶属于项目。其他项目也可引用相同的资产。
例如,您有一个表单,它用于表达保单进件信息,该表单可被用于营销、承保和反欺诈决策。在这种情况下,您可以:
· 定义一个简单的项目,该项目只有表单,由专人维护
· 为营销、承销和反欺诈决策制定不同的项目,每个项目使用与“表单”项目相同的表单,并添加相应的决策资产
在这个场景中,对表单所做的任何更改都会立刻反映到使用它的各个项目,因为它实际上是同一个表单。
您可以为任何其他类型的决策资产实现相同级别的共享。当然,这种灵活性带来了责任:表单的管理成为一个重要的功能,因为对表单的更改会影响到所有使用它的项目。
SMARTS提供了引用检查工具,允许您查询工作区中任何给定资产的使用位置。
在自动化决策中,经常将一个决策拆分成更小的部分,并通过组合这些小决策来构建完整的决策逻辑。这有很多好处,SMARTS子决策支持这样的场景。
子决策是从另一个决策调用的功能完备的决策。子决策本身是一个独立的决策,它既可以被直接调用,也可以从另一个决策调用。
要调用子决策,需要在决策流中定义引用该子决策的活动节点。当调用子决策时,它将被传递给与调用决策相同的文档(因此决策与子决策将对相同的数据执行操作)。
子决策被视为调用决策的黑盒操作。子决策的规则不能与主决策规则一起分析编辑。例如,考虑一个包含子决策B的决策A。在决策B中,您可以看到决策B的规则使用的字段。但是,在决策A的上下文中,您将只看到由决策A中定义的规则使用的字段,而不是其子决策B使用的字段。
您可能会遇到的另一种有关复用的情况是,您的决策在某些局部需要根据各种情况做出调整。例如,整个美国的车险承保策略基本相同,出于监管或竞争的原因,您可能需要在州一级进行局部调整,甚至某些城市也需要调整。
在这些情况下,您不希望州的策略是先拷贝全国的副本再调整,拷贝副本的坏处是当全国的规则后续发生改变时,就非常麻烦了。SMARTS使您能够在全局级别定义决策,并从全局派生出决策进行局部调整,在派生决策中,没有调整的部分将与全局决策始终保持一致。
在继承层次结构的每一级,您都可以更改:删除逻辑、替换逻辑、添加逻辑。更重要的是,当您的继承源决策被更新时,您将从相同的更新中获益,而不必复制任何内容。
继承决策为您提供了一种非常强大的机制,可以管理共享大部分逻辑,又能根据业务部门的需求在小范围内进行更新。
在数据模型方面,您可能会面临非常相似的问题。例如,您的信贷决策将利用来自多个信贷机构的数据,每个机构都有自己的数据模型。SMARTS允许您通过多个表单组合和派生来构建表单,在本例中,每个小表单都对应于信贷机构的数据模型。
对表单A或表单B的更改会立即反映在表单C中。
通过这种方法,SMARTS允许您创建一个可重用的数据模型库,您可以组合这些模型构建决策表单,并在每个决策表单中进行个性化更改。
在某些情况下,您可能希望以某种格式从决策中导出规则,在外部对规则进行批量修改,再将规则重新应用于同一决策或其他决策。例如,设想一个大型决策表的情况,您需要对某些列中的值进行批处理更改。
SMARTS允许您:
· 以JSON或CSV格式导出给定规则集的规则
· 在外部手动或以编程方式修改这些规则
· 将JSON或CSV格式的规则导入规则集