|
|
决策管理中的数据集成
与数据的集成是决策应用成功的关键：利用数据来开发、测试和优化高价值决策，使决策管理系统（DMS）能从中受益。
本文将重点关注决策管理系统在开发、测试和优化自动决策中使用数据的方式。
在自动化决策生命周期的每个阶段，数据都必不可少的。特别是：
· 在开发阶段，我们会使用简单的测试用例来逐步构建业务逻辑。
· 在测试阶段，我们则会使用更复杂的测试用例来对决策逻辑进行全面校验。如果可能，我们会直接使用生产环境的真实数据来检查决策的质量。
· 在生产阶段，我们将使用数据制定实时决策，并利用决策结果数据来对决策进行进一步迭代优化。
通常的决策管理系统实施仅专注于业务逻辑本身：决策流程，业务规则等。在某些情况下，甚至是直接从数据结构开始构建整个决策管理系统的。
但是，我们认为评估决策逻辑的质量非常重要，其重要性不亚于根据业务需求将系统实施落地。通常只有通过衡量决策效果才能评估决策的质量。换句话说，需要合理利用决策管理平台的决策分析功能。而决策分析又需要合理地使用相关数据进行计算与呈现。一般而言，越重要的决策越需要尽早进行评估。
有关评估决策逻辑质量的内容，可以参考Carole-Ann之前的文章《最佳实践：业务测试》。其中的观点是使用数据衡量决策质量越早越好。如果你直接从数据着手定义各项指标来评估决策逻辑的质量，那么通过这些定义将更容易地编写决策，并且基本不需要再度修正。
你可以没有实际数据而只依赖数据结构就开始构建决策。然而，这种方式只能保证决策与数据结构以及业务需求是相一致的，而无法对决策的质量进行准确评估。这显然是不够的。从技术的角度上看，这样的决策开发方式可能是合理的。但从业务的角度出发，则是完全失败的。比如在信贷场景中，决策的运行最终导致太多的案例被分发到人工审批，这显然是不合业务逻辑的。
此外，业务分析师是从数据逻辑而不是数据结构出发来思考决策的。进行业务逻辑开发的时候，有数据进行交互可以保证业务导向的思维方式，而不至于迫使业务专家以IT的思维方式进行规则开发。
那么构建决策时该如何使用数据呢？开始的时候，你只需要一些简单的测试样例来帮助你实施最初的一些规则。如果已经有大量的数据，则抽取一个与规则相关的数据子集即可。当测试样例很少（不超过上万条记录）时，使用决策管理系统管理数据是合理的，特别是当这些数据仅用于决策开发时。
随着自动化决策构建的继续，你将需要添加更多的数据以进行功能性检查。然后，你可能会发现一些之前业务逻辑未能覆盖到的样例数据。理想情况下，决策管理系统应允许用户将这样的数据集与相关决策进行关联。
为了支持自动化决策的增量构建，决策管理系统需要：
· 支持管理与决策相关的数据集
· 支持动态添加新数据和数据集
· 支持企业中常用的数据格式（如CSV、XML或JSON）
· 提供决策分析工具，支持使用数据集验证决策质量
使用数据的一个关键挑战是数据是在不断变化的。我们认为这是一个机会——一般来说，数据变化是因为一些决策逻辑未覆盖到的数据样例被发现并被补充到数据集中。这些新的数据样例为实施更好、更丰富的决策创造了更多的机会。因此，决策管理系统支持数据的便捷更新是非常重要的。
一旦自动化决策达到稳定状态，你将需要越来越多的测试数据用于决策的验证。你还需要确定这些测试数据是否能被成功执行。
当能获取到大型数据集时，使用决策管理系统的模拟功能将能够验证自动化决策的结果，并通过决策分析组件提供相关的决策质量报告。通常这么做是为了确定决策的整体表现如何。也可以对同一自动化决策的不同版本进行比较，以找出哪一版本表现最好。通过上述方法，你可以确保决策质量在不断提高，或者确保冠军挑战者策略的可行性。
以上测试数据集通常来自公司的数据池——由日常运营数据不断累积。它们往往由大量丰富的历史数据组成，包括用于报表、分析或机器学习使用的留存数据。
对于如此大的数据集，企业管理人员往往希望将数据管理保留在数据池、数据中心或企业中央数据库中。大型数据集的复制备份管理成本高昂，并且可能会遇到安全或合规性问题。
因此，理想情况下，决策管理系统应提供与外部数据系统集成的方法，而无需在决策管理系统内对这些数据进行管理。提供连接数据库或数据池的预定义接口，确实能有效地实现对现有数据存储系统的访问。但是，更通用的方法是通过web服务获取数据，或者说通过FTP/http协议及标准数据格式来访问数据源，这将具有更强的兼容性和灵活性。出于以上考虑，在SMARTS明策智能决策引擎中，我们采用了此种方法。
此外，由于数据集可能会非常大。理想情况下，决策管理系统应能提供一个模拟和决策分析环境，在其中进行规则匹配和度量计算，而不会对数据集的大小进行限制。例如，提供Map-Reduce、流模拟和决策分析工具。
决策管理系统需要：
· 提供动态访问企业数据的方法
· 提供可扩展的模拟和决策分析工具，能够处理企业规模的数据集
企业将能够：
· 管理与决策相关的大型数据集
· 使用决策管理系统中的分析工具并利用大型数据集来验证和优化决策
当决策管理系统在生产系统中执行自动化决策时，您通常希望从中搜集到有意义的数据维度。然后，使用它们来进行结果分析并同时使用这些数据来更新和优化决策。
通常，企业系统中会存在运营数据库和数据池，在其中进行数据合并以供报表系统、决策分析和机器学习使用。更为成熟的企业系统还将包括决策结果数据库，并将业务结果与决策结果相关联。
以向现有订阅客户提供促销信息的应用程序为例。一个好的决策通常会将决策结果与客户的实际行为相关联：
· 浏览过促销报价
· 曾接受促销报价并成交
· 6个月后仍是客户
· 促销报价成交后的6个月内未与售后技术支持发生争执
使用这些数据，您将能够不断改善决策并提高其对企业的价值。您还可以使用机器学习工具并从累积的历史数据中提取知识（数据规则），并将其整合到决策之中。
决策管理系统需要：
· 支持存储决策结果
· 提供动态访问企业数据池、运营数据库的方法
· 提供可扩展的模拟与决策分析工具
· 支持模型创建和/或模型执行
企业将能够：
· 管理与决策相关的大型数据集
· 使用决策管理系统中的分析工具并利用大型数据集对决策进行验证和优化
此篇Blog是我们技术系列中的一篇，敬请期待后续文章！
在后面的Blog文章中，我们将介绍在运行时将数据传递到决策的各种方法，包括在决策执行时如何灵活获取其它外部数据。
