您可能需要用非常大的数据集来计算这些指标。SMARTS允许以多种不同的方式管理模拟数据：

· 您可以将数据上载到SMARTS中的存储库

· 您可以简单地让SMARTS知道数据在哪里，并让它使用相应的协议访问它。SMARTS支持文件、http（s）、ftp（s）、sftp和S3协议以及简单的REST协议。当通过这些机制访问数据时，SMARTS只是以数据流的方式来使用数据：它不存储数据，因此数据可以是任何大小，并且您不需要管理它的多个副本。

模拟数据支持多种格式。SMARTS支持：

· XML

· JSON

· CSV

· Avro

SMARTS还可以在决策调用执行过程中进行监控。您可以定义时间窗口，配置监控的决策服务，监控的数据，配置数据的聚合计算方法，以及配置指标超过阈值后的预警。

决策是活生生的。一个决策在其生命周期中不需要改变是非常罕见的，我们能提前知道一个决策应该如何改变也是相对罕见的。

一些改变的原因可能很清楚：例如，法律可能会施加一些限制，在处理贷款发放请求时需要考虑这些限制。这些法律可能会修改。

但是在许多其他情况下，虽然改变的动机可能是明确的，但是如何通过改变来满足这种动机却一点也不清楚。例如，如何让呼叫中心向客户推销新产品，以同时实现即时收益的增长和长期客户留存的目标，即使是行业专家也难以表达。

因此，我们面临的挑战是：我们如何改进决策以实现多个目标，而不事先准确地知道该改变什么，也许只是预感，或者充其量只是对该做什么的部分指示？我们可能有一些理论或模型，但这些理论或模型能否奏效并不确定。

在科学中，我们进行“实验”来评估理论的有效性。同样的实验方法也可以应用到决策管理中。对于一个给定的自动决策，我们引入一些替代决策，我们衡量它们的表现如何，评估它们的优缺点，然后我们选择其中一个方案替换当前的自动决策方案。该方法基于：

· 我们能执行替代决策

· 我们能衡量决策的效果

· 我们比较不同决策方案的效果

· 我们能够从备选（或原始）决策中选择一个作为整体更好的决策

· 我们能够用选定的决策替换当前正在应用的决策

这种方法是“实验设计”的一部分，通常被称为“冠军/挑战者”或“A/B测试”。

实验设计可以使用两种不同的方法来进行——这两种方法不是排他性的，而且经常结合在一起：冠军挑战者“实战”部署和多策略模拟。

· 冠军挑战者“实战”部署

这种模式常用于金融服务，备用决策与当前决策一起部署，并让一部分请求通过备用决策（通常是5-15%的请求）。备用决策的效果需要一定时间来衡量，与同一时间窗内的当前决策的效果进行比较。如果比较结果是肯定的，候补队员将取代冠军。有时可能会在冠军决策的同时部署多个备选决策。

· 多策略仿真

在这种模式下，您可以针对多个数据集，特别是历史数据集，测试多个策略。您可以比较任何给定的策略在多个不同数据集下的表现，您可以比较同一数据集下的多个策略，您可以比较挑战者策略和冠军策略，等等。

这两种方法各有利弊。模拟对于帮助确定有机会成为冠军的候选人很重要，而在没有历史信息的快速变化的环境中，冠军挑战者“实战”部署非常重要。

SMARTS决策实验功能对以上两种模式都支持。

作为用户，您可以：

· 为决策定义KPI

· 为某些规则定义KPI

· 图形化和量化比较不同决策的KPI

· 根据需要改进、添加、删除它们

利用决策实验功能，您可以：

· 您可以通过以下方式为当前执行的决策设计备选方案

  · 对已实施决策的特定领域进行受控更改，例如利用SMARTS的派生和覆盖功能。

  · 使用SMARTS的子决策功能替换决策的某个部分。

· 您可以创建多个实验来验证备选方案

对于每个实验，您可以自定义实验可以尝试的多种策略：