|
|
业务测试
在讨论决策服务部署之前,让我们先聊一聊业务测试。几周前,我们介绍了QA测试的相关内容。不同之处在于业务测试不再关注需求是否已经被覆盖到,而进而关注需求实现的正确性以及合理性。换句话说,我们关注规则的实际业务表现。
在传统的SDLC(软件开发生命周期)中,流程简化来讲有以下几步:需求获取,系统实施,调试与测试。以一般的UI需求为例,就很容易理解了。 比如您需要一个用于实现某种功能的按钮,并让它出现在特定的地方。这一切都很容易实现,并且易于测试。
业务测试则会将这种范例带入一个新的水平。结合A / B测试功能(我们称之为冠军/挑战者实验),就能衡量使用绿色按钮或超链接的业务表现,以判断哪种方式更有利于业务目标的实现。
当应用于决策管理时,业务分析就变得至关重要。当然,冠军/挑战者实验将使您的业务测试更上一层楼。无论如何,衡量业务表现都是非常重要的第一步。尽管只针对一部分客户使用了挑战者策略,但几乎对所有客户都建立了业务报表,因此一旦完成部署后,可以立即通过报表模块查看当前策略的执行情况。
查看过去几周或几个月的数据,其中通过手动处理的预期负荷是多少?更改这个阈值会显著影响拒绝率吗?
决策管理有时能直接根据政策条例进行明确定义。但在许多情况下,它是不断发展的艺术,可以为不同定位做出最佳决策。如果是一个保守的组织,但在客户获取方面相当自由,那么最终可能会在某个时间点产生分歧。
基于历史交易数据可以很好地预测未来的假设前提下,借助于业务测试,我们可以对业务成果有较为准确的预期。
从数据着手
为了取得有效且相关的预估效果,您还需要数据。最好的选择是使用历史业务数据。数据量取决于行业以及应用场景。有些客户使用数千笔交易数据,有些则使用数十亿笔交易数据。有些客户因为场景的易变性倾向于使用近期的数据,有些则会使用过去数月或数年的数据集。无论具体如何选择,使用历史交易数据都是进行业务测试的最佳方式。
那么如果业务刚开展,没有任何历史数据,该怎么做?以下有几种常见的解决方法:
第一种方式是从汇总数据池中进行筛选,当然这种方法并非适用于所有项目。当共同利益驱使组织其它部门进行协作并提供相关数据时,不要浪费这一千载难逢的机会。作为业务测试工作的一部分,这些数据有助于通过其它客户群对现有策略表现进行评估。在考虑用户获取时,比如从市场营销到申请发起,再到反欺诈检测,这些数据都是无价的。
另一种方式则是编纂数据。构建测试用例时,可以引入偏误以模拟客户群体中的分布差异。对于新开展的项目,您可能没有其他选择,而且有些东西总比没有好。很显然,业务指标可能没那么可靠,但它们应该让您对决策的表现有方向性的认识。
数据准备好之后,则需要定义KPI指标
业务测试是为了衡量决策的业务表现。从这个意义上讲,KPI(关键绩效指标)构成了业务测试的基础。除了我们在 QA 测试中提到的统计信息外,还需要确定需要跟踪哪些重要的业务指标。
每个组织,每个项目都会设置不同的KPI指标。其中会一些指标显示业务是否成功:表现如何、赚了多少、通过的进件数以及成功阻止的欺诈进件数等。同样,其他统计数据则衡量您的风险敞口:已授信额度、会给多少客户带来不便、将停止的整体交易数量等。
现在,我们已经构建好了如预期般的决策分析环境,那么在业务测试方面,下一步骤则是在实时生产环境中测量这些KPI指标。实际结果与预测接近吗?如果是,您将如何继续调整规则以做进一步优化。如果不是,您是否清楚地知道当前业务与历史交易不同之处?
当使用合适的工具以及方法后,决策管理这门艺术将演变为一门严谨的科学。