业务测试

在讨论决策服务部署之前,让我们先聊一聊业务测试。几周前,我们介绍了QA测试的相关内容不同之处在于业务测试不再关注需求是否已经被覆盖到,而进而关注需求实现的正确性以及合理性。换句话说,我们关注规则的实际业务表现。


为什么需要进行业务测试?

在传统的SDLC(软件开发生命周期)中,流程简化来讲有以下几步:需求获取,系统实施,调试与测试。以一般的UI需求为例,很容易理解了 比如您需要一个用于实现某种功能的按钮,并让它出现在特定的地方。这一切都很容易实现,并且易于测试。


业务测试则会将这种范例带入一个新的水平。结合A / B测试功能(我们称之为冠军/挑战者实验),能衡量使用绿色按钮或超链接的业务表现,以判断哪种方式更有利于业务目标的实现


当应用于决策管理时,业务分析就变得至关重要。当然,冠军/挑战者实验将使您的业务测试更上一层楼。无论如何衡量业务表现都是非常重要的第一步。尽管只针对一部分客户使用了挑战者策略,但几乎对所有客户都建立了业务报表,因此一旦完成部署后,可以立即通过报表模块查看当前策略的执行情况。


查看过去几周或几个月的数据,其中通过手动处理的预期负荷是多少?更改这个阈值会显著影响拒绝率吗?


决策管理有时能直接根据政策条例进行明确定义。但在许多情况下,它是不断发展的艺术,可以为不同定位做出最佳决策。如果是一个保守的组织,但在客户获取方面相当自由,那么最终可能会在某个时间点产生分歧。


基于历史交易数据可以很好地预测未来的假设前提下,借助于业务测试,我们可以对业务成果有较为准确的预期。


如何开展业务测试?

从数据着手


为了取得有效且相关的预估效果,您还需要数据。最好的选择是使用历史业务数据。数据量取决于行业以及应用场景。有些客户使用数千笔交易数据,有些则使用数十亿笔交易数据。有些客户因为场景的易变性倾向于使用近期的数据,有些则会使用过去数月或数年的数据集。无论具体如何选择,使用历史交易数据都是进行业务测试的最佳方式。


那么如果业务刚开展没有任何历史数据,该怎么做?以下有几种常见的解决方法:


第一种方式是从汇总数据池中进行筛选,当然这种方法并非适用于所有项目。当共同利益驱使组织其它部门进行协作并提供相关数据时,不要浪费这一千载难逢的机会。作为业务测试工作的一部分,这些数据有助于通过其它客户群对现有策略表现进行评估。在考虑用户获取时,比如从市场营销到申请发起,再到反欺诈检测,这些数据都是无价的。


另一种方式则是编纂数据。构建测试用例时,可以引入偏误以模拟客户群体中的分布差异。对于新开展的项目,您可能没有其他选择,而且有些东西总比没有好。很显然,业务指标可能没那么可靠,但它们应该让您对决策的表现有方向性的认识。


数据准备好之后,则需要定义KPI指标


业务测试是为了衡量决策的业务表现。从这个意义上讲,KPI(关键绩效指标)构成了业务测试的基础。除了我们在 QA 测试中提到的统计信息外,还需要确定需要跟踪哪些重要的业务指标


每个组织,每个项目都会设置不同的KPI指标。其中会一些指标显示业务是否成功:表现如何、赚了多少、通过的进件数以及成功阻止的欺诈进件数等。同样,其他统计数据衡量您的风险敞口:已授信额度、会给多少客户带来不便、将停止的整体交易数量等。


让业务测试更进一步

现在,我们已经构建好了如预期般的决策分析环境,那么在业务测试方面,下一步骤则是在实时生产环境中测量这些KPI指标。实际结果与预测接近吗?如果是,您将如何继续调整规则以进一步优化。如果不是,您是否清楚地知道当前业务与历史交易不同之处?


当使用合适的工具以及方法后,决策管理这门艺术将演变为一门严谨的科学。

产品
解决方案
学习
上海杨浦区昆明路739号文通大厦9F
©2021 上海数泱信息科技有限公司 版权所有