大数据测试步骤分享

大数据应用测试步骤

下面我们一起看看大数据应用的测试过程是怎么样的。

整体而言，大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证

在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中

我们要验证加载的数据和源数据是一致的

我们要确保正确的提取和加载数据至hdfs中

步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

Map Reduce过程工作正常

数据聚合、分离规则已经实现

数据key-value关系已正确生成

验证经过map reduce后数据的准确性等特性

步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。

主要验证：

验证数据转换规则是否正确应用

验证数据的完整性和是否成功持久化到目标系统

验证无数据损坏

免费软件测试学习网：www.ceshiren.com