先抛出个问题
- 我们为什么要测试大数据
什么大数据测试
大数据测试可以定义为涉及检查和验证大数据应用程序功能的过程。大数据是传统存储系统无法处理的大量数据的集合。
策略
测试处理数 TB 数据的应用程序将从一个全新的级别和开箱即用思维中学习技能。质量保证团队关注的核心和重要测试基于三种方案。即
批处理数据处理测试
批处理数据处理测试涉及在批处理模式下使用批处理存储单元(如 HDFS)处理应用程序时运行数据的测试过程。批处理测试主要涉及
- 针对有故障的输入运行应用程序
- 更改数据量
实时数据处理测试
当应用程序处于实时数据处理模式时，实时数据处理测试处理数据。应用程序使用实时处理工具(如Spark)运行。
实时测试涉及在实时环境中测试的应用程序，并检查其稳定性。
交互式数据处理测试
交互式数据处理测试集成了与应用程序交互的实际测试协议，就像真实用户的观点一样。交互式数据处理模式使用交互式处理工具，如HiveSQL。
大数据
Big-Data 在处理传统数据处理单元无法处理的多种格式数据方面的优势而声名大噪。大数据可以处理的数据格式如下所示。
结构化数据
在易于访问的行和列下有意义地组织的表格数据称为结构化数据。它可以在不同存储单元(如 RDBMS)的命名列下组织。比如表格数据
半结构化数据
半结构化数据完全位于结构化和非结构化数据之间。它不能直接引入 RDBMS，因为它包括元数据、标记，有时还包含重复的值。数据需要一些操作才能应用于数据，然后才能被输入。示例： Csv，Json(实际csv和excel的区别就是这个， 前者处理大数据有优势)
非结构化数据
不遵守任何类型结构的数据称为非结构化数据。与结构化数据不同，非结构化数据难以存储和检索。组织生成的数据大部分为非结构化数据类型。示例：图片， 视频， 音频
测试环境
拥有测试大数据应用程序的完美环境至关重要。构成数据测试的基本要求如下。
- 存储、处理和验证 Terra 字节数据的空间应可用。
- 群集及其各自的节点应响应
- 数据处理资源(如强大的 CPU)应可用
来了， 正题-- 大数据测试
测试大数据应用程序的一般方法涉及以下阶段。
数据引入
数据首先使用提取工具从源加载到大数据系统。存储可能是 HDFS、MongoDB 或任何类似的存储。然后，对加载的数据进行交叉检查，以检查错误和缺失值。
数据处理
在此阶段，将生成数据的键值对。稍后，MapReduce 逻辑将应用于所有节点，并检查算法是否正常工作。此处将执行数据验证过程，以确保输出是预期的。
输出的验证
在此阶段，生成的输出已准备好迁移到数据仓库。在这里，检查转换逻辑，验证数据完整性，验证位置的键值对的准确性。
有许多类别可以测试大数据应用程序。下面很少登记主要类别。
- 单元测试
大数据中的单元测试与更简单应用程序中任何其他单元测试类似。完整的大数据应用程序分为多个部分，每个细分市场都经过严格测试，具有多种可能性，以取得预期结果。如果段失败，则发送回开发和改进。
- 功能测试
功能测试可以称为测试大数据应用程序的不同阶段。大数据应用程序旨在处理巨大的数据块。如此庞大的数据量和种类繁多的数据往往容易带来数据问题，例如数据错误、值重复、元数据、缺少值等等。
这正是测试大数据的先驱者设计大数据功能测试程序的原因。测试大数据的不同阶段如下。
数据验证阶段
- 数据验证阶段处理大数据应用程序中的业务逻辑和层
- 数据从源收集，并针对业务用例运行
- 检查收集的数据的准确性和通过应用程序的层移动
- 在此阶段，大数据通过聚合和筛选机制进行测试
- 数据根据业务规则进行端到端验证和转换逻辑
数据完整性阶段
- 数据是否完整，并验证参考完整性
- 根据错误条件验证数据约束和重复
- 识别每个层架构限制的边界测试
数据引入阶段
- 检查应用程序与不同数据模块连接的能力
- 数据使用消息传递系统重播，并监控任何数据丢失
- 这一阶段的主要座右铭是实现以下品质
- 容错
- 连续数据可用性
- 与各种数据流的稳定连接-
数据处理阶段
- 数据处理阶段仔细检查和执行业务逻辑
- 业务规则经过交叉验证
- 映射减少逻辑在每个阶段都得到验证
- 数据从端到端处理
- 应用程序被检查有无异常，它们得到完美的处理
数据存储阶段
数据存储阶段侧重于以下参数
- 读取和写入超时
- 持续可用性
- 负载平衡
- 查询性能分析
报表生成阶段
这是功能测试的最后阶段。它处理以下问题。
- 度量和维度的数据验证
- 实时报告
- 数据向上钻取和向下钻取机制
- 业务报告和图表
- 非功能测试
- 性能测试
- 建筑
