大数据测试方法

Question

我正在从事大数据项目。

项目的基本流程如下：
- 数据来自大型机并存储到基石 3.0
- 之后使用调度程序将数据摄取到配置单元中
- 然后使用 map reduce 作业（运行 hive 查询以获取特定的聚合属性）根据键值对将其存储到 mapr db 中，以使用 Rest API 反映到应用程序中。

假设 Hive 中的数据已正确加载，我想从 Hive 开始测试此应用程序到 Rest API。

测试此应用程序的最佳方法是什么 （要测试的目标：Hive 数据、hive 查询、mapr db 性能、mapr dp 数据、Rest api）。最好使用哪些工具和技术。

提前谢谢你。

Answer 1

可以测试什么？ - 这由需求/问题自行解释

• 数据来自大型机大型机并存储到基石 3.0 中 - 验证数据按预期（根据要求）从大型机存储到基石
  

  李>

• 在使用调度程序将数据摄取到 hive 之后 - 验证 hive 表是否具有预期的数据/hdfs 文件位置等（根据要求 - 如果在 hive 期间发生任何转换表加载 - 您将对其进行验证）
  

• 然后使用 map reduce 作业（运行 hive 查询以获取特定的聚合属性）根据键值对将其存储到 mapr db 中，以使用 Rest API 反映到应用程序中 - 这里基本上是你正在测试在 maprdb 中加载/转换数据的 map-reduce 作业。您应该首先运行作业 -> 验证作业端到端运行 no error/warns（注意执行时间非常接近作业的 性能）-> 验证 maprdb - > 测试 REST API 应用程序并根据要求验证预期结果。
  

最好使用哪些工具和技术？

• 用于 hive/hdfs/数据验证 - 我将创建 shell-script（由 hive、hdfs 文件位置、日志文件验证、运行 mapreduce 作业组成，验证 mapreduce 作业等）测试/验证上述每个步骤。应该首先从手动 CLI 命令开始进行测试。

• 用于测试 REST API - 有许多可用的工具，例如ReadyAPI，邮递员。我也会在 shell-script 中包含这一步（使用curl）