首页 > 最新消息
News最新消息
    • 2023
    • -
    • 12
    • -
    • 21
  • 正如我们在 Wi-Fi 路由器测试的测试策略指南和最佳实践指南中多次说过的那样,稳定性测试是真正了解您的产品在现场表现的重要质量保证向量。虽然许多测试解决方案和测试流程侧重于在理想(甚至受控损伤)情况下最大化性能数据,但这仍然不能全面反映产品的稳健性。

     

    什么是稳定性测试?

    测试协议、特性和性能都相当明显。可能不明显的是协议和功能如何交互以及这些交互如何导致其他领域出现意外或不良的行为和性能。这就是为什么一起测试协议、功能和性能而不是单独测试很重要。

     

    稳定性测试有一些与常规性能测试不同的特点:

     

    1. 稳定性测试存在真实网络功能时的性能。

    稳定性测试将功能测试(测试设备上协议、应用程序和其他服务的行为)和性能测试结合在一起。这是通过对一组功能测试(例如 DHCP 寻址、DNS 请求、Wi-Fi 关联/解除关联)进行排队,重复多次,然后运行性能测试以查看是否有任何效果来完成的 。

     

    2.稳定性测试使用性能测试作为心跳,而不是最终指标。

    稳定性测试期间性能测试的目的是发现增量。运行其他测试后性能有变化吗?运行性能测试后其他测试是否会失败?稳定性测试并不是试图在理想情况下实现尽可能高的性能,而是旨在突破设备的极限并发现您可能永远不会发现的问题。

     

    3.稳定性测试比其他测试运行更长的时间。

    只要您可以容忍测试周期,就应该循环并重复稳定性测试。

    正如我们在白皮书《如何为宽带 CPE、Wi-Fi 和智能家居产品构建自动化测试策略》中概述的那样,应在开发周期的不同阶段进行不同类型的测试。如果可能的话,在较长的过夜周期甚至几天内运行稳定性测试。

    稳定性测试的结果可能是惊人的

    在我们之前针对大型 ISP 的示例中,我们发现大量 Wi-Fi 关联和解除关联正在影响性能。当单独运行性能两周时,我们没有发现任何问题

    但在关联了大约 200 个 Wi-Fi 后,性能急剧下降:

    发生这种情况是因为功能行为可能会在设备中建立看不见的状态,直到发生意外情况为止。这可能是内存泄漏、碎片、超出分配内存的表/数组或设备可能因难以发现和复制的错误而进入的其他不可预测的状态。

     

    虽然这是我们最好的例子之一,但我们经常遇到此类问题,从细微的性能差异到完全无法使用的产品状态。但是,使用自动化稳定性测试可以一致地复制看似间歇性的错误。

    自动化将比现场更快地揭示稳定性问题

    使用 CDRouter 运行此类测试的主要好处是,除了能够执行与吞吐量测试交织的数千个功能和协议测试之外,还需要简单的自动化才能真正充分利用稳定性测试。

     

    稳定性问题是有害的,并且在长期正常使用后可能不会出现在现场。在较长的测试周期内循环数百次的自动稳定性测试可以在实验室中几小时或几天内揭示这些问题,而不是在现场几周或几个月。

     

    使用并行测试轻松增加整体策略的稳定性

    稳定性测试非常重要,但它肯定会占用您整体测试策略中的大量测试时间。CDRouter 可以在最多五个设备上并行运行测试,不仅可以最大限度地提高您在测试周期内可以完成的测试,还可以让您将每个实例用于不同的目的。例如,当所有五个并行测试均处于活动状态时,您可以将一个实例专用于运行长期稳定性,同时将其余接口用于每次提交、每次构建和临时测试。

     

    使用相同的固件复制您的设备,然后使用 CDRouter 的并行测试实例将让您继续进行常规开发测试,同时留出时间进行稳定性测试甚至常规吞吐量测试,从而在更短的时间内完成更多工作!

    需要更多的信息, 请联系sales@paralink.com.cn