本次测试旨在分析模型增加Lora模块后，参数量和训练速度的变化情况。

经过测试得出结论：

正常情况下，增加Lora模块会增加模型的参数量，导致前向传播和反向传播的时间增加。

然而，在大语言模型训练的情况下，由于基础模型本身参数量已经很大，Lora模块增加的参数相对较小。并且，基础模型不参与梯度更新，可以进行模型量化，实际上能减少模型训练时间和显存使用量。

以下是实验脚本和运行结果：

运行代码输出：