精度分析

yhl

1、精度问题也叫精度掉点，是指在相同的输入下，离线模型的推理结果和原始模型的推理结果偏差超出业务可接受范围。
2、常见的精度问题来源：
（1）数据预处理：离线模型与原始模型的预处理不同引入。
（2）模型量化：AMCT量化或ATC量化时引入。
（3）指令化阶段：ATC转换离线模型时引入。
（4）模型后处理：离线模型与原始模型后处理方式不同引入。
3、 界定精度问题的引入阶段：
（1） 使用浮点框架的输入数据和推理工程的输入数据做比对，如果掉点较多说明数据预处理过程引入了问题。
（2）使用相同的输入做推理，分别Dump原始模型、量化模型和离线模型的逐层输出。
（3）对比原始模型和Fake Quant模型的Dump结果，如果掉点较多说明量化过程引入了问题。
（4）对比Fake Quant模型和离线模型的Dump结果，如果掉点较多说明指令化过程引入了问题。