您好,您可以通过以下方式来进行PTQ的精度调优:1.尝试不同的calibration_type,使用max校准并尝试不同的分位值max_percentile;2.开启per_channel量化;3.对余弦相似度低的算子强制运行在cpu上(run_on_cpu)
您好,您可以通过以下方式来进行PTQ的精度调优:1.尝试不同的calibration_type,使用max校准并尝试不同的分位值max_percentile;2.开启per_channel量化;3.对余弦相似度低的算子强制运行在cpu上(run_on_cpu)