我觉得判断关键不是“阵列能效有多高”,而是替换现有方案后,整套服务到底省了多少。企业试点时最好固定模型版本、精度、并发量和响应时延,同时记录P99延迟、整机功耗、准确率下降以及开发工时,否则不同口径的TOPS/W很难比较。
软件成本也不能只算一次适配。模型更新后是否要重新量化,不支持的算子能否稳定回退,编译器升级会不会引入性能波动,这些都会形成长期费用。比较稳妥的办法,是先挑...