(相关资料图)

在推理的时延方面，如下图所示，绿色的几乎看不见的是 GPU 上面的推理时延，蓝色的柱状图是 CPU 上面的推理时延。事实证明，GPU 的推理时延在较大批量的情况下，基本上是个位数，几毫秒的延迟，可以满足交易实时性的需求。