谷歌云TPU在MLPerf推理基准测试中创下每秒100万张图像处理纪录

据Google Cloud称，MLPerf Inference v0.5基准测试结果已公布，该基准涵盖图像分类、目标检测和语言翻译三类数据中心级场景。Google Cloud表示，其使用32块Cloud TPU v3设备在ResNet-50 v1.5上实现每秒处理100万张图像的近线性扩展纪录，并提交了全部三项基准的结果。Google Cloud称，Cloud TPU采用bfloat16浮点数值，训练与推理在同一硬件平台完成，无需量化、重校准或重训练，可减少精度损失与工程投入；Google Translate借此可在模型验证后数小时内将新模型推入生产环境。Google Cloud还称，Cloud TPU v3目前以beta形式向Google Cloud客户开放，并用于Google搜索等内部产品。