中国计量科学研究院先进测量工程中心副主任武彤：计算性能基准计量测试工具研究

这种负载并不一定是我们实际使用的，基准测试实际上是一种理想测试，例如说我们每次看英特尔发布CPU说今年我们的计算性能提高40%，实际上它是在理想情况下也就是这种理想负载下做的，并不是在实际场景，你用WORD等应用程序体验不到提升40%的体验。

基准测试工具它是一个理想的测试工具，我们就选这么多的负载首先来看它的重复性。重复性对基础测试是最重要的指标，只有你把重复性确定了，你才能确认被测的样品的一致性。假定我们的工具的一致性是0.2%，看一下单核心的测试结果，大家看云计算如果是单核心它的重复性就比较好。

这是重复性的技术指标，大家可以看一下这个技术指标，腾讯云整数运算的时候重复性是1.67%，浮点是1.06%。如果是共享计算单元，云计算有很多共享的计算单元，它的重复性非常差，如果是共享的，别人用的多了可能缩减你的计算能力。实际上其他厂商也是类似情况，有的厂商可能会更差，核数多的重复性会更差，比如16核13.6%，它的算力是波动的，如果是独享会好一点。每家厂商的计算能力实际上是波动的，并不是很稳定，我们买其他的东西也是一样，我们买水果他每次给你称500克也是波动的，有一个范围，我们购买定量包装的商品也是这样。

这样就有一个问题，我们怎么样来比较不同的算力，因为所有的算力都是波动的？

有一个概念叫不确定度，测量的“真值“实际上是不存在的。例如我们测量长度，测量长度假设1米，实际上它的最可能的范围是呈正态分布的值，包含有不确定度。假定两个人测量都是1米，这1米它不完全是相同，它有可能是正偏差，有的是负偏差，如果做可比较的话，就要把你测量结果的不确定度评估出来。我们有时候测量不确定度非常大，比如说算力不确定度达到30%，你测量一颗CPU算出来是2000，另外一个是1500，实际上比较不出来哪个算力更大。

今天大体来解释一下做一个测量工具需要什么样的技术指标。

这是我们的不确定度，任何一个测量工具必须有包含不确定度的结果，它才是完整的测量结果，这个具体的不确定度的值我就不再具体解释了。

总结一下，一个科学的基准测试工具需要有几个方面的指标：

第一个是可测量，可测量是必须有值测量出来，不能给你给个感觉这个挺快、那个很慢，必须是有量值的；

另外一个可重复，每次的测量结果都在一定的范围内是可以重复的。

另外是可以比较，就是我们设定两种可以比较，比如单核的是什么，双核的是什么，16核的是什么，当然不是线性的。如果别人拿给你一个工具讲不清楚这些指标，实际上你无法确定是不是可以用这个工具，当然你可以根据这个工具的发布方是不是权威的组织，来确定是不是相信它。

另外要完全释放硬件性能，要准确模拟用户的行为，我们选择负载要有典型性，不能选一些很不常见的负载。

还有一个功能是引导未来软件开发，基准测量工具是一个工具，它自己的稳定性实际上是非常高的，比一般测试程序的稳定性要求要高。你要是用应用软件的时候，比如WORD，它每次装载的时间都不一样的，那个不一样对你的体验影响是很小，但是基准测量工具作为测量工具要求非常稳定。作为基准测量工具，我们认为这些指标是必须的，刚才有很多嘉宾来讲核心的指标、实际上它都是用基准工具测量出来的，如果你的指标差异很大，基准测试工具的影响不明显。如果差异很小，实际上影响很大的。

对于未来的考虑，我们希望能建立硬件的服务器和云计算的服务器一致的测量工具，这种更便于比较。

我们的工作基本上来提供工具一致性，并不是说所有基准工具都是由我们发布，实际上基准的测试工具主要依靠厂商，我们来提供方法学的支持，怎么来做一款基准测试工具，怎么来评价基准测试工具。

我们自己也写工具，我们自己写的工具也不一定是最好的，这需要厂商共同的努力，刚才郭亮讲也计划在ODCC立一个项目是关于基准测试工具的，我们国家基准测试工具实事求是讲，还是非常落后，这还有一段过程。

我们希望在ODCC的平台下，我们国家的基准测试工具能够获得长足的进步，只有工具进步了，进行市场监管的时候才有基础。比如有人投诉云厂商，说我买的算力不够，如果没有基准测试工具很难判定怎么叫不够，你买了一核到底多少算力才够。计量是技术合规的原点，市场监管的基础。

谢谢大家。

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!