Burton集团的一个分析师认为，最近公布的测量服务器功率效率的基准有许多缺陷，用户对此存在许多疑问。

　　Nik Simpson认为标准性能评估公司的SPECpower基准准则并未反应现实世界的情况，而用户在查看功率性能参数之前需要了解这些情况。

　　Simpson特别指出，对于机架式服务器，供应商只需要使用一个电源对他们的产品进行测试。而大多数的企业数据中心安装有两个电源，以实现冗余。今年早些时候，SPEC宣称在其SPECpower基准中支持刀片服务器，但Simpson表示，从机架式服务器到刀片服务器并没有可供执行的标准电源准则。

　　“如果你理解了基准，而不准备比较刀片结果与机架式服务器的结果，就会被它所迷惑，”他说。“但是供应商经常会对测试结果进行优化处理，这就导致客户无法运行配置。”

　　功率－效率基准的可靠性

　　关于基准，人们通常会抱怨说基准并没有反应现实世界的真实情况。因此最终用户经常表示他们不会将基准因素纳入采购决策中。

　　“我们不会采用运行一些第三方基准应用程序的方法来确定基准，”California Emeryville数字媒体公司Gracenote的IT运营副总裁Matthew Leeds说。“我们在机器上运行我们的应用程序并观察其表现，这就是我们的基准。查看第三方基准很有趣，但是它们并不相关。对于我们来说，要紧的是我们的应用程序组是如何表现的。”

　　功率性能基准甚至很少关注最终用户，至少目前是如此。数据中心管理员大多对联邦环境保护署于5月发布的关于服务器的能源之星规范表示漠不关心。要么因为能源消耗并不是一个优先项，它在实践中还为时过早，要么就是对于购买一组小型能源之星服务器还是购买一个固化所有服务器的更大机器哪种方案更为有效还存在着疑惑。

　　SPEC组织一直致力于改变功率效率基准，其中包括了工作量类型的扩展。当前，它只测量服务器端Java与能源消耗的性能比。

　　“我们所正在讨论的是，在SPEC内部我们能够做些什么，从而创建包括电源因素在内的更多基准。”惠普公司高级工程师和SPECpower委员会委员Klaus Lange说。

　　该委员会的另一个委员，供职于Dell公司的Greg Darnell补充道，比较刀片服务器和机架式服务器的功率性能是困难的。那并不是一个“苹果对苹果”的横向比较，因为其中包含了不同的因素，他说。机架式服务器有自己的电源，而刀片服务器的电源则是共享的。很不幸，当最终用户试图确定机架式服务器和刀片服务器哪个更省电时，这个问题就只能留给他们自己了。

　　Simpson说，另外一个批评意见就是SPECpower基准允许厂商在测试前断开所有的网络街口。

　　“你见到过在企业中有多少台服务器是不连接网络的？”他说。

　　Darnell说，基准的目的并不是让更多网络功能的系统处于不利地位。如果有两个系统其他条件都相同，但前者有一个板载端口而后者有八个，委员会认定其在这个特定工作负载下的测试结果应该是匹配的。

　　与此同时，SPEC主席Walter Bays将其比作是一个汽车竞赛。如果赛车手的母亲告诉他们要安全驾驶，在转弯时减速，比赛也许就更能反应现实生活中的驾驶情况，而不是对汽车技术或驾驶员技能的有效比较，他说。

　　“与此类似，调整后的基准测试结果为我们带来的是软硬件系统最终能力之间最公平的比较，”他说。

　　但是Simpson说SPECpower能够更好地代表其现实工作中的表现。

　　“或许测试的配置必须购买最流行的配置，”他说。“至少这能使厂商不再只是为了体现SPECpower权威而人工创建能源效率系统。”