Dass Benchmarker wie beim TÜV Nord und bei Nordzucker keinen Anlass zu Kritik sehen, ist keineswegs üblich. "Wir haben zur Markteinführung unseres Service vor rund zwei Jahren damit gerechnet, bei Unternehmen auf ein Verbesserungspotenzial von allenfalls drei bis vier Prozent zu stoßen", schildert Ralph Treitz, CEO von VM Solutions aus Heidelberg, einem auf das Benchmarking von SAP-Umgebungen spezialisierten Anbieter. "Tatsächlich liegt es erheblich höher. Oft sind die Installationen zwar sehr gut aufgesetzt, doch reißen wenige unsaubere Implementierungen große Löcher ins Budget." Das können beispielsweise falsche Filterregeln für die Sammlung von Daten sein, wodurch das SAP-System erhebliche Mengen an Belegen erzeugt. Oder man trifft auf sich funktional überschneidende Systeme, die sich konsolidieren ließen.

In der Regel wollen die Anwender genau solche Hinweise auf Schwachstellen erhalten, denn Benchmarking ist teuer. Die Investitionen sollen sich dadurch bezahlt machen, dass die auf das Projekt folgenden Empfehlungen umgesetzt werden, so dass die Betriebskosten sinken und die Qualität steigt.

Während VM Solutions auf eine automatische Analyse der IT-Umgebung setzt, erfassen Anbieter wie Gartner, Compass und Meta Group die IT-Installationen häufig mittels Fragebögen. Vor allem die Datensammlung kostet auch auf Anwenderseite Geld und Zeit, weil viele erforderliche Angaben nicht eindeutig dokumentiert sind und mühsam rekonstruiert werden müssen. "Die Erhebung von sechs Benchmarking-Zahlen hat mich zwei bis vier Manntage gekostet", beschreibt Nordzucker-CIO Niemietz den Aufwand. Zum Teil betreffen die Angaben lediglich die Stromkosten. In vielen Konzernen werden sie nicht auf die Kostenstellen umgelegt, doch für eine aussagekräftige Einordnung des IT-Budgets müssen die Energiekosten in die Aufwandsberechnung einfließen.