Benchmark

El benchmark és un índex de referència que serveix per mesurar el rendiment d'un sistema, una organització o component d'aquest, per comparar-lo amb altres sistemes o organitzacions que tenen el mateix objectiu. La paraula benchmark és un anglicisme que es pot traduir com a «índex de referència». L'operació de comparar mitjançant tal índex es diu benchmarking.

En informàtica es pot entendre que un benchmark és el resultat de l'execució d'un programa informàtic o un conjunt de programes en una màquina, amb l'objectiu d'estimar el rendiment d'un element concret, i poder comparar els resultats amb màquines similars. En termes d'ordinadors, una indexació de referència podria ser realitzada en qualsevol dels components, ja sigui CPU, RAM, targeta gràfica, etc. També pot ser dirigit específicament a una funció dins d'un component, per exemple, la unitat de coma flotant de la CPU, o fins i tot a altres programes.

La tasca d'executar un benchmark originalment es reduïa a estimar el temps de procés que porta l'execució d'un programa (mesura en general en milers o milions d'operacions per segon). Amb el transcurs del temps, la millora en els compiladors i la gran varietat d'arquitectures i situacions existents van convertir a aquesta tècnica en tota una especialitat. L'elecció de les condicions sota la qual dos sistemes diferents poden comparar entre si és especialment àrdua, i la publicació dels resultats sol ser objecte de candents debats quan aquests s'obren a la comunitat. Es converteix en una poderosa arma competitiva, mal realitzat pot fer perdre molts diners. Actualment es disposa de molts documents sobre com realitzar eficaçment estudis benchmarking. Si al llarg de l'estudi de benchmarking també pot realitzar-se un "benchmark de programari", és a dir comparar el rendiment d'un programari contra un altre o de part d'aquest, per exemple, comparar diferents consultes a una base de dades per saber quina és la més ràpida o directament parts de codi.

Origen del terme

El mot prové de les paraules bench (banca, taula) i mark (marca, senyal). En l'accepció original la paraula composta no obstant això podria traduir-se com a mesura de qualitat. L'ús del terme provindria de l'Anglaterra del segle xix quan els agrimensors feien un tall o marca en una pedra o en un mur per mesurar l'altura o nivell d'una extensió de terra. El tall servia per assegurar un suport anomenat bench, sobre el qual després es recolzava l'instrument de mesura, en conseqüència, tots els mesuraments posteriors estaven fetes per la posició i altura d'aquesta marca…

Altres accepcions

Fora de l'àmbit informàtic pot veure en l'àmbit de les organitzacions, concretament al control de gestió estratègic, en la qual pot definir com un procés sistemàtic i continu per avaluar els productes, serveis i procéssos de treball de les organitzacions que són reconegudes com a representants de les millors pràctiques, amb el propòsit de realitzar millores en una organització. En l'àmbit dels mercats financers, el benchmark és el mercat testimoni, contra el qual han de comparar la resta de les inversions a l'efecte de confrontar els seus rendiments.

En economia, pren la seva accepció per a la regulació: El benchmarking és un mètode destinat a obtenir comportaments competitius en l'oferta dels mercats monopolistes, consistent en la comparació de l'acompliment de les empreses, a través de la mètrica per variables, indicadors i coeficients. El servei de xarxa pública d'aigua és el més clar exemple de monopoli natural, trobant exemples d'aplicació disponible en institucions com ara OFWAT Arxivat 2022-06-11 a Wayback Machine. (Anglaterra i Gal·les), ADERASA (Amèrica Llatina) o IB-NET (Mundial).

Anàlisi comparativa entre empreses

L'anàlisi comparativa entre empreses no és més que un estudi detallat de les característiques actuals de la mateixa per comparar-la amb altres i en la majoria dels casos es basen en aquestes comparacions per fer millores dins d'ella. La importància del benchmarking no es troba en la detallada mecànica de la comparació, sinó en l'impacte que poden tenir aquestes comparacions sobre els comportaments. Es pot considerar com un procés útil de cara a aconseguir l'impuls necessari per realitzar millores i canvis. A més que és d'ús molt important per a la planificació estratègica.

Programari utilitzat per a benchmarking

Algun dels programes de benchmarking més populars.

• Java Micro Benchmark
• Ciusbet
• Dhrystone
• Icomp
• LINPACK
• Livermore
• SPEC (SPECint i SPECfp, orientats a la unitat d'enters i punt flotant, respectivament)
• Whetstone
• Furmark
• 3DMark
• SuperPi
• Geekbench