Benchmark

Un benchmark est un banc d’essai permettant de mesurer les performances d’un système pour le comparer à d’autres.

Un test de performance, ou benchmark, est un test dont l’objectif est de déterminer la performance d’un système informatique.

L’acception la plus courante de ce terme est celle dans laquelle ces tests logiciels vont avoir pour objectif de mesurer les temps de réponse d’un système applicatif en fonction de sa sollicitation. Cette définition est donc très proche de celle de test de charge où l’on mesure le comportement d’un système en fonction de la charge d’utilisateurs simultanés.

Référence externe :

• Test de performance (et méthodologie) sur Wikipedia (lien visité le 24/01/2022).

Références internes : (en rapport avec le sujet)

• Optimisation
• Principales différences de fonctionnement entre Windows et Ubuntu
• Système de fichiers
• Carte graphique
• Benchmark des cartes graphiques par la communauté Ubuntu
• Accélération graphique
• Nettoyer Ubuntu

Voici chronologiquement les tests qui vont vous indiquer l'évolution de Firefox et son niveau actuel comparé aux autres navigateurs¹⁾ :

• TraceMonkey Update vs chrome
• Benchmarked: Firefox 3.5 beta 4
• Lifehacker Speed Tests: Safari 4, Chrome 2, and More (firefox 3.5b

• Browser Speed Tests: Firefox 3.6, Chrome 4, Opera 10.5, and Extensions - Firefox est stable en mémoire et requiert moins de mémoire ( même contre chrome/chromium ) - Point non négligeable au vue de la nouvelle manière de surfer qui a vue le jour grâce à firefox : naviguer avec un nombre d'onglet "important" : et naviguer avec au minimum 5 addons/extensions : ce qui est beaucoup plus gourmand avec chrome.

La conclusion ? D'après ce benchmark, Firefox a une utilisation de mémoire moins intense par rapport à Chrome avec 5 extensions.

Source : De l'honnêteté intellectuelle et du HTML5 - Christopher Blizzard (Mozilla)

Autres benchmark sur entre navigateurs internet :

• Dromaeo - tests de performances Javascript.
• Sunspider - d'autres bench Javascript.
• Peacekeeper - benchmark pour navigateur.
• Faire un screenshot de site sur tous les navigateurs

Réponse : Cela dépend des cas. Wine doit traduire à la volée le moteur graphique DirectX de Microsoft en OpenGL, celui d’Ubuntu, mais on bénéficie d’une meilleure utilisation des ressources de l’ordinateur. D’ailleurs, Wine n’est pas un émulateur mais un simulateur d’API Windows. Donc cela permet théoriquement de dépasser les performances de Windows. Dans la majorité des cas, Wine présentera le même ordre de performance que Windows (59,45 %) et peut parfois le dépasser (voir le benchmark ci-dessous) !

• Page dédiée au BenchMark-Wine0.9.5 sur le site WineHQ (référence non disponible au 24/01/2022).
• Étude de la performance avec Wine sur le site WineHQ (article en anglais, lien visité le 24/01/2022).
• Comparatif Vista / Ubuntu / Fedora sur le site JeuxLinux (article publié le 31/01/2007, lien vérifié le 24/01/2022).

Les résultats sont plutôt intéressants. Sur un total de 148 tests effectués, Wine est premier dans 67 essais (45,27 % des tests) et a des performances d’ordre similaire sur 21 autres (entre 0 et 20 % de différence pour 14,18 % des tests). Pour le reste (40,55 % des tests), il s’est avéré inférieur à Windows. Ces tests incluaient le rendu de texture, OpenGL, la détection de virus, des tests de mémoire et des test de puissance CPU.

Note : Il existe cependant des incompatibilités. Il faut attendre que les développeurs publient une nouvelle version qui améliore le support (comme celui de DirectX 10). Le développement étant très actif, on s’attend à une compatibilité encore plus étendue au fil du temps.

La majorité des jeux pour Windows sont utilisables sur Ubuntu :

• Les meilleurs jeux Windows sont aussi sous Linux ! Il faut le savoir ! avec Wine, ou plus facilement avec Playonlinux (lien visité le 24/01/2022).
• Liste des applications compatibles avec Wine dans la catégorie des jeux, extrait de la base de données appdb du site WineHQ (lien visité le 24/01/2022).

• Performance 2D pour les ati.

Les pilotes libres sont significativement meilleurs dans 8 tests, ont des valeurs équivalentes dans les 3 autres tests.

Les performances des pilotes libres en 3D s'améliorent également.

Voir l'état d'avancement des pilotes libres, et l'implémentation de gallium3D sur la page opengl.

Source : Ubuntu, Kubuntu, & Xubuntu

• Comparatif de performance entre Ubuntu 32 bits et Ubuntu 64 bits
• Source : Ubuntu 9.04: 32-bit vs 64-bit benchmarks

Ubuntu 10.04 contre CentOS 5.4, Fedora 12, Red Hat 6 (The First Benchmarks Of Red Hat Enterprise Linux 6.0)

Source : FreeBSD 8.0 vs. Ubuntu 9.10 Benchmarks

Résultat sans appel : Ubuntu bat FreeBSD sur 18 sur 23 test.

Freebsd bat ubuntu sur les test avec 7-Zip, C-Ray, John The Ripper MD5, BYTE Unix Benchmark Dhrystone 2, et SQLite.

Source : Ubuntu 9.04 Beta vs. Fedora 11 Beta Performance

Source : Ubuntu vs. OpenSolaris vs. FreeBSD Benchmarks

Source : Gentoo x86_64 vs KUbuntu 8.10 x86 using Phoronix Test Suite (version de kde diffèrente kde 3.5 pour gentoo, et kde 4.2 pour kubuntu, les résultats peuvent être faussés)

Source : Ubuntu, Fedora, Mandriva Performance Compared

Resultat : Ubuntu 8.04 a gagné dans 14 des 28 épreuves. Mandriva 2008.1 avait gagné à trois des neuf essais pour lesquels il a été utilisé. Ces trois tests ont tous été basés sur Java 2.0 au sein SciMark, qui effectue des calculs mathématiques. Dans 9 des 19 autres tests qui ont été simplement entre Ubuntu 8.04 et Fedora 9, la distribution basée sur Red Hat avait gagné. Dans beaucoup de ces essais, les résultats étaient très semblables dans d'autres, il y avait un delta bien plus grande. Quant à la distribution qui est le plus rapide, à partir de l'ensemble de ces essais et leurs résultats variables, cela dépend vraiment de quelles besoin dans l'univers Linux sont les plus importantes pour vous.

• Gaming Benchmarks: Windows 7 vs. Ubuntu Linux
• Résultat : Ubuntu à aujourd'hui quasiment les mêmes capacités graphiques que windows. (parfois en dessous, parfois égale, parfois au dessus).
  • Parmi les résultats, on retient un résultat quasi identique pour le moteur unigine, de dernière génération.

Source : Mac OS X 10.6.3 vs. Windows 7 vs. Ubuntu 10.04 Benchmarks

• Résultat : ubuntu²⁾ suit de TRÈS près windows 7 pour la puissance 3D (jeux …), et mac osx est loin à la traine.

Source : Vista, Windows 7, Ubuntu 9.04 and 9.10 boot speed comparison

Source : Benchmarked: Ubuntu vs Vista vs Windows 7

Permet également de voir les avantages de l'ext4.

• Ubuntu/linux plus résistant que Mac OS ou Vista
• Dell : «La distribution Linux Ubuntu est plus sûre que Windows»

Voir antivirus

Source : Mac OS X 10.5 vs. Ubuntu 8.10 Benchmarks

• la version 64bits d'Ubuntu est effectivement un cran au dessus de la version 32bits dans presque tous les domaines;
• jeux 3D : grosse déception pour Ubuntu avec des perfs catastrophiques par rapport au Mac.
• SQL Lite : le Mac massacre Ubuntu.
• Java : avantage net pour Ubuntu en 32 et 64bits pour Scimark, Apple pour Sunflow.

Source : Ubuntu 8.04 LTS vs. Windows XP SP3: Application Performance Benchmark

Source : Ubuntu 7.10 vs Windows XP SP3: Application Performance

Source : Linux vs Windows 7

• Ubuntu 12.04 LTS - Benchmarking All The Linux File-Systems
• Real World Benchmarks Of The EXT4 File-System
• EXT4, Btrfs, NILFS2 Performance Benchmarks
• Ubuntu 9.04 Receives EXT4 Support(Jfs,XFS,ReiserFS, Ext3, Ext4)

Source : Multiplatform OpenOffice.org 3.0 Benchmark

• Java Performance: Ubuntu Linux vs. Windows Vista

• VirtualBox vs. Qemu vs. VMware-player (updated)

Un benchmark sur les moteurs gtk compatible et installable sur ubuntu, sans changer de distribution.

Choisissez bien votre moteur gtk et votre thème:

(Les valeurs les plus basses sur l'illustration sont les meilleures) Source du benchmark : Gtk Engines Benchmarks – What’s the fastest?

Le plus rapide :

• Moteur et thèmes Bluecurve
• Moteur et thèmes XFCE
• Moteur et thème Gtk et ubuntu par défaut

Esthétique :

• Moteur et thèmes Gtk et ubuntu par défaut
• Aurora
• Moteur et thèmes XFCE
• Moteur et thèmes Bluecurve

Les thèmes xfce peuvent être un bon compromis là ou l'esthétique est secondaire.

Bluecurve n'est pas installé par défaut. Les possesseurs de Synaptic pourront l'installer facilement.

• Evaluation du MP3 , WMA , AAC , OGG -> débit 80 kbps (image)
• Evaluation du MP3 , WMA , AAC , OGG -> débit 96 kbps (image)

Tout à droite se trouve le high Anchor ( référent haut ), qui n’est qu’un point de repère sur la qualité mp3 obtenu a plus haut débit ( 128kbit/s 44khz ).

L’ogg Vorbis l’emporte, et est supérieur au mp3 à débit supérieur.

• Comparatif des formats audio FLAC - APE - MP3 - MP3PRO - MPC - OGG - WMA

Vous pouvez voir qu’à débit égal pour une assez forte compression ( 64 kbit/s ) le ogg rend 2 fois plus de « son ».

La bande passante résultante est deux fois plus importante.

• 7.5 khz pour le mp3
• 15khz pour l’ogg.

• Codec shoot-out 2005 - Final
• First Annual MSU H.264/MPEG-4 AVC Video Codecs Comparison
• Second Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison (2005)
• MSU Subjective Comparison of Modern Video Codecs (2006).
• Third Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison (2006)
• Fourth Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison(2007)
• Options Analysis of MPEG-4 AVC/H.264 Codec x264
• Fifth MSU MPEG-4 AVC/H.264 Video Codec Comparison(2009)

• Lossless Video Codecs Comparison ‘2007

• MSU JPEG 2000 Image Codecs Comparison

• CompressionRatings.Com
• Large Text Compression Benchmark / Generic Compression Benchmark
• Archiver Comparison Obsolete benchmark from year 2004
• SQUEEZECHART
• Maximum Compression
• Archive Comparison Test Obsolete benchmark from year 2002
• Compression Tools Compared, Linux Journal, September 2005
• Comparison of various softwares of compression (french)
• Practical Compressor Test An article from 2007 comparing 6 compressors

• The Computer Language Benchmarks Game

• Pannes de netbooks : Une analyse compare les marques.
• https://www.notebookcheck.net/Mobile-Graphics-Cards-Benchmark-List.844.0.html ( carte graphique pour portable )
• http://kettya.com/notebook2/index2009.htm (2009)
• http://kettya.com/notebook2/
• http://kettya.com/notebook2/gpu_ranking_mark06.htm (carte graphique pour portable)

Et benchmark de la performance par watt consommé ( ou rendement ).

• Video Card and CPU Power Consumption

• https://www.cpubenchmark.net/
• http://www.zonebench.com/
• http://www.primatelabs.ca/geekbench/

• 1st ever Harddisk benchmark thread
• Disques durs : les performances suivant les générations
• SSD - OCZ Agility - Seagate - vs SST Hddboost

• Doom9 et le forum doom9
• Compression.ru

Avant d'utiliser un benchmark, il est indispensable d'activer l'accélération graphique, selon la marque de votre carte :

• nvidia
• ati

GlxGears est un benchmark pour votre carte graphique qui vous donne un aperçu d'un score à titre indicatif. Voir la page dédiée.

Ce script permet de connaître le modèle de la carte graphique, des processeurs, des dimensions de l'écran, la version et le nom du pilote utilisé, la version du kernel et le résultat obtenu de la commande glxgears.

Ouvrir un éditeur de texte ,coller le code et enregistrer le, render le exécutable et lancer le avec terminal.

#! /bin/bash
#ce script permet de connaître :
#modele carte graphique, processeurs, dimension ecran, version du pilote et Kernel, resultat de glxgears.

grep VGA /proc/pci 2> /dev/null || lspci | grep VGA | colrm 1 4 ; egrep "model name|MHz" /proc/cpuinfo ; \
xdpyinfo | egrep "version:|dimensions|depth of" ; glxinfo | egrep -A2 "direct rendering|OpenGL vendor" ; \
uname -sr; glxgears & sleep 30 ; killall glxgears

Un autre outil très pratique qui donne tout un tas d'informations sur la machine ainsi qu'une demi-douzaine de benchmark est le paquet hardinfo (voir la page dédiée).

Unigine est un moteur intéressant (mais non libre) présenté ici sous forme de bench Unigine v0.4 Sanctuary demo. Il permet de tester sa carte graphique sous DirectX 9 et 10 (Windows) et OpenGL (toutes plateformes). Ce bench utilise jusqu'à 500 000 polygones par scène, 5 sources de lumière, un rendu HDR et toutes les dernières avancées en matière de rendu. Totalement gratuit, il est assez léger à télécharger (26 Mo) et permet des benchs dans toutes les résolutions…

Tropics (DirectX 9 à 10.1), puis Heaven (DirectX 9 à 11) sont des benchmark plus récents, nécessitant plus de puissance graphique.

	Unigine Sanctuary
	Unigine Tropics
	Unigine Heaven

1. Téléchargement depuis le site (en) : https://unigine.com/ (pour sanctuary et tropics pour Linux, seul le téléchargement par torrent réussi, 21 mai 2012) ;

2. lancer le script téléchargé (.run) après l'avoir rendu exécutable si ce n'est le cas.

1. se placer dans le dossier créé par l'installateur ;

2. lancer l'un des script .sh du dossier.

capture d'écran : appuyer sur la touche F12 pour lancer une capture d'écran, l'image sera sauvegardée dans le sous-dossier /bin/screenshots/.

Lightsmark 2007 est un benchmark également non libre qui a pour objectif d’évaluer les performances des cartes graphiques sous environnement OpenGL. Le benchmark est compatible avec les cartes graphiques avec GPU nVIDIA et ATI et mise grandement sur les effets d’ombre et les éclairages dynamiques.

Lightsmark2008 : http://dee.cz/lightsmark/Lightsmark2008.2.0.tar.bz2

site (anglais) : http://dee.cz/lightsmark/

Installer les dépendances libfreeimage3

Le test a besoin de libglew1.5, mais la version de ce paquet n'est plus disponible dans Ubuntu 12.10, il faut donc copier libglew1.8 vers libglew1.5 , pour cela, entrer cette ligne (testé sur la version 64bits ) :

sudo cp /usr/lib/x86_64-linux-gnu/libGLEW.so.1.8 /usr/lib/x86_64-linux-gnu/libGLEW.so.1.5

Voir la page dédiée : Phoronix Test Suite

Tester sa vitesse de connexion :

• Speedzilla (libre)
• Bandwidth Monitoring Tools for Ubuntu Users.

• Documentation sur les cartes graphiques Ati
• Documentation sur les cartes graphiques Nvidia
• Documentation sur les cartes graphiques Intel
• Documentation sur les cartes graphiques
• Liste des modèles de cartes graphiques

• http://www.tomshardware.com/fr/benchmark/

Contributeurs : Psychederic.