Des centaines de milliers de PC ordinaires, raccordés en réseau et répartis en quelque 300 points de la planète, traitent et emmagasinent les milliards de données émises quotidiennement par le LHC, le plus puissant accélérateur de particules au monde. Une solution technologique qui porte le nom de « grille de production » et qui a le vent en poupe !
Anticiper les besoins du LHC
En 1994, alors que le Conseil du CERN vient d'approuver la construction du plus grand accélérateur de particules au monde, le futur LHC, une énigme est posée à la communauté des physiciens : comment traiter les données des expériences qui y seront menées ? Car à raison de 40 millions de collisions de particules par seconde, 24 heures sur 24, le volume d'informations produit promet d'être gigantesque et des milliers de physiciens, aux quatre coins de la planète, doivent pouvoir suivre ces résultats au quotidien. L'ouverture du LHC est programmée pour 2005, le temps presse.
L'idée de répartir les calculs et les stocks de données dans des ordinateurs géographiquement dispersés s'impose rapidement comme la solution technique idéale mais elle reste à l'époque irréaliste : les réseaux ne sont pas assez puissants pour transporter de tels flots d'informations. A tel point qu'il est un moment envisager de faire voyager ces données… par avion ! Mais au début des années 2000, le miracle advient : la capacité des réseaux passe en quelques mois de quelques mégabits à plusieurs gigabits par seconde, une puissance désormais suffisante pour alimenter, sans perte de temps ni de données, des centres de calcul et de stockage dispersés.
L'architecture de la grille
La grille de production française rassemble aujourd'hui plus de 22 000 processeurs et 14 millions de gigaoctets de stockage répartis en une quinzaine de « nœuds » informatiques. Ces nœuds sont hébergés, en différents lieux du territoire, dans les locaux d'organismes scientifiques ou universitaires, partenaires de la grille, et sont raccordés entre eux par le réseau Renater. Les processeurs tournent sous Linux.
Les partenaires français de la grille sont : le CEA, le CNRS, l'Inra, l'Inria, l'Inserm, Renater, le CPU (Conférence des présidents d'université), le ministère de l'Enseignement supérieur et de la Recherche. Proportionnellement à l'usage qu'il fait de la grille, chaque partenaire en finance une partie et choisit s'il préfère consacrer les microprocesseurs dont il est virtuellement « propriétaire » à des activités de calcul, de stockage ou aux deux. À l'échelle mondiale, la grille de calcul est constituée de plus de deux cents sites situés sur trois continents (200 sites en Europe, une cinquantaine en Amérique et en Asie), hiérarchisés en différents niveaux : au niveau 0, le centre du Cern récupère les données brutes produites par les détecteurs, les stocke et les redistribue au niveau 1 ; celui-ci est constitué de onze centres de calculs dits « centres névralgiques », disponibles 24 heures sur 24, qui assurent la pérennité des données et réalisent un premier traitement avant de les transmettre aux centres des niveaux 2 et 3, où se fait l'analyse physique proprement dite.
La France tient une place importante dans la grille de calcul du LHC avec le Centre de Calcul de l'IN2P3/CNRS (situé à Villeurbanne, près de Lyon), un des onze centres de premier niveau, et avec sept sites de niveau 2, dont Marseille et deux centres de niveau 3 à Grenoble et à Lyon.
Le 1er janvier 2001, le projet européen Datagrid voit le jour avec, pour mission, d'élaborer et d'organiser la future « grille de production » informatique : aménager une infrastructure matérielle (ordinateurs et réseaux) robuste et fiable, développer le logiciel qui servira d'interface aux chercheurs pour exploiter les données, assurer la sécurité du système.
Pendant quelques années, raconte avec humour Jean-Pierre Meyer du CEA, le système imaginé « tombe en marche de temps en temps ».
En 2004, les problèmes majeurs sont résolus et la grille est opérationnelle : quinze sites français reliés par le réseau Renater et raccordés au réseau européen ont été choisis pour héberger les microprocesseurs, et le logiciel utilisateur est prêt.
L’ouverture à d’autres disciplines
Alors que le chantier du LHC prend du retard, la grille française et européenne qui portera jusqu'en 2008 le nom de EGEE (pour Enabling Grids for E-sciencE) est prête et d'autres disciplines que la physique des particules s'en saisissent déjà.
En avril 2005 par exemple, en pleine menace de grippe aviaire, des laboratoires asiatiques et européens mobilisent la grille pendant un mois pour tester 300 000 médicaments potentiels contre le virus H5N1.
Car à l'inverse des supercalculateurs dont les créneaux horaires sont réservés longtemps à l'avance, le système de grille offre une plus grande flexibilité. Une partie de la force de calcul peut être allouée dans l'urgence à une tâche non programmée. La grille européenne est ainsi sollicitée lors des tremblements de terre pour rassembler et analyser les données et évaluer en moins de 24 heures les risques de répliques.
Vers de nouveaux usages
Mais pour Guy Wormser, fondateur et premier directeur de l'Institut des grilles du CNRS, l'atout majeur de la grille réside moins dans sa puissance de calcul ou sa capacité à traiter des volumes d'informations importants que dans la mise en réseau de chercheurs et le partage des données. Des entités géographiquement dispersées, appartenant à des laboratoires ou des organismes de recherche différents, peuvent ainsi partager leurs informations, mutualiser leurs bases de données, se nourrir des travaux de leurs confrères, voire même se répartir les tâches. Le partage de l'expertise médicale entre hôpitaux est un exemple, le décodage de génomes en est un autre.
Une notoriété encore faible
Aujourd'hui, la grille tourne en permanence à 70% de sa capacité totale et deux tiers des ressources disponibles sont utilisées par le LHC.
Les besoins du LHC sont pourvus mais le développement de la grille est inscrit dans les priorités du Grand emprunt national. Ses ressources matérielles devraient donc croître au rythme de 10 à 15 % par an. Guy Wormser estime que « le potentiel de développement est encore très important et que le nombre d'utilisateurs pourrait facilement être multiplié par 10 dans les prochaines années [800 chercheurs utilisent actuellement la grille en France et 15 000 en Europe]. Mais pour aller chercher de nouveaux usagers, pour devenir le 'fournisseur officiel' de différentes communautés scientifiques, il va falloir faire œuvre d'évangélisation ». Car, construite en premier lieu pour les physiciens, la grille souffre d'un déficit de notoriété auprès des chercheurs d'autres disciplines : peu connaissent l'outil et moins encore les services qu'elle peut remplir.
Faire connaître la grille et améliorer l'ergonomie de l'interface utilisateur sont, selon Guy Wormser, les deux priorités à venir.
Un outil complémentaire aux supercalculateurs
À plus long terme, des passerelles pourraient être créées entre la grille et les quelques supercalculateurs en fonctionnement dans le monde. Car si, en raison des distances entre les processeurs, la grille a une puissance de calculs inférieure à celle des supercalculateurs, elle pourrait néanmoins les soulager d'une partie des tâches pour lesquelles cette puissance n'est pas indispensable. «Un processeur de supercalculateur coûte à peu près dix fois plus cher qu'un processeur de grille et les temps de calcul dont disposent les chercheurs sont rares et limités. La grille pourrait prendre en charge, par exemple, la phase de préparation des données et la phase finale d'exploitation, le supercalculateur n'étant sollicité que pour le cœur du calcul proprement dit. Les deux outils devraient être complémentaires mais, pour l'instant, ces deux mondes s'ignorent encore trop», constate Guy Wormser.
C'est désormais au nouveau groupement d'intérêt scientifique (GIS) France Grilles, créé en septembre 2010, qu'incombe la responsabilité de coordonner les futurs développements de la grille sur le territoire français.