Différences

Ci-dessous, les différences entre deux révisions de la page.

--- premierspas [2017/06/16 12:28] – toussain
+++ premierspas [2026/03/20 14:20] (Version actuelle) – admin
@@ Ligne 1: / Ligne 1: @@
-====== Utilisation du gestionnaire de ressources SLURM ======
+====== Utilisation du cluster et de SLURM ======
+Un **cluster** est un regroupement de machines dédiées au calcul. Il est composé d'une machine frontale ("porte d'entrée" du cluster) et de plusieurs machines de calcul, appelées nœuds, et éventuellement hétérogènes ([[:machines|voir les nœuds du cluster du LIMOS]]).
+=====Accès au cluster=====
+On accède au cluster en se connectant (en ssh) sur le serveur **frontalhpc2020** et en utilisant le login / mot de passe de son compte ENT UCA (ou compte spécifiquement créé pour les extérieurs à l'UCA). Pour exécuter un programme sur un nœud de calcul, l'utilisateur doit obligatoirement passer par l'ordonnanceur de tâches SLURM (voir section suivante).
 ===== Qu'est-ce que SLURM ? =====
-SLURM (Simple Linux Utility for Resource Management) est un gestionnaire de ressources et ordonnanceur de tâches pour des clusters LINUX. Il permet de répartir au mieux les ressources de calcul (CPU, GPU, RAM) entre utilisateurs en gérant des files d'attente avec priorité. Une documentation complète est disponible sur le site de SLURM : [[http://slurm.schedmd.com/|http://slurm.schedmd.com/]].
+SLURM (Simple Linux Utility for Resource Management) est un gestionnaire de ressources et ordonnanceur de tâches pour des clusters LINUX. Il permet de répartir au mieux les ressources de calcul (CPU, GPU, RAM) entre utilisateurs en gérant des files d'attente avec priorité.
+Les processus d'un utilisateur sont confinés aux ressources (CPU notamment) qu'il a réservées : il ne peut pas accéder aux CPU réservés par d'autres utilisateurs. Cela permet d'assurer une certaine reproductibilité des exécutions d'un même programme, notamment au niveau des temps de calcul (contrairement à ce qu'il se passe sur des machines partagées en accès direct).
+Une documentation complète est disponible sur le site de SLURM : [[http://slurm.schedmd.com/|http://slurm.schedmd.com/]].
 ==== Le vocabulaire ====
@@ Ligne 18: / Ligne 34: @@
   * avec l'hyperthreading : 1 cœur physique = 2 CPU SLURM
-[{{  :socket.jpg?direct&  | Définition Socket, core, thread - extrait de [[https://slurm.schedmd.com/mc_support.html|https://slurm.schedmd.com/mc_support.html]]}}]
+[{{  :socket.jpg?direct&  | **Définition Socket, core, thread** - extrait de [[https://slurm.schedmd.com/mc_support.html|https://slurm.schedmd.com/mc_support.html]]}}]
-=== Les jobs et les tasks ===
+=== Les jobs ===
-Dans SLURM un **job**  correspond à une requête d'allocation de ressources (CPU, RAM, temps de calcul) par un utilisateur. Un job est composé d'étapes (**steps**) et chaque étape effectue une tâche (**task**) ou plusieurs en parallèle. Une task correspond à un processus, une task peut utiliser un ou plusieurs CPU.
+Dans SLURM un **job**  correspond à une requête d'allocation de ressources (CPU, RAM, temps de calcul) par un utilisateur.
+/*
+ Un job est composé d'étapes (**steps**) et chaque étape effectue une tâche (**task**) ou plusieurs en parallèle. Une task correspond à un processus, une task peut utiliser un ou plusieurs CPU.
+*/
 === Les partitions ===
@@ Ligne 28: / Ligne 47: @@
 Une partition dans SLURM correspond à un groupement logique de nœuds de calcul. Chaque partition est associée à des contraintes en termes de ressources (en particulier le temps de calcul maximum d'un job). Une partition peut être vue comme une file d'attente : l'utilisateur choisit la partition dans laquelle il soumet ses jobs en fonction de ses besoins.
+/*
 === Les features ===
 L'administrateur peut affecter des features (tags) aux nœuds en fonction de leurs caractéristiques. L'utilisateur peut alors préciser les features nécessaires pour ses jobs afin que SLURM affecte les jobs uniquement aux nœuds possédant le / les features demandés.
+*/
 ===== Soumettre un job =====
@@ Ligne 36: / Ligne 57: @@
 Pour soumettre un job (demande d'allocation de ressources pour exécuter un programme), l'utilisateur doit :
-  * soit définir son job dans un script et le lancer à l'aide de la commande sbatch (voir section 2.2.1);
+  * soit définir son job dans un script et le lancer à l'aide de la commande sbatch,
-  * soit lancer directement son job en ligne de commande à l'aide de la commande srun (voir section 2.2.2).
+  * soit lancer directement son job en ligne de commande à l'aide de la commande srun.
-==== Soumettre un job en utilisant un script ====
+Sauf cas particulier, il est préférable d'utiliser un script (méthode simple, rapide et le script est réutilisé facilement).
-L'utilisateur crée un script bash (.sh) dans lequel il précise les ressources dont il a besoin puis appelle son programme. Ce script est ensuite soumis à SLURM via la commande sbatch qui affecte un numéro au job.
+==== Soumettre un job en utilisant un script (méthode conseillée) ====
+L'utilisateur crée un script bash (.sh) dans lequel il précise les ressources dont il a besoin puis appelle son programme (étape 1). Ce script est ensuite soumis à SLURM via la commande sbatch qui affecte un numéro au job (étape 2).
 **Etape 1 : Description du job dans un fichier bash (.sh)**
@@ Ligne 92: / Ligne 116: @@
 </code>
+==== Soumettre directement avec srun ====
+La commande srun permet de définir une étape dans un script mais on peut aussi l'utiliser en ligne de commande pour soumettre directement un job (sans écrire de script). Le résultat d'exécution s'affiche alors directement à l'écran (il n'y a pas de création de fichier résultat). Les options sont les mêmes qu'avec le script, elles sont passées en ligne de commande.
+Exemple de soumission d'un exécutable (exe) dans la partition court pour 10 minutes :
+<code powershell>
+[toussain@frontalhpc ~]$ srun --partition=court --time=10:0 ./exe
+</code>
+<color #8b0000>Attention, les jobs soumis directement avec srun sont attachés au terminal, ils sont donc tués si vous fermez le terminal ou si vous vous déconnectez.</color>