Plateforme HPC LIMOS

Outils pour utilisateurs

Outils du site

Piste :
python

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
python [2019/07/17 14:24] – nicwagnepython [2019/07/17 14:31] (Version actuelle) – nicwagne
Ligne 1: Ligne 1:
 ====== Quelques informations concernant l'utilisation de python sur la plateforme====== ====== Quelques informations concernant l'utilisation de python sur la plateforme======
  
-===== Problème concernant les lock file appliqué à Keras et H5PY=====+===== Problème concernant le lock files avec Keras et H5PY=====
  
-Si vous utilisez une bibliothèque pour manipuler des fichiers, il est possible que vous rencontriez un problème lié au lock file. En effet, sur toutes les machines utilisant CentOs (les noeuds liés à frontalhpc), il semblerait que le NFS (système de fichier en réseau) ait un paramètre visant à bloquer les lock files. + Si vous utilisez une bibliothèque pour manipuler des fichiers, il est possible que vous rencontriez un problème lié au lock file. En effet, sur toutes les machines utilisant CentOs (les noeuds liés à frontalhpc), il semblerait que le NFS (système de fichier en réseau) ait un paramètre visant à bloquer les lock files. 
  
-Voici la solution pour contourner ce problème avec la bibliothèque de deep learning 'Keras'. Si vous souhaitez enregistrer un modèle avec des checkpoint par exemple, vous risquez d'avoir une erreur. Keras utilise la bibliothèque H5PY pour enregistrer ses modèles et c'est cette bibliothèque qui renvoie l'erreur. Pour la résoudre, il faut lui spécifier, via une variable d'environnement, de ne pas utiliser les lock file:+ Voici la solution pour contourner ce problème si vous utilisez la bibliothèque de deep learning 'Keras'. Par exemple, si vous souhaitez enregistrer un modèle avec des checkpoints, vous risquez de rencontrer ce type d'erreur: 
 + 
 +  OSError: Unable to create file(unable to lock file, errno=5, error message='Input/output error') 
 + 
 +Keras utilise la bibliothèque H5PY pour enregistrer ses modèles et c'est cette bibliothèque qui renvoie l'erreur. 
 + 
 + Pour la résoudre, il faut lui spécifier, via une variable d'environnement, de ne pas utiliser les lock file:
  
   export HDF5_USE_FILE_LOCKING="FALSE"   export HDF5_USE_FILE_LOCKING="FALSE"
      
 Vous pouvez insérer cette commande dans votre script d'exécution ou encore dans votre bashrc.  Vous pouvez insérer cette commande dans votre script d'exécution ou encore dans votre bashrc. 
python.1563366280.txt.gz · Dernière modification : 2019/07/17 14:24 de nicwagne