Outils pour utilisateurs

Outils du site


python

Ceci est une ancienne révision du document !


Quelques informations concernant l'utilisation de python sur la plateforme

Problème concernant les lock file appliqué à Keras et H5PY

Si vous utilisez une bibliothèque pour manipuler des fichiers, il est possible que vous rencontriez un problème lié au lock file. En effet, sur toutes les machines utilisant CentOs (les noeuds liés à frontalhpc), il semblerait que le NFS (système de fichier en réseau) ait un paramètre visant à bloquer les lock files.

Voici la solution pour contourner ce problème si vous utilisez la bibliothèque de deep learning 'Keras'. Si vous souhaitez enregistrer un modèle avec des checkpoint par exemple, vous risquez d'avoir une erreur. Keras utilise la bibliothèque H5PY pour enregistrer ses modèles et c'est cette bibliothèque qui renvoie l'erreur. Pour la résoudre, il faut lui spécifier, via une variable d'environnement, de ne pas utiliser les lock file:

export HDF5_USE_FILE_LOCKING="FALSE"

Vous pouvez insérer cette commande dans votre script d'exécution ou encore dans votre bashrc.

python.1563366330.txt.gz · Dernière modification : 2019/07/17 12:25 de nicwagne