Comment puis-je déployer un modèle HuggingFace sur SageMaker AI ?

Résolution

Remarque : Avant de commencer, assurez-vous que vous disposez d'une instance de notebook SageMaker ou d'un domaine SageMaker AI Studio.

Pour déployer un modèle HuggingFace sur SageMaker AI, utilisez SageMaker AI Jumpstart ou le SDK SageMaker AI pour Python.

Utiliser SageMaker AI Jumpstart dans SageMaker Studio

Procédez comme suit :

1. Lancez SageMaker Studio.
2. Dans le volet de navigation, sélectionnez JumpStart.
3. Sélectionnez HuggingFace comme fournisseur.
4. Sélectionnez votre modèle, puis choisissez Déployer.
5. Configurez les paramètres de votre point de terminaison, puis sélectionnez Déployer.

Utiliser le SDK SageMaker AI pour Python pour déployer un modèle depuis le hub HuggingFace

Procédez comme suit :

1. Ouvrez votre environnement de machine learning.

2. Installez et mettez à niveau SageMaker AI :

   !pip install --upgrade sagemaker --quiet

3. Démarrez la session SageMaker AI, puis définissez le rôle d'exécution :

   import sagemaker
   sess = sagemaker.Session()
   role = sagemaker.get_execution_role()

4. Définissez les paramètres de votre modèle :

   from sagemaker.huggingface.model import HuggingFaceModel
   hub = {
     'example-hf-model-id':'distilbert-base-uncased-distilled-squad', # model_id from hf.co/models
     'example-hf-task':'question-answering'
   }

   Remarque : Remplacez example-hf-model-id par votre ID de modèle figurant dans la liste de modèles HuggingFace sur le site Web de Hugging Face. Remplacez example-hf-task par la tâche que vous souhaitez utiliser pour les prévisions. Pour obtenir la liste de valeurs HF_TASK, consultez la section Pipelines sur le site Web de Hugging Face.

5. Créez la classe, puis déployez-la sur SageMaker AI :

   huggingface_model = HuggingFaceModel(
      env=hub,
      role=role,
      transformers_version="4.26",
      pytorch_version="1.13",
      py_version='py39',
   )
   predictor = huggingface_model.deploy(
      initial_instance_count=1,
      instance_type="ml.m5.xlarge"
   )

Informations connexes

Hugging Face sur le site Web d’Amazon SageMaker Python SDK

Ressources pour l’utilisation de Hugging Face avec Amazon SageMaker AI

Déployer un modèle depuis le hub sur le site Web de Hugging Face

Déployer des transformateurs pour l’inférence sur le site Web de GitHub