¿Cómo puedo supervisar y optimizar los costes en AWS Glue para Apache Spark?

Resolución

Supervisión del uso

Para obtener un resumen del coste del uso de Spark en tus trabajos de AWS Glue, utiliza el Explorador de costes de AWS.

Sigue estos pasos:

1. Abre la consola de Administración de facturación y costes de AWS.
2. En el panel de navegación, selecciona Explorador de costes.
3. En el panel Costes, consulta los costes mensuales de AWS Glue.

Visualización de los detalles de uso por trabajo

Para supervisar los detalles del trabajo de AWS Glue, como el estado de ejecución, la duración de la ejecución o el uso de la unidad de procesamiento de datos (DPU), sigue estos pasos:

1. Abre la consola de AWS Glue.
2. En Trabajos de ETL, elige Supervisión de la ejecución del trabajo.

Visualización del coste por tipo de trabajo

Para obtener los costes de un tipo específico de trabajo de AWS Glue, sigue estos pasos:

1. Abre la consola de Administración de facturación y costes de AWS.
2. En Análisis de coste y uso, elige Explorador de costes.
3. En Parámetros del informe, en la sección Filtros, en Servicio, elige Glue.
4. En Tipo de uso, selecciona el filtro para tu trabajo e incluye tu región de AWS:
   Para un trabajo estándar, utiliza el filtro ETL-DPU-Hour. Por ejemplo, para la región Oeste de EE. UU. (Oregón), aplica USW2-ETL-DPU-Hour.
   Para un trabajo flexible, utiliza el filtro ETL-Flex-DPU-Hour. Por ejemplo, aplica USW2-ETL-Flex-DPU-Hour.
   Para una sesión interactiva, utiliza GlueInteractiveSession-DPU-Hour. Por ejemplo, aplica USW2-GlueInteractiveSession-DPU-Hour.

Obtención del uso y el coste de un trabajo específico

Para obtener el coste de un trabajo específico de AWS Glue, sigue estos pasos:

1. Abre la consola de AWS Glue.
2. En Trabajos de ETL, elige Supervisión de la ejecución del trabajo.
3. Encuentra las horas de DPU que has utilizado para el trabajo.
4. En la página Precios de AWS Glue, en la pestaña Trabajos de ETL y sesiones interactivas, selecciona tu región.
5. Anota el coste de cada DPU-HOUR para tu tipo de trabajo.
6. Para calcular el coste, multiplica tus horas de DPU por el coste de cada DPU-HOUR.

Para obtener las métricas de trabajo de AWS Glue sobre el uso de la memoria o la CPU o el tráfico de datos, configura una alarma de CloudWatch.

Para recibir notificaciones sobre su trabajo de AWS Glue, consulta ¿Cómo puedo recibir las notificaciones de Amazon SNS cuando mi trabajo de AWS Glue cambia de estado?

Optimización de costes

Para optimizar los costes del uso de Spark en los trabajos de AWS Glue, toma las siguientes medidas:

• Ajusta el trabajo de AWS Glue para reducir la duración de la ejecución del trabajo y la cantidad de trabajadores necesarios.
• Define el tipo de ejecución de trabajos de AWS Glue como Flex para los trabajos de AWS Glue no críticos.
• Activa Auto Scaling para tu trabajo de AWS Glue.
• Crea un perfil de uso de AWS Glue para restringir los tipos de trabajadores, limitar el número máximo de trabajadores y limitar la duración de la ejecución de un trabajo.
• Establece un tiempo de espera de AWS Glue adecuado para tu API de trabajos, de modo que el trabajo no se ejecute más allá del tiempo de ejecución esperado.
• Utiliza un tipo de trabajador y un recuento de trabajadores adecuados.
• Para probar y desarrollar en un entorno local, usa una imagen de Docker. AWS Glue Docker utiliza recursos computacionales locales en lugar de los servicios en la nube de AWS Glue.
• Usa la característica de marcadores de trabajos de AWS Glue para procesar los datos de forma incremental.
• Utiliza las métricas de CloudWatch para identificar la capacidad de DPU óptima y ajustar la capacidad según sea necesario.
• Detén o elimina las sesiones interactivas cuando no las estés usando. Usa %stop_session de Jupyter magic o selecciona Detener sesión en la página Sesión interactiva de la consola de AWS Glue. También puedes usar Stop Notebook (Detener cuaderno) para terminar la sesión.
  Nota: La sesión permanece activa aunque cierres la pestaña del navegador.

Información relacionada

Supervisión y optimización de los costes en AWS Glue para Apache Spark