¿Cómo puedo mejorar el rendimiento y los tiempos de respuesta de Amazon Bedrock al procesar y recuperar datos a gran escala?

Resolución

Es posible que tengas problemas de latencia por uno de los siguientes motivos:

• Distancia entre tu aplicación y el punto de enlace de Amazon Bedrock
• Modelos más grandes que, por lo general, requieren más tiempo de procesamiento
• Longitud y complejidad de las peticiones
• Gran volumen de llamadas simultáneas a la API

Para mejorar el rendimiento y los tiempos de respuesta, toma las siguientes medidas.

Elección del modelo correcto

Revisa los requisitos específicos y, a continuación, elige el modelo que mejor se adapte a tus necesidades en términos de velocidad y calidad de salida.

Mejora de las peticiones de entrada y del sistema

Reduce la cantidad de tokens tanto en las peticiones de entrada como en las del sistema. Si tu modelo tiene menos tokens que procesar y generar, generará una respuesta más rápida.

Se recomienda utilizar peticiones claras y concisas, plantillas estructuradas y técnicas de ingeniería peticiones.

Uso del almacenamiento en caché de peticiones

El almacenamiento en caché de peticiones es una característica opcional que puedes utilizar para reducir la respuesta y la inferencia de modelos en Amazon Bedrock. Agrega partes de la conversación a una memoria caché para que el modelo pueda reutilizar el contexto.

Uso de parámetros de inferencia

Utiliza parámetros de inferencia específicos de los modelos, como la temperatura, para controlar y ajustar la generación de respuestas. Estos parámetros ayudan a controlar la longitud de la salida.

Uso de la inferencia optimizada para la latencia

La inferencia optimizada para la latencia para modelos fundacionales en Amazon Bedrock proporciona tiempos de respuesta más rápidos y una mejor capacidad de respuesta para las aplicaciones de IA. No se requiere ninguna configuración adicional para acceder a la capacidad de optimización de la latencia. Establece el parámetro Latency en Optimizado.

Uso de modelos más pequeños

Los modelos más grandes, como Anthropic Claude 2, suelen tener una latencia más alta pero una mejor calidad. En su lugar, puedes usar modelos más pequeños que ofrezcan respuestas más rápidas con capacidades reducidas.

Selección de una región más cercana

Si el modelo está disponible en la región de AWS, elige la región de Amazon Bedrock más cercana a ti.

Uso de las API de streaming

Las API InvokeModel y Converse tienen que esperar hasta que se generen todos los tokens de respuesta antes de devolverte los tokens. Usa las API InvokeModelWithResponseStream y ConverseStream, ya que estas API no esperan hasta que se generen todos los tokens y devuelven la respuesta en una transmisión.