Amazon Bedrock에서 확정적 응답을 얻기 위해 프롬프트를 최적화하려면 어떻게 해야 합니까?

해결 방법

Amazon Bedrock 프롬프트가 제대로 작동하지 않거나 더 나은 확정적 응답을 원하는 경우 다음 해결 방법을 사용하십시오.

적합한 파운데이션 모델 선택

Amazon Bedrock에서 Amazon Titan, Anthropic Claude, Mistral과 같은 여러 사전 교육된 파운데이션 모델(FM)에 액세스할 수 있습니다.

사용 사례에 적합한 FM을 찾으려면 다음 조취를 취하십시오.

• 온도 및 top-p와 같은 모델 추론 파라미터를 조정하여 생성된 텍스트의 무작위성을 줄입니다.
• 다양한 모델을 테스트합니다. 기본 테스트를 수행하려면 Amazon Bedrock 콘솔의 채팅 플레이그라운드에서 비교 모드 기능을 사용합니다.
• 여러 모델을 사용해 보고 같은 프롬프트를 여러 번 실행하여 반응의 일관성을 비교합니다.
• 사용 사례에 맞는 가장 확정적 동작을 보이는 모델을 선택합니다.

모델 평가 작업 사용

고급 테스트를 수행하려면 모델 평가 작업을 사용합니다. 프롬프트 또는 학습 데이터에서 잠재적 문제나 편향을 파악하려면 자동 모델 평가를 사용합니다. 입력 데이터의 출력 일관성을 확인하려면 인간 근로자를 사용하는 모델 평가 작업을 사용합니다.

명확하고 구체적인 프롬프트 만들기

적절한 응답을 생성하는 명확하고 구체적인 프롬프트를 생성하려면 다음 조취를 취하십시오.

• 프롬프트를 다른 방법으로 작성합니다. 예를 들어 구조, 키워드 또는 형식을 변경하여 모델에서 더 일관된 응답을 얻을 수 있습니다.
• 열린 결론이나 선택의 폭이 있는 출력을 생성하는 모델의 기능을 제한하는 프롬프트를 사용합니다.
• FM의 추론 파라미터를 조정하여 각 프롬프트의 출력 변화를 확인합니다.

효과적인 프롬프트의 예:

 ``` You are a professional proofreader. Please review the following text for any grammatical errors, spelling mistakes, or inconsistencies, and provide corrections:   

[Insert text to be proofread] ```

위 프롬프트는 모델의 역할을 명확하게 정의하고 구체적인 지침을 제공합니다. 또한 응답 범위를 제한하므로 확정적이고 관련성이 높은 결과가 나올 가능성이 높아집니다.

FM 사용자 지정

사전 교육된 FM이 특정 요구 사항에 맞지 않는 경우 지속적인 사전 교육과 미세 조정으로 FM을 사용자 지정할 수 있습니다.

모델을 미세 조정하려면 다음 단계를 완료하십시오.

1. FM에 사용할 입력의 종류를 나타내는 데이터세트를 준비합니다.
2. 데이터세트에서 FM을 교육하려면 미세 조정하거나 지속적으로 사전 교육합니다. 필요에 따라 사용자 지정 모델 하이퍼파라미터를 조정합니다.
3. 미세 조정된 FM의 성능을 평가한 다음 적절한 결과를 얻을 때까지 단계를 반복합니다. 자세한 내용은 모델 사용자 지정 지침을 참조하십시오.

FM 출력 결합 및 미세 조정

앙상블 기법

더 정확하고 신뢰할 수 있는 결과를 얻으려면 여러 모델의 결과를 결합하여 최종 예측의 신뢰성과 견고성을 높이는 워크플로를 설정합니다. 또한 사용자 지정 로직을 추가하여 출력을 분석하고 미세 조정할 수 있습니다.

출력에서 비확정적 요소를 수정하거나 제거하려면 후처리 작업을 사용합니다.

프롬프트 체이닝

체이닝된 프롬프트를 사용하여 더 정교하고 성능이 뛰어난 생성형 AI 애플리케이션을 구축합니다.

복잡한 작업을 자체 프롬프트가 있는 더 작고 관리하기 쉬운 하위 작업으로 나눕니다. 그런 다음 하위 작업을 결합하여 FM에서 수행하려는 완전한 복잡한 작업을 형성합니다. Amazon Bedrock을 AWS Step Functions와 함께 사용하여 사전 정의된 순서 또는 정의된 규칙 집합에 따라 프롬프트를 조정합니다.

시작하려면 GitHub 웹 사이트에서 amazon-bedrock-serverless-prompt-chaining 리포지토리를 참조하십시오. 효과적인 AI 애플리케이션을 구성하는 방법에 대한 자세한 내용은 Amazon Bedrock과 Step Functions를 사용한 생성형 AI 애플리케이션 구축 및 조정을 참조하십시오.

가드레일 설정

FM의 응답을 제어하려면 Amazon Bedrock을 위한 가드레일을 설정합니다. 가드레일을 여러 FM에 일관되게 적용할 수 있습니다. 가드레일을 사용하여 특정 주제를 차단하고, 유해하거나 예측할 수 없는 콘텐츠를 걸러내고, 원치 않는 단어를 제거하고, 민감한 정보를 숨길 수 있습니다. 자세한 내용은 Amazon Bedrock을 위한 가드레일을 참조하십시오.

차단된 메시지를 사용자 지정하고 내장된 테스트 창을 사용하여 가드레일 구성을 테스트할 수도 있습니다. 제어되고 예측 가능한 출력을 얻으려면 응답을 생성할 때 가드레일을 FM에 직접 연결하십시오.