如何优化提示以在 Amazon Bedrock 上实现确定性响应？

解决方法

如果您的 Amazon Bedrock 提示无法正常运行，或者您想要更好的确定性响应，请使用以下解决方案。

选择合适的基础模型

Amazon Bedrock 提供多种预训练基础模型 (FM)（例如 Amazon Titan、Anthropic Claude 和 Mistral）的访问权限。

要为您的用例找到合适的 FM，请执行以下操作：

• 调整模型推理参数，例如 temperature 和 top-p，以降低生成文本中的随机性。
• 测试不同的模型。要进行基本测试，请使用 Amazon Bedrock 控制台 Chat（聊天）平台上的 Compare mode（比较模式）功能。
• 使用不同的模型，然后比较多次运行同一提示时响应的一致性。
• 为您的用例选择行为最具确定性的模型。

使用模型评估作业

要执行高级测试，请使用模型评测作业。要识别提示词或训练数据中的潜在问题或偏差，请使用自动模型评测。要检查输入数据的输出一致性，请使用人工进行的模型评估作业。

创建清晰具体的提示

要创建清晰具体的提示以生成相应的响应，请执行以下操作：

• 以不同的方式编写提示。例如，更改结构、关键字或格式以从模型中获得更一致的响应。
• 使用限制模型生成开放式或发散式输出的能力的提示。
• 调整 FM 的推理参数以检查每个提示的输出是否有变化。

有效提示示例：

 ``` You are a professional proofreader. Please review the following text for any grammatical errors, spelling mistakes, or inconsistencies, and provide corrections:   

[Insert text to be proofread] ```

前面的提示清楚地定义了模型的角色并提供了具体的说明。它还限制了响应范围，从而增加了产生确定性和相关输出的机会。

自定义您的 FM

如果预训练的 FM 无法满足您的特定要求，您可以使用持续的预训练和微调来自定义 FM。

要微调模型，请完成以下步骤：

1. 准备一个数据集，该数据集代表您要在 FM 中使用的输入种类。
2. 微调或使用持续的预训练在数据集上训练 FM。根据需要调整自定义模型超参数。
3. 评估经过微调的 FM 的性能，然后重复这些步骤，直到获得合适的结果。有关详细信息，请参阅模型自定义指南。

合并和完善 FM 输出

合奏技巧

为了获得更准确、更可靠的结果，请设置一个工作流程，将多个模型的输出组合在一起，以提高最终预测的可靠性和稳健性。您还可以添加自定义逻辑来分析和完善输出。

要修改或删除输出中的非确定性元素，请使用后处理任务。

提示串接

使用链式提示来构建更复杂、功能更强大的生成式人工智能应用程序。

将复杂的任务分解为更小、更易于管理的子任务，这些子任务有自己的提示。然后，将子任务组合在一起，形成您希望 FM 完成的完整复杂任务。使用 Amazon Bedrock 结合 AWS Step Functions 以按照预定义的顺序或一组已定义的规则排列提示。

要开始使用，请参阅 GitHub 网站上的 amazon-bedrock-serverless-prompt-chaining 存储库。有关如何构建有效的人工智能应用程序的信息，请参阅使用 Amazon Bedrock 和 Step Functions 构建和编排生成式人工智能应用程序。

设置护栏

要控制来自 FM 的响应，请为 Amazon Bedrock 设置护栏。您可以在多个 FM 中统一应用护栏。使用护栏屏蔽某些话题，筛选有害或不可预测的内容，删除不受欢迎的字词，隐藏敏感信息。有关详细信息，请参阅 Amazon Bedrock 的护栏。

您还可以自定义屏蔽消息，并使用内置的测试窗口来测试您的护栏配置。要获得可控和可预测的输出，请在生成响应时将护栏直接与 FM 相连。