如何创建 AWS Glue 数据质量自动监测功能规则并优化其性能？

解决方法

实施 AWS Glue 数据质量自动监测功能规则并创建规则集

使用规则建议或数据质量定义语言 (DQDL) 来创建和定义规则。然后，创建规则集对规则进行分组。

优化 AWS Glue 数据质量自动监测功能规则

分析您的数据管道以收集性能指标，例如规则执行时间、资源利用率和失败率。有关详细信息，请参阅 Measure performance of AWS Glue Data Quality for extract, transform, and load (ETL) pipelines。

最佳做法是监控 AWS Glue 数据质量自动监测功能规则的性能。使用 Amazon CloudWatch 设置 AWS Glue 数据质量自动监测功能警报和通知。

查看您的性能指标以确定效率低下和潜在瓶颈，然后采取以下措施：

• 简化规则。
• 优化数据格式。
• 对数据进行分区。
• 计划规则。

有关如何优化 AWS Glue 数据质量自动监测功能规则的详细信息，请参阅最佳实践。

简化规则

最佳做法是简化可能需要更多处理能力的复杂规则。完成以下步骤：

1. 查看您现有的 AWS Glue 数据质量自动监测功能规则，然后记下任何涉及联接、聚合或多个步骤的规则。
2. 将规则拆分为较小的规则，以解决特定的数据质量检查。
3. 实施简化规则，然后将其性能与之前的规则进行比较。

优化数据格式

确定数据集中的数据格式，然后将数据转换为更有效的格式，例如 Parquet。请务必对数据管线或处理逻辑进行任何必要的更改。有关详细信息，请参阅文件格式和数据压缩。

对数据进行分区

对数据进行分区，将其分成几列以允许并行处理。

完成以下步骤：

1. 分析结构和访问数据模式以确定分区标准，例如日期、位置或产品。
2. 修改数据摄取，以根据已确定的标准将数据分成几列。
3. 更新 AWS Glue 数据质量自动监测功能规则，使其使用分区数据结构。

有关详细信息，请参阅 Work with partitioned data in AWS Glue。

计划规则

计划数据质量规则，按重要性、影响力和资源需求排定优先顺序。

相关信息

How do I troubleshoot issues with AWS Glue Data Quality rules?