DAG导入错误在解决后仍然未在用户界面中消失

Question

【以下的问题经过翻译处理】 我在托管 Airflow 环境中的 Airflow Web UI 遇到了一个问题。我在 S3 的 Airflow 指定桶中上传了一个 DAG 文件。它有几个导入错误。我修复了错误并重新上传了文件。但我仍然在用户界面上看到了错误。DAG 运行正常，没有任何问题。

我想，既然网络服务器进程没有重启，那么它肯定不知道已经完成了修复。于是，我在环境的 Airflow 配置选项中做了一个小改动，从而迫使服务重新启动。但还是无济于事。

我有几个问题：

1. 为什么没有重新启动或停止 Airflow 环境的选项？这将有助于降低客户的成本，也有助于在对配置进行任何更改后重新启动用户界面。
2. 如何让 Web 服务器进程知道 DAG 导入错误已解决，从而不再在用户界面中显示错误？

Answer

【以下的回答经过翻译处理】 虽然没有专门的重启选项，但添加/删除/更改任意配置覆盖或日志级别选项都会强制重启。

由于 Airflow 中有许多依赖项（如元数据库）无法轻易停止，因此无法选择停止环境。作为替代方案，可以通过 API 或 CloudFormation 创建和销毁环境。

MWAA 运行的是开源 Airflow（1.10.12 或 2.0.2），不会改变其行为。如果网络服务器没有更新为无错误，则可能是负责序列化 DAG 的调度程序尚未完成或仍在出错。查看 CloudWatch 中的 DAG 处理日志（可能需要 INFO 级别的日志记录）。您还可以使用  在本地进行调试。

DAG导入错误在解决后仍然未在用户界面中消失

Relevanter Inhalt