DAG导入错误在解决后仍然未在用户界面中消失

0

【以下的问题经过翻译处理】 我在托管 Airflow 环境中的 Airflow Web UI 遇到了一个问题。我在 S3 的 Airflow 指定桶中上传了一个 DAG 文件。它有几个导入错误。我修复了错误并重新上传了文件。但我仍然在用户界面上看到了错误。DAG 运行正常,没有任何问题。

我想,既然网络服务器进程没有重启,那么它肯定不知道已经完成了修复。于是,我在环境的 Airflow 配置选项中做了一个小改动,从而迫使服务重新启动。但还是无济于事。

我有几个问题:

  1. 为什么没有重新启动或停止 Airflow 环境的选项?这将有助于降低客户的成本,也有助于在对配置进行任何更改后重新启动用户界面。
  2. 如何让 Web 服务器进程知道 DAG 导入错误已解决,从而不再在用户界面中显示错误?
profile picture
專家
已提問 6 個月前檢視次數 20 次
1 個回答
0

【以下的回答经过翻译处理】 虽然没有专门的重启选项,但添加/删除/更改任意配置覆盖或日志级别选项都会强制重启。

由于 Airflow 中有许多依赖项(如元数据库)无法轻易停止,因此无法选择停止环境。作为替代方案,可以通过 API 或 CloudFormation 创建和销毁环境。

MWAA 运行的是开源 Airflow(1.10.12 或 2.0.2),不会改变其行为。如果网络服务器没有更新为无错误,则可能是负责序列化 DAG 的调度程序尚未完成或仍在出错。查看 CloudWatch 中的 DAG 处理日志(可能需要 INFO 级别的日志记录)。您还可以使用 https://github.com/aws/aws-mwaa-local-runner 在本地进行调试。

profile picture
專家
已回答 6 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南