[Glue Studio] Data target 選了 partition key,執行 job 卻說 Partition column not found in schema

0

您好:

我有一個 job 在未設定 data target 的 partion key 之前是可以輸出 JSON 檔案,內容如下:

{
  "sessionId": "0d91d25b-91a7-46bf-ba2f-27819f96530b",
  "width": 1542,
  "height": 720,
  "densityDpi": 320,
  "density": 2,
  "lang": "zh",
  "country": "CN",
  "amount": 0,
  "ip": "168.95.1.1",
  "taiwanDttm": "2023-08-04 16:42:43.185",
  "taiwanDateStr": "20230804",
  "taiwanHour": 16
}

內容包含了taiwanDateStrtaiwanHour
但當我在 data target 設定使用taiwanDateStrtaiwanHour做爲 partition key 之後,
執行 job 就會出現IllegalArgumentException: Partition column taiwandatestr not found in schema的錯誤,
懇請指點,
謝謝。

Data preview 可以看見要做 partition key 的欄位

Data target 選了 partition key

已提問 8 個月前檢視次數 1078 次
1 個回答
0

你好,

從錯誤,我知道你正在 Glue Studio 中獲得「工作非法參數選項:分區列台灣datestr 在模式中找不到」。 列「台灣日 STR」存在,但你仍然得到這個錯誤。

如果導致問題,您可以檢查以下幾個項目:

-檢查欄名稱中是否有任何額外空格,或在欄名稱中新增任何額外空格的任何步驟。 -嘗試使用舊的 Glue Studio 控制台(關閉頂部的切換按鈕) -檢查任務的 CloudWatch 日誌,看看是否可以獲得有關錯誤的任何進一步詳細信息。

如果您檢查了上述項目後無法解決問題,請向 AWS Glue 支援團隊提出個案。 我們將在最後檢查您的表格/工作/帳戶詳細信息,並將進一步調查。

profile pictureAWS
支援工程師
已回答 8 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南