Amazon Athena でクエリを実行すると、"unable to create input format" というエラーが表示されます。
簡単な説明
"unable to create input format" というエラーは、次のいずれかの理由で発生します。
- Athena クエリのデータソースはサポートされていない
- Athena はデータ形式をサポートしていない
- AWS Glue クローラーはデータ形式を分類できない
- 1 つ以上の AWS Glue テーブル定義プロパティが空である
解決策
Athena クエリのデータソースはサポートされていない
Athena は Amazon Simple Storage Service (Amazon S3) に保存されているテーブルのみをクエリできます。S3 に保存されていないデータソースをクエリすると、"unable to create input format" というエラーが表示されます。
このエラーを解決するには、Athena クエリフェデレーション SDK を使用してください。この SDK では、独自のコードで Athena をカスタマイズできます。Athena Federation SDK を使用すると、さまざまなデータソースや独自のデータ形式と統合できます。新しいユーザー定義関数を作成することもできます。詳細については、「Query any data source with Amazon Athena's new federated query」(Amazon Athena の新しいフェデレーションクエリであらゆるデータソースをクエリする) を参照してください。
Athena はデータ形式をサポートしていない
AWS Glue クローラーを実行して S3 のファイルから Athena にテーブルを作成できますが、一部のファイルタイプは Athena でサポートされていません。たとえば、Athena は .ion や .xml などのファイルタイプをサポートしていません。
サポートされていないファイルタイプから Athena のテーブルにクエリを実行すると、"HIVE_UNKNOWN_ERROR: "unable to create input format" というエラーが表示されます。このエラーを解決するには、Athena がサポートするデータ形式を使用してください。
AWS Glue クローラーはデータ形式を分類できない
AWS Glue クローラがテーブルスキーマの列データ型を認識しない場合、クローラはその列を UNKNOWN として分類します。 UNKNOWN データ型の列を含む Athena テーブルをクエリすると、"HIVE_UNKNOWN_ERROR: Unable to create input format" というエラーが表示されます。この分類エラーは、スキーマ内のデータ型を認識しない組み込みの分類子を Glue クローラーに使用した場合に発生します。
このエラーを解決するには、組み込みの分類子でサポートされているデータ型を使用してください。組み込みの分類子でデータ形式を分類できない場合は、カスタム分類子の使用を検討してください。
1 つ以上の AWS Glue テーブル定義プロパティが空である
AWS Glue で作成されていない Athena のテーブルをクエリする場合も、入力形式のエラーが表示されることがあります。例えば、AWS Glue コンソールでテーブルを手動で作成すると、エラーが発生することがあります。AWS Glue テーブル定義の以下のプロパティのいずれかが空の場合、"HIVE_UNKNOWN_ERROR: Unable to create input format" エラーが表示されます。
- 入力フォーマット
- 出力フォーマット
- SerDe 名
これらのプロパティが SerDe とデータ形式に正しく設定されていることを確認します。指定する SerDe がテーブルスキーマを定義することに注意してください。SerDe は、テーブルの作成時に Athena で指定した DDL 設定を上書きできます。
テーブル定義プロパティを更新するには、次の手順を実行します。
- AWS Glue コンソールを開きます。
- 更新するテーブルを選択します。
- [アクション] を選択し、[詳細の表示] を選択します。
- [テーブルを編集] を選択します。
- [入力形式]、[出力形式]、または [Serde 名] の設定を更新します。
- [適用] を選択します。
関連情報
分類子の定義と管理
SerDe を使用する
データソースに接続する
Amazon Athena フェデレーションクエリを使用する