在从Glue数据库导入S3数据到QuickSight时,出现“HIVE_PARTITION_SCHEMA_MISMATCH”错误。

0

【以下的问题经过翻译处理】 在从Glue数据库导入S3数据到QuickSight时,出现“HIVE_PARTITION_SCHEMA_MISMATCH”错误。错误内容如下: HIVE_PARTITION_SCHEMA_MISMATCH: There is a mismatch between the table and partition schemas. The types are incompatible and cannot be coerced. The column 'attributes' in table 'clickstream-ctr-database.care_events_dev1' is declared as type 'structaid:string,kvstriggerlambdaresult:string,sak:string,savecallrecording:string,sst:string,startstreamingaudiostatus:string,transcribecall:string,getlang:string,getaeroplanno:string,getemergency:string,getholiday:string,getlanguage:string,getlanguageselected:string,getpin:string,getpriority:string,language:string,userlanguage:string', but partition 'partition_0=ctr/partition_1=2022/partition_2=04/partition_3=04/partition_4=12' declared column 'attributes' as type 'structgetaeroplanno:string,getemergency:string,getholiday:string,getlanguage:string,getlanguageselected:string,getpin:string,getpriority:string'.

profile picture
专家
已提问 6 个月前29 查看次数
1 回答
0

【以下的回答经过翻译处理】 日志所提到的问题是,虽然网页爬虫在表中发现了一个包含某个嵌套值数量的架构,该值位于 struct 字段中,但至少一个分区在相同的 struct 内具有不同的值集合。

为了避免这种情况,你可以尝试删除表并重新运行网页爬虫,修改它以防止模式变化,如此处所述,具体来说,你可以尝试配置它以“更新所有新的和现有分区中的元数据” 。

此外,QuickSight不支持 struct 数据类型,因此您需要在控制台或通过API将数据类型修改为字符串。

profile picture
专家
已回答 6 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则