AWS Glue是否支持固定字节长度的源数据?

0

【以下的问题经过翻译处理】 你好。

AWS Glue 能读取像下面这样的源数据文件吗?

  20220101E00011000AAABBBCCC
  20220101E00021000あいCCC

第二条记录包含日语字符,并且与第一条记录具有相同的字节长度。每条记录的字符数不同。

谢谢。

profile picture
EXPERTE
gefragt vor 5 Monaten16 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 很遗憾,Glue目前不支持按字节解析数据。我观察到你的数据是非结构化的,唯一的解析方式是使用Grok SerDe或Regex SerDe,但它们都是通过识别模式来解析数据,所以不可行。我建议你预处理数据,然后将其加载到Glue中。预处理的过程可以使用一些自定义构建的解析器函数(如csv),然后将其存储在S3中,最后在Glue中进行爬取并创建数据库。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen