标记有以下标签的问题: AWS Glue

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.

内容语言: 中文 (简体)

Select up to 5 tags to filter
排序方式 最新

浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。

189 条结果
【以下的问题经过翻译处理】 最近,我需要测试我的Glue数据连接。根据文档所述,要测试AWS Glue连接, 1. 登录AWS管理控制台,在<https://console.aws.amazon.com/glue/>上打开AWS Glue控制台。 2. 在导航窗格中,在旧页面下,选择“连接(旧版)”。 3. 选择所需连接旁边的复选框,然后选择“测试连接”。 4....
1
回答
0
点赞数
40
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 客户使用什么AWS ETL工具来设置数据不断地加载到Redshift,同时提供类似于Microsoft SSIS的转换功能会更好?例如,“从这个文件每天完全替换地加载这个表的数据,计算这些列等等”。
1
回答
0
点赞数
44
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我有一个Glue job来写入一个表格。如果我这样做并指向一个“非斜体”数据库,表格在表格视图中会显示。如果我让Glue Job写入“斜体”数据库,则表格也会成功写入,但不会在表格视图中列出。 此外,我可以在Athena的表列表中看到新创建的两个表,我可以对两个表进行查询。如果我创建一个新的Glue...
1
回答
0
点赞数
18
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 您好。 AWS CloudFormation是否支持AWS Glue CreateJob操作API的CodeGenConfigurationNodes字段? 如果支持,我想获取有关CodeGenConfigurationNodes字段模板的信息。 如果不支持,是否有计划在不久的将来支持它? 谢谢。
1
回答
0
点赞数
28
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 你好。 AWS Glue 能读取像下面这样的源数据文件吗? ``` 20220101E00011000AAABBBCCC 20220101E00021000あいCCC ``` 第二条记录包含日语字符,并且与第一条记录具有相同的字节长度。每条记录的字符数不同。 谢谢。
1
回答
0
点赞数
39
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 AWS 是否提供 Glue 中 S3 书签逻辑的实施细节? 我有一个包含数万个分区(year, month, day, device_id)的桶,分区内的每个文件都包含许多事件 当我运行作业时,书签逻辑如何调用 S3 API 来确定需要处理哪些文件?我知道它使用 ListObjects 或 ListObjectsV2...
1
回答
0
点赞数
59
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 在使用一种步骤函数来执行一个Glue作业。步骤函数被设置为同步模式运行,然而通常会有一个2-4分钟的延迟,从Glue作业完成到步骤函数认为Glue作业已经完成并转到下一步。举例来说,Glue作业的最后一次运行花费了15分钟,但是步骤函数在这个步骤上花费了19分钟的时间。是否还有其他人遇到过这样的问题?我唯一的选择是在异步模式下执行,并更频繁地轮询完成吗?
1
回答
0
点赞数
24
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 你好, 我正在尝试在AWS Glue中运行我的第一个作业,但是我遇到了以下错误:“An error occurred while calling o103.pyWriteDynamicFrame. /run-1679066163418-part-r-00000 (Permission denied)”。 错误消息显示权限被拒绝。...
1
回答
0
点赞数
58
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 使用 Glue 将数据框写入 S3 中。 S3bucket_node3 = glueContext.write_dynamic_frame.from_options( frame=exploded_df, connection_type="s3", format="glueparquet", connection_options={ "path":...
1
回答
0
点赞数
30
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我如何在使用 **glueContext.create\_dynamic\_frame.from\_options** 加载数据时安全地提供连接选项,将它们写在脚本中是不行的,并且通过作业的参数提供它们似乎也没有安全。我在这里缺少什么或者没有其他方法吗? TIA。
1
回答
0
点赞数
18
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 AWS Glue 2.0 的 FindIncrementalMatches 函数中有一个字段的键为:**enforcedMatches** 它在 [AWS 文档 |...
1
回答
0
点赞数
43
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 Glue中使用特定连接是否有限制?我有现有的Crawler与连接器正常工作。但是当我尝试更新或创建新连接器时,我遇到上面的错误。有什么想法吗?
1
回答
0
点赞数
18
检视次数
profile picture
专家
已提问 10 个月前