标记有以下标签的问题: AWS Glue

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.

内容语言: 中文 (简体)

Select up to 5 tags to filter
排序方式 最新

浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。

189 条结果
【以下的问题经过翻译处理】 我正在创建一个将数据从MySQL表传输到S3桶的ETL作业,我只需要知道如何建立两个节点之间的映射,我需要每行数据以以下格式显示: MySQL格式: col1,col2,col3,col4 xx,yy,ss,dd rr,ll,ff,gg JSON文件应该如下(每个文件应该包含来自MySQL表的1000行数据): {'col1':'xx',...
1
回答
0
点赞数
89
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 您好, 我正在尝试使用CDK customResource 来更新一个 Glue 触发器的EventBatchingCondition(因为它不是CloudFormation原生支持的)。 这是我的代码: ``` new AwsCustomResource(this, "updateEventBatching", { policy:...
1
回答
0
点赞数
40
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我需要将SQL服务器中多张表的数据加载到S3进行批处理。AWS Glue可以读取不同的SQL Server表中的数据,生成CSV文件并将其压缩到S3吗? AWS Glue能否运行R脚本函数?
1
回答
0
点赞数
46
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 在Athena中有一个简单的查询,选择平均价格,按国家分组。它返回了4行,1行是加拿大,1行是美国,然后“国家”列中有2行带有日期的数据。这似乎是一个bug。有什么方法可以理解出了什么问题?我完全是新手Athena。Athena正在查询在Glue中具有索引的元数据csv文件的数据库,该文件使用它的爬虫从S3中获取。我已经从S3中下载了csv文件,看起来很好。
1
回答
0
点赞数
20
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我的Glue作业默认假定了48小时的超时时间(最初我不知道),因为它们陷入了一个延迟循环测试特定S3存储桶中从未创建的特定文件,所以现在当我运行一个简单的基本的Hello...
1
回答
0
点赞数
25
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我的客户想要在讲Glue Dev Endpoints和SageMaker notebook一同使用,我注意到在Glue中,这里的例子是scipy,版本是1.4.1,可能与您在SageMaker笔记本中获得的版本匹配或不匹配。 conda_python3: ``` !pip show scipy Name: scipy Version: 1.1.0 Summary:...
1
回答
0
点赞数
71
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 试图使用数据湖glue从redshift ETL数据集。Redshift数据集非常大,我只想在每次作业运行时提取最后x天的数据。当我设置作业时,过滤器出现在应用映射之后,选择DataFrame之前。这样做时,Redshift查询在集群上显示为实际上是“ Select...
1
回答
0
点赞数
36
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我想将源文件的路径和名称作为分区添加到Glue Studio图形化作业的输出中。是否有可用的上下文或会话参数?如何在UI中引用它们? 如果可能的话,我想尽量保持图形化操作,但不排除编辑脚本代码。
1
回答
0
点赞数
20
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我正在使用AWS Glue Job studio中的SQL Query Transform在我的表中新增一列。 ![转换的可视化图表](/media/postImages/original/IMwcLXRM0iTROC0Uqb5lvOGg) SQL别名 - study 当前表中字段 - study id, patient id, patient...
1
回答
0
点赞数
66
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我有集群A和集群B。集群A拥有一个名为“landing_external”的外部 schema,其中包含来自我们的glue数据目录的许多表。集群A还有一个本地 schema,由使用“landing_external”数据的视图组成 - 这个 schema 被称为“landing”。 集群A有一个数据共享,集群B是其使用者。'landing'...
1
回答
0
点赞数
45
检视次数
profile picture
专家
已提问 10 个月前
【以下的问题经过翻译处理】 我想了解如何在 Glue Job 中调用函数 create_partition_index(<https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-tables.html#aws-glue-api-catalog-tables-CreatePartitionIndex>)。
1
回答
0
点赞数
36
检视次数
profile picture
专家
已提问 10 个月前
1
回答
0
点赞数
81
检视次数
profile picture
专家
已提问 10 个月前