使用AWS re:Post即您表示您同意 AWS re:Post 使用条款

标记有以下标签的问题: AWS Glue

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.

内容语言: 中文 (简体)

Select up to 5 tags to filter
排序方式 最新

浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。

189 条结果
【以下的问题经过翻译处理】 客户正在使用S3和Glue Job来合并他们S3中的所有文件。 目前,他们的S3成本几乎是Guard Duty和Glue Job成本的一半。 有没有办法找出什么是Guard Duty成本上升的原因?我的意思是,踏进告诉我目前存储桶的使用情况而已,没有提供里面的扫描等信息,以及为什么成本几乎是存储的数据的两倍。 我可以告诉客户关闭S3数据事件以降低Guard Dut...
1
回答
0
点赞数
68
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 RDS SQL Server支持OLE自动化吗?如果不支持,有什么替代方案吗?
1
回答
0
点赞数
121
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 客户要在一个没有LakeFormation的亚马逊云区域中实现DataLake解决方案,并希望使用AWS原生IAM/服务实现“列级访问控制”。这是否有可能实现?
1
回答
0
点赞数
62
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 在从Glue数据库导入S3数据到QuickSight时,出现“HIVE_PARTITION_SCHEMA_MISMATCH”错误。错误内容如下: HIVE_PARTITION_SCHEMA_MISMATCH: There is a mismatch between the table and partition schemas. The types are incomp...
1
回答
0
点赞数
53
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在尝试在AWS Glue 2.0或更高版本中创建一个Dev endpoint,并使用笔记本连接到该环境。然而,我看到只有3个选项是针对Glue <= 1.0的。请注意,更高版本确实在Glue Jobs中可用。有什么想法为什么会出现这种情况,我该如何解决?
1
回答
0
点赞数
35
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 在给定时间窗口内,我同时运行了大约80个AWS Glue作业(已经将默认的50个并发作业限制提高到了150个),但遇到了AWS Glue需要36分钟才能回复“资源不可用”错误的情况。 这些作业运行标准的worker类型,最大容量在2-5之间,账户中DPU数量的限制已经提高到了600个。 是否有人知道可能导致这种情况的原因,而且通常情况下推荐如何处理此错误并重新提交A...
1
回答
0
点赞数
53
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 是否有选项可以启用Dynamicframe Reader在cp1252字符集(Windows Latin扩展字符集)中打开编码的文件?
1
回答
0
点赞数
17
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 现在AWS Glue支持使用Amazon S3作为源的Elastic Views吗?
1
回答
0
点赞数
24
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 AWS Glue最近宣布推出了用于从SaaS和自定义数据源传输数据的自定义连接器: **<https://aws.amazon.com/about-aws/whats-new/2020/12/aws-glue-launches-aws-glue-custom-connectors/>** 这些连接器可在AWS市场上购买,例如,来自CDATA软件的Snowflake连...
1
回答
0
点赞数
101
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 你好,我正在创建一个Glue作业,将CSV文件转换为分区Parquet文件,并希望从ETL更新数据目录。 使用以下代码来完成此操作: ``` dynamic_frame: DynamicFrame = DynamicFrame.fromDF(final_data, glue_context, f"{file_type}_dataset") sink = glue_co...
1
回答
0
点赞数
44
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我们是否有关于glue ETL将数据转换为parquet格式的速度的基准数字? 例如, 1个DPU可以在X分钟内处理1GB原始数据。 我想要一个基准数,这样我就可以知道ETL作业是否正常运行或者有问题。 还要估计我应该为我的数据转换任务使用多少DPUs。 谢谢。
1
回答
0
点赞数
31
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。 我如何在Canvas工具中利用这些函数?
1
回答
0
点赞数
21
检视次数
profile picture
专家
已提问 1 年前