Glue与Snowflake连接器是必需的吗？
0
【以下的问题经过翻译处理】 我正在阅读去年发布的一篇关于如何将数据从Snowflake迁移到S3的博客，并将链接与需要在Snowflake和S3之间传输数据的客户分享。 https://aws.amazon.com/blogs/big-data/performing-data-transformations-using-snowflake-and-aws-glue/
现在客户回来说他们需要启动EKS/ECS容器，并且因为指南提到了市场，他们已经尝试使用市场上名为“Snowflake Connector for AWS Glue”的官方连接器。
由于我没有Snowflake环境，所以我不确定市场上的Snowflake连接器是否是必需的。 我的理解是不需要，因为博客中很清楚地说明了加载JDBC jar文件以访问Snowflake。但这仍然令我很困惑。如果不需要，为什么我们还要在市场上发布该连接器呢？
如果有两种方法来实现这一点（一种使用自定义连接器，一种使用市场连接器），它们之间有什么区别？（性能、可伸缩性、支持）
1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 你好，
“Snowflake Connector for AWS Glue”以容器形式交付，因此MarketPlace页面显示支持的服务是ECS和EKS，但是客户无需完全启动ECS/EKS集群。
根据Glue文档关于如何订阅市场连接器的描述，一旦你订阅了Snowflake连接器，将会要求你进行配置，然后启动它。此时，你将回到Glue Studio，要求你为连接器创建连接。
请注意，在此流程中，没有部署ECS/EKS集群的步骤。
若要了解Spark和JDBC连接器之间的区别，请参考此博客文章。
希望这有所帮助。