Serverless job failure

0

While running the serverless job run, I am getting below errror:

"Number of cores specified by 'spark.driver.cores '7' is invalid".

Akash
질문됨 2달 전441회 조회
2개 답변
4

Basically, each worker can have 1, 2, 4, 8, or 16 vCPUs/cores, in other words there is a limit set on the number of vCPUs for a worker that not valid for the core given as 7. Please refer this document for more information - https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/app-behavior.html

AWS
지원 엔지니어
답변함 2달 전
0

Hi,

Did you check that the value that you set spark.cores.max is greater than this value? If not, that may be the cause.

Best,

Didier

profile pictureAWS
전문가
답변함 2달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인