Creating the table does not always pull the logs from S3? https://repost.aws/knowledge-center/analyze-logs-athena

0

If creating a table does not work with the above provided schema, you can try using the schema below:

CREATE EXTERNAL TABLE mybucket_logs(

bucketowner string COMMENT '',

bucket_name string COMMENT '',

requestdatetime string COMMENT '',

remoteip string COMMENT '',

requester string COMMENT '',

requestid string COMMENT '',

operation string COMMENT '',

key string COMMENT '',

request_uri string COMMENT '',

httpstatus string COMMENT '',

errorcode string COMMENT '',

bytessent bigint COMMENT '',

objectsize bigint COMMENT '',

totaltime string COMMENT '',

turnaroundtime string COMMENT '',

referrer string COMMENT '',

useragent string COMMENT '',

versionid string COMMENT '',

hostid string COMMENT '',

sigv string COMMENT '',

ciphersuite string COMMENT '',

authtype string COMMENT '',

endpoint string COMMENT '',

tlsversion string COMMENT '')

ROW FORMAT SERDE

'org.apache.hadoop.hive.serde2.RegexSerDe'

WITH SERDEPROPERTIES (

'input.regex'='([^ ]) ([^ ]) \[(.?)\] ([^ ]) ([^ ]) ([^ ]) ([^ ]) ([^ ]) ("[^"]"|-) (-|[0-9]) ([^ ]) ([^ ]) ([^ ]) ([^ ]) ([^ ]) ([^ ]) ("[^"]"|-) ([^ ])(?: ([^ ]) ([^ ]) ([^ ]) ([^ ]) ([^ ]) ([^ ]))?.*$')

STORED AS INPUTFORMAT

'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION

's3://bucket-name/prefix-name/account-id/region/source-bucket-name/'

질문됨 2달 전71회 조회
답변 없음

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인

관련 콘텐츠