DMS Restart removes the delete markers. - how to handle in GLUE

0

Our Transaction application has a hard delete implemented on MySQL DB on record inactivation scenarios . For the lakehouse , The RDS CDC is exported to S3 through DMS . The problem is , if the DMS is restarted for some reason , the Delete marker of the records get erased , causing orphan records and duplicates in the datalake.

What is the best way to handle this scenario ? Should the glue job transforming data from S3 to the datalake handle such data ? Like a source to target comparison and discard records that are present in the Datalake but not in Source ?

Sujets

Migration et modernisation Analytique Base de données

Balises

Service de migration de base de données AWS AWS Glue Extraire, transformer et charger des données

Langue

English

demandé il y a 2 ans361 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

0

To answer your question, we require details that are non-public information. Please open a support case with AWS using the following link:

https://support.console.aws.amazon.com/support/home?#/case/create

INGÉNIEUR EN ASSISTANCE TECHNIQUE

AWS-User-5780258

répondu il y a 2 ans

Contenus pertinents

[ACTION REQUIRED] Update your TLS connections to 1.2 : quelles applications sont concernées ?
rePost-User-7550145
demandé il y a un an
Quels services AWS sont nécessaires pour remplacer une base de données MySQL classique ?
rePost-User-8854683
demandé il y a un an
error 403 / cloud front
nico-HPF
demandé il y a 2 mois
the logon attempt failed
rePost-User-7377810
demandé il y a un an
Comment corriger l’erreur « No "Access-Control-Allow-Origin" header is present on the requested resource » provenant de CloudFront ?
AWS OFFICIELA mis à jour il y a 2 ans
J'utilise l'interface de ligne de commande (CLI) AWS, un kit SDK AWS ou une application pour accéder à mon compartiment Amazon S3, mais je reçois un message d'erreur « The AWS Access Key Id you provided doesn't exist in our records » (L'ID de clé d'accès AWS que vous avez fournie n'existe pas dans nos enregistrements). Pourquoi ?
AWS OFFICIELA mis à jour il y a 4 ans
Pourquoi mon pipeline de génération d'image échoue-t-il avec l'erreur « Step timed out while step is verifying the Systems Manager Agent availability on the target instance(s) » dans Image Builder ?
AWS OFFICIELA mis à jour il y a 2 ans
Comment résoudre l'erreur AWS Glue « The specified subnet does not have enough free addresses to satisfy the request » (Le sous-réseau spécifié ne dispose pas de suffisamment d'adresses libres pour répondre à la requête) ?
AWS OFFICIELA mis à jour il y a 2 ans