Dataindsamlingsværktøj i AWS

Værktøjet muliggør pålidelig dataindsamling mod AWS-mål ved at levere forbindelser, validering og orkestrering for både batch- og streamingdata. Det understøtter almindelige kilder som S3, Kinesis, Kafka og JDBC samt destinationer som S3, Redshift og Glue Catalog. Det anvender skema-validering, inkrementel indlæsning og robust fejlbehandling, samtidig som det tilbyder metrikker og sporbarhed. Konceptuelt læses data fra en kilde, mapping anvendes hvis nødvendigt, data valideres mod et schema og skrives til en destination på idempotent vis. Jobber kan planlægges, forsøk med backoff håndteres og telemetri per jobb eksporteres til operatører, der fejlsøger. Denne løsning henvender sig til dataingeniører, data-plattformteam og analysegrupper som trenger gjentatt ingestion med styring, minimal kodning og skalerbar ytelse over regioner. Den unike verdien ligger i kombinasjonen af pålidelige connectors, schema-håndtering og operativ synlighet uten full ETL-transfomation. Nøglefunktioner inkluderer kilde-/destination-connectors, format-håndtering, inkrementel indlæsning og metrikinsamling, samt valgfri backfill- og schema-evolutions-støtte for ændrede datamodeller.