e strumenti di Change Data Capture per la sincronizzazione continua dei dati tra microservizi e sistemi esterni
• Progettare soluzioni di data lake su S3, definendo strategie di partizionamento e integrazione con servizi AWS come Athena ed EventBridge...
Learning (algoritmi di clustering, classificazione e regressione); - Conoscenza di strumenti di elaborazione batch (Spark, Amazon Athena, Google BigQuery, Hadoop, Hive, e similari) e storicizzazione (Amazon S3, Google Cloud Storage, HDFS, e similari...
MySQL e Microsoft SQL Server. Esperienza nell'utilizzo di Python e Node.js per la manipolazione e l'esposizione dei dati. Conoscenza pratica di servizi cloud quali AWS Lambda, ECS, S3, Athena e CloudFormation. Familiarità con Notebook Jupyter, strutture...
e strumenti di Change Data Capture per la sincronizzazione continua dei dati tra microservizi e sistemi esterni
• Progettare soluzioni di data lake su S3, definendo strategie di partizionamento e integrazione con servizi AWS come Athena ed EventBridge...
che parlata.
• Solida conoscenza di PostgreSQL, MySQL e Microsoft SQL Server.
• Esperienza nell’utilizzo di Python e Node.js per la manipolazione e l’esposizione dei dati.
• Conoscenza pratica di servizi cloud quali AWS Lambda, ECS, S3, Athena e CloudFormation...
Learning (algoritmi di clustering, classificazione e regressione); - Conoscenza di strumenti di elaborazione batch (Spark, Amazon Athena, Google BigQuery, Hadoop, Hive, e similari) e storicizzazione (Amazon S3, Google Cloud Storage, HDFS, e similari...
in script Python/Glue e di ottimizzazione delle performance su S3/Athena.
Requisiti principali:
• Solida esperienza, di almeno 3 anni, nello sviluppo Python per Data Engineering;
• Esperienza pratica con AWS Glue, Lambda e Kinesis;
• Capacità di scrittura...