Migration de données — AWS DataSync & Famille Snow
Deux approches complémentaires pour migrer de grandes quantités de données vers AWS : en ligne via DataSync (réseau), hors ligne via la famille Snow (appareils physiques).
Règle pratique : si le transfert prend plus d'une semaine via Internet → envisager Snow.
Famille AWS Snow — Migration physique
Les appareils Snow transportent physiquement vos données jusqu'aux datacenters AWS. Idéal quand le réseau est trop lent, trop cher, ou inexistant.
Processus de migration Snow (étapes communes)
1. Commander l'appareil → Console AWS
2. Recevoir l'appareil → Livraison sur site
3. Connecter & copier → AWS OpsHub ou client Snowball
4. Renvoyer à AWS → Expédition vers datacenter AWS
5. Import dans S3 → AWS charge les données dans votre bucket
6. Effacement sécurisé → Données supprimées selon normes strictes
AWS OpsHub : interface graphique pour gérer et configurer les appareils Snow facilement.
1. AWS Snowcone — Le plus portable
Le plus petit et le plus léger de la famille Snow.
| Caractéristique | Détail |
|---|---|
| Capacité | 8 To utilisables |
| Poids | ~2,1 kg |
| Chiffrement | AES 256 bits + AWS KMS |
| Connectivité | Réseau local OU renvoi physique à AWS |
| Statut | ✅ Disponible |
Cas d'usage :
- Sites distants ou isolés (installations militaires, chantiers, recherche terrain)
- Petites migrations de données
- Collecte de données là où Internet est absent ou très limité
- Environnements où l'espace est très contraint
2. AWS Snowball Edge — Le cheval de bataille
Solution principale pour les migrations massives à l'échelle des téraoctets.
| Caractéristique | Détail |
|---|---|
| Capacité | Jusqu'à 80 To (par appareil) / 210 To (Snowball Edge) |
| Scalabilité | Plusieurs Snowballs en parallèle → échelle pétaoctet |
| Chiffrement | AES 256 bits + AWS KMS |
| Robustesse | Résistant aux chocs et conditions difficiles |
| Suivi | Tracking en temps réel (comme un colis) |
| Statut | ✅ Disponible |
Comparaison réseau vs Snowball :
| Méthode | Volume | Durée estimée |
|---|---|---|
| Internet 10 Gbps | 10 Po | > 100 jours |
| Snowball Edge | 10 Po | Quelques jours (plusieurs appareils) |
Cas d'usage :
- Migration de datacenter vers AWS
- Transfert de grandes bases de données ou archives vidéo
- Migration batch quand la bande passante est limitée ou coûteuse
3. AWS Snowmobile — Pour les exaoctets
Un semi-remorque entier dédié aux migrations à l'échelle des exaoctets.
| Caractéristique | Détail |
|---|---|
| Capacité | Jusqu'à 100 Po par camion |
| Sécurité physique | GPS + alarmes + suivi vidéo + agents de sécurité |
| Chiffrement | Données chiffrées pendant tout le transport |
| Statut | ⚠️ Service arrêté (plus commercialisé par AWS) |
Contexte : 100 Po via Internet à 10 Gbps = 948 jours (~3 ans) de transfert continu.
Tableau comparatif Snow
| Critère | Snowcone | Snowball Edge | Snowmobile |
|---|---|---|---|
| Capacité | 8 To | Jusqu'à 80-210 To | Jusqu'à 100 Po |
| Format | Appareil compact (2,1 kg) | Appareil robuste portable | Semi-remorque 13m+ |
| Portabilité | ✅ Très portable | ✅ Portable | ❌ Non portable |
| Chiffrement | AES 256 + KMS | AES 256 + KMS | AES 256 |
| Réseau optionnel | ✅ (Wi-Fi/Ethernet local) | ❌ | ❌ |
| Statut | ✅ Disponible | ✅ Disponible | ⛔ Arrêté |
| Usage typique | Sites isolés, petits volumes | Migrations massives | Datacenters entiers |
AWS DataSync — Migration réseau automatisée
Service de transfert de données rapide et planifiable entre on-premise et AWS, ou entre services AWS.
Architecture
On-premise AWS
──────────────────────────────────────────────────────
Système de fichiers NFS Amazon S3 (toutes classes)
Système de fichiers SMB ──Agent──► Amazon EFS
HDFS (Hadoop) Internet Amazon FSx (Windows, Lustre,
API S3 compatible NetApp, OpenZFS)
Service AWS (S3, EFS...) ─────────► Service AWS (sans agent)
Agent DataSync
Requis uniquement pour les transferts depuis on-premise :
- Machine virtuelle déployée localement
- Se connecte aux systèmes de fichiers locaux (NFS, SMB, HDFS)
- Établit la connexion sécurisée vers AWS
Entre services AWS (ex: S3 → EFS) : pas d'agent nécessaire, transfert direct.
Fonctionnalités clés
| Fonctionnalité | Détail |
|---|---|
| Vitesse | Jusqu'à 10 Gbps par agent |
| Planification | Toutes les heures / jours / semaines / cron |
| Préservation des métadonnées | Permissions NFS POSIX, attributs SMB conservés |
| Limite de bande passante | Configurable pour ne pas saturer le réseau |
| Classes de stockage S3 | Toutes supportées, y compris Glacier |
| Chiffrement | En transit et au repos |
Sources et destinations supportées
Sources :
- Systèmes de fichiers on-premise : NFS, SMB, HDFS
- Stockage objet compatible S3 (on-premise ou autre cloud)
- Services AWS : S3, EFS, FSx
Destinations :
- Amazon S3 (Standard, IA, Glacier...)
- Amazon EFS
- Amazon FSx (Windows File Server, Lustre, NetApp ONTAP, OpenZFS)
Cas d'usage
- Migration one-shot : déplacer un NAS on-premise vers Amazon EFS ou S3
- Synchronisation continue : répliquer des données on-premise vers S3 régulièrement
- Réplication inter-services AWS : copier de S3 vers FSx, ou EFS vers S3
- Archivage planifié : transférer vers S3 Glacier selon un calendrier défini
DataSync vs Famille Snow — Quand choisir quoi ?
| Critère | AWS DataSync | Famille Snow |
|---|---|---|
| Mode | En ligne (réseau) | Hors ligne (physique) |
| Volume typique | Go à To (transferts fréquents) | To à Po (migration massive) |
| Connexion réseau | Requise (bonne bande passante) | Non requise |
| Fréquence | Récurrent / continu | One-shot ou rare |
| Délai | Immédiat (selon bande passante) | Jours à semaines (logistique) |
| Métadonnées | ✅ Préservées (NFS/SMB) | ✅ Préservées |
| Chiffrement | ✅ TLS en transit + KMS | ✅ AES 256 + KMS |
| Idéal pour | Synchro continue, petites migrations | Gros volumes, réseau limité |
Combinaison DataSync + Snowball
Les deux peuvent être utilisés ensemble pour une migration en deux phases :
Phase 1 — Snowball (migration initiale du gros volume)
Datacenter on-premise ──[Snowball]──► Amazon S3
Phase 2 — DataSync (synchronisation des delta pendant la migration)
On-premise ──[DataSync Agent]──► Amazon S3
Phase 3 — Bascule finale
Coupure on-premise → 100% cloud
Bonnes pratiques
DataSync
- Déployer plusieurs agents en parallèle pour multiplier la bande passante
- Activer la limitation de bande passante en heures ouvrées pour ne pas impacter la prod
- Utiliser les tâches planifiées pour les synchronisations récurrentes la nuit
- Vérifier la préservation des permissions POSIX/SMB si les ACL sont critiques
Famille Snow
- Chiffrer les données avant de les copier sur l'appareil (double couche de sécurité)
- Utiliser AWS OpsHub pour simplifier la gestion (interface graphique)
- Commander les appareils avec un délai suffisant (livraison + temps de copie + retour)
- Vérifier l'effacement certifié par AWS après transfert
À retenir pour l'examen AWS
- Snowcone = 8 To, très compact, sites isolés sans connectivité
- Snowball Edge = 80-210 To, migration massive, chiffrement AES 256 + KMS
- Snowmobile = 100 Po, semi-remorque, ⚠️ service arrêté
- Règle Snow : transfert > 1 semaine via réseau → utiliser Snow
- DataSync = transfert réseau automatisé, jusqu'à 10 Gbps/agent, planifiable
- DataSync agent = nécessaire uniquement pour on-premise → pas pour AWS-to-AWS
- DataSync préserve les métadonnées NFS POSIX et attributs SMB
- Combinaison : Snowball pour le volume initial + DataSync pour les delta