Transférer des données vers Amazon S3 rapidement à l'aide de AWS Import Export

Si vous disposez de centaines de gigaoctets, voire de téraoctets de données sur votre réseau local chez vous, vous les avez probablement toutes stockées sur un ordinateur, un disque dur externe ou un périphérique NAS (stockage en réseau). Avoir des sauvegardes de vos données est extrêmement important, mais les avoir toutes au même endroit n’est jamais une bonne idée.

J'ai réalisé cela moi-même quand j'ai vu que j'avais plus de 2 To de photos, vidéos, sauvegardes, etc. stockées sur mon NAS local. Bien sûr, il a 4 disques durs et si un échoue, aucune de mes données ne sera perdue. Cependant, si ma maison brûle ou est inondée, tout sera perdu avec le NAS. J'ai donc décidé de sauvegarder les données sur le cloud.

J'ai vérifié Dropbox, SkyDrive, Google Drive, CrashPlan, Amazon S3 et Glacier avant de finalement m'installer sur Amazon S3. Pourquoi Amazon? Eh bien, ils ont un service de qualité où vous pouvez envoyer un disque dur externe d’une taille allant jusqu’à 16 To et le télécharger directement sur leurs serveurs, évitant ainsi l’énorme problème d’essayer de télécharger ces données via votre connexion Internet lente..

Avec AT & T dans mon quartier, la vitesse de téléchargement est de 1,4 Mo / s. Il faudrait plusieurs mois pour télécharger les 2,5 To de données que j'ai stockées sur le NAS. Avec Amazon Import / Export, vous pouvez payer des frais de service de 80 USD et les faire télécharger toutes ces données pour vous en une journée. J'ai fini par créer un didacticiel vidéo qui vous guide tout au long du processus, depuis votre inscription à Amazon Web Services, à l'emballage de votre disque dur et à son envoi sur Amazon..

Voici la transcription complète de la vidéo:

Salut tout le monde. C'est Aseem Kishore de Online Tech Tips. Je vais faire quelque chose de nouveau aujourd'hui. Je vais faire un didacticiel vidéo sur les fonctionnalités d'importation et d'exportation d'Amazon Web Services. Alors, quelle est la fonctionnalité d'importation / exportation? C'est en gros un moyen d'obtenir une grande quantité de données dans un compartiment Amazon S3 ou dans un coffre Glacier. Amazon S3 et Glacier sont deux options de stockage que vous avez pour la sauvegarde et l'archivage de données avec Amazon. Alors, pourquoi voudriez-vous utiliser ce service d'Amazon??

En gros, cela vous permet de transférer très rapidement une grande quantité de données dans le Cloud. Si vous êtes quelqu'un comme moi, des centaines de giga-octets de photos et de vidéos peuvent être stockées localement sur votre ordinateur ou sur un disque dur externe. Essayer de télécharger 100 gigaoctets, 500 gigaoctets ou même un téraoctet de données dans le nuage vous prendra des semaines, voire des mois, avec une connexion de téléchargement lente. Au lieu de cela, vous pouvez copier ces données sur un disque dur externe d’une taille pouvant aller jusqu’à 16 téraoctets et les envoyer à Amazon pour les transférer à leur centre de données et les télécharger directement dans votre seau peut aller de l'avant et accéder à cela depuis le Web.

Ainsi, pour commencer, la première chose à faire est de créer un compte Amazon Web Services. Pour ce faire, vous allez sur aws.amazon.com et cliquez sur le bouton S'inscrire. Allez-y et tapez votre adresse e-mail, puis sélectionnez «Je suis un nouvel utilisateur» si vous ne possédez pas déjà de compte Amazon. Si vous le faites, allez-y et sélectionnez «Je suis un utilisateur déjà inscrit» et vous pouvez utiliser votre compte Amazon actuel pour vous inscrire à Amazon Web Services..

Une fois que vous avez créé votre compte Amazon Web Services, vous devez télécharger l'outil d'importation / exportation. Cet outil est très simple à utiliser. Cela prend une petite configuration, que je vais expliquer et expliquer. Mais vous pouvez voir à l'écran, il y a un lien de téléchargement que je vais ajouter dans la légende au bas de cette vidéo. Allez-y, téléchargez-le et extrayez-le dans un répertoire de votre ordinateur..

Maintenant que vous avez téléchargé et extrait cet outil, vous devriez avoir un répertoire qui ressemble à ceci. À ce stade, nous devrons éditer un fichier appelé «AWS Credentials». Il contient deux valeurs, Access Key ID et Secret Key. Fondamentalement, ce sont deux valeurs qu'Amazon utilise pour lier votre compte. Vous pouvez obtenir ces deux valeurs à partir de votre compte Amazon Web Services en accédant à l'adresse suivante. C'est aws.amazon.com/securitycredentials. Sur la page Informations d'identification de sécurité, vous allez aller de l'avant et cliquer sur Clés d'accès..

Maintenant, cela devient un peu déroutant ici. Si vous avez déjà utilisé Amazon Web Services et créé des clés dans le passé, vous ne pourrez pas voir votre clé secrète ici. C'est en quelque sorte une nouvelle interface d'Amazon. Pour voir vos clés secrètes existantes, vous devez cliquer sur un lien Informations de sécurité qui vous dirige vers l'ancienne page Héritage..

Si vous venez de créer un nouveau compte, vous pourrez créer une nouvelle clé racine. Ce bouton sera actif. À ce stade, vous obtenez un ID de clé d'accès, ainsi que la clé secrète, qui vous donnera les deux valeurs. Et c'est la page Legacy Security où vous pouvez accéder à vos clés secrètes si vous avez déjà créé un ID de clé d'accès pour Amazon Web Services. Donc, comme vous pouvez le voir ici, j'ai deux clés d'accès et si je veux aller de l'avant et voir ma clé secrète, je peux continuer et cliquer sur le bouton Afficher, puis je peux copier ces deux valeurs dans le fichier AWS Credentials que j'ai montré. vous plus tôt. Donc, vous voulez aller de l'avant et coller la clé ID d'accès ici et collez la clé secrète ici.

Maintenant, à ce stade, si vous vous trompez en raison de l'ID de clé d'accès et de la clé d'accès secret, c'est bien. Vous n'avez vraiment pas besoin de savoir ce qu'ils sont ou de vous en soucier de quelque manière que ce soit. Tout ce que vous avez à faire est de signer et d’obtenir les valeurs, puis de les copier et les coller dans ce fichier..

La prochaine chose que nous allons faire est de créer un travail d’importation. Les deux parties suivantes sont les deux parties les plus difficiles de toute cette procédure. Afin de créer une tâche d'importation pour Amazon S3, nous allons créer un fichier manifeste. Ce fichier manifeste contient essentiellement des informations sur votre appareil. Où que vous souhaitiez stocker les données et où voulez-vous que le périphérique soit renvoyé?.

Maintenant, la bonne chose est que nous n’avons pas à créer ce fichier manifeste nous-mêmes. Il a déjà été créé pour nous, il suffit de le remplir et de le remplir. Donc, ce que vous voudrez faire, c’est aller dans le répertoire où vous avez votre outil d’import / export, puis cliquez sur Exemples. Ici, vous allez ouvrir le manifeste d'importation S3. Comme vous pouvez le voir ici, je suis déjà allé de l'avant et j'ai rempli les informations relatives à mon travail d'importation. Alors allons-y et jetons un coup d'oeil à cela un peu plus près.

Comme vous pouvez le constater, la première chose à faire est de saisir à nouveau votre ID de clé d’accès. Vous devez vous débarrasser des crochets et vous devez simplement les coller directement après les deux points. La prochaine chose que vous allez vouloir faire est de taper le nom du compartiment. Vous allez devoir créer un seau, ce que je vais montrer et montrer après, mais pour le moment, tapez le nom que vous voulez où vos données seront. stockée. Ainsi, si vous créez un dossier appelé Sauvegarde, tout ce que vous avez sur votre appareil, aucun dossier ni rien, se placera sous le nom du compartiment..

La prochaine chose que vous voudrez faire est de taper votre ID de périphérique. Il s’agit essentiellement d’un identifiant unique pour votre disque dur externe. Cela peut être le numéro de série qui se trouve à l’arrière du disque dur. Si vous n'avez pas de numéro de série à l'arrière de votre disque dur, vous pouvez simplement créer votre propre numéro ou créer un identifiant. Écrivez simplement cela sur quelque chose, un autocollant que vous pouvez apposer sur votre appareil, puis tapez simplement cette valeur ici. Il doit simplement s'agir de la même chose sur le périphérique et dans ce fichier. Effacer l'appareil, il est déjà réglé sur Non, vous allez donc laisser ça. Vous pouvez laisser le prochain. Le niveau de service est standard, vous pouvez le laisser. Et l'adresse de retour, vous allez aller de l'avant et remplissez votre adresse comme je l'ai fait ici. Dans le fichier d'origine, il y a des champs facultatifs. Vous devez les supprimer si vous n'allez pas les utiliser. Donc, vous pouvez simplement aller de l'avant et supprimer ces lignes.

Bon, la prochaine chose que nous allons faire après avoir rempli le fichier manifeste est de le sauvegarder dans le répertoire approprié. Pour ce faire, nous allons aller de l'avant et cliquer sur Fichier, Enregistrer sous, puis revenir dans le répertoire d'importation des services Web. Il s’agit également de l’emplacement de ce fichier de propriétés de points que nous avons rempli précédemment. Ici, vous allez avoir le droit de nommer votre fichier, “mon import manifest.txt. ”Étant donné que votre type de fichier sauvegardé est déjà au format txt, vous n'avez pas à taper cela dans le nom du fichier. Allez-y et cliquez sur Enregistrer.

Maintenant que nous avons modifié le fichier AWS Credentials et crédité le fichier My Import Manifest, nous pouvons continuer et créer un compartiment dans Amazon S3. C'est très simple à faire. Pour ce faire, allez sur aws.amazon.com, cliquez sur la console Mon compte, puis sur AWS Management Console. Une fois que vous vous êtes connecté, vous devriez obtenir un écran qui ressemble à ceci avec tous les différents services Web Amazon. Pour le moment, tout ce qui nous intéresse est Amazon S3, qui se trouve en bas à gauche. Cliquez dessus pour lancer la console S3. Et comme vous pouvez le constater ici, il n’ya pas grand-chose à faire à part les seaux. Donc, j'ai deux compartiments, ceci est ma sauvegarde de mon Synology NAS, qui est le périphérique de stockage de type réseau.

Ce que vous voudrez faire, c'est cliquer sur Créer un seau et penser que vous allez donner à votre seau un nom de seau. Vous pouvez également choisir une autre région, mais je vous suggère simplement d’aller dans la région qu’elle peuplera automatiquement. Le nom du compartiment ne peut contenir que des points et doit être unique dans toute la région où il est stocké. Donc, si quelqu'un d'autre a déjà ce nom de compartiment, il va vous donner une erreur. Par exemple, si je dis «nasbackup» et «créer», cela va me donner l'erreur de dire que le nom de compartiment demandé n'est pas disponible. Dans ce cas, vous pouvez utiliser des points pour pouvoir mettre «point», et tout ce que vous voulez, cliquer sur créer, et si c'est unique, puis continuer et créer ce nom de compartiment. Vous pouvez donc créer un compartiment, c’est-à-dire que nous allons stocker des données sur tous les disques durs externes..

À ce stade, vous vous demandez peut-être quoi d’autre. Alors regardons ce que nous avons fait jusqu'à présent. Nous nous sommes inscrits pour le service AWS. Nous avons téléchargé et extrait l'outil. Nous avons édité le fichier et les clés de l'éditeur. Nous sommes allés de l'avant et le fichier de manifeste créé est enregistré dans le manifeste d'importation dans le même répertoire que le fichier d'informations d'identification, et nous avons créé un compartiment sur Amazon S3. Donc, il ne reste plus que quelques choses à faire pour y arriver..

Nous devons ensuite créer une demande de travail à l'aide d'un outil de ligne de commande Java. C’est un peu technique et c’est probablement la chose la plus technique que vous allez devoir faire, mais ce n’est vraiment pas si difficile. Maintenant, pour créer cette demande de travail, nous devons exécuter une commande Java à l'invite de commande. Mais pour ce faire, nous devons installer le kit de développement Java. Ceci est différent de l'environnement d'exécution Java, qui est normalement installé sur la plupart des ordinateurs, mais il ne vous permet pas d'exécuter des commandes Java à l'invite de commande..

Pour ce faire, vous allez aller sur Google et faire une recherche de Java SE, c'est Java Standard Edition. Allez-y et cliquez sur le premier lien ici et cela vous amène à cette page. Ici, vous pouvez faire défiler l'écran et vous verrez trois options: serveur JDK, JRE et JRE. Nous n'avons pas besoin de nous inquiéter pour ces deux-là. Nous allons télécharger le JDK. Sur la page suivante, allez-y et cliquez sur, Accepter le contrat de licence, puis vous pourrez télécharger le fichier correspondant aux spécifications de votre système. Dans mon cas, j'ai téléchargé le fichier exécutable Windows 64 bits.

Maintenant que vous avez installé le kit exécutable Java, nous pouvons continuer et exécuter la commande Java. Vous pouvez également consulter cette commande dans la documentation que j'ai mise en évidence ici. Et en passant, si vous devez accéder à cette documentation, le moyen le plus simple consiste à consulter Google et à effectuer une recherche sur «AWS import export docs». Et puis allez-y et cliquez sur créer votre tâche d'importation, puis cliquez sur créer votre première tâche d'importation Amazon S3, et vous serez amené à cette page.

Maintenant, nous pouvons aller de l'avant et exécuter la commande en allant à l'invite de commande. Pour ce faire, cliquez sur Démarrer, tapez CMD et appuyez sur Entrée. Maintenant que nous avons une invite de commande, nous devons aller dans le répertoire où se trouve l'outil d'importation / importation Amazon. Dans notre cas, il s’agit de Téléchargements, puis d’un dossier appelé Import Export Web Service Tool. Donc, afin de naviguer dans les répertoires dans l'invite de commande, vous tapez "cd", puis je vais taper "téléchargements", puis je vais taper "cd" à nouveau, et je vais taper «outil de service Web d’import export», qui correspond au nom du répertoire. Maintenant que je suis dans ce répertoire, je vais simplement copier cette commande et la coller dans l'invite de commande..

Vous avez peut-être remarqué que dans la commande que nous venons de copier et coller, le nom du fichier manifeste est My S3 Import Manifest.txt. Je pense que cela pose un problème de documentation car lorsque j'ai essayé de l'exécuter de cette façon, une erreur s'est produite indiquant que le fichier devait s'appeler My Import Manifest.txt. Donc, déplacez simplement votre curseur et supprimez la partie S3, et vous devriez pouvoir exécuter la commande. Maintenant, je ne vais pas aller de l'avant et exécuter la commande en ce moment en raison de l'exécuter déjà avant. Mais lorsque vous appuyez sur Entrée, vous devez obtenir quelque chose comme ceci: travail créé, ID de travail, adresse de livraison AW et contenu du fichier de signature..

Le contenu du fichier de signature est essentiellement un fichier créé dans le répertoire racine, sous Importation, exportation, appel de l'outil de services Web, Signatures. Cela sera créé lorsque vous exécuterez la commande réelle. Si tout va bien, vous pouvez alors prendre ce fichier et vous allez devoir le copier à la racine de votre disque dur..
Nous sommes presque à la fin ici. Nous devons ensuite copier le fichier de signature à la racine du disque dur. Nous pouvons trouver le fichier appelé Signature dans le répertoire de l'outil d'importation et d'exportation des services Web après avoir exécuté la commande Java..

L’avant-dernière étape consiste à imprimer le bordereau d’expédition et à le remplir. Voici à quoi ressemble le bordereau de marchandises. C'est un document très simple. Vous continuez et mettez la date, votre identifiant de compte de messagerie, votre numéro de contact, votre nom et votre numéro de téléphone, l'identifiant du travail et l'identifiant que vous avez mis pour votre appareil. Encore une fois, vous pouvez trouver ce document ici en dehors de la documentation.

Enfin, la dernière étape consiste simplement à emballer votre disque dur et à l'envoyer à Amazon. Il y a peu de petites choses dont vous devez prendre note. Tout d'abord, vous devez inclure le bloc d'alimentation, les câbles d'alimentation et les câbles d'interface. Par conséquent, si vous utilisez USB 2.0, 3.0, esata, vous devez inclure le câble USB ou le câble esata. Sinon, ils iront de l'avant et vous le rendront. Vous devrez également remplir le bordereau d’expédition que j’ai déjà mentionné et le mettre à l’intérieur de la boîte. Et enfin, vous allez envoyer le paquet à l'adresse que vous avez obtenue à partir de la commande create response que nous avons exécutée.

Il y a deux autres petites choses à noter lorsque vous expédiez. Tout d’abord, vous allez vous assurer que l’étiquette d’expédition figure sur l’étiquette d’expédition. Sinon, ils vont le rendre. Vous devez donc vous assurer que l'identifiant du travail figure sur l'étiquette d'expédition. Deuxièmement, vous devez également remplir une adresse d'expédition de retour. Cela sera différent de l'adresse d'expédition de retour que nous avons mise dans le fichier manifeste. S'ils ne traitent pas votre disque dur pour une raison quelconque, en cas de problème, ils le renverront à l'adresse de livraison indiquée sur l'étiquette d'expédition. S'ils traitent votre disque dur et sont en mesure de transférer toutes les données, ils le renverront à l'adresse de livraison que vous avez indiquée. Il est donc important d'indiquer l'adresse d'expédition de retour sur l'étiquette. Vous pouvez choisir le transporteur de votre choix. J'ai choisi UPS. C'est bien d'avoir le numéro de suivi, et ils peuvent aller de l'avant et faire tout cela pour vous sans problème.

Et c'est à peu près tout. C'est quelques étapes et cela prend un peu de temps la première fois que vous le faites. Mais après cela, c'est assez rapide et c'est un excellent moyen de sauvegarder beaucoup de données sur le Cloud, un Amazon est également peu coûteux pour le stockage. Donc, si vous avez une tonne par jour à stocker et que vous souhaitez le sauvegarder ailleurs que chez vous ou sur votre disque dur externe, alors Amazon Web Services S3 est une excellente option..

J'espère que vous avez apprécié ce tutoriel Conseils techniques en ligne. S'il vous plaît revenir et visiter.