Import/Export na żądanie w Azure

Łukasz Cholewa

Import/Export na żądanie w Azure
Maj 3, 2017 Katarzyna Sobczak

Import/Export na żądanie w Azure

Usługa importu w Azure. Krok po kroku przedstawia proces przygotowania zadania importu.

Często podczas migracji z On-Premises do Azure, w szczególności gdy mamy bardzo dużo danych, nie wszystko jesteśmy w stanie wysłać poprzez sieć, głównie ze względu na koszty. Wówczas z pomocą przychodzi „Import/Export na żądanie”. Jest to usługa, w której dyski twarde z danymi wysyłane są do serwerowni Microsoft, w zależności od regionu w jakim zlokalizowane są nasze usługi.

Jest to pierwsza część artykułu, w której omówiono jak sprawnie przygotować zadanie importu i zlecić wysyłkę dysku kurierem. Kolejne części zostaną poświęcone weryfikacji zaimportowanych i exportowanych danych do i z Azure.

Wymagania wstępne aktualne na dzień pisania artykułu, tj. 2017-04-28:

  1. Posiadanie aktywnej subskrypcji Azure.
  2. Posiadanie magazynu danych.
  3. Dysk/i fizyczne wewnętrzne. 2,5” SSD, 2,5” lub 3,5” HDD Sata II / III. Rozmiar maksymalny do 10TB.

Przygotowanie środowiska i danych:

  1. Aplikacja WAImportExport do pobrania ze strony Microsoft.
  2. Komputer z systemem operacyjnym Windows 7 x64 lub nowszym.
  3. .Net wersja 4.
  4. BitLocker uruchomiony.

Naszym zadaniem będzie przygotowanie dwóch plików w formacie CSV „DataSet” oraz „DriveSet”. W uproszczeniu: DataSet zawiera informacje o danych, jakie chcemy importować (Source) oraz o docelowym ich położeniu w magazynie danych (Target), natomiast DriveSet zawiera informacje o dyskach, na jakie będziemy kopiować dane.

Poniżej format przykładowego pliku DataSet:


BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
"F:\50M_original\100M_1.csv.txt","containername/100M_1.csv.txt",BlockBlob,rename,"None",None
"F:\50M_original\","containername/",BlockBlob,rename,"None",None

Naszym zadaniem jest edycja pliku DataSet. Poniżej gotowy plik, z jakim będziemy pracować:


BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
“H:\samplefile\disk1.vhd","samp/vhddisk.vhd",PageBlob,rename,"None",None

Co uległo zmianie:

  1. BasePath (H:samplefiledisk1.vhd) – określa położenie naszych danych na dysku – w tym przypadku jeden plik w formacie *.VHD.
  2. DstBlobPathOrPrefix (samp/vhddisk.vhd) – określa położenie w Azure w magazynie danych, gdzie „samp/vhddisk.vhd” to nazwa kontenera.
  3. BlobType (PageBlob) – określa format danych docelowych. Wskazałem PageBlob ze względu na format vhd. Ustawienie domyślne to format BlockBlob.

Format przykładowego pliku DriveSet:


DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
H,Format,SilentMode,Encrypt,

Następnie edycja pliku DriveSet. Poniżej gotowy plik:


DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,854628-028754-7898201-055782-658615-58577-687489-145829

Co uległo zmianie:

  1. DriveLetter (G) – Litera dysku, na jaki kopiujemy dane.
  2. FormatOption (Formatted) – Oznacza, że dysk został już sformatowany.
  3. ExistingBitLockerKey (Klucz BitLocker) – Wpisany został klucz BitLocker przypisany do dysku.

Uruchamiamy CMD jako administrator, gdzie korzystamy z narzędzia „WAImportExport.exe”. Poniżej gotowe polecenie:


WAImportExport.exe PrepImport /j:JournalSampvhd.jrn /id:session#1  /sk: lkdifg984/kjgsdfgHFRw98734/lih2354r3lhjlkshfjfxzjusrfKAFHF8eg/854sd3DF3g+DFG== /InitialDriveSet:driveset-1.csv /DataSet:dataset-1.csv /logdir:C:\logs

Wykorzystywane polecenia:

  1. PreImport – uruchamia przygotowanie zadania do importu.
  2. /j:JournalTest.jrn (/j:JournalSampvhd.jrn) – nazwa pliku, który monitoruje dyski i przepływ danych. Ułatwia nam to proces śledzenia zmian dla konkretnego zadania importu.
  3. /sk: (Klucz magazynu danych) – Klucz dostępu z magazynu danych w Azure.

Wywołanie polecenia w cmd:

import export w Azure

Informacja o zmianie ustawień „8dot3” dla wolumenów:

import export w Azure

Potwierdzenie zmiany ustawienia „8dot3”:

import export w Azure

Weryfikacja dysku i plików CSV oraz uruchomienie procesu kopiowania:

import export w Azure

Proces kopiowania danych widziany z poziomu systemu operacyjnego:

kopiowanie danych widziany z poziomu systemu operacyjnego

Wynik końcowy procesu kopiowania:

Wynik końcowy procesu kopiowania:

Wygląd danych na docelowym dysku:

Wygląd danych na docelowym dysku:

Przygotowanie zadania Importu w Azure:

W portalu Azure musimy przygotować zadanie importu zawierającego wynikowy plik, który wcześniej został stworzony w formacie *.xml pod nazwą ID dysku.

Przygotowanie zadania:

  1. Wybranie w portalu Azure usługi „Import/export jobs”
  2. Wybranie w portalu Azure opcji „Import into Azure”
  3. Wskazanie subskrypcji i grupy zasobów
  4. Wskazanie pliku *.xml przygotowanego podczas wcześniejszych prac
  5. Wskazanie magazynu zasobów, na którym dane zostaną zaimportowane
  6. Wskazanie danych osoby, która przesyłkę nadaje oraz adresu odbioru
  7. Zapisanie zadania importu

Import/export zadanie:

zadanie import export

Kreator zadania importu:

Kreator zadania importu:

Wskazanie pliku wynikowego oraz magazynu danych:

Wskazanie pliku wynikowego oraz magazynu danych:

Adres na jaki dysk zostanie wysłany:

adres wysyłki dysku

Ostatnim krokiem jest zapakowanie dysku i oddanie go kurierowi.

Status możemy śledzić za pomocą portalu Azure w usłudze „Import/export jobs”.

Podziel się

Autor: Łukasz Cholewa

Łukasz Cholewa

Łukasz Cholewa

Zespół: Data Center

Ostatnie artykuły autora

Jak napisać skrypt w PowerShell i zabezpieczyć poświadczenia

Jak napisać skrypt w PowerShell i zabezpieczyć poświadczenia

Zdarza się, że trzeba przygotować skrypt, który wykona za nas jakieś zadanie, a wymagane są do tego poświadczenia. W artykule pokażę jak ustrzec się przed kompromitację poświadczeń i naruszeniem bezpieczeństwa.

Import/Export na żądanie w Azure część 2

Import/Export na żądanie w Azure część 2

W tym artykule opiszę jak stworzyć API przechowywującą listę zakupów w oparciu o ASP.NET Core na platformę Linux.

Azure Resource Manager JSON

Azure Resource Manager JSON

Portal Azure Resources – modyfikacje elementów za pomocą JSON.

Skontaktuj się z Łukaszem

 

Administratorem danych gromadzonych z wykorzystaniem formularza jest A.P.N. Promise S.A. Podane przez Ciebie dane będą przetwarzane w zakresie niezbędnym do podjęcia kontaktu lub realizacji określonego żądania zgodnie z art. 6 ust. 1 lit. b RODO przez okres niezbędny dla realizacji Twojego zgłoszenia. Wszelkie informacje w zakresie przetwarzania podanych przez Ciebie w formularzu danych oraz posiadanych uprawnieniach znajdziesz w Polityce prywatności. Kliknij i dowiedz się więcej jeżeli informacje podane powyżej nie są dostatecznie jasne!