Import/Export na żądanie w Azure

Łukasz Cholewa

Import/Export na żądanie w Azure
Import/Export na żądanie w Azure
3 maja, 2017 Katarzyna Sobczak

Import/Export na żądanie w Azure

Usługa importu w Azure. Krok po kroku przedstawia proces przygotowania zadania importu.

Często podczas migracji z On-Premises do Azure, w szczególności gdy mamy bardzo dużo danych, nie wszystko jesteśmy w stanie wysłać poprzez sieć, głównie ze względu na koszty. Wówczas z pomocą przychodzi „Import/Export na żądanie”. Jest to usługa, w której dyski twarde z danymi wysyłane są do serwerowni Microsoft, w zależności od regionu w jakim zlokalizowane są nasze usługi.

Jest to pierwsza część artykułu, w której omówiono jak sprawnie przygotować zadanie importu i zlecić wysyłkę dysku kurierem. Kolejne części zostaną poświęcone weryfikacji zaimportowanych i exportowanych danych do i z Azure.

Wymagania wstępne aktualne na dzień pisania artykułu, tj. 2017-04-28:

  1. Posiadanie aktywnej subskrypcji Azure.
  2. Posiadanie magazynu danych.
  3. Dysk/i fizyczne wewnętrzne. 2,5” SSD, 2,5” lub 3,5” HDD Sata II / III. Rozmiar maksymalny do 10TB.

Przygotowanie środowiska i danych:

  1. Aplikacja WAImportExport do pobrania ze strony Microsoft.
  2. Komputer z systemem operacyjnym Windows 7 x64 lub nowszym.
  3. .Net wersja 4.
  4. BitLocker uruchomiony.

Naszym zadaniem będzie przygotowanie dwóch plików w formacie CSV „DataSet” oraz „DriveSet”. W uproszczeniu: DataSet zawiera informacje o danych, jakie chcemy importować (Source) oraz o docelowym ich położeniu w magazynie danych (Target), natomiast DriveSet zawiera informacje o dyskach, na jakie będziemy kopiować dane.

Poniżej format przykładowego pliku DataSet:



BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
"F:\50M_original\100M_1.csv.txt","containername/100M_1.csv.txt",BlockBlob,rename,"None",None
"F:\50M_original\","containername/",BlockBlob,rename,"None",None

Naszym zadaniem jest edycja pliku DataSet. Poniżej gotowy plik, z jakim będziemy pracować:



BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
“H:\samplefile\disk1.vhd","samp/vhddisk.vhd",PageBlob,rename,"None",None

Co uległo zmianie:

  1. BasePath (H:samplefiledisk1.vhd) – określa położenie naszych danych na dysku – w tym przypadku jeden plik w formacie *.VHD.
  2. DstBlobPathOrPrefix (samp/vhddisk.vhd) – określa położenie w Azure w magazynie danych, gdzie „samp/vhddisk.vhd” to nazwa kontenera.
  3. BlobType (PageBlob) – określa format danych docelowych. Wskazałem PageBlob ze względu na format vhd. Ustawienie domyślne to format BlockBlob.

Format przykładowego pliku DriveSet:



DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
H,Format,SilentMode,Encrypt,

Następnie edycja pliku DriveSet. Poniżej gotowy plik:



DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,854628-028754-7898201-055782-658615-58577-687489-145829

Co uległo zmianie:

  1. DriveLetter (G) – Litera dysku, na jaki kopiujemy dane.
  2. FormatOption (Formatted) – Oznacza, że dysk został już sformatowany.
  3. ExistingBitLockerKey (Klucz BitLocker) – Wpisany został klucz BitLocker przypisany do dysku.

Uruchamiamy CMD jako administrator, gdzie korzystamy z narzędzia „WAImportExport.exe”. Poniżej gotowe polecenie:



WAImportExport.exe PrepImport /j:JournalSampvhd.jrn /id:session#1  /sk: lkdifg984/kjgsdfgHFRw98734/lih2354r3lhjlkshfjfxzjusrfKAFHF8eg/854sd3DF3g+DFG== /InitialDriveSet:driveset-1.csv /DataSet:dataset-1.csv /logdir:C:\logs

Wykorzystywane polecenia:

  1. PreImport – uruchamia przygotowanie zadania do importu.
  2. /j:JournalTest.jrn (/j:JournalSampvhd.jrn) – nazwa pliku, który monitoruje dyski i przepływ danych. Ułatwia nam to proces śledzenia zmian dla konkretnego zadania importu.
  3. /sk: (Klucz magazynu danych) – Klucz dostępu z magazynu danych w Azure.

Wywołanie polecenia w cmd:

import export w Azure

Informacja o zmianie ustawień „8dot3” dla wolumenów:

import export w Azure

Potwierdzenie zmiany ustawienia „8dot3”:

import export w Azure

Weryfikacja dysku i plików CSV oraz uruchomienie procesu kopiowania:

import export w Azure

Proces kopiowania danych widziany z poziomu systemu operacyjnego:

kopiowanie danych widziany z poziomu systemu operacyjnego

Wynik końcowy procesu kopiowania:

Wynik końcowy procesu kopiowania:

Wygląd danych na docelowym dysku:

Wygląd danych na docelowym dysku:

Przygotowanie zadania Importu w Azure:

W portalu Azure musimy przygotować zadanie importu zawierającego wynikowy plik, który wcześniej został stworzony w formacie *.xml pod nazwą ID dysku.

Przygotowanie zadania:

  1. Wybranie w portalu Azure usługi „Import/export jobs”
  2. Wybranie w portalu Azure opcji „Import into Azure”
  3. Wskazanie subskrypcji i grupy zasobów
  4. Wskazanie pliku *.xml przygotowanego podczas wcześniejszych prac
  5. Wskazanie magazynu zasobów, na którym dane zostaną zaimportowane
  6. Wskazanie danych osoby, która przesyłkę nadaje oraz adresu odbioru
  7. Zapisanie zadania importu

Import/export zadanie:

zadanie import export

Kreator zadania importu:

Kreator zadania importu:

Wskazanie pliku wynikowego oraz magazynu danych:

Wskazanie pliku wynikowego oraz magazynu danych:

Adres na jaki dysk zostanie wysłany:

adres wysyłki dysku

Ostatnim krokiem jest zapakowanie dysku i oddanie go kurierowi.

Status możemy śledzić za pomocą portalu Azure w usłudze „Import/export jobs”.

Podziel się

Autor: Łukasz Cholewa

Łukasz Cholewa

Łukasz Cholewa

Łukasz zawodowo od około 11 lat, a hobbystycznie od dwóch dekad zajmuje się szeroko rozumianymi usługami w zakresie IT – począwszy od struktury podzespołów, poprzez konfigurację systemów i aplikacji, na opracowywaniu dokumentacji technicznej skończywszy. Łącząc doświadczenie i pasję, aktywnie uczestniczy w konferencjach związanych z tematyką Cloud computing, by następnie móc dzielić się wiedzą oraz dopasowywać rozwiązania do potrzeb klientów.

Prywatnie Łukasz jest pasjonatem motocykli (jest mocno przywiązany do swojej Yamahy FJR 1300) i lubi rowerowe wycieczki oraz bieganie.

Zespół: Cloud Productivity

Ostatnie artykuły autora

Tak blisko, a tak daleko – nowoczesne podejście do pracy zdalnej

Tak blisko, a tak daleko – nowoczesne podejście do pracy zdalnej

AWS Workspaces – uruchomienie środowiska i pokazanie możliwości   Obecny wpis rozpoczyna serię trzech artykułów, które będą poruszać aspekty związane…

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 2

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 2

Posiadając oprogramowanie Veeam B&R wraz z usługą chmury publicznej Azure, możemy zadbać o nasze środowisko wirtualne i uruchomić dodatkową usługę Disaster Recovery. Umożliwia to funkcja odtworzenia bezpośredniego maszyn wirtualnych do chmury publicznej Azure ze środowiska kopii zapasowych.

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 1

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 1

Posiadając oprogramowanie Veeam B&R wraz z usługą chmury publicznej Azure, możemy zadbać o nasze środowisko wirtualne i uruchomić dodatkową usługę Disaster Recovery. Umożliwia to funkcja odtworzenia bezpośredniego maszyn wirtualnych do chmury publicznej Azure ze środowiska kopii zapasowych.

Pokaż wszystkie

Skontaktuj się z Łukaszem

 

    Administratorem danych gromadzonych z wykorzystaniem formularza jest A.P.N. Promise S.A. Podane przez Ciebie dane będą przetwarzane w zakresie niezbędnym do podjęcia kontaktu lub realizacji określonego żądania zgodnie z art. 6 ust. 1 lit. b RODO przez okres niezbędny dla realizacji Twojego zgłoszenia. Wszelkie informacje w zakresie przetwarzania podanych przez Ciebie w formularzu danych oraz posiadanych uprawnieniach znajdziesz w Polityce prywatności. Kliknij i dowiedz się więcej jeżeli informacje podane powyżej nie są dostatecznie jasne!

    Powiązane artykuły

    BlogŁukasz Cholewa
    widok maszyny wirtualnej
    Import/Export na żądanie w Azure część 2
    BlogMarcin Nawrot
    zarządzanie uprawnieniami w Azure
    Zarządzanie uprawnieniami w subskrypcji Microsoft Azure
    BlogMarcin Nawrot
    zarządzanie umową Azure
    Jak efektywnie zarządzać umową Microsoft Azure