Import/Export na żądanie w Azure

Łukasz Cholewa

Import/Export na żądanie w Azure
Import/Export na żądanie w Azure
3 maja, 2017 Katarzyna Sobczak

Import/Export na żądanie w Azure

Usługa importu w Azure. Krok po kroku przedstawia proces przygotowania zadania importu.

Często podczas migracji z On-Premises do Azure, w szczególności gdy mamy bardzo dużo danych, nie wszystko jesteśmy w stanie wysłać poprzez sieć, głównie ze względu na koszty. Wówczas z pomocą przychodzi „Import/Export na żądanie”. Jest to usługa, w której dyski twarde z danymi wysyłane są do serwerowni Microsoft, w zależności od regionu w jakim zlokalizowane są nasze usługi.

Jest to pierwsza część artykułu, w której omówiono jak sprawnie przygotować zadanie importu i zlecić wysyłkę dysku kurierem. Kolejne części zostaną poświęcone weryfikacji zaimportowanych i exportowanych danych do i z Azure.

Wymagania wstępne aktualne na dzień pisania artykułu, tj. 2017-04-28:

  1. Posiadanie aktywnej subskrypcji Azure.
  2. Posiadanie magazynu danych.
  3. Dysk/i fizyczne wewnętrzne. 2,5” SSD, 2,5” lub 3,5” HDD Sata II / III. Rozmiar maksymalny do 10TB.

Przygotowanie środowiska i danych:

  1. Aplikacja WAImportExport do pobrania ze strony Microsoft.
  2. Komputer z systemem operacyjnym Windows 7 x64 lub nowszym.
  3. .Net wersja 4.
  4. BitLocker uruchomiony.

Naszym zadaniem będzie przygotowanie dwóch plików w formacie CSV „DataSet” oraz „DriveSet”. W uproszczeniu: DataSet zawiera informacje o danych, jakie chcemy importować (Source) oraz o docelowym ich położeniu w magazynie danych (Target), natomiast DriveSet zawiera informacje o dyskach, na jakie będziemy kopiować dane.

Poniżej format przykładowego pliku DataSet:



BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
"F:\50M_original\100M_1.csv.txt","containername/100M_1.csv.txt",BlockBlob,rename,"None",None
"F:\50M_original\","containername/",BlockBlob,rename,"None",None

Naszym zadaniem jest edycja pliku DataSet. Poniżej gotowy plik, z jakim będziemy pracować:



BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
“H:\samplefile\disk1.vhd","samp/vhddisk.vhd",PageBlob,rename,"None",None

Co uległo zmianie:

  1. BasePath (H:samplefiledisk1.vhd) – określa położenie naszych danych na dysku – w tym przypadku jeden plik w formacie *.VHD.
  2. DstBlobPathOrPrefix (samp/vhddisk.vhd) – określa położenie w Azure w magazynie danych, gdzie „samp/vhddisk.vhd” to nazwa kontenera.
  3. BlobType (PageBlob) – określa format danych docelowych. Wskazałem PageBlob ze względu na format vhd. Ustawienie domyślne to format BlockBlob.

Format przykładowego pliku DriveSet:



DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
H,Format,SilentMode,Encrypt,

Następnie edycja pliku DriveSet. Poniżej gotowy plik:



DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
W,AlreadyFormatted,SilentMode,AlreadyEncrypted,854628-028754-7898201-055782-658615-58577-687489-145829

Co uległo zmianie:

  1. DriveLetter (G) – Litera dysku, na jaki kopiujemy dane.
  2. FormatOption (Formatted) – Oznacza, że dysk został już sformatowany.
  3. ExistingBitLockerKey (Klucz BitLocker) – Wpisany został klucz BitLocker przypisany do dysku.

Uruchamiamy CMD jako administrator, gdzie korzystamy z narzędzia „WAImportExport.exe”. Poniżej gotowe polecenie:



WAImportExport.exe PrepImport /j:JournalSampvhd.jrn /id:session#1  /sk: lkdifg984/kjgsdfgHFRw98734/lih2354r3lhjlkshfjfxzjusrfKAFHF8eg/854sd3DF3g+DFG== /InitialDriveSet:driveset-1.csv /DataSet:dataset-1.csv /logdir:C:\logs

Wykorzystywane polecenia:

  1. PreImport – uruchamia przygotowanie zadania do importu.
  2. /j:JournalTest.jrn (/j:JournalSampvhd.jrn) – nazwa pliku, który monitoruje dyski i przepływ danych. Ułatwia nam to proces śledzenia zmian dla konkretnego zadania importu.
  3. /sk: (Klucz magazynu danych) – Klucz dostępu z magazynu danych w Azure.

Wywołanie polecenia w cmd:

import export w Azure

Informacja o zmianie ustawień „8dot3” dla wolumenów:

import export w Azure

Potwierdzenie zmiany ustawienia „8dot3”:

import export w Azure

Weryfikacja dysku i plików CSV oraz uruchomienie procesu kopiowania:

import export w Azure

Proces kopiowania danych widziany z poziomu systemu operacyjnego:

kopiowanie danych widziany z poziomu systemu operacyjnego

Wynik końcowy procesu kopiowania:

Wynik końcowy procesu kopiowania:

Wygląd danych na docelowym dysku:

Wygląd danych na docelowym dysku:

Przygotowanie zadania Importu w Azure:

W portalu Azure musimy przygotować zadanie importu zawierającego wynikowy plik, który wcześniej został stworzony w formacie *.xml pod nazwą ID dysku.

Przygotowanie zadania:

  1. Wybranie w portalu Azure usługi „Import/export jobs”
  2. Wybranie w portalu Azure opcji „Import into Azure”
  3. Wskazanie subskrypcji i grupy zasobów
  4. Wskazanie pliku *.xml przygotowanego podczas wcześniejszych prac
  5. Wskazanie magazynu zasobów, na którym dane zostaną zaimportowane
  6. Wskazanie danych osoby, która przesyłkę nadaje oraz adresu odbioru
  7. Zapisanie zadania importu

Import/export zadanie:

zadanie import export

Kreator zadania importu:

Kreator zadania importu:

Wskazanie pliku wynikowego oraz magazynu danych:

Wskazanie pliku wynikowego oraz magazynu danych:

Adres na jaki dysk zostanie wysłany:

adres wysyłki dysku

Ostatnim krokiem jest zapakowanie dysku i oddanie go kurierowi.

Status możemy śledzić za pomocą portalu Azure w usłudze „Import/export jobs”.

Podziel się

Autor: Łukasz Cholewa

Łukasz Cholewa

Łukasz Cholewa

Łukasz zawodowo od około 11 lat, a hobbystycznie od dwóch dekad zajmuje się szeroko rozumianymi usługami w zakresie IT – począwszy od struktury podzespołów, poprzez konfigurację systemów i aplikacji, na opracowywaniu dokumentacji technicznej skończywszy. Łącząc doświadczenie i pasję, aktywnie uczestniczy w konferencjach związanych z tematyką Cloud computing, by następnie móc dzielić się wiedzą oraz dopasowywać rozwiązania do potrzeb klientów.

Prywatnie Łukasz jest pasjonatem motocykli (jest mocno przywiązany do swojej Yamahy FJR 1300) i lubi rowerowe wycieczki oraz bieganie.

Zespół: Cloud Productivity

Ostatnie artykuły autora

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 2

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 2

Posiadając oprogramowanie Veeam B&R wraz z usługą chmury publicznej Azure, możemy zadbać o nasze środowisko wirtualne i uruchomić dodatkową usługę Disaster Recovery. Umożliwia to funkcja odtworzenia bezpośredniego maszyn wirtualnych do chmury publicznej Azure ze środowiska kopii zapasowych.

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 1

Odtworzenie maszyn wirtualnych w chmurze publicznej z użyciem Veeam Backup & Replication – Część 1

Posiadając oprogramowanie Veeam B&R wraz z usługą chmury publicznej Azure, możemy zadbać o nasze środowisko wirtualne i uruchomić dodatkową usługę Disaster Recovery. Umożliwia to funkcja odtworzenia bezpośredniego maszyn wirtualnych do chmury publicznej Azure ze środowiska kopii zapasowych.

Windows Admin Center – migracja magazynu danych

Windows Admin Center – migracja magazynu danych

Windows Admin Center wprowadza nową funkcjonalność o nazwie Storage Migration Service.Pozwala ona w łatwy sposób przenieść zasoby serwera plików z systemów operacyjnych w wersjach Windows Server od 2003 do 2019 na nowy serwer docelowy w wersji Windows Server od 2012 R2 do 2019. Łukasz Cholewa krok po kroku pokazuje jak to zrobić.

Pokaż wszystkie

Skontaktuj się z Łukaszem

 

Administratorem danych gromadzonych z wykorzystaniem formularza jest A.P.N. Promise S.A. Podane przez Ciebie dane będą przetwarzane w zakresie niezbędnym do podjęcia kontaktu lub realizacji określonego żądania zgodnie z art. 6 ust. 1 lit. b RODO przez okres niezbędny dla realizacji Twojego zgłoszenia. Wszelkie informacje w zakresie przetwarzania podanych przez Ciebie w formularzu danych oraz posiadanych uprawnieniach znajdziesz w Polityce prywatności. Kliknij i dowiedz się więcej jeżeli informacje podane powyżej nie są dostatecznie jasne!

Powiązane artykuły

BlogŁukasz Cholewa
widok maszyny wirtualnej
Import/Export na żądanie w Azure część 2
BlogMarcin Nawrot
zarządzanie uprawnieniami w Azure
Zarządzanie uprawnieniami w subskrypcji Microsoft Azure
BlogMarcin Nawrot
zarządzanie umową Azure
Jak efektywnie zarządzać umową Microsoft Azure

Zarejestruj się i przetestuj APN Meeting Room

Wypróbuj system rezerwacji sal w praktyce, na Twojej infrastrukturze.
Wersja demonstracyjna umożliwia Ci instalację oprogramowania na 3 urządzeniach.

Chcę otrzymywać treści marketingowe od A.P.N. Promise S.A. drogą elektroniczną
Chcę otrzymywać treści marketingowe od A.P.N. Promise S.A. telefonicznie

Administratorem danych osobowych gromadzonych z wykorzystaniem formularza jest A.P.N. Promise S.A. z siedzibą w Warszawie. Kontakt z osobą odpowiedzialną za ochronę danych osobowych jest możliwy za pośrednictwem adresu e-mail: iodo@promise.pl. Podane dane będą przetwarzane w zakresie niezbędnym do realizacji określonego żądania zgodnie z art. 6 ust. 1 lit. b RODO, w zakresie niezbędnym dla prawidłowej realizacji żądania oraz oferowania i świadczenia usług, marketingu produktów i usług własnych oraz przeprowadzenia ankiet i oceny satysfakcji zgodnie z art. 6 ust. 1 lit. f RODO przez okres niezbędny dla realizacji celów oraz w przypadku wyrażenia zgody na podstawie art. 6 ust. 1 lit. a RODO w celu dostarczenia treści marketingowych środkami komunikacji elektronicznej lub za pomocą urządzeń telefonicznych.

Przysługuje Ci prawo do żądania dostępu do danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, jak również prawo sprzeciwu wobec przetwarzania, prawo do przenoszenia danych, a także prawo złożenia skargi do organu nadzorczego, którym w Polsce jest Prezes Urzędu Ochrony Danych Osobowych. Podanie danych jest dobrowolne, jednak niezbędne dla realizacji powyżej wskazanych celów. Odbiorcami danych mogą być podmioty lub osoby obsługujące administratora w zakresie w zakresie hostingu, komunikatorów internetowych, usług IT, księgowości, archiwizacji. Więcej informacji w Polityce Prywatności oraz Regulaminie.

Register and test the APN Meeting Room booking system.

Registering and installing the trial version you are allowed to install the software on 3 devices.

I want to receive marketing content from A.P.N. Promise S.A. electronically
I want to receive marketing content from A.P.N. Promise S.A. by phone

The data controller of personal data collected using the form is A.P.N. Promise S.A. with its registered office in Warsaw. Contact with the person responsible for the personal data protection is possible via following e-mail address: iodo@promise.pl. The given data shall be processed to the extent necessary to carry out specified request in accordance with art. 6(1)(b) of GDPR and to the extent necessary for the correct realization of the request and offer and provision of services, own product and services marketing and conducting surveys and satisfaction ratings in accordance with art. 6(1)(f) of GDPR for the period necessary to achieve the purposes and in the event of consent in accordance with art. 6(1)(a) of the GDPR to provide marketing content by electronic means or by telephone devices.

You have the right to request access to your personal data, rectification, deletion or limitation of processing, as well as the right to object to processing, the right to transfer data and the right to lodge a complaint with a supervisory authority, i.e. the President of the Personal Data Protection Office in Poland. Providing data is voluntary but necessary for the realization of the above-mentioned purposes. Recipients of data may be entities or persons servicing the data controller in the field of hosting, instant messengers, IT services, accounting, archiving. More information in the Privacy Policy and Regulations.

Cybersecurity w obszarze zarządzania zasobami oprogramowania

Napisz do nas, a skontaktujemy się z Tobą i bezpłatnie porozmawiamy o Twoim poziomie cyberbezpieczeństwa w obszarze SAM.

 

Administratorem danych gromadzonych z wykorzystaniem formularza jest A.P.N. Promise S.A. Podane przez Ciebie dane będą przetwarzane w zakresie niezbędnym do podjęcia kontaktu lub realizacji określonego żądania zgodnie z art. 6 ust. 1 lit. b RODO przez okres niezbędny dla realizacji Twojego zgłoszenia. Wszelkie informacje w zakresie przetwarzania podanych przez Ciebie w formularzu danych oraz posiadanych uprawnieniach znajdziesz w Polityce prywatności. Kliknij i dowiedz się więcej jeżeli informacje podane powyżej nie są dostatecznie jasne!

Zostaw adres mailowy i nie przegap kolejnego szkolenia!

[contact-form-7 404 "Not Found"]