Keďže neštruktúrované údaje naďalej exponenciálne rastú, organizácie čelia výzvam pri správe a analýze údajov v objektovom úložisku. Z času na čas môže prísť požiadavka na presun dát do iného klastra ECS alebo verejného cloudu, aby bolo možné dáta spravovať flexibilne a efektívne. Presun údajov, tiež nazývaný copy-to-cloud, je nová funkcia v ECS 3.8.0.1, kde používateľ môže kopírovať lokálne objektové dáta do externého S3 úložiska, ako je napríklad nefederovaný ECS alebo verejný hyperscaler. (V súčasnosti sú podporované iba úložiská AWS).Táto funkcionalita je postavená na open-source nástroji ECS Sync, ktorý poskytuje možnosť paralelného kopírovania dát. Funkcia presunu dát podporuje iba účty IAM a IAM buckety.
Presun dát je jednoducho konfigurovateľný v rámci GUI v záložke Buckets. Môže ho monitorovať správca účtu alebo správca systému v rámci GUI. Správca môže definovať politiky týkajúce sa zdrojových a cieľových úložísk a kritériá pre objekty. Správca môže tiež monitorovať protokoly pre všetky operácie kopírovania na úrovni objektu, vrátane času kopírovania, kľúča zdrojového objektu, veľkosti objektu, cieľového koncového bodu, trvania a výsledku operácie kopírovania (úspech/neúspech, chybové hlásenie). Existujú aj upozornenia, ktoré zobrazujú súhrn všetkých operácií kopírovania a chýb pri akýchkoľvek zlyhaniach.
Služba presunu dát je podporovaná iba pri systémoch Gen2 alebo novších, ktoré boli rozšírené alebo majú 192 GB pamäte. Politiky presunu dát nemôžu synchronizovať vymazania. To znamená, že ak je objekt odstránený zo zdrojového úložiska, nebude odstránený z cieľového úložiska. Synchronizácia prebieha raz za hodinu; ak je v priebehu hodiny veľa verzií, skopíruje sa iba tá najnovšia.
Kopírovanie dát do cloudu môžete využiť nie len v prípade DR scenára, ale aj napríklad na dátovú analytiku v cloude, keďže Dell rozširuje ekosystém o podporu Snowflake. Zákazníci spoločností Dell a Snowflake môžu používať lokálne dáta uložené v Dell ECS a zároveň využiť ECS copy-to-cloud na presun dát do cloudu aby na nich bolo možné spustiť plejádu analytických nástrojov od Snowflake v AWS cloude. Nasledujúci obr. zobrazuje, ako Snowflake pracuje s pohybom dát z ECS:
- Aplikácia zapisuje údaje do lokálneho bucketu ECS.
- Politika presunu údajov v ECS je nakonfigurovaná tak, aby kopírovala všetky údaje alebo podmnožinu údajov do preddefinovaného prípravného segmentu vo vlastníctve zákazníka v rámci AWS.
- Údaje sa zapisujú do odkladacieho bucketu.
- Tento bucket AWS bude mať upozornenia S3 nakonfigurované tak, aby upozorňovali na AWS SQS frontu, do ktorého je Snowflake prihlásený.
- Data pipeline pre Snowflake s názvom Snowpipe sa prebudí a vloží údaje do Snowflake.
- Údaje potom môžu byť vymazané podľa politiky životného cyklu v AWS.
Záver
Bez ohľadu na prípad použitia prenosu údajov je dôležité, aby sa to uskutočnilo rýchlo, spoľahlivo, bezpečne a konzistentne. A bez ohľadu na to, koľko údajov musíte presunúť, kde sa nachádzajú alebo akú máte šírku pásma, existuje možnosť, ktorá vám môže vyhovovať.
Zdroj: Dell
