Jak ETL funguje v praxi
ETL je zkratka pro Extract, Transform, Load, tedy vytáhnout, transformovat, uložit. Data se nejdřív vytáhnou ze zdrojového systému, mimo cíl se vyčistí a spojí do finální podoby, a teprve pak se uloží do databáze nebo datového skladu.
Extract: data se vytáhnou ze zdroje
Objednávky z e-shopu, faktury z účetnictví nebo data z reklamních účtů se stáhnou z původního systému, obvykle přes API nebo export.
Transform: zpracování probíhá ještě před uložením
V samostatném kroku, mimo cílovou databázi nebo sklad, se data vyčistí, sjednotí formáty a spojí dohromady, třeba objednávky s fakturami k nim.
Load: cíl dostane už jen hotový výsledek
Do databáze nebo skladu se uloží až finální, transformovaná podoba dat. Syrová vstupní data v té podobě, v jaké přišla ze zdroje, se do cíle typicky vůbec neukládají.
Kde firmy pálí peníze
ETL má pár typických slabin, které se projeví, až teprve když se něco pokazí, ne hned na začátku.
Transformační vrstva je další součást, která se může rozbít
ETL obvykle potřebuje samostatný transformační server nebo službu navíc k samotnému skladu. Je to další součást architektury, která funguje nezávisle na skladu, takže se může pokazit sama o sobě, i když sklad je v pořádku.
Chybná transformace bez možnosti přepočtu
Pokud se ukáže, že transformační logika byla nastavená špatně, syrová vstupní data často už nejsou k dispozici na nový přepočet, protože se do cíle uložil jen hotový výsledek, ne to, z čeho vznikl.
Kdy ETL dává smysl
ETL není zastaralý ani špatný přístup, jen se dnes používá tam, kde na to jsou konkrétní důvody, ne jako výchozí volba.
Cílový systém nemá dost výkonu na transformace
Pokud databáze nebo systém, kam se data ukládají, nemá dostatečný výpočetní výkon na těžké transformace, dává smysl je udělat předem, mimo něj, a poslat tam už jen výsledek.
Compliance nebo bezpečnostní požadavky na čistá data
V některých provozech je potřeba mít data vyčištěná a ověřená ještě před zápisem do cíle, ne až po něm, typicky z regulatorních nebo bezpečnostních důvodů.
Plné srovnání s ELT
ETL stojí proti novějšímu přístupu ELT, kde se data ukládají do skladu syrová a transformují se až tam. Kompletní srovnání obou přístupů, včetně toho, proč Datimo u nových datových skladů staví na ELT, najdete na stránce ETL vs. ELT.