K čemu propojení slouží
Objednávky, produktový katalog a zákaznická data z Upgates se pravidelně ukládají do Snowflake, vedle dat z reklamy, skladu nebo účetnictví, na platformě, na které firma případně už staví jiné reporty nebo analytické nástroje.
Objednávky a katalog v jedné struktuře
Objednávky, produkty, varianty a zákazníci z Upgates se ukládají do tabulek ve Snowflake ve struktuře, se kterou se dá dál počítat, ne v podobě exportu na jedno použití. Upgates k tomu nabízí vlastní REST API v2 s autentizací přes HTTP Basic Auth, které se v administraci aktivuje jako samostatný doplněk.
Kde se data dál používají
Segmentace produktů v Google Ads, maržový report a analýza průchodnosti košíkem pracují se stejným zdrojem dat, takže se čísla v kampaních shodují s tím, co e-shop reálně prodává, bez ohledu na to, jaký nástroj nad Snowflake firma pro reportování používá.
Na co si dát pozor
U propojení e-shopu do Snowflake se řeší podobná rizika jako u jiných datových skladů, plus pár věcí specifických pro to, jak si Snowflake účtuje výpočetní výkon. Lepší je počítat s nimi předem, než je řešit až v hotovém reportu.
Číselníky produktů se mezi systémy liší
Kódy produktů v Upgates často neodpovídají číselníku v účetnictví nebo skladovém systému. Bez správného mapování marže nesedí na konkrétní produkty v kampaních, bez ohledu na to, jestli data leží v BigQuery, Fabricu, nebo ve Snowflake.
Compute se účtuje odděleně od úložiště
Snowflake účtuje výpočetní výkon (virtuální warehouse) a úložiště dat jako dva samostatné metry, k tomu ještě zvlášť přenos dat ven. Compute se počítá po sekundách s minimálním úsekem 60 sekund. Warehouse ponechaný v chodu bez nastaveného auto-suspend spotřebovává kredity i ve chvíli, kdy nikdo žádný dotaz nespouští, na rozdíl od BigQuery, kde se platí za jednotlivý dotaz.
Sezónní špičky v objednávkách
Objem objednávek a návštěvnosti se o Vánocích, při výprodejích nebo Black Friday znásobí. Velikost virtuálního warehouse i frekvence synchronizace na to musí být připravené dopředu, ne dolaďované až za provozu.
Denní limit API požadavků
Upgates omezuje počet API požadavků podle zakoupeného balíčku, maximálně 60 balíčků odpovídá 60 000 požadavkům denně. Jedna odpověď navíc obsahuje nejvýš 100 záznamů na stránku, takže u velkého katalogu nebo časté synchronizace je potřeba s tímhle limitem počítat už při návrhu napojení, ne až když přestane stačit.
Jak to Datimo řeší
- 1
Vlastní konektor pro Upgates
Napojení se nastaví podle konkrétní verze a nastavení vašeho e-shopu na Upgates, včetně doplňků a rozšíření, která reálně používáte. Logika napojení je stejná jako u BigQuery nebo Fabricu, mění se jen cílová platforma.
- 2
Ingesce přes Snowpipe nebo COPY INTO
Data se do Snowflake dostávají přes Snowpipe (průběžné načítání) nebo COPY INTO (dávkové načítání) z externí staging oblasti v cloudovém úložišti. Upgates je česká cloudová SaaS platforma s veřejným API, takže napojení je přímé, bez dalších mezikroků.
- 3
Pravidelná synchronizace
Objednávky, katalog a zákazníci se aktualizují podle domluveného intervalu, ne jednorázovým exportem z administrace. Tam, kde to dává smysl, ji doplňujeme o webhooky, které Upgates nabízí pro objednávky, produkty a kategorie, aby nová data nečekala na další běh synchronizace a zbytečně se nevyčerpával denní limit API požadavků.
- 4
Řízení přístupu přes RBAC
Kdo vidí jaká data a jaké objekty ve Snowflake, se řídí přes role-based access control (RBAC), který jde napojit na firemní SSO nebo identity providera, pokud ho firma už používá.
- 5
Modulární rozsah dat
Napojení stavíme z modulů podle toho, co potřebujete reportovat, ne jako pevně daný balíček tabulek. BigQuery zůstává výchozím doporučením Datima, stejný konektor a datový model ale umíme nasměrovat do Snowflake tam, kde je to firemní standard.