K čemu propojení slouží
Vlastní e-shop nebo interní systém postavený na PostgreSQL má svá transakční data, objednávky, zákazníky, stav skladu, uzavřená ve vlastní databázi. Napojení do BigQuery tato data pravidelně kopíruje do datového skladu, odkud jdou spojit s daty z reklamy a účetnictví, aniž by těžké dotazy zatěžovaly produkční databázi, ze stejného důvodu, který popisujeme u pojmu Transakční a analytická databáze.
Data mimo hranice produkční databáze
Objednávky, zákazníci a stav skladu z vlastní PostgreSQL databáze se pravidelně ukládají do datového skladu, odkud s nimi může pracovat i zbytek firmy, ne jen ten, kdo má přístup přímo do produkčního systému.
Kde se data dál používají
Maržový report, skladové predikce a segmentace produktů v Google Ads pracují se stejným zdrojem, takže čísla z vašeho e-shopu, účetnictví a marketingu sedí na sebe.
Na co si dát pozor
PostgreSQL není packaged platforma s daným schématem, je to obecná databáze, na které si každá firma postavila vlastní e-shop nebo systém po svém. To má přímý dopad na to, jak napojení vzniká, a proč u něj neexistuje jeden univerzální konektor jako u krabicových řešení.
Čtení nesmí zatěžovat živý provoz
Přímé těžké dotazy na produkční databázi mohou zpomalit checkout nebo příjem objednávek. Napojení proto typicky čte přes read repliku, nebo přes logickou replikaci, která čte změny přímo z WAL (write-ahead logu) pomocí replikačního slotu a umožňuje sledovat jen vybrané tabulky, ne celou databázi jako fyzická replika.
Žádné standardní schéma
Struktura vlastní databáze je unikátní pro každý projekt, není tam žádné dané schéma jako u packaged platformy. Napojení proto vždy začíná zmapováním konkrétních tabulek a vztahů mezi nimi, teprve podle toho se navrhne rozsah přenášených dat.
Replikační slot musí být pod kontrolou
Dokud replikační slot nepokročí, PostgreSQL nesmí smazat WAL segmenty, které si přes něj konzument teprve má vyzvednout. Zaseknutý nebo zapomenutý slot proto může nechat WAL růst a zaplnit disk na produkční databázi, počet současně otevřených slotů má navíc svůj limit (max_replication_slots), který je potřeba počítat spolu s ostatními napojeními na stejnou databázi.
Přístup do databáze je citlivější než API
Přímé připojení do produkční databáze zákazníka je z hlediska přístupových údajů a bezpečnosti citlivější než napojení přes veřejné API. Pracujeme proto jen s právy omezenými na čtení a jen na to, co je pro synchronizaci skutečně potřeba.
Jak to Datimo řeší
- 1
Konektor šitý na vaše schéma
Konektor stavíme podle konkrétní struktury vaší databáze, ne jako univerzální řešení pro PostgreSQL obecně. Nejdřív zmapujeme tabulky a vztahy, které reálně používáte, teprve podle toho navrhneme rozsah přenášených dat.
- 2
Synchronizace šetrná k provoznímu výkonu
Data čteme přes read repliku nebo naplánovaný export, podle toho, co vaše infrastruktura umožňuje, aby dotazy nezatěžovaly databázi, na které běží živý provoz.
- 3
Rychlé reporty i nad historií
Datový sklad je připravený tak, aby dotazy přes roky fungovaly plynule a náklady na úložiště zůstávaly pod kontrolou.
- 4
Správa napojení v ceně
Technickou správu, úpravy při změnách schématu na vaší straně i aktivní monitoring hlídáme za vás, v rámci ceny.
- 5
Modulární rozsah dat
Rozsah přenášených tabulek jde kdykoli rozšířit podle toho, co zrovna potřebujete reportovat, bez nutnosti stavět napojení znovu od nuly.