Automatyzacja procesów przetwarzania danych z systemu źródłowego

Dlaczego warto automatyzować przetwarzanie danych w chmurze?

Ekspertyza ALTEN Polska dotyczyła transformacji danych oraz wdrożenia nowego, bardziej elastycznego i wydajnego procesu ich przetwarzania. Kluczowym aspektem było przeniesienie logiki ekstrakcji danych z systemu źródłowego, gdzie była realizowana za pomocą skryptów, do środowiska chmurowego. Nowe podejście umożliwiło automatyczne przetwarzanie danych w sposób bardziej dostępny i skalowalny, otwierając nowe możliwości raportowania oraz redukując obciążenie platformy źródłowej.

Technologie i narzędzia: BigQuery, Dynamic SQL i Google Cloud Storage

Zespół ALTEN Polska miał za zadanie opracowanie i wdrożenie zautomatyzowanego procesu przetwarzania danych dostarczanych z platformy klienta w formacie plikowym. Kluczowe działania obejmowały tworzenie dynamicznych kwerend SQL w BigQuery, które automatycznie przekształcały dane z surowych, generycznych tabel w  zoptymalizowane struktury. Przeniesienie logiki przetwarzania z zamkniętego środowiska skryptowego do otwartego i skalowalnego środowiska SQL było jednym z kluczowych celów projektu.

Etapy projektu – analiza modeli danych i budowa warstwy pośredniej

Projekt realizowano etapowo:

• Analiza istniejącego modelu danych: na początkowym etapie projektu przeanalizowano model danych w systemie źródłowym, w tym relacje między obiektami, kardynalność, atrybuty i zależności. Celem było dokładne zrozumienie struktury danych źródłowych.

• Identyfikacja specyficznych struktur danych: zidentyfikowano elementy modelu danych wymagające dedykowanego podejścia, które wymagały opracowania szczególnych struktur, umożliwiających prawidłowe przetwarzanie danych w dalszych etapach.

• Projektowanie warstwy pośredniej: stworzono elastyczną, dedykowaną strukturę warstwy pośredniej, która umożliwiła łączenie danych surowych z docelowymi strukturami analitycznymi.

• Implementacja algorytmu transformacji danych: opracowano algorytm, który automatycznie przekształcał dane surowe w uporządkowane struktury, przygotowane do dalszego przetwarzania.

• Integracja warstw i testowanie: dane z warstwy pośredniej zostały scalone z warstwą docelową. Następnie przeprowadzono szczegółowe testy, aby upewnić się, że rozwiązanie działa poprawnie i spełnia wymagania biznesowe.

• Zabezpieczenie implementacji: dodano mechanizmy weryfikacji spójności danych wejściowych, aby uniknąć potencjalnych błędów w procesie przetwarzania.

Mechanizm transformacji: algorytm automatycznych przekształceń

Projekt zakończył się stworzeniem w pełni zautomatyzowanego procesu przetwarzania danych w środowisku BigQuery. Klient otrzymał zoptymalizowane struktury, które zwiększyły dostępność danych i ułatwiły ich wykorzystanie w raportowaniu oraz analizach biznesowych. Dzięki przeniesieniu przetwarzania danych do chmury poprawiono elastyczność pracy z danymi, co otworzyło nowe możliwości w tworzeniu raportów i umożliwiło większej liczbie użytkowników łatwiejszy dostęp do informacji. Automatyzacja procesów przekształceń dodatkowo zredukowała złożoność obsługi danych, wspierając efektywne zarządzanie i rozwój analiz biznesowych.

Korzyści dla klienta: skalowalność, dostępność, łatwość raportowania

Dzięki współpracy z ALTEN Polska klient zyskał skalowalne, wydajne i łatwe w utrzymaniu rozwiązanie do przetwarzania danych. Automatyzacja procesów oraz przejście na bardziej wydajne technologie zredukowały koszty i czas przetwarzania, jednocześnie poprawiając jakość dostarczanych danych. Projekt stworzył solidną podstawę do dalszego rozwoju analiz biznesowych i integracji danych w środowisku chmurowym.