Automatyzacja procesów przetwarzania danych z systemu źródłowego
Tytuł projektu: automatyzacja procesów przetwarzania danych z systemu źródłowego
Klient: globalny lider w bankowości korporacyjnej
Branża: Banking, Finance & Insurance
Ekspertyza: Data Management & AI
Zakres projektu: przetwarzanie i transformacja danych, automatyzacja tworzenia struktur danych
Narzędzia: Google Cloud Platform, BigQuery, Google Cloud Storage, SQL, Dynamic SQL
Automatyzacja przetwarzania danych z systemu źródłowego umożliwiła optymalizację procesów integracji oraz transformacji w BigQuery. Projekt pozwolił na zautomatyzowanie przekształcania surowych, generycznych tabel w zoptymalizowane struktury analityczne, gotowe do dalszej pracy i raportowania.
Ekspertyza ALTEN Polska dotyczyła transformacji danych oraz wdrożenia nowego, bardziej elastycznego i wydajnego procesu ich przetwarzania. Kluczowym aspektem było przeniesienie logiki ekstrakcji danych z systemu źródłowego, gdzie była realizowana za pomocą skryptów, do środowiska chmurowego. Nowe podejście umożliwiło automatyczne przetwarzanie danych w sposób bardziej dostępny i skalowalny, otwierając nowe możliwości raportowania oraz redukując obciążenie platformy źródłowej.
Zadanie ALTEN Polska
Zespół ALTEN Polska miał za zadanie opracowanie i wdrożenie zautomatyzowanego procesu przetwarzania danych dostarczanych z platformy klienta w formacie plikowym. Kluczowe działania obejmowały tworzenie dynamicznych kwerend SQL w BigQuery, które automatycznie przekształcały dane z surowych, generycznych tabel w zoptymalizowane struktury. Przeniesienie logiki przetwarzania z zamkniętego środowiska skryptowego do otwartego i skalowalnego środowiska SQL było jednym z kluczowych celów projektu.
Przebieg projektu
Projekt realizowano etapowo:
• Analiza istniejącego modelu danych: na początkowym etapie projektu przeanalizowano model danych w systemie źródłowym, w tym relacje między obiektami, kardynalność, atrybuty i zależności. Celem było dokładne zrozumienie struktury danych źródłowych.
• Identyfikacja specyficznych struktur danych: zidentyfikowano elementy modelu danych wymagające dedykowanego podejścia, które wymagały opracowania szczególnych struktur, umożliwiających prawidłowe przetwarzanie danych w dalszych etapach.
• Projektowanie warstwy pośredniej: stworzono elastyczną, dedykowaną strukturę warstwy pośredniej, która umożliwiła łączenie danych surowych z docelowymi strukturami analitycznymi.
• Implementacja algorytmu transformacji danych: opracowano algorytm, który automatycznie przekształcał dane surowe w uporządkowane struktury, przygotowane do dalszego przetwarzania.
• Integracja warstw i testowanie: dane z warstwy pośredniej zostały scalone z warstwą docelową. Następnie przeprowadzono szczegółowe testy, aby upewnić się, że rozwiązanie działa poprawnie i spełnia wymagania biznesowe.
• Zabezpieczenie implementacji: dodano mechanizmy weryfikacji spójności danych wejściowych, aby uniknąć potencjalnych błędów w procesie przetwarzania.
Efekt końcowy
Projekt zakończył się stworzeniem w pełni zautomatyzowanego procesu przetwarzania danych w środowisku BigQuery. Klient otrzymał zoptymalizowane struktury, które zwiększyły dostępność danych i ułatwiły ich wykorzystanie w raportowaniu oraz analizach biznesowych. Dzięki przeniesieniu przetwarzania danych do chmury poprawiono elastyczność pracy z danymi, co otworzyło nowe możliwości w tworzeniu raportów i umożliwiło większej liczbie użytkowników łatwiejszy dostęp do informacji. Automatyzacja procesów przekształceń dodatkowo zredukowała złożoność obsługi danych, wspierając efektywne zarządzanie i rozwój analiz biznesowych.
Podsumowanie
Dzięki współpracy z ALTEN Polska klient zyskał skalowalne, wydajne i łatwe w utrzymaniu rozwiązanie do przetwarzania danych. Automatyzacja procesów oraz przejście na bardziej wydajne technologie zredukowały koszty i czas przetwarzania, jednocześnie poprawiając jakość dostarczanych danych. Projekt stworzył solidną podstawę do dalszego rozwoju analiz biznesowych i integracji danych w środowisku chmurowym.
