Technologie Big Data w instytucjach finansowych: Jak analiza dużych zbiorów danych może pomóc instytucjom finansowym?

Pytanie o to, czy instytucje finansowe potrzebują efektywnych narzędzi do analizy i przetwarzania danych, a takimi są technologie Big Data, wydaje się retoryczne, zwłaszcza że organizacje finansowe gromadzą coraz więcej danych. Trudniejsza jest odpowiedz na pytanie jakich narzędzi użyć, w czym analiza dużych zbiorów danych może pomóc oraz czy inwestycja w te narzędzia ma szanse przynieść realny zwrot z inwestycji.

Pytanie o to, czy instytucje finansowe potrzebują efektywnych narzędzi do analizy i przetwarzania danych, a takimi są technologie Big Data, wydaje się retoryczne, zwłaszcza że organizacje finansowe gromadzą coraz więcej danych. Trudniejsza jest odpowiedz na pytanie jakich narzędzi użyć, w czym analiza dużych zbiorów danych może pomóc oraz czy inwestycja w te narzędzia ma szanse przynieść realny zwrot z inwestycji.

Terminologia Big Data

Terminologii Big Data używam ze względu na popularność tego terminu, ale rozumiem go znacznie szerzej niż pierwotna definicja, która pojawiła się ponad 30 lat temu. Upraszczając, zgodnie z definicją Big Data to mowa o narzędziach zajmujących się danymi w dużej ilości, różnorodnymi w sensie zawartości i formatu, oraz napływającymi w szybkim tempie. Historycznie rozwój w obszarze narzędzi Big Data wprowadził do świata dzisiejszych narzędzi wiele koncepcji i rozwiązań, które odnajdujemy np. w rozwiązaniach chmurowych. Dlatego na potrzeby dalszej wypowiedzi używany jest termin technologii Big Data w szerokim ujęciu, czyli takich do przetwarzania oraz zaawansowanych analiz na dużych zbiorach danych.

Terminologii Big Data używam ze względu na popularność tego terminu, ale rozumiem go znacznie szerzej niż pierwotna definicja, która pojawiła się ponad 30 lat temu.

Jakie usecase’y

Zanim jednak zaczniemy nazywać technologie, warto odpowiedzieć sobie na pytanie o potrzeby instytucji finansowych związane z przetwarzaniem i analizą danych. Opierając się na badaniach EY, ocenach analityków i naszych doświadczeniach projektowych, skupię się na kilku przykładowych obszarach w których instytucje finansowe prowadzą lub planują prowadzić prace z wykorzystaniem omawianych narzędzi. 

Rozpocznę od obszaru AI/GenAI. Od roku to jest temat, którego nie sposób pominąć a GenAI, czyli tzw. generatywna sztuczna inteligencja inspiruje i prowadzi do szukania w instytucjach finansowych miejsc do zastosowania na szerszą skalę. Obecnie, często zastosowania związane są z efektywnością kosztową: ograniczenie kosztów obsługi klientów przez wprowadzenie samoobsługowych kanałów wpieranych przez AI, wsparcie pracowników obsługujących klientów poprzez np. podpowiedzi tematów rozmowy czy tzw. “next best action”, wsparcie AI w ramach procesów wewnętrznych itd. Pomijam kwestie prawne, regulacyjne, potrzeby związane z możliwościami eksperymentowania, takie jakpiaskownice AI. Skupię się na temacie przygotowania danych. Otóż coraz więcej firm zauważa, że efektywne wykorzystanie AI wymaga odpowiedniej jakości danych. Patrząc z perspektywy ryzyka, zastosowanie AI i wygenerowanie niepoprawnych odpowiedzi w oparciu o niepoprawne dane wsadowe stawia pod znakiem zapytania wartość zastosowania AI. Dlatego warto wykorzystać odpowiednie narzędzia i technologie, żeby zadbać o odpowiednią jakość danych, a pamiętajmy, że w przypadku instytucji finansowych są to często bardzo duże zbiory danych wymagające wiarygodnego i szybkiego przetwarzania.

Nawet na potrzeby podejmowania decyzji dysponując kilkoma raportami i analizami, w wielu instytucjach pojawia się pytanie czy dane są wiarygodne i aktualne.

Odpowiednia jakość danych, nie jest nowym tematem i wiadomo od lat, że nawet na potrzeby podejmowania decyzji dysponując kilkoma raportami i analizami, w wielu instytucjach pojawia się pytanie czy dane są wiarygodne i aktualne. Czasami są to pytania od regulatora, czasami od działów zapewnienia zgodności. Żeby odpowiedzieć na tak postawione pytania potrzebna jest pewność, że pobraliśmy właściwe dane, z właściwych miejsc, przetworzyliśmy je zgodnie z ustaloną logiką i zasadami a także AI/ML działa w sposób zgodny z regulacjami. Potrzeby spójności regulacyjnej i wewnętrznej stanowią często przyczynę ponoszenia kosztów projektów w obszarze danych, a nowoczesne narzędzia oferują dużą pomoc (np. wykorzystanie mechanizmów ML/AI do deduplikacji, podniesienia jakości danych tzw. „złotego rekordu klienta”). Co istotne, próby podniesienia jakości danych, zmniejszenia silosowości przetwarzania, w oparciu o narzędzia tradycyjne, bez wykorzystania nowoczesnych technologii, są zdecydowanie mniej skuteczne. 

Wybierając kilka przypadków użycia, oprócz korzyści kosztowych, regulacyjno-decyzyjnych, warto wskazać jeszcze przykład przychodowy. I tu szczególnie istotna jest właściwość technologii przetwarzających dane w czasie rzeczywistym (lub bliskim rzeczywistemu). W konkurencyjnym środowisku instytucji finansowych przewagę może zapewnić personalizowana oferta (tzw. hiperpersonalizacja), spójna w każdym kanale komunikacji, odpowiadająca na przyszłe potrzeby (najlepiej z zastosowaniem AI/ML) wymagającego klienta. Dodatkowo oferta zoptymalizowana nie tylko pod kątem oferowanego produktu, momentu jej przedstawienia, ale także pod kątem zindywidualizowanej, dynamicznie ustalanej ceny. Ceny, która zgodnie z dynamiczną strategią cenową instytucji finansowej adresuje jej cele, ryzyka i optymalizuje długoterminowy zysk z relacji z klientem. Realizacja takich przetwarzań nie byłaby możliwa bez technologii opracowanych w ramach nurtu Big Data.        

Narzędzia

Opisując narzędzia warto zaznaczyć, że oceniać narzędzia należy nie tylko z perspektywy ich dojrzałości technologicznej ale przede wszystkim z punktu widzenia skuteczności ich zastosowania do realizacji celów biznesowych w oczekiwanej skali. Najbardziej popularne narzędzia do analizy danych, typu MS Excel, dość trudno jest zastosować do przetwarzania dużych, różnorodnych oraz szybko zmieniających się danych. 

Dlatego powstały i rozwinęły się technologie Big Data. Na wczesnym etapie wykorzystania tych technologii pojawiało się dużo zawiedzionych oczekiwań związanych z kłopotami z zapanowaniem nad jakością i wiarygodnością danych w tzw. jeziorach danych. Ładowano tam duże ilości danych bez panowania nad schematami, modelami, czy zasadami przetwarzania. 

Obecnie narzędzia są bardziej dojrzałe, a wiele koncepcji Big Data zostało zaaplikowanych w technologiach chmurowych: sposób przechowywania plików skorzystał z rozwoju tzw. HDFS (Apache Hadoop Distributed File System), kolejnym etapem ewolucji bigdata’owego MapReduce jest przetwarzanie Spark (podstawa działania w Databricks, Azure Fabric) lub podobne typy przetwarzań (Snowflake), Hive metastore odnajdziemy np. w Databricks UnityCatalog, a popularna Apache Kafka znalazła swoich odpowiedników w wszystkich głównych chmurach (Azure EventHubs, Google PubSup, AWS Kinesis). 

Obecnie narzędzia są bardziej dojrzałe, a wiele koncepcji Big Data zostało zaaplikowanych w technologiach chmurowych.

Oprócz większej dojrzałości samych narzędzi mamy również ich lepszą integrację, a dodatkowo pojawiło się wiele narzędzi wspierających zarówno w obszarach modeli danych, semantyki danych, wsparcia dla metadanych, wsparcia w zakresie uprawnień dostępu, itd. W instytucjach regulowanych są to niezbędne funkcjonalności dla systemów przetwarzania danych. 

Ale rzecz najważniejsza – technologie Big Data stają się bardziej wydajne i skuteczne, oraz coraz bardziej dostępne w sensie kosztów oraz kompetencji ludzi z nimi pracujących. To bardzo poszerza obszar tzw. Data Science lub też zaawansowanej analityki danych. Obecnie, barierą innowacyjności dla wielu pracowników instytucji finansowych najczęściej nie jest już technologiczna trudność, ale brak odpowiednich piaskownic do pracy, uprawnień, dostępów, możliwości eksperymentowania i tworzenia nowych rozwiązań. 

Podsumowując, istnieją liczne narzędzia, bazujące na technologiach Big Data lub je wspierające, często dostępne w wersjach chmurowych. Warto wybierać te potrzebne do aktualnych potrzeb, ale także takie, które otwierają myślenie i projektowanie kolejnych usług i pomogą nam w dalszym rozwoju.

Czy warto inwestować?

Skoro są powody do wykorzystania technologii Big Data, a narzędzia są coraz lepsze i często łatwiejsze w użyciu, to czy instytucje finansowe je wdrażają oraz używają? Odpowiedz jest w większości przypadków twierdząca. Wyzwaniem jest natomiast kwestia, czy wykorzystywane narzędzia są nowoczesne, czy są wdrożone w większej skali, czy nadal funkcjonują na obrzeżach głównego nurtu przetwarzania danych. 

Skoro są powody do wykorzystania technologii Big Data, a narzędzia są coraz lepsze i często łatwiejsze w użyciu, to czy instytucje finansowe je wdrażają oraz używają? Odpowiedz jest w większości przypadków twierdząca.

Z jednej strony inwestycje w obszary przetwarzania danych są wysokie, a zwrot z inwestycji nie jest łatwy do oceny na etapie przygotowywania business case. Z drugiej strony dalsze pozostawanie z przetwarzaniem danych w trybach wsadowych, w silosach biznesowych z wykorzystaniem tradycyjnych narzędzi on-premise, może instytucjom finansowych ograniczyć możliwości rozwoju, utrudnić spełnianie coraz to bardziej wymagających oczekiwań regulacyjnych, utrudnić pracownikom i tym instytucjom drogę do innowacyjności np. z wykorzystaniem AI/ML w skali produkcyjnej.  

W takiej sytuacji, rozwiązaniem może być wprowadzanie nowoczesnych narzędzi, nazywanych na potrzeby tej wypowiedzi Big Data. Dajemy pracownikom narzędzia do działania w wybranych obszarach przy jednoczesnej kontroli postępów inwestycji. A następnie skalujemy rozwiązanie na kolejne obszary działalności. Tu pojawia się ryzyko skalowalności rozwiązania, a mianowicie czy opracowane pomysły w jednym miejscu będzie można zastosować w całej instytucji. Dlatego też warto wykorzystać nowoczesne narzędzia i nowoczesne koncepcje architektoniczne. Wówczas obniżamy ryzyko podczas weryfikowania rozwiązań w ramach pilota/PoC, a następnie przy wdrażaniu rozwiązań produkcyjnie w pełnej skali mamy szanse osiągnąć realny zwrot z inwestycji. 


Eksperci EY Wojdowski Pisarski

Autorzy: Radosław Wojdowski – Senior Manager, Architekt rozwiązań w zespole Data Technology, EY Polska
Marcin Pisarski – Partner EY Polska, Lider Data Technology