Ta witryna wykorzystuje pliki cookie, dowiedz się więcej Zgadzam się
>>> Strona główna >>> Archiwum wiadomości >>> Wielkie dane w polskich organizacjach

Wielkie dane w polskich organizacjach

2014-09-18 12:19:10

Wielkie dane w polskich organizacjach to tytuł artykułu Piotra Pietruszyńskiego w Computerworld prezentujący raport przygotowany przez Computerworld i IBM Polska, z którego wynika, że 58% polskich organizacji posiada systemy Big Data lub planuje ich wdrożenie mimo że wiąże się to z koniecznością poniesienia dużych nakładów.

Big Data to sposób na analizę danych o ogromnej liczebności, zmienności i dużej różnorodności. Gartner (znana amerykańska firma analityczno-doradcza) określił to jako model 3V: volume, velocity, variety. Dziś dodaje się czwarte V – value, czyli ocenę wartości. Analiza ta wymaga nowych form przetwarzania danych pozwalających na podejmowanie decyzji, optymalizację procesów i przewidywanie kierunków rozwoju organizacji.

Big Data to nowy sposób analizy ogromnej liczby danych. Od dawna widziano potrzebę penetrowania wielu dziedzin, w których istnieje konieczność przetwarzania dużej liczny danych np. analiza spisów ludności, analiza danych meteorologicznych, analiza bilingów telefonicznych w telekomunikacji, analizy w naukach biologicznych itp. Ograniczone możliwości sprzętowe, ale i brak odpowiednich metod pozwalających na przetwarzanie zbiorów zawierających terabajty1 lub petabajty2 danych skutkowały niekiedy latami pracy nad danymi, co w pewnych dziedzinach (np. w biznesie) czyniło je bezużytecznymi.

Spadające ceny sprzętu i błyskawiczny wzrost jego mocy obliczeniowych spowodował dostępność technologii przetwarzania wielkich zbiorów. Rozwijane są także metody odkrywania zależności między zbiorami bardzo różnych typów danych. Szybkość przetwarzania, łatwość komunikowania się bez względu na geograficzną rozległość badanego obszaru pozwala na działania w systemie czasu rzeczywistego.

Te nowe możliwości powodują nowe wyzwania dla kadry zarządzającej; podejmowanie decyzji oparte na doświadczeniu i intuicji musi być zastąpione wysoce profesjonalnym podejściem. Autor wskazuje na problem, że sektor administracji publicznej, często operującej dużymi zbiorami danych ma problemy z zatrudnieniem wykwalifikowanych specjalistów, ponieważ „ustawa kominowa” utrudnia konkurencję z innymi branżami na rynku pracy. Brak specjalistów znających rozwiązania big data w wymienionych dziedzinach powoduje brak wiedzy na temat możliwych do uzyskania korzyści.

Autorzy raportu zwrócili uwagę na brak planów wdrożenia rozwiązań big data w instytucjach związanych z przemysłem ciężkim i wydobywczym, administracją, nauką i edukacją. Warto też zauważyć, że administracja publiczna napotyka dodatkową barierę; ustawa o ochronie danych osobowych utrudnia a czasem uniemożliwia wdrażanie odpowiednich rozwiązań. Np. analiza zdarzeń i usług medycznych gromadzona na platformie P1 zestawiona z danymi ZUS pozwoliłaby na poprawienie systemu aktuarialnego, czyli precyzyjniejsze przewidywanie możliwości systemu emerytalnego, jednak w obecnym stanie prawnym jest to niedopuszczalne.

Wprowadzanie nowych rozwiązań wiąże się z realnymi wyzwaniami; menadżerowie muszą nauczyć się korzystać z nowych możliwości i przyjąć nowy system podejmowania decyzji, muszą zatrudnić specjalistów, którzy będą potrafili znaleźć potrzebne informacje w analizowanych zbiorach i przełożyć je na informacje biznesowe. Pracownicy mogą się obawiać bardziej racjonalnego, kontrolowanego wykorzystania czasu ich pracy. Działy IT muszą ciężko pracować nad implementacją systemu i integracją wewnętrznych i zewnętrznych źródeł danych - sektor ubezpieczeń zamierza korzystać z mediów społecznościowych, co zresztą wzbudza niezadowolenie w kręgach ich uczestników. Wszystko to wymaga dużych nakładów, a to w rezultacie zmniejsza motywację do wprowadzania nowości.

Sektory, które chętnie wprowadzają rozwiązania big data to: ICT, media, reklama, finanse, bankowość i ubezpieczenia oraz produkty szybkozbywalne czyli FMCG (ang. fast-moving consumer goods). Poszczególne sektory poszukują różnych rozwiązań: media i reklama stara się profilować klientów ich potrzeby i skuteczność kampanii. Sektor finansów, bankowości i ubezpieczeń w dziewięciu wypadkach na jedenaście badanych wykorzystuje lub planuje wykorzystanie platform big data. Branża finansowa i ubezpieczeniowa liczy na lepsze profilowanie produktów, ale też lepsze metody wychwytywania oszustw i malwersacji.

Interesująca jest może informacja, że miejsce marcowej katastrofy malezyjskiego samolotu pasażerskiego zostało wskazane na podstawie danych z satelitów z wykorzystaniem modelu analitycznego i narzędzi big data przez brytyjska firmę Inmarsat. W poszukiwanie samolotu zaangażowały się również amerykańskie firmy Adaptive Computing i DigitalGlobe. Adaptive Computing wykorzystuje oprogramowanie pakietu Big Workflow, które pozwala na dystrybucję zadań z zakresu analityki big data pomiędzy różnymi systemami i lokalizacjami, które następnie analizują otrzymane dane. DigitalGlobe zajmuje się analizą zdjęć satelitarnych stosując rozwiązania Big Workflow. Posiada w swym archiwum fotografie 4,5 mld kilometrów kwadratowych powierzchni ziemi. Platforma Moab pozwala zidentyfikować poszukiwany obiekt. Procedura ta często jest wykorzystywana w przypadku klęsk żywiołowych, wskazując ratownikom obiekty, do których trzeba dotrzeć.

Ciekawe, że Digital Globe jest operatorem strony Tomnod, poprzez którą internauci mają dostęp do materiałów firmy. W przypadku zaginionego samolotu udostępniono ponad 400 tys. zdjęć Oceanu Indyjskiego. Firma starała się pozyskać jak najwięcej osób do wyszukania i oznaczenia interesujących obiektów. Zgłoszenia weryfikowano za pomocą filtrów big data, który odsiewał zgłoszenia nie spełniające założeń, a eksperci analizowali pozostałe.

Na temat poszukiwań z wykorzystaniem technologii big data samolotu wykonującego lot MH370 Computerworld zamieścił w kwietniu 2014 roku artykuł Tomasza Kowalczyka.


1Terabajt oznacza bilion (1 000 000 000 000 = 1012) bajtów.
2Petabajt oznacza biliard (1 000 000 000 000 000 = 1015) bajtów.


Oprac. na podstawie COMPUTERWORLD
Magdalena Hornowska

Robocik WWSI