Big data

Rozwiązania big data, mimo iż sam termin znany jest od dłuższego czasu, w ostatnich latach zyskały na popularności i stały się – obok technologii mobilnych i chmur obliczeniowych – symbolem rewolucji w branży IT. Warto wiedzieć jakie jest ich przeznaczenie i gdzie leży klucz do skutecznego wykorzystania w praktyce biznesowej związanego z nimi potencjału.

Dane do uporządkowania

Największy problemem w zrozumieniu pojęcia big data jest chyba brak jednoznacznej jego definicji. Wbrew pozorom najważniejszą cechą takich zbiorów danych nie jest ich rozmiar (który jest wartością względną), ale stopień ich niejednorodności, nieuporządkowania, a więc brak ustalonej struktury. Cecha ta utrudnia przetwarzanie za pomocą tradycyjnych metod, jakimi są np. bazy SQL, które działają na danych o ustalonym schemacie i zdefiniowanych relacjach. Również rozmaite aplikacje desktopowe wykorzystywane zwykle w dość złożonych analizach nie sprawdzają się w omawianym przypadku, gdyż możliwości obróbki takiego strumienia informacji znajdują się poza zasięgiem pojedynczych stacji roboczych.

Big data

Różnorodność danych przetwarzanych w systemach big data rośnie wraz z postępem technologicznym, jaki zachodzi w profesjonalnych i konsumenckich sektorach rynku. Urządzenia mobilne, inteligentne systemy pomiarowe, czytniki RFID, urządzenia IoT, komunikacja M2M i sieci społecznościowe to tylko niektóre ze źródeł stale generujących dane. Są to dane bardzo różnorodne, pozornie niemożliwe do skorelowanie, ale to właśnie zadaniem systemów big data jest uporządkowanie tego strumienia i wygenerowanie informacji, która stanowić będzie nową jakość.

Konkluzja jest dość oczywista: współczesna technologia umożliwia stosunkowo łatwe pozyskanie źródeł potencjalnie istotnych biznesowo danych, przeszkodę stanowi ich filtrowanie, korelowanie i analiza. Dysponowanie systemami big data, które pracują na potrzeby przedsiębiorstwa bądź klienta zewnętrznego stwarza szansę uzyskania dostępu do informacji, których pozyskanie za pomocą tradycyjnych metod byłoby niezwykle kosztowne, a często niemożliwe.

Otwarte narzędzia

Znaczące obniżenie kosztów związanych z przygotowaniem usług w sektorze big data możliwe jest dzięki wyeliminowaniu konieczności zakupu drogich licencji u dostawców komercyjnych. Pośród oprogramowania dostępnego w modelu otwartoźródłowym istnieje duży wybór narzędzi, które często stanowią wręcz referencyjną implementację teoretycznych założeń. Przy zachowaniu odpowiedniej metodologii wdrożenia, bez wątpienia można pozyskać atrakcyjne biznesowo rozwiązania bez angażowania dużej ilości środków.

Hadoop logo

Dobrym przykładem jest Apache Hadoop, który należy do najważniejszych platform przeznaczonych do przetwarzania zbiorów big data. Oparty jest na metodzie przetwarzania równoległego MapReduce. Wykorzystuje też rozproszony system plików HDFS, który przeznaczony jest do przechowywania dużej ilości danych, w sposób umożliwiający ich efektywne przetwarzanie. Popularność, efektywność i niski koszt utrzymania klastrów Hadoop sprawił, że już w 2012 używany był przez ponad połowę firm z listy Fortune 50.

Elasticsearch logo

Coraz popularniejszym narzędziem, chociaż rzadziej łączonym z terminem big data, jest Elasticsearch. Jest to silnik wyszukiwania pełnotekstowego, jednak jego rozproszona architektura, szybki rozwój i łatwość łączenia z innymi komponentami (wraz z Logstashem i Kibaną tworzy tzw. ELK Stack) sprawia, że w wielu implementacjach z powodzeniem zastępuje tradycyjne rozwiązania będąc od nich efektywniejszą i łatwiejszą we wdrożeniu alternatywą. Bardzo dobrze nadaje się też do integracji z platformą Hadoop oraz znajduje zastosowanie w narzędziach wyszukiwania anomalii i analizy zdarzeń systemowych.

Oferta forCore

Proponujemy Państwu wdrożenia nowoczesnych platform przetwarzających dane oraz ich dostosowanie do indywidualnych wymagań. Pomożemy w optymalnym wykorzystaniu posiadanych zbiorów danych oraz we wzbogaceniu oferty Państwa przedsiębiorstwa o rozwiązania big data. Nasze usługi obejmują m.in.:

  • budowanie systemów przetwarzania danych w oparciu o oprogramowanie otwartoźródłowe,
  • integrację systemów big data z istniejącą infrastrukturą informatyczną,
  • rozszerzenie możliwości funkcjonujących w przedsiębiorstwie aplikacji o przetwarzanie i analizę dużych zbiorów danych.

Big data otwiera ogromne możliwości w wielu aspektach działalności biznesowej. Zapewniamy, że przy odpowiednim podejściu, nie równa się to ogromnym kosztom.

Bigdata ikona