MARGO

Aktualności

Salon Big Data 2018: co warto zapamiętać

Projekty są wciąż w zbyt dużym stopniu ukierunkowane na technologie, bez wystarczającego uwzględnienia konkretnych przypadków zastosowań


30/03/2018

Zgodnie z wynikami ankiety przeprowadzonej przez IDC, wartość obrotów na rynku Big Data powinna wynieść 203 mld dolarów już w roku 2020, w porównaniu z 130,1 mld w roku 2016.

W kontekście tak dynamicznego wzrostu, 15 200 uczestników wzięło udział w zorganizowanym w Pałacu Kongresowym salonie Big Data 2018 – dwudniowej konferencji poświęconej zagadnieniom wykorzystania danych. Zespoły firmy Margo wzięły udział w tym ważnym wydarzeniu, a poniżej przedstawiamy krótkie sprawozdanie i najważniejsze informacje.

„Coraz liczniejsze zastosowania technologii Machine Learning i sztucznej inteligencji, a także dynamicznie rozwijające się możliwości wykorzystania internetu przedmiotów (Internet of Things – IoT) oraz przyjęcie strategii polegającej na użyciu technologii chmury w zakresie analizy dużych zbiorów danych: rok 2018 będzie stanowić okres konwergencji pomiędzy Big Data a innymi najnowocześniejszymi technologiami.” Tematyka ta była omawiana od samego początku salonu. Biorąc pod uwagę, że 53% światowych przedsiębiorstw korzysta już z technologii Big Data (wg badania firmy Dresner Advisory Services, 2017), kluczowe znaczenie odgrywają obecnie technologie, które muszą być wciąż coraz bardziej wydajne i bezpieczne. A jak wygląda sytuacja, jeśli chodzi o współpracę z firmami w dziedzinie konkretnych zastosowań?

Szczegółowa analiza danych umożliwia opracowywanie całkowicie nowych zastosowań i modeli biznesowych. Wykorzystanie zbiorów danych stanowi obecnie dla przedsiębiorstw bardzo konkretne możliwości rozwoju oraz tworzenia wartości dodanej. Pomimo tego, projekty są wciąż w zbyt dużym stopniu ukierunkowane na technologie, bez wystarczającego uwzględnienia konkretnych przypadków zastosowań.

We wszystkich branżach działalności i specjalnościach są już wykorzystywane technologie Data to Business, jednak kluczowe znaczenie ma obecnie dla przedsiębiorstw opracowanie konkretnych rozwiązań umożliwiających wykorzystanie pełnej wartości posiadanych danych:

  • Przetwarzanie coraz większej ilości danych niestrukturalnych.Opracowanie odpowiednich architektur i infrastruktur umożliwi pozyskiwanie, organizowanie i przetwarzanie w skutecznych sposób znaczących zbiorów danych pochodzących z różnych źródeł, o różnorodnej jakości oraz formatach.
  • Waloryzacja danych.Wykorzystanie zaawansowanych technik pozyskiwania danych (data mining), w połączeniu z technologiami prognostycznymi oraz uczenia (deep learning) zapewnia całkowicie nowe możliwości wykorzystania danych. Umiejętność sortowania danych i pozyskiwania informacji o największej wartości (poprzez korelację, wykorzystanie danych nietypowych itd.) oraz opracowywania odpowiednich modeli zapewnia podejmowanie najlepszych decyzji.
  • Określenie nowych zastosowań i modeli biznesowych.Odpowiednie analizowanie danych we właściwej chwili umożliwia przewidywanie potrzeb klientów oraz zrozumienie ich oczekiwań, aby opracowywać właściwe produkty.

Dzięki wypowiedziom ponad 100 prelegentów i 250 prezentowanym markom, salon był pełen ciekawych doświadczeń i prezentacji dotyczących konkretnych rozwiązań. Poniżej przedstawiliśmy kilka tematów, które wydają nam się najważniejsze.
„Machine Learning: what works and what they won’t tell you.” – Ted DUNNING, Chief Application Architect MAPR

salon big data 2018 Ted DUNNING MAPR

Kluczowe przesłanie prezentacji Teda Dunninga było stwierdzenie, że technologia Deep Learning (uczenia głębokiego) nie zawsze stanowi najlepszą metodę Machine Learning (uczenia maszynowego). W pewnych przypadkach, całkowicie możliwe jest tworzenie wartości poprzez wykorzystanie szybkich i tanich modeli uczenia. Właśnie na tym polega zasada Cheap Learning.

Poprzez wykorzystanie metody opracowanej w oparciu o zasadę współwystępowania w wyszukiwarkach danych, możliwe jest zapewnienie optymalizacji wyników wyszukiwania bez konieczności opracowywania jakichkolwiek specjalnych, skomplikowanych modeli uczenia. Zasada współwystępowania umożliwia na przykład znalezienie wyników dotyczących tańca flamenco po wpisaniu zapytania „gitara hiszpańska”, ponieważ wyrażenia te występują wspólnie (co oznacza, że są bardzo często wykorzystywane równocześnie w określonym ciągu znaków).

Kolejny przykład stanowi technologia Transfer Learning. Technologia Transfer Learning umożliwia przekształcenie metod Deep Learning w Cheap Learning poprzez wykorzystanie skomplikowanego, sprawdzonego modelu. Dla przykładu, dzięki wykorzystaniu skomplikowanego modelu rozpoznawania obrazów umożliwiających identyfikację kurczaków, możliwe jest opracowanie modelu zdecydowanie mniej skomplikowanego, zapewniającego rozpoznawanie zwierząt znajdujących się w kurniku.

 

„Opracowywanie trafnych prognoz dotyczących codziennej wartości sprzedaży sklepu internetowego umożliwia optymalizację łańcucha logistycznego.” – Clément MARCHAL, Head of Data Science SEPHORA

Salon big data 2018 Clément MARCHAL SEPHORA

Firma Sephora wykorzystuje strategię Machine Learning w celu przewidywania wartości codziennej sprzedaży swoich sklepów internetowych dla zapewnienia optymalizacji łańcucha logistycznego oraz zarządzania wydajnością działalności handlowej w czasie rzeczywistym. Modele Machine Learning zostały opracowane na podstawie rozwiązania Dataiku. Platforma ta umożliwia łatwe zaimportowanie niezbędnych danych, dokonanie wyboru odpowiednich danych i modeli do przetestowania oraz zasad oceny. Wszystkie procesy Machine Learning są następnie opracowywane i rozwijane automatycznie. Ponadto, firma Sephora wykorzystuje również modele Random Forest i Xgboost w odniesieniu do danych swojego „planu marketingowego” i „logów nawigacji”, które według wypowiedzi pana Clémenta Marchala zapewniają zadowalające rezultaty.

 

„Zbiory danych, które zmieniają dziennikarstwo – technologie wykorzystane w celu opracowania informacji dotyczących Paradise Papers” – Pierre ROMERA, Dyrektor Techniczny firmy ICIJ

Zbiory danych w służbie dziennikarstwa. Organizacja ICIJ – Międzynarodowe Konsorcjum Dziennikarzy Śledczych – oddała do dyspozycji dziennikarzy rozwiązanie umożliwiające szybkie pozyskiwanie i wykorzystywanie danych, ułatwiające dziennikarzom prowadzenie ich pracy śledczej.

 

„Doskonałe wykorzystanie dostępnych danych dzięki rozwiązaniom firmy Tableau” – Anastasiia Sergiienko, Starszy Konsultant ds. Produktów firmy Tableau Software

Tableau Software to amerykańska firma, która opracowuje rodzinę produktów wykorzystywanych w zakresie wizualizacji danych.

Platforma Tableau umożliwia łatwe prowadzenie segmentacji danych w zależności od potrzeb i analizowanie ich za pomocą oprogramowania Python/R. Dla przykładu, jeden z inżynierów firmy Tableau przedstawił sposób wizualizacji danych wszystkich paryskich hoteli na mapie w sposób dynamiczny i interaktywny, dzięki zastosowaniu rozwiązania Tableau. Przeprowadzając analizę geograficzną można z łatwością stwierdzić, że najwięcej hoteli znajduje się na terenie ósmej dzielnicy Paryża.

 

„Inteligencja rozszerzona: Advanced Analytics” – Frédéric Romagna, Dyrektor ds. Usług Konsultingowych firmy Qlik i Baptiste Durand, Konsultant ds. Usług Profesjonalnych firmy Qlik

Firma Qlik jest wydawcą oprogramowania QlikView i Qlik Sense, czyli rozwiązań dotyczących analityki biznesowej oraz wizualizacji danych. Rozwiązania firmy Qlik umożliwiają wizualizację i łatwe analizowanie danych dla zapewnienia możliwości podejmowania najbardziej trafnych decyzji. Dane mogą być wykorzystywane w sposób całkowicie swobodny, nie jest konieczne modyfikowanie wszystkich zapytań, aby móc przeprowadzić analizę pod nowym kątem (co ma miejsce w przypadku z góry zdefiniowanych raportów), a niezależnie od ilości wierszy kodu – mogącej wynosić 40 lub 40 miliardów – czas odpowiedzi jest równie krótki! Uczestnikom warsztatu przedstawiona została rodzina produktów Qlik. Jeżeli chodzi o technologie Data Science, integracja oprogramowania R i Python z platformą umożliwia użytkownikom prowadzącym działalność w poszczególnych branżach lepsze poznanie danych, którymi dysponują.

 

„Sztuczna inteligencja w działaniu: przetwarzanie obrazów w czasie rzeczywistym dzięki wykorzystaniu technologii deep learning z automatycznym obliczaniem wyników za pośrednictwem rozwiązań machine learning” – Marcel Lemahieu, Menedżer ds. Rozwiązań Biznesowych firmy SAS i Mark Bakker, Strateg ds. Danych w dziedzinie analizy danych nieuporządkowanych firmy SAS

Firma SAS Institute, której nazwa stanowi skrót od wyrażenia „Statistical Analysis System”, jest wydawcą oprogramowania wyspecjalizowaną w dziedzinie rozwiązań informatycznych dotyczących podejmowania decyzji. Podczas salonu Big Data firma przedstawiła swoje nowe rozwiązanie o nazwie „SciSports”. Narzędzie to umożliwia pozyskiwanie i analizowanie w czasie rzeczywistym zachowań najlepszych światowych piłkarzy, takich jak na przykład Cristiano Ronaldo. 40 kamer zainstalowanych na stadionie umożliwia ciągłe obserwowanie ruchów i pozycji wszystkich piłkarzy na boisku.

Porównanie danych dotyczących poszczególnych zawodników umożliwia określenie ich silnych i słabych punktów. Narzędzie formułuje następnie porady umożliwiające podnoszenie ich umiejętności.

Dane mogą również zostać wykorzystane w celu opracowywania prognoz dotyczących umiejętności najlepszych zawodników w przyszłości. Narzędzie umożliwia w ten sposób klubom piłkarskim znajdowanie piłkarzy o największym potencjale rozwoju.

 

Trifacta: „możliwość opracowywania danych ubezpieczeniowych w rozwiązaniu hadoop w celach dotyczących analizy ryzyka i szkód”

Trifacta to rozwiązanie umożliwiające szybkie opracowywanie różnorodnych danych nieprzetworzonych. W ramach rozwiązania wykorzystywane są usługi Amazon S3 i Google Cloud, a także technologie Big Data, takie jak Cloudera i Hortonworks.

Rozwiązanie jest przeznaczone w szczególności do przetwarzania danych ubezpieczeniowych w ramach analizy ryzyka i roszczeń.

 

Margo udziela wsparcia w zakresie wykorzystania danych w sposób najbardziej trafny dla zapewnienia rozwoju firmy

Nasze innowacyjne podejście umożliwia nam udowodnienie wartości poszczególnych specjalistycznych zastosowań w terminie zaledwie 10 tygodni: 2 dni na przeprowadzenie oceny przypadku, 2 tygodnie na jego analizę i 2 miesiące na prace dotyczące realizacji.

GO WORK Together: masz projekt dotyczący przetwarzania danych, ale nie wiesz, w jaki sposób najlepiej wykorzystać ich pełną wartość? Skontaktuj się z naszymi zespołami!

Więcej informacji na temat naszej oferty Data to Business

 


Big Data
Dane
Data Science
Machine Learning
Aktualności

Projekty z dziedziny Data Science to wciąż droga pełna przeszkód

Projekty z dziedziny Data Science to wciąż droga pełna przeszkód W czasach, gdy wiele firm pretenduje do miana „spółek działających w oparciu o dane” nadal wiele projektów z zakresu Data Science kończy się porażką. W większości przypadków porażki wynikają z dobrze znanych i powtarzalnych przyczyn. Pierre Fares, Digital Offering & Business Transformation Officer w firmie Margo, opowiada o częstych pułapkach, których bezwzględnie należy unikać.

Więcej 
Aktualności

Tutorial: Podstawy stosowania Pythona do prognozowania szeregów czasowych

W tutorialu wprowadzamy kilka podstawowych pojęć z zakresu szeregów czasowych, aby umożliwić „szybką” predykcję przyszłych wartości w odniesieniu do danych czasowych.

07/11/2018 Więcej 
Aktualności

Utworzenie scentralizowanej platformy zarządzania logami za pomocą pakietu narzędzi Elastic

Ilość danych generowanych przez nasze systemy i aplikacje stale rośnie, co powoduje wzrost liczby centrów danych i systemów przechowywania danych. W obliczu tej eksplozji danych i inwestycji w wiedzę fachową i zasoby, decydenci potrzebują uzasadnionych analiz i zaawansowanych tabel, umożliwiających im zarządzanie swoimi systemami i klientami.

04/06/2018 Więcej 
Aktualności

Data Science w świecie handlu detalicznego: 10 najważniejszych przypadków wykorzystania

Data Science w coraz większym stopniu wpływa na modele biznesowe we wszystkich gałęziach przemysłu, zwłaszcza w sprzedaży detalicznej. Według IBM, 62% detalistów deklaruje, że wykorzystanie technik związanych z Big Data daje im poważną przewagę konkurencyjną. Dzięki data sicence możemy sprawdzić, czego potrzebuje klient i w jakim momencie jest obecnie na wyciągnięcie ręki. Aby to zrobić, musimy jedynie posiadać odpowiednie narzędzia i wdrożyć dobre procedury związane z ich używaniem. W niniejszym artykule przedstawiamy 10 najważniejszych zastosowań data science w handlu detalicznym.

01/06/2018 Więcej 
Aktualności

Zegary Lamporta i wzorzec Idempotent Producer (Kafka)

Znacie zegary Lamporta? Podczas konferencji Devoxx France 2018 była okazja, w trakcie bardzo interesującej prezentacji DuyHai DOAN, do poznania lub ponownego poznania tego algorytmu, sformalizowanego przez Lesliego Lamporta w 1978 r., częściej niż kiedykolwiek używanego dzisiaj w dziedzinie systemów rozproszonych, który w szczególności skłonił twórców Apache Kafka do wprowadzenia wzorca Idempotent Producer.

25/05/2018 Więcej 
Aktualności

Wprowadzenie do TensorFlow na datalab od Google Cloud Platform

TensorFlow to biblioteka programów do obliczeń numerycznych, działająca na zasadzie open source od 2015 r., opracowana przez Google. Szczególną cechą TensorFlow jest wykorzystanie diagramów przepływu danych (data flow graphs).

11/05/2018 Więcej