Developer Training For Spark and Hadoop - Szkolenie autoryzowane Cloudera | Szkolenie

Cel szkolenia dlearning

Developer Training For Spark and Hadoop to 4-dniowe praktyczne szkolenie przedstawia uczestnikom kluczowe założenia teoretyczne i rozwija umiejętności przechwytywania i procesowania danych na platformie Hadoop, używając najaktualniejszych narzędzi i technik. Poprzez wykorzystanie ekosystemu aplikacji Hadoop, takich jak: Spark, Hive, Flume, Sqoop i Impala, szkolenie to doskonale przygotowuje do mierzenia się z praktycznymi wyzwaniami, z jakimi borykają się programiści Hadoop. Uczestnicy uczą się, jak poprawnie wybrać odpowiednie narzędzia w konkretnych sytuacjach oraz nabywają praktycznego doświadczenia w ich używaniu.

Poprzez prowadzone przez instruktora dyskusje i interaktywne ćwiczenia praktyczne, uczestnicy poznają technologię Apache Spark oraz uczą się, jak ją integrować z całym ekosystemem aplikacji Hadoop. Wiedza ta dostarcza im odpowiedzi na pytania:

Jak dane są dystrybuowane, zapisywane i procesowanie na klastrze Hadoop?
Jak używać Sqoop i Flume do przyjmowania danych na klaster?
Jak przetwarzać dystrybuowane dane przy pomocy Apache Spark?
Jak modelować strukturyzowane dane jako tabele w Impala i Hive?
Jak wybrać najbardziej odpowiedni format zapisu danych dla różnych przypadków użycia?
Jakie są dobre praktyki zapisu danych?

Plan szkolenia Rozwiń listę

Wprowadzenie do Hadoop i ekosystemu aplikacji Hadoop
- Problemy z tradycyjnymi systemami dużej skali
- Hadoop!
- Ekosystem Hadoop
Architektura Hadoop i HDFS
- Rozproszone przetwarzanie na klastrze
- Przechowywanie danych: Architektura HDFS
- Przechowywanie danych: Użycie HDFS
- Zarządzanie zasobami: Architektura YARN
- Zarządzanie zasobami: Praca z YARN
Import relacyjnych danych używając Apache Sqoop
- Wprowadzenie do Sqoop
- Podstawowe importy i eksporty
- Ograniczanie wyników
- Optymalizacja wydajności w Sqoop’s
- Sqoop 2
Wprowadzenie do Impala i Hive
- Wprowadzenie do Impala i Hive
- Kto używa Impala i Hive?
- Porównanie Hive z tradycyjnymi bazami danych
- Przypadki użycia Hive
Modelowanie i zarządzanie danymi w Impala i Hive
- Wstęp do zapisu danych
- Tworzenie baz danych i tabel
- Umieszczanie danych w tabelach
- HCatalog
- Cache'owanie metadanych w Impala
Formaty plików
- Wybór formatu plików
- Wsparcie narzędzi Hadoop dla różnych formatów plików
- Schematy Avro
- Używanie Avro z Hive i Sqoop
- Ewolucja schematów Avro
- Kompresja
Partycjonowanie danych
- Wstęp do partycjonowania
- Partycjonowanie w Impala i Hive
Zbieranie danych używając Apache Flume
- Co to jest Apache Flume?
- Podstawowa architektura Flume
- Flume Sources
- Flume Sinks
- Flume Channels
- Konfiguracja Flume
Podstawy Spark
- Co to jest Apache Spark?
- Wykorzystanie Spark Shell
- RDDs (Resilient Distributed Datasets)
- Programowanie funkcyjne w Spark
Używanie RDDs w Spark
- Bardziej szczegółowo o RDDs
- Klucz-wartość Pair RDDs
- MapReduce
- Inne operacje na Pair RDD
Tworzenie i wdrażanie aplikacji Spark
- Aplikacje Spark VS Spark Shell
- Tworzenie SparkContext
- Budowanie aplikacji Spark (Scala i Java)
- Uruchamianie aplikacji Spark
- Web UI aplikacji Spark
- Konfigurowanie ustawień Spark
- Logowanie
Programowanie współbieżne w Spark
- Przypomnienie: Spark uruchamiany na klastrze
- Partycje w RDD
- Partycjonowanie RDD opartych na plikach
- HDFS i Data Locality
- Wykonywanie równoległych operacji
- Stages i Tasks
Cache'owanie i trwały zapis danych w Spark
- RDD Lineage
- Wstęp do cache'owania
- Rozproszony trwały zapis danych
Powszechne wzorce w procesowaniu danych przy użyciu Spark
- Popularne przypadki użycia Spark
- Iteracyjne algorytmy w Spark
- Przetwarzanie i analiza grafów
- Uczenie maszynowe
- Przykład: k-średnie
Przegląd: Spark SQL
- Spark SQL i SQL Context
- Tworzenie DataFrames
- Transformacje i wykonywanie zapytań na DataFrames
- Zapis DataFrames
- Porównanie Spark SQL z Impala
Podsumowanie

Pobierz konspekt szkolenia w formacie PDF

Dodatkowe informacje

Wymagania	Kurs ten adresowany jest do programistów i inżynierów oprogramowania, którzy mają doświadczenie programistyczne. Przykłady w Apache Spark i ćwiczeniach praktycznych są przedstawiane w Scala i Python, stąd też umiejętność programowania w jednym z tych języków jest wymagana. Plan kursu zakłada również podstawową znajomość linii poleceń w Linux. Pomocna będzie też podstawowa wiedza z zakresu SQL. Natomiast uprzednia wiedza z zakresu Hadoop nie jest wymagana.
Poziom trudności
Czas trwania	4 dni
Certyfikat	Uczestnicy otrzymają certyfikaty uczestnictwa w szkoleniu sygnowane przez Cloudera. Ponadto szkolenie to jest doskonałym sposobem rozpoczęcia przygotowań do certyfikatu CCP: Data Engineer. Jakkolwiek późniejsza nauka zagadnień poruszonych podczas szkolenie jest wymagana przed podejściem do tego egzaminu.
Prowadzący	Certyfikowany instruktor Cloudera.
Informacje dodatkowe	Po zakończeniu kursu rekomendujemy, aby uczestnicy rozważyli uczestnictwo w szkoleniu: Cloudera’s Developer Training for Spark and Hadoop II: Advanced Techniques, które opiera się na podstawach omawianych w niniejszym szkoleniu.

Szkolenia powiązane tematycznieRozwiń listę

Big Data

Szkolenia Cloudera Essentials | Cloudera
- Cloudera Essentials Training for Apache Hadoop
Szkolenia Cloudera Administrator | Cloudera
- Cloudera Administrator Training for Apache Hadoop
  Dostępne terminy szkolenia
  
  2018-11-05 | 4 dni | Warszawa
  
  zarezerwuj
  
  2018-12-17 | 4 dni | Kraków
  
  zarezerwuj
Szkolenia Cloudera Developer | Cloudera
- Cloudera Search Training
  Dostępne terminy szkolenia
  
  2018-10-29 | 3 dni | Kraków
  
  zarezerwuj
- Cloudera Training for Apache HBase
Szkolenia Cloudera Data Scientist | Cloudera
- Data Scientist Training
  Dostępne terminy szkolenia
  
  2019-02-04 | 4 dni | Kraków
  
  zarezerwuj
Szkolenia Huawei Everyone Learns IT | Huawei
- Everyone Learns IT - Big Data Technology

Prosimy o wypełnienie poniższego formularza, jeśli chcą Państwo uzyskać więcej informacji o powyższym szkoleniu.

Potrzebuję dodatkowych informacji o powyższym szkoleniu
Potrzebuję informacji o formach płatności
Jestem zainteresowany/a promocjami szkoleń od tego producenta
Jestem zainteresowany/a nowymi szkoleniami

Proszę o przesłanie katalogu szkoleń Compendium
Proszę o pilny kontakt

Proszę zapisać mnie do Newslettera

* Oświadczam iż wyrażam zgodę na otrzymywanie informacji handlowych i marketingowych w formie elektronicznej, telefonicznej od Compendium – Centrum Edukacyjne Spółka z o.o. ul. Tatarska 5, 30-103 Kraków na podany powyżej adres e-mail, telefon oraz na przetwarzanie podanych danych osobowych w bazie danych Compendium – Centrum Edukacyjne Spółka z o.o. ul. Tatarska 5, 30-103 Kraków na zasadach określonych w przepisach Ustawy z dnia 18 lipca 2002 r. o świadczeniu usług drogą elektroniczną (Dz.U.2017.1219 t.j. z późn. zm. ) oraz na gromadzenie, przetwarzanie oraz wykorzystywanie podanych danych osobowych przez Compendium – Centrum Edukacyjne Spółka z o.o. ul. Tatarska 5, 30-103 Kraków w celach statystycznych i marketingowych zgodnie z ustawą o ochronie danych osobowych z 29.08.1997r. (Dz.U.2016.922 j.t. z późn. zm.) oraz Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (RODO),. Compendium – Centrum Edukacyjne dołoży wszelkich starań celem zapewnienia prawidłowego działania systemu zgłoszeniowego i przechowywania danych osobowych znajdujących się na serwerze www.compendium.pl oraz ich pełnej ochrony.

* pola oznaczone (*) są wymagane

Informacje o przetwarzaniu danych przez Compendium – Centrum Edukacyjne Spółka z o.o.

Administratorem danych osobowych jest Compendium – Centrum Edukacyjne Spółka z o.o. z siedzibą w Krakowie, ul. Tatarska 5,30-103 Kraków, e-mail: compendium@compendium.pl

W sprawach związanych z Pani/a danymi można kontaktować się z powołanym Inspektorem Ochrony Danych, e-mail iod@compendium.pl, lub pisząc na adres korespondencyjny Compendium – Centrum Edukacyjne Spółka z o.o. ul. Tatarska 5, 30-103 Kraków

Dane będą przetwarzane w celu przesyłania informacji handlowych, marketingowych oraz przesłaniu newslettera na podstawie wyrażonej zgody.

Dane mogą być udostępniane:

- pracownikom i współpracownikom Compendium – Centrum Edukacyjne Spółka z o.o., którzy muszą mieć dostęp do danych osobowych aby realizować Pani/a zamówienie, lub usługę
- podmioty przetwarzające dane na zlecenie Compendium – Centrum Edukacyjne Spółka z o.o., np. poczta, kurier, przewoźnik profesjonalny,
- uprawnione organy państwowe w tym organy nadzorcze w zakresie ich uprawnień.

Dane będą przechowywane przez okres realizacji zamówienia i usług posprzedażowych, a jeżeli tego okresu ustalić się nie da – do czasu wyrażenia przez Panią/a sprzeciwu.

Ma Pan/i prawo dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania.

Ma Pan/i prawo do wniesienia sprzeciwu wobec dalszego przetwarzania, a w przypadku wyrażenia zgody na przetwarzanie danych do jej wycofania. Skorzystanie prawa cofnięcia zgody nie ma wpływu na przetwarzanie, które miało miejsce do momentu wycofania zgody.

Ma Pan/i także prawo do przenoszenia danych.

Informujemy, że Pana/Pani dane osobowe nie będą profilowane.

Przysługuje Pani/u prawo wniesienia skargi do organu nadzorczego Prezesa Urzędu Ochrony Danych Osobowych, w przypadku przetwarzania Pana/Pani danych osobowych w sposób naruszający przepisy RODO.

CENA 2180 EUR NETTO Czy wiesz, że możesz uzyskać do 100% dofinansowania na ten kurs? Sprawdź jak »

Kody rabatowe

Kod rabatowy, może dotyczyć (szkolenia, producenta, terminu). Jeżeli posiadasz kod rabatowy, to wpisz go w odpowiednie pole.
(kolor zielony oznacza wpisanie prawidłowego kodu | kolor czerwony oznacza, że wpisany kod jest nieprawidłowy)

FORMA SZKOLENIA ?

stacjonarne dlearning

Szkolenie stacjonarne

Szkolenia stacjonarne w Compendium CE odbywają się najczęściej w naszych lokalizacjach w Krakowie i Warszawie, ale także w miejscu ustalonym przez klienta. Grupa uczestnicząca w szkoleniu spotyka się w danym miejscu o określonym czasie i wraz z trenerem aktywnie uczestniczy w laboratoriach.

Szkolenie dlearning

W szkoleniach Compendium Distance Learning możesz uczestniczyć z dowolnego miejsca na świecie. Kursanci, dzięki zaawansowanej technologii, którą dostarcza Compendium CE, stale widzą i słyszą trenera, mogą mu zadawać pytania poprzez chat i mikrofon, a także uczestniczą w ćwiczeniach i laboratoriach, które rozwiązują wraz z prowadzącym. Po więcej informacji zajrzyj na stronę dlearning.eu

MATERIAŁY SZKOLENIOWE ?

elektroniczne ctab info

Materiały elektroniczne

Materiały elektroniczne: są to materiały szkoleniowe w wersji elektronicznej, które w zależności od dostawcy udostępniane są za pomocą dedykowanych aplikacji: Skillpipe, eVantage itd. lub w postaci dokumentów PDF.

Materiały ctab

Materiały ctab: cena zawiera tablet ctab oraz materiały szkoleniowe w formie elektronicznej bądź tradycyjne materiały szkoleniowe i materiały dodatkowe dostarczone w wersji elektronicznej w zależności od ustaleń z producentem (w postaci dokumentów PDF lub EPUB). Tak dostarczone materiały są przystosowane pod kątem wyświetlania ich na tablecie ctab. Po więcej informacji zajrzyj na stronę ctab.