Szkolenia Google Cloud

Cel szkolenia

kod: G-SDPD

This training is intended for big data practitioners who want to further their understanding of Dataflow in order to advance their data processing applications. Beginning with foundations, this training explains how Apache Beam and Dataflow work together to meet your data processing needs without the risk of vendor lock-in.The section on developing pipelines covers how you convert your business logic into data processing applications that can run on Dataflow. This training culminates with a focus on operations, which reviews the most important lessons for operating a data application on Dataflow, including monitoring, troubleshooting, testing, and reliability. 

Objectives: 

  • Demonstrate how Apache Beam and Dataflow work together to fulfill your organization’s data processing needs. 
  • Summarize the benefits of the Beam Portability Framework and enable it for your Dataflow pipelines.
  • Enable Shuffle and Streaming Engine, for batch and streaming pipelines respectively, for maximum performance. 
  • Enable Flexible Resource Scheduling for more cost-efficient performance. 
  • Select the right combination of IAM permissions for your Dataflow job. 
  • Implement best practices for a secure data processing environment. 
  • Select and tune the I/O of your choice for your Dataflow pipeline. 
  • Use schemas to simplify your Beam code and improve the performance of your pipeline. 
  • Develop a Beam pipeline using SQL and DataFrames. 
  • Perform monitoring, troubleshooting, testing and CI/CD on Dataflow pipelines.

Audience: 

  • Data engineer
  • Data analysts and data scientists aspiring to develop data engineering skills

Plan szkolenia Rozwiń listę

  • Introduction
    • Introduce the course objectives.
    • Demonstrate how Apache Beam and Dataflow work together to fulfill your organization’s data processing needs.
  • Beam Portability
    • Summarize the benefits of the Beam Portability Framework.
    • Customize the data processing environment of your pipeline using custom containers.
    • Review use cases for cross-language transformations.
    • Enable the Portability framework for your Dataflow pipelines.
  • Separating Compute and Storage with Dataflow
    • Enable Shuffle and Streaming Engine, for batch and streaming pipelines respectively, for maximum performance.
    • Enable Flexible Resource Scheduling for more cost-efficient performance.
  • IAM, Quotas, and Permissions
    • Select the right combination of IAM permissions for your Dataflow job.
    • Determine your capacity needs by inspecting the relevant quotas for your Dataflow jobs.
  • Security
    • Select your zonal data processing strategy using Dataflow, depending on your data locality needs.
    • Implement best practices for a secure data processing environment.
  • Beam Concepts Review
    • Review main Apache Beam concepts (Pipeline, PCollections, PTransforms, Runner, reading/writing, Utility PTransforms, side inputs), bundles and DoFn
  • Windows, Watermarks, Triggers
    • Implement logic to handle your late data.
    • Review different types of triggers.
    • Review core streaming concepts (unbounded PCollections, windows).
  • Sources and Sinks
    • Write the I/O of your choice for your Dataflow pipeline.
    • Tune your source/sink transformation for maximum performance.
    • Create custom sources and sinks using SDF.
  • Schemas
    • Introduce schemas, which give developers a way to express structured data in their Beam pipelines.
    • Use schemas to simplify your Beam code and improve the performance of your pipeline.
  • State and Timers
    • Identify use cases for state and timer API implementations.
    • Select the right type of state and timers for your pipeline.
  • Best Practices
    • Implement best practices for Dataflow pipelines.
  • Dataflow SQL and DataFrames
    • Develop a Beam pipeline using SQL and DataFrames.
  • Beam Notebooks
    • Prototype your pipeline in Python using Beam notebooks.
    • Use Beam magics to control the behavior of source recording in your notebook.
    • Launch a job to Dataflow from a notebook.
  • Monitoring
    • Navigate the Dataflow Job Details UI.
    • Interpret Job Metrics charts to diagnose pipeline regressions.
    • Set alerts on Dataflow jobs using Cloud Monitoring.
  • Logging and Error Reporting
    • Use the Dataflow logs and diagnostics widgets to troubleshoot pipeline issues.
  • Troubleshooting and Debug
    • Use a structured approach to debug your Dataflow pipelines.
    • Examine common causes for pipeline failures.
  • Performance
    • Understand performance considerations for pipelines.
    • Consider how the shape of your data can affect pipeline performance.
  • Testing and CI/CD
    • Testing approaches for your Dataflow pipeline.
    • Review frameworks and features available to streamline your CI/CD workflow for Dataflow pipelines.
  • Reliability
    • Implement reliability best practices for your Dataflow pipelines.
  • Flex Templates
    • Using flex templates to standardize and reuse Dataflow pipeline code.
  • Summary
    • Summary
Pobierz konspekt szkolenia w formacie PDF

Dodatkowe informacje

Wymagania wstępne

To get the most out of this course, participants should have completed the following courses: 

  • “Building Batch Data Pipelines” 
  • “Building Resilient Streaming Analytics Systems”
Poziom trudności
Czas trwania 3 dni
Certyfikat

The participants will obtain certificates signed by Google Cloud Platform
Prowadzący

Authorized Google Cloud Platform Trainer

Pozostałe szkolenia Google Cloud | Data Analysis

Wszystkie szkolenia Google Cloud
Szkolenia powiązane tematycznie

Cloud

Infinity Specializations | Check Point

Cloud-Native (Kubernetes) | Component Soft

OpenStack | Component Soft

Cloud Essentials | CompTIA

Cloud+ | CompTIA

  • konspekt szkolenia: CompTIA Cloud+ Prep Course

    CompTIA Cloud+ Prep Course szkolenie CompTIA

    dostępne terminy szkolenia
    cena od: 7000 PLN
    czas: 5 dni
    poziom trudności: 3 z 6
    kod: CT-CLOUD
    wersja: CV0-003
    2025-10-20 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika MTG: możliwy termin gwarantowany zarezerwuj
    2025-11-17 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-12-15 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    CompTIA
    Cloud+
    Cloud
    AWS
    Azure
    GCP
    DevOps Engineer
    System Administrator

Google Business and Management | Google Cloud

  • polecane szkolenie polecane szkolenie
    konspekt szkolenia: Cloud Digital Leader

    Cloud Digital Leader szkolenie Google Cloud

    dostępne terminy szkolenia
    cena od: 3500 PLN
    czas: 2 dni
    poziom trudności: 2 z 6
    kod: G-CDL
    wersja: 2.0
    2025-07-31 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-10-30 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-11-06 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-11-27 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    Google Cloud
    Google Business and Management
    Cloud
    Manager
    Project Manager

Fundamentals Courses | Google Cloud

Cloud Infrastructure | Google Cloud

Networking and Security | Google Cloud

Application modernization | Google Cloud

Data Analysis | Google Cloud

Data Engineering | Google Cloud

AI and Machine Learning | Google Cloud

Contact Center Engineer | Google Cloud

HPE Storage | HPE

Azure | Microsoft

Windows Server Technologies | Microsoft

Cloud Workshop | Microsoft

Microsoft AI | Microsoft

  • konspekt szkolenia: AI-900T00 Microsoft Azure AI Fundamentals

    AI-900T00 Microsoft Azure AI Fundamentals szkolenie Microsoft

    dostępne terminy szkolenia
    cena od: 1200 PLN
    czas: 1 dzień
    poziom trudności: 2 z 6
    kod: AI-900T00
    wersja: A
    2025-07-11 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-08-08 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-09-12 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-10-10 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    Microsoft
    Microsoft AI
    Cloud
    DevOps Engineer
    System Administrator
  • konspekt szkolenia: AI-102T00 Designing and Implementing a Microsoft Azure AI Solution

    AI-102T00 Designing and Implementing a Microsoft Azure AI Solution szkolenie Microsoft

    dostępne terminy szkolenia
    cena od: 3500 PLN
    czas: 4 dni
    poziom trudności: 3 z 6
    kod: AI-102T00
    wersja: A
    2025-07-08 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-08-12 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-09-09 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika MTG: możliwy termin gwarantowany zarezerwuj
    2025-10-14 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    Microsoft
    Microsoft AI
    Cloud
    DevOps Engineer
    System Administrator

Data Platform | Microsoft

Security | Microsoft

Cloud Security | Mile2

Cloud | SCADEMY

Kubernetes | SUSE

Kubernetes | The Linux Foundation

E-learning | The Linux Foundation

Exam | The Linux Foundation

Bundle (e-learning + exam) | The Linux Foundation

Analiza danych

Cloudera Administrator | Cloudera

Cloudera Data Analyst | Cloudera

Cloudera Data Developer | Cloudera

Data+ | CompTIA

DataSys+ | CompTIA

Data Analysis | Google Cloud

Data Engineering | Google Cloud

AI and Machine Learning | Google Cloud

Contact Center Engineer | Google Cloud

Power BI | Microsoft

Power Platform | Microsoft

  • konspekt szkolenia: PL-300T00 Microsoft Power BI Data Analyst

    PL-300T00 Microsoft Power BI Data Analyst szkolenie Microsoft

    dostępne terminy szkolenia
    cena od: 2800 PLN
    czas: 3 dni
    poziom trudności: 4 z 6
    kod: PL-300T00
    2025-07-23 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika MTG: możliwy termin gwarantowany zarezerwuj
    2025-08-27 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-09-24 | Kraków / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    2025-10-22 | Warszawa / Wirtualna sala HYBRID: szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika zarezerwuj
    Microsoft
    Power Platform
    Analiza danych
    Data Analyst

Big Data

Cloudera Administrator | Cloudera

Cloudera Data Analyst | Cloudera

Cloudera Data Developer | Cloudera

Data Analysis | Google Cloud

Data Engineering | Google Cloud

Contact Center Engineer | Google Cloud

Azure | Microsoft

Microsoft SQL Server | Microsoft

DevOps

Cloudera Administrator | Cloudera

Cloudera Data Analyst | Cloudera

Cloudera Data Developer | Cloudera

Cloud-Native (Kubernetes) | Component Soft

OpenStack | Component Soft

Foundation | DevOps Institute

Engineering | DevOps Institute

Leader | DevOps Institute

Site Reliability Engineering | DevOps Institute

Observability | DevOps Institute

AIOps | DevOps Institute

DevSecOps | DevOps Institute

Agile Service Manager | DevOps Institute

Continuous Testing | DevOps Institute

Value Stream Management | DevOps Institute

Fundamentals Courses | Google Cloud

Cloud Infrastructure | Google Cloud

Networking and Security | Google Cloud

Application modernization | Google Cloud

Data Analysis | Google Cloud

Data Engineering | Google Cloud

Contact Center Engineer | Google Cloud

HPE Storage | HPE

Azure | Microsoft

Cloud Workshop | Microsoft

Kubernetes | SUSE

Kubernetes | The Linux Foundation

E-learning | The Linux Foundation

Exam | The Linux Foundation

Bundle (e-learning + exam) | The Linux Foundation

Formularz kontaktowy

Prosimy o wypełnienie poniższego formularza, jeśli chcą Państwo uzyskać więcej informacji o powyższym szkoleniu.





* pola oznaczone (*) są wymagane

Informacje o przetwarzaniu danych przez Compendium – Centrum Edukacyjne Spółka z o.o.

CENA 5200 PLN NETTO

FORMA SZKOLENIA ?

 

MATERIAŁY SZKOLENIOWE ?

 

WYBIERZ TERMIN SZKOLENIA

  • szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika: HYBRID
    • Informacje ogólne
    • Termin gwarantowany
    • Last minute (-10%)
    • Język obowiązujący na szkoleniu
    • Polski
  • szkolenie dostępne w wersji stacjonarnej we wskazanej lokalizacji lub w trybie zdalnym, w zależności od preferencji uczestnika: HYBRID
    • Informacje ogólne
    • Termin gwarantowany
    • Last minute (-10%)
    • Język obowiązujący na szkoleniu
    • Polski
Zarezerwuj termin szkolenia
zamknij

Szkolenie stacjonarne

Szkolenia stacjonarne w Compendium CE odbywają się najczęściej w naszych lokalizacjach w Krakowie i Warszawie, ale także w miejscu ustalonym przez klienta. Grupa uczestnicząca w szkoleniu spotyka się w danym miejscu o określonym czasie i wraz z trenerem aktywnie uczestniczy w laboratoriach.

Szkolenie dlearning

W szkoleniach Compendium Distance Learning możesz uczestniczyć z dowolnego miejsca na świecie. Kursanci, dzięki zaawansowanej technologii, którą dostarcza Compendium CE, stale widzą i słyszą trenera, mogą mu zadawać pytania poprzez chat i mikrofon, a także uczestniczą w ćwiczeniach i laboratoriach, które rozwiązują wraz z prowadzącym. Po więcej informacji zajrzyj na stronę dlearning.eu

zamknij

Materiały papierowe

Materiały tradycyjne: cena zawiera standardowe materiały wydawane w postaci książek papierowych, drukowanych lub innej, w zależności od ustaleń z producentem.

Materiały elektroniczne

Materiały elektroniczne: są to materiały szkoleniowe w wersji elektronicznej, które w zależności od dostawcy udostępniane są za pomocą dedykowanych aplikacji: Skillpipe, eVantage itd. lub w postaci dokumentów PDF.

Materiały ctab

Materiały ctab: cena zawiera tablet ctab oraz materiały szkoleniowe w formie elektronicznej bądź tradycyjne materiały szkoleniowe i materiały dodatkowe dostarczone w wersji elektronicznej w zależności od ustaleń z producentem (w postaci dokumentów PDF lub EPUB). Tak dostarczone materiały są przystosowane pod kątem wyświetlania ich na tablecie ctab. Po więcej informacji zajrzyj na stronę ctab.

Najbliższe szkolenia Google Cloud

Harmonogram szkoleń
Google Cloud