ODBIERZ TWÓJ BONUS :: »

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych

Podstawowe informacje:
Czas trwania: 04:48:53
Poziom: podstawowy
Autor: Piotr Chudzik
Liczba lekcji: 35
Technologia: Airflow 2.7, PostgreSQL 14, Python 3.10
Dla firm
Rozwiń umiejętności swoich pracowników dzięki kursom video
Dowiedz się więcej
  • Monitorowanie postępów pracowników. Przejrzyste raporty i imienne certyfikaty ukończenia kursów
  • Atrakcyjne rabaty dla zespołów. Im więcej pracowników liczy zespół, tym większy uzyskasz rabat
  • Doradztwo w wyborze tematyki szkoleń. Mamy setki kursów, dostosujemy program nauczania pod Twój zespół
Indywidualnie
118,30 zł 169,00 zł (-30%)
39,90 zł najniższa cena z 30 dni Dodaj do koszyka
Korzyści:
  • Certyfikat ukończenia
  • Materiały dodatkowe do kursu
  • Test online
  • Dożywotni dostęp
  • Dostęp w aplikacji (także offline)
  • Napisy w języku polskim
Ten kurs należy do ścieżki Inżynier danych
Czas trwania: 28 godz.
DOWIEDZ SIĘ WIĘCEJ
Ten kurs należy do ścieżki Inżynier danych »

Czego się nauczysz?

  • Konfigurowania środowiska pracy z Apache Airflow
  • Tworzenia DAG-ów i orkiestracji procesów ETL
  • Budowania operatorów (Bash, Empty, Python, HTTP, PostgreSQL)
  • Ustawiania schedulerów i parametrów DAG-a
  • Konfigurowania sensorów i monitorowania zadań
  • Uruchamiania zapytań SQL w bazie PostgreSQL
  • Korzystania z obiektów Param, Variable i Config w webserverze
  • Stosowania szablonów Jinja do parametryzacji zadań
  • Grupowania i branchowania zadań w przepływach pracy

Spis lekcji

1. Wprowadzenie 00:25:18
1.1. Wstęp
00:03:34
1.2. Instalacja Apache Airflow
00:09:10
1.3. Uruchomienie Apache Airflow
00:12:34
2. DAG, operatory, scheduler 00:53:52
2.1. Pierwszy DAG, DummyOperator
00:11:11
2.2. BashOperator
00:10:49
2.3. PythonOperator
OGLĄDAJ » 00:12:16
2.4. DAG Scheduler
00:12:03
2.5. SimpleHttpOperator
00:07:33
3. Sensory 00:26:43
3.1. HTTPSensor
00:10:45
3.2. FileSensor
00:08:38
3.3. PythonSensor
00:07:20
4. Zmienne i dane 00:50:36
4.1. Domyślne argumenty DAGa
00:05:41
4.2. Variable
00:07:38
4.3. XCOMs
00:15:56
4.4. Szablony Jinja
OGLĄDAJ » 00:09:16
4.5. Parametry DAGa (Config)
00:12:05
5. Zarządzanie zadaniami 00:22:55
5.1. Grupowanie zadań
00:05:32
5.2. PythonBranchOperator
00:07:10
5.3. Administracja zadań
00:10:13
6. Triggery 00:14:57
6.1. one_success i all_done
00:07:07
6.2. one_failed, all_failed
00:04:47
6.3. none_failed
00:03:03
7. Praca z bazami danych 00:26:08
7.1. Przygotowanie PostgreSQL
00:05:31
7.2. Ustawienie połączenia z Apache Airflow
00:04:47
7.3. Wykonywanie poleceń SQL
00:04:26
7.4. Wykonywanie skryptu SQL
00:04:11
7.5. Parametry dla poleceń SQL
00:07:13
8. Środowisko wielozadaniowe + projekt 01:08:24
8.1. LocalExecutor + PostgreSQL dla Airflow
00:10:35
8.2. Omówienie projektu
00:03:15
8.3. Przygotowanie daga
00:07:24
8.4. Procesowanie danych
00:08:37
8.5. Zapis do pliku
00:10:40
8.6. Zapis do bazy danych cz. 1
00:10:45
8.7. Zapis do bazy danych cz. 2
00:06:38
8.8. Sterowania zadaniami
00:10:30

Obierz kurs na... operowanie przepływami danych

Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.

Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.

Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.

Co Cię czeka podczas naszego profesjonalnego szkolenia

W trakcie kursu między innymi:

  • Zobaczysz, jak poprawnie skonfigurować środowisko pracy
  • Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
  • Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
  • Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
  • Skonfigurujesz sensory
  • Uruchomisz polecenia SQL na bazie danych PostgreSQL
  • Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
  • Skorzystasz z szablonów Jinja do przekazywania parametrów
  • Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.

Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.

Wybrane bestsellery

O autorze kursu video

Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.

Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.

Konfucjusz

Piotr Chudzik - pozostałe kursy

Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (2)

Informacja o opiniach
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
6.0
  • 6 (2)
  • 5 (0)
  • 4 (0)
  • 3 (0)
  • 2 (0)
  • 1 (0)
  • Bardzo ciekawy i użyteczny kurs. Widać że Autor ma dużą wiedzę w tym temacie. Polecam.

    Opinia: anonimowa Opinia dodana: 2024-05-26 Ocena: 6   
    Opinia potwierdzona zakupem
    Opinia dotyczy produktu: kurs video
    Czy opinia była pomocna:
  • Dobry kurs wprowadzający w świat Apache Airflow. Polecam wszystkim, którzy mają styczność z data engineering pipelines. Z kursu można się nauczyć zarządzania stanem przepływu pracy. W Airflow workflow jest definiowane w Pythonie więc przydadzą się podstawy tego języka ale autor wszystko tłumaczy powoli i dokładnie

    Rozwiń »
    Opinia: anonimowa Opinia dodana: 2024-03-27 Ocena: 6   
    Opinia niepotwierdzona zakupem
    Opinia dotyczy produktu: kurs video
    Czy opinia była pomocna:
więcej opinii »

Szczegóły kursu

Dane producenta » Dane producenta:

Helion SA
ul. Kościuszki 1C
41-100 Gliwice
e-mail: gpsr@helion.pl
Format: Online
Data aktualizacji: 2023-10-19
ISBN: 978-83-289-0400-2, 9788328904002
Numer z katalogu: 214832

Videopoint - inne kursy

Kurs video
118,30 zł
Dodaj do koszyka
Płatności obsługuje:
Ikona płatności Alior Bank Ikona płatności Apple Pay Ikona płatności Bank PEKAO S.A. Ikona płatności Bank Pocztowy Ikona płatności Banki Spółdzielcze Ikona płatności BLIK Ikona płatności Crédit Agricole e-przelew Ikona płatności dawny BNP Paribas Bank Ikona płatności Google Pay Ikona płatności ING Bank Śląski Ikona płatności Inteligo Ikona płatności iPKO Ikona płatności mBank Ikona płatności Millennium Ikona płatności Nest Bank Ikona płatności Paypal Ikona płatności PayPo | PayU Płacę później Ikona płatności PayU Płacę później Ikona płatności Plus Bank Ikona płatności Płacę z Citi Handlowy Ikona płatności Płacę z Getin Bank Ikona płatności Płać z BOŚ Ikona płatności Płatność online kartą płatniczą Ikona płatności Santander Ikona płatności Visa Mobile