ODBIERZ TWÓJ BONUS :: »

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych

Podstawowe informacje:
Czas trwania: 04:48:53
Poziom: podstawowy
Autor: Piotr Chudzik
Liczba lekcji: 35
Technologia: Airflow 2.7, Python 3.10, PostgreSQL 14
Dla firm
Rozwiń umiejętności swoich pracowników dzięki kursom video
Dowiedz się więcej
  • Monitorowanie postępów pracowników. Przejrzyste raporty i imienne certyfikaty ukończenia kursów
  • Atrakcyjne rabaty dla zespołów. Im więcej pracowników liczy zespół, tym większy uzyskasz rabat
  • Doradztwo w wyborze tematyki szkoleń. Mamy setki kursów, dostosujemy program nauczania pod Twój zespół
Indywidualnie
39,90 zł 169,00 zł (-76%)
109,85 zł najniższa cena z 30 dni Dodaj do koszyka Za zakup otrzymasz 39 punktów
Korzyści:
  • Certyfikat ukończenia
  • Materiały dodatkowe do kursu
  • Test online
  • Dożywotni dostęp
  • Dostęp w aplikacji (także offline)
  • Napisy w języku polskim
Ten kurs należy do ścieżki Inżynier danych
Czas trwania: 28 godz.
DOWIEDZ SIĘ WIĘCEJ
Ten kurs należy do ścieżki Inżynier danych »

Czego się nauczysz?

  • Konfigurowania środowiska pracy z Apache Airflow
  • Tworzenia DAG-ów i orkiestracji procesów ETL
  • Budowania operatorów (Bash, Empty, Python, HTTP, PostgreSQL)
  • Ustawiania schedulerów i parametrów DAG-a
  • Konfigurowania sensorów i monitorowania zadań
  • Uruchamiania zapytań SQL w bazie PostgreSQL
  • Korzystania z obiektów Param, Variable i Config w webserverze
  • Stosowania szablonów Jinja do parametryzacji zadań
  • Grupowania i branchowania zadań w przepływach pracy

Spis lekcji

1. Wprowadzenie 00:25:18
1.1. Wstęp
00:03:34
1.2. Instalacja Apache Airflow
00:09:10
1.3. Uruchomienie Apache Airflow
00:12:34
2. DAG, operatory, scheduler 00:53:52
2.1. Pierwszy DAG, DummyOperator
00:11:11
2.2. BashOperator
00:10:49
2.3. PythonOperator
OGLĄDAJ » 00:12:16
2.4. DAG Scheduler
00:12:03
2.5. SimpleHttpOperator
00:07:33
3. Sensory 00:26:43
3.1. HTTPSensor
00:10:45
3.2. FileSensor
00:08:38
3.3. PythonSensor
00:07:20
4. Zmienne i dane 00:50:36
4.1. Domyślne argumenty DAGa
00:05:41
4.2. Variable
00:07:38
4.3. XCOMs
00:15:56
4.4. Szablony Jinja
OGLĄDAJ » 00:09:16
4.5. Parametry DAGa (Config)
00:12:05
5. Zarządzanie zadaniami 00:22:55
5.1. Grupowanie zadań
00:05:32
5.2. PythonBranchOperator
00:07:10
5.3. Administracja zadań
00:10:13
6. Triggery 00:14:57
6.1. one_success i all_done
00:07:07
6.2. one_failed, all_failed
00:04:47
6.3. none_failed
00:03:03
7. Praca z bazami danych 00:26:08
7.1. Przygotowanie PostgreSQL
00:05:31
7.2. Ustawienie połączenia z Apache Airflow
00:04:47
7.3. Wykonywanie poleceń SQL
00:04:26
7.4. Wykonywanie skryptu SQL
00:04:11
7.5. Parametry dla poleceń SQL
00:07:13
8. Środowisko wielozadaniowe + projekt 01:08:24
8.1. LocalExecutor + PostgreSQL dla Airflow
00:10:35
8.2. Omówienie projektu
00:03:15
8.3. Przygotowanie daga
00:07:24
8.4. Procesowanie danych
00:08:37
8.5. Zapis do pliku
00:10:40
8.6. Zapis do bazy danych cz. 1
00:10:45
8.7. Zapis do bazy danych cz. 2
00:06:38
8.8. Sterowania zadaniami
00:10:30

Obierz kurs na... operowanie przepływami danych

Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.

Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.

Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.

Co Cię czeka podczas naszego profesjonalnego szkolenia

W trakcie kursu między innymi:

  • Zobaczysz, jak poprawnie skonfigurować środowisko pracy
  • Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
  • Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
  • Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
  • Skonfigurujesz sensory
  • Uruchomisz polecenia SQL na bazie danych PostgreSQL
  • Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
  • Skorzystasz z szablonów Jinja do przekazywania parametrów
  • Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.

Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.

Wybrane bestsellery

O autorze kursu video

Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.

Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.

Konfucjusz

Piotr Chudzik - pozostałe kursy

Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (2)

Informacja o opiniach
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
6.0
  • 6 (2)
  • 5 (0)
  • 4 (0)
  • 3 (0)
  • 2 (0)
  • 1 (0)
  • Bardzo ciekawy i użyteczny kurs. Widać że Autor ma dużą wiedzę w tym temacie. Polecam.

    Opinia: anonimowa Opinia dodana: 2024-05-26 Ocena: 6   
    Opinia potwierdzona zakupem
    Opinia dotyczy produktu: kurs video
    Czy opinia była pomocna:
  • Dobry kurs wprowadzający w świat Apache Airflow. Polecam wszystkim, którzy mają styczność z data engineering pipelines. Z kursu można się nauczyć zarządzania stanem przepływu pracy. W Airflow workflow jest definiowane w Pythonie więc przydadzą się podstawy tego języka ale autor wszystko tłumaczy powoli i dokładnie

    Rozwiń »
    Opinia: anonimowa Opinia dodana: 2024-03-27 Ocena: 6   
    Opinia niepotwierdzona zakupem
    Opinia dotyczy produktu: kurs video
    Czy opinia była pomocna:
więcej opinii »

Szczegóły kursu

Dane producenta » Dane producenta:

Helion SA
ul. Kościuszki 1C
41-100 Gliwice
e-mail: gpsr@helion.pl
Format: Online
Data aktualizacji: 2023-10-19
ISBN: 978-83-289-0400-2, 9788328904002
Numer z katalogu: 214832

Videopoint - inne kursy

Kurs video
39,90 zł
Dodaj do koszyka
Sposób płatności