ODBIERZ TWÓJ BONUS :: »

PySpark. Kurs video. Optymalizacja i procesowanie danych

Podstawowe informacje:
Czas trwania: 05:02:35
Poziom: średnio zaawansowany
Autor: Piotr Chudzik
Liczba lekcji: 34
Technologia: Docker, PySpark 3.5, Python 3.12
Dla firm
Rozwiń umiejętności swoich pracowników dzięki kursom video
Dowiedz się więcej
  • Monitorowanie postępów pracowników. Przejrzyste raporty i imienne certyfikaty ukończenia kursów
  • Atrakcyjne rabaty dla zespołów. Im więcej pracowników liczy zespół, tym większy uzyskasz rabat
  • Doradztwo w wyborze tematyki szkoleń. Mamy setki kursów, dostosujemy program nauczania pod Twój zespół
Indywidualnie
149,00 zł
Dodaj do koszyka
Korzyści:
  • Certyfikat ukończenia
  • Materiały dodatkowe do kursu
  • Test online
  • Dożywotni dostęp
  • Dostęp w aplikacji (także offline)
  • Napisy w języku polskim
Ścieżki rozwoju w ebookpoint.pl

Czego się nauczysz?

  • Przygotowywać środowisko pracy (klaster)
  • Konfigurować sesję PySpark
  • Agregować dane
  • Korzystać z pamięci podręcznej
  • Używać funkcji okna
  • Pracować z kolekcjami danych
  • Działać na danych z różnych źródeł
  • Przetwarzać dane w czasie rzeczywistym
  • Pracować z formatem Delta

Spis lekcji

1. Wprowadzenie 00:26:49
1.1. Wstęp
00:04:07
1.2. Omówienie środowiska pracy
00:10:34
1.3. Wprowadzenie do SparkSession
00:12:08
2. Spark Config 00:44:06
2.1. SparkSession (python)
00:11:34
2.2. SparkSession (spark submit)
00:10:47
2.3. Spark Config
00:10:26
2.4. Instalacja bibliotek/pakietów
00:11:19
3. Praca z źródłami statycznymi 01:09:04
3.1. Format JSON
00:07:26
3.2. Format XML
00:06:09
3.3. Przygotowanie bazy danych SQL
OGLĄDAJ » 00:07:20
3.4. Odczytywanie danych z bazy SQL
00:12:07
3.5. Zapis DataFrame do bazy SQL
00:10:56
3.6. Format Parquet
00:08:08
3.7. Czytanie danych z S3
00:12:12
3.8. Czytanie zbiorów
00:04:46
4. Agregacja i Kolekcje 01:10:05
4.1. Listy (Array)
00:05:21
4.2. Funkcje listy
00:08:36
4.3. Słowniki (Map)
00:04:02
4.4. Funkcje mapy
00:07:15
4.5. Grupowanie danych i agregacja cz. 1
OGLĄDAJ » 00:05:51
4.6. Grupowanie danych i agregacja cz. 2
00:08:16
4.7. Pivot kolekcji danych
00:06:26
4.8. Funkcje okna cz. 1
00:10:34
4.9. Funkcje okna cz. 2
00:13:44
5. Optymalizacja pracy 00:42:15
5.1. Polecenie explain
00:09:04
5.2. Cache & Persist
00:09:44
5.3. Partycjonowanie DataFrame
00:12:01
5.4. Polecenie PartitionBy
00:11:26
6. Wprowadzenie do formatu delta 00:39:58
6.1. Sesja z Delta Table
00:07:46
6.2. Funkcje UPDATE, DELETE, MERGE
00:21:10
6.3. TimeTravel & Restore
00:11:02
7. Wprowadzenie do Spark Streaming 00:18:34
7.1. Obsługa Kafki
00:04:00
7.2. ReadStream
00:06:36
7.3. WriteStream
00:07:58

Obierz kurs na... optymalizację pracy z danymi

We współczesnej gospodarce rynkowej dane stały się nowym złotem. Kto nimi dysponuje, potrafi je w odpowiedni sposób przetworzyć i wyciągnąć z nich właściwe wnioski, zyskuje sporą przewagę konkurencyjną. Stąd na rynku pracy rosnące zapotrzebowanie na data engineerów – potrzebują ich wszystkie większe firmy i organizacje, których menedżerowie rozumieją wagę informacji w prowadzeniu biznesu, urzędu, instytucji czy dowolnego innego podmiotu. Jeśli interesuje Cię poznanie tajników pracy data engineera albo jeśli masz już doświadczenie w zawodzie i chcesz rozwinąć umiejętności w zakresie świetnego narzędzia służącego sprawniejszej pracy z danymi, to nasz kurs jest dla Ciebie.

Szkolenie, które proponujemy, skupia się na frameworku PySpark (Apache Spark dla Pythona). Jest to najpopularniejszy interfejs programowania aplikacji (API) dla języka Python i zarazem główny element platformy Databricks. Zastosowanie go umożliwia między innymi analizowanie dużych zbiorów danych i przeprowadzanie obliczeń na wielu komputerach równocześnie. Nasz kurs pozwala poznać najważniejsze składowe i funkcjonalności frameworka, rozbudować wiedzę na jego temat o nowe sposoby pobierania danych, pracę z bazami SQL i formatem Delta. W trakcie szkolenia pokazujemy również, jak partycjonować dane, korzystać z pamięci podręcznej (cache) i przetwarzać dane w czasie rzeczywistym (Spark Streaming).

Uwaga! Kurs zawiera informacje, które pojawiają się na rozmowach rekrutacyjnych i podczas certyfikacji.

PySpark. Kurs video. Optymalizacja i procesowanie danych kończy się na poziomie średnio zaawansowanym. Wiedza i umiejętności zdobyte w trakcie szkolenia pozwalają sprawnie korzystać z możliwości frameworka PySpark, rozpocząć pracę z nowymi źródłami danych, a także skuteczniej optymalizować zadania związane z pracą z danymi.

Wybrane bestsellery

O autorze kursu video

Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.

Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.

Konfucjusz

Piotr Chudzik - pozostałe kursy

Oceny i opinie klientów: PySpark. Kurs video. Optymalizacja i procesowanie danych Piotr Chudzik (0)

Informacja o opiniach
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.

Szczegóły kursu

Dane producenta » Dane producenta:

Helion SA
ul. Kościuszki 1C
41-100 Gliwice
e-mail: gpsr@helion.pl
Format: Online
Data aktualizacji: 2025-11-06
ISBN: 978-83-289-3360-6, 9788328933606
Numer z katalogu: 269665

Videopoint - inne kursy

Kurs video
149,00 zł
Dodaj do koszyka
Płatności obsługuje:
Ikona płatności Alior Bank Ikona płatności Apple Pay Ikona płatności Bank PEKAO S.A. Ikona płatności Bank Pocztowy Ikona płatności Banki Spółdzielcze Ikona płatności BLIK Ikona płatności Crédit Agricole e-przelew Ikona płatności dawny BNP Paribas Bank Ikona płatności Google Pay Ikona płatności ING Bank Śląski Ikona płatności Inteligo Ikona płatności iPKO Ikona płatności mBank Ikona płatności Millennium Ikona płatności Nest Bank Ikona płatności Paypal Ikona płatności PayPo | PayU Płacę później Ikona płatności PayU Płacę później Ikona płatności Plus Bank Ikona płatności Płacę z Citi Handlowy Ikona płatności Płacę z Getin Bank Ikona płatności Płać z BOŚ Ikona płatności Płatność online kartą płatniczą Ikona płatności Santander Ikona płatności Visa Mobile