Spark. Błyskawiczna analiza danych. Wydanie II
- Autorzy:
- Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
- Wydawnictwo:
- Helion
- Wydawnictwo:
- Helion
- Ocena:
- 5.0/6 Opinie: 3
- Stron:
- 360
- Druk:
- oprawa miękka
- Dostępne formaty:
-
PDFePubMobi
Opis
książki
:
Spark. Błyskawiczna analiza danych. Wydanie II
Apache Spark jest oprogramowaniem open source, przeznaczonym do klastrowego przetwarzania danych dostarczanych w różnych formatach. Pozwala na uzyskanie niespotykanej wydajności, umożliwia też pracę w trybie wsadowym i strumieniowym. Framework ten jest również świetnie przygotowany do uruchamiania złożonych aplikacji, włączając w to algorytmy uczenia maszynowego czy analizy predykcyjnej. To wszystko sprawia, że Apache Spark stanowi znakomity wybór dla programistów zajmujących się big data, a także eksploracją i analizą danych.
To książka przeznaczona dla inżynierów danych i programistów, którzy chcą za pomocą Sparka przeprowadzać skomplikowane analizy danych i korzystać z algorytmów uczenia maszynowego, nawet jeśli te dane pochodzą z różnych źródeł. Wyjaśniono tu, jak dzięki Apache Spark można odczytywać i ujednolicać duże zbiory informacji, aby powstawały niezawodne jeziora danych, w jaki sposób wykonuje się interaktywne zapytania SQL, a także jak tworzy się potoki przy użyciu MLlib i wdraża modele za pomocą biblioteki MLflow. Omówiono również współdziałanie aplikacji Sparka z jego rozproszonymi komponentami i tryby jej wdrażania w poszczególnych środowiskach.
W książce:
- API strukturalne dla Pythona, SQL, Scali i Javy
- operacje Sparka i silnika SQL
- konfiguracje Sparka i interfejs Spark UI
- nawiązywanie połączeń ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka
- operacje analityczne na danych wsadowych i strumieniowanych
- niezawodne potoki danych i potoki uczenia maszynowego
Spark: twórz skalowalne i niezawodne aplikacje big data!
Danych jest coraz więcej, pojawiają się szybciej i są w różnych formatach - wszystkie muszą być przetworzone na potrzeby analizy lub uczenia maszynowego. W jaki sposób można efektywnie przetwarzać tak zróżnicowane dane? Poznaj framework Apache Spark.
To uaktualnione do wersji Apache Spark 3.0 wydanie drugie książki pomaga zrozumieć inżynierom danych i naukowcom dlaczego struktura i ujednolicenie to tak ważne kwestie w Sparku. Dzięki tej książce dowiesz się, jak przeprowadzać zarówno proste jak i skomplikowane analizy danych oraz jak korzystać z algorytmów uczenia maszynowego.
Dzięki dokładnie omówionym rozwiązaniom, fragmentom kodu i notatnikom będziesz w stanie:
- opanować wysokiego poziomu API strukturalne dla Pythona, SQL, Scali i Javy;
- poznać operacje Sparka i silnika SQL;
- analizować, dostrajać i debugować operacje Sparka dzięki konfiguracjom Sparka i interfejsowi Spark UI;
- nawiązywać połączenia ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka;
- przeprowadzać operacje analityczne na danych wsadowych i strumieniowanych używając do tego strumieniowania strukturalnego;
- tworzyć niezawodne potoki danych za pomocą rozwiązań typu open source, takich jak Delta Lake i Spark;
- tworzyć potoki uczenia maszynowego, wykorzystując do tego bibliotekę MLlib oraz przygotowywać modele do środowiska produkcyjnego używając platformy MLfow.
"Ta pozycja zapewnia strukturalne podejście podczas poznawania Apache Spark i pokazuje, jak przeprowadzać nowe wdrożenia za pomocą tego frameworka. Niniejsza książka pomoże programistom Sparka na rozpoczęcie pracy z big data".
Reynold Xin, Databricks Chief Architect, współtwórca Apache Spark i członek Apache Spark PMC
"To niezbędna pozycja dla naukowców i inżynierów danych, którzy chcą poznać framework Apache Spark oraz dowiedzieć się, jak tworzyć skalowalne i niezawodne aplikacje big data".
Ben Lorica, Databricks Chief Data Scientist, Past Program Chair O'Reilly Strata Conferences, Program Chair for Spark + AI Summit
Wybrane bestsellery
-
Nowość Promocja
Ta książka ułatwi Ci zgłębienie koncepcji kryjących się za działaniem nowoczesnych baz danych. Dzięki niej zrozumiesz, w jaki sposób struktury dyskowe różnią się od tych w pamięci i jak działają algorytmy efektywnego utrzymywania struktur B drzewa na dysku. Poznasz implementacje pamięci masowej o strukturze dziennika. Znajdziesz tu również wyjaśnienie zasad organizacji węzłów w klaster baz danych i specyfiki środowisk rozproszonych. Dowiesz się, jak algorytmy rozproszone poprawiają wydajność i stabilność systemu i jak uzyskać ostateczną spójność danych. Ponadto w książce zaprezentowano koncepcje antyentropii i plotek, służące do zapewniania zbieżności i rozpowszechniania danych, a także mechanizm transakcji utrzymujący spójność logiczną bazy.- PDF + ePub + Mobi
- Druk 44 pkt
(39,90 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
Oddajemy w Państwa ręce kompendium wiedzy, które stanowi nieocenione źródło informacji dla wszystkich zainteresowanych zgłębianiem tajników uczenia maszynowego i głębokiego uczenia. Ta obszerna publikacja, licząca ponad 800 stron, jest prawdziwą skarbnicą wiedzy teoretycznej i praktycznej, starannie opracowaną przez ekspertów w dziedzinie. Książka
- PDF + ePub + Mobi 44 pkt
-
Promocja
Tę książkę docenią wszyscy zainteresowani eksploracją danych i uczeniem maszynowym, którzy chcieliby pewnie poruszać się w świecie nauki o danych. Pokazano tu, w jaki sposób Excel pozwala zobrazować proces ich eksplorowania i jak działają poszczególne techniki w tym zakresie. Przejrzyście wyjaśniono metody eksploracji danych, a następnie zaprezentowano procedurę budowania ich implementacji w Excelu. Nawet tak złożone zagadnienia, jak algorytmy uczenia maszynowego, zostały wytłumaczone nadzwyczaj przystępnie. Przewodnik został pomyślany tak, aby umożliwić aktywne zdobywanie wiedzy, a niejako przy okazji podnieść umiejętności w posługiwaniu się arkuszem kalkulacyjnym na wyższy poziom.- PDF + ePub + Mobi
- Druk 33 pkt
(32,90 zł najniższa cena z 30 dni)
33.50 zł
67.00 zł (-50%) -
Promocja
Oto praktyczny przewodnik po nauce o danych w miejscu pracy. Dowiesz się stąd wszystkiego, co ważne na początku Twojej drogi jako danologa: od osobowości, z którymi przyjdzie Ci pracować, przez detale analizy danych, po matematykę stojącą za algorytmami i uczeniem maszynowym. Nauczysz się myśleć krytycznie o danych i otrzymanych wynikach, będziesz też inteligentnie o tym mówić. Jednym zdaniem: zrozumiesz dane i związane z nimi wyzwania na głębszym, profesjonalnym poziomie.- PDF + ePub + Mobi
- Druk 34 pkt
(32,90 zł najniższa cena z 30 dni)
34.50 zł
69.00 zł (-50%) -
Promocja
Ta książka jest trzecim, zmienionym i zaktualizowanym, wydaniem znakomitego przewodnika dla analityków biznesowych, dzięki któremu bezproblemowo rozpoczniesz pracę z Power BI i w pełni wykorzystasz jego możliwości. Po przeczytaniu jej będziesz lepiej rozumiał, w jaki sposób w pełni wykorzystać potencjał Power BI do tworzenia efektywnych strategii business intelligence. Dowiesz się, jak pozyskiwać i oczyszczać dane oraz jak projektować modele danych. Zapoznasz się ze stylami wizualizacji danych oraz z technikami tworzenia narracji cyfrowych. Nauczysz się analizować relacje w modelu danych i tworzyć reguły w języku DAX. W tym wydaniu znajdziesz też nowy rozdział poświęcony przepływom danych, w którym oprócz podstaw omówiono takie zagadnienia, jak projektowanie efektywnych modeli danych i budowanie podstawowych pulpitów nawigacyjnych.- PDF + ePub + Mobi
- Druk 39 pkt
Microsoft Power BI. Jak modelować i wizualizować dane oraz budować narracje cyfrowe. Wydanie III
Devin Knight, Erin Ostrowsky, Mitchell Pearson, Bradley Schacht
(34,90 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Sztuczna inteligencja (AI) jest jednym z najbardziej innowacyjnych i dynamicznie rozwijających się obszarów biznesu. Jej wpływ na różne branże jest coraz bardziej zauważalny, od marketingu i zarządzania zasobami ludzkimi po finanse i opiekę zdrowotną. Wraz z postępem technologicznym, możliwości AI stają się coraz większe i bardziej dostępne dla róż
- PDF + ePub + Mobi 0 pkt
-
Promocja
Metody statystyczne są kluczowym elementem data science, mimo to niewielu specjalistów data science posiada formalne wykształcenie statystyczne. Kursy i podręczniki o podstawach statystyki, rzadko kiedy omawiają temat z perspektywy data science. W drugim wydaniu tego popularnego podręcznika zostały dodane obszerne przykłady w Pythonie, wytłumaczono, w jaki sposób stosować poszczególne metody statystyczne w problemach data science, a także jak ich nie używać. Książka ta dostarczy Ci również wskazówek o tym jakie zagadnienia są istotne, a jakie nie.- PDF + ePub + Mobi
- Druk 34 pkt
(29,90 zł najniższa cena z 30 dni)
34.50 zł
69.00 zł (-50%) -
This book will show you how to implement a variety of practical Python solutions for time series analysis and anomaly detection. As you progress, you'll be able to extract insights and forecast using statistical, machine learning, and deep learning models.
W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
XGBoost for Regression Predictive Modelling and Time Series Analysis will help you get a practical understanding of the XGBoost algorithm by taking a hands-on approach, from installing the python package through to model building and deployment.
W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book offers practical guidance on managing data as a product, drawing from real-world experience to empower you to implement your own data product-centric approach.
W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna
O autorach książki
Jules S. Damji - jest inżynierem oprogramowania dla wielu wiodących firm, takich jak Netscape, Sun Microsystems, Verisign i ProQuest. Zajmuje się systemami rozproszonymi.
Brooke Wenig - kieruje zespołem, który opracowuje potoki uczenia maszynowego. Prowadzi też szkolenia z zakresu rozproszonego uczenia maszynowego.
Tathagata Das - jest członkiem Apache Spark Project Management Committee. Pracuje nad strumieniowaniem strukturalnym i Delta Lake.
Denny Lee - zajmuje się systemami rozproszonymi i inżynierią danych, zwłaszcza dla branży ochrony zdrowia.
Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee - pozostałe książki
-
Nowość Promocja
Ready to simplify the process of building data lakehouses and data pipelines at scale? In this practical guide, learn how Delta Lake is helping data engineers, data scientists, and data analysts overcome key data reliability challenges with modern data engineering and management techniques.Authors Denny Lee, Tristen Wentling, Scott Haines, and Pras- ePub + Mobi 254 pkt
(237,15 zł najniższa cena z 30 dni)
254.15 zł
299.00 zł (-15%) -
Promocja
This cookbook presents recipes on leveraging the power of Python and putting it to use in the Apache Spark ecosystem. By the end of this book, you will be able to solve any problem associated with building effective, data-intensive applications and performing machine learning and structured streaming using PySpark.- PDF + ePub + Mobi 107 pkt
(29,90 zł najniższa cena z 30 dni)
107.10 zł
119.00 zł (-10%) -
Promocja
This book will get you to grips with the Spark Python API. You’ll explore how Python can be used with Spark to build scalable and reliable data-intensive applications.- PDF + ePub + Mobi 125 pkt
(29,90 zł najniższa cena z 30 dni)
125.10 zł
139.00 zł (-10%) -
Promocja
Data is bigger, arrives faster, and comes in a variety of formatsâ??and it all needs to be processed at scale for analytics or machine learning. But how can you process such varied workloads efficiently? Enter Apache Spark.Updated to include Spark 3.0, this second edition shows data engineers and data scientists why structure and unification in Spa- ePub + Mobi 220 pkt
(211,65 zł najniższa cena z 30 dni)
220.15 zł
259.00 zł (-15%)
Zobacz pozostałe książki z serii
-
Promocja
Dzięki tej książce zrozumiesz bazowe koncepcje programowania funkcyjnego i przekonasz się, że możesz włączać je do kodu bez rezygnacji z paradygmatu obiektowego. Dowiesz się również, kiedy w swojej codziennej pracy używać takich opcji jak niemutowalność i funkcje czyste i dlaczego warto to robić. Poznasz różne aspekty FP: kompozycję, ekspresyjność, modułowość, wydajność i efektywne manipulowanie danymi. Nauczysz się korzystać z FP w celu zapewnienia wyższego bezpieczeństwa i łatwiejszego utrzymywania kodu. Te wszystkie cenne umiejętności ułatwią Ci pisanie bardziej zwięzłego, rozsądnego i przyszłościowego kodu.- PDF + ePub + Mobi
- Druk 43 pkt
(39,90 zł najniższa cena z 30 dni)
43.50 zł
87.00 zł (-50%) -
Promocja
To drugie, zaktualizowane wydanie przewodnika po systemie Prometheus. Znajdziesz w nim wyczerpujące wprowadzenie do tego oprogramowania, a także wskazówki dotyczące monitorowania aplikacji i infrastruktury, tworzenia wykresów, przekazywania ostrzeżeń, bezpośredniej instrumentacji kodu i pobierania wskaźników pochodzących z systemów zewnętrznych. Zrozumiesz zasady konfiguracji systemu Prometheus, komponentu Node Exporter i menedżera ostrzeżeń Alertmanager. Zapoznasz się też z nowymi funkcjonalnościami języka PromQL, dostawców mechanizmu odkrywania usług i odbiorców menedżera ostrzeżeń Alertmanager. Dokładnie zaprezentowano tu również zagadnienia bezpieczeństwa po stronie serwera, w tym mechanizm TLS i uwierzytelniania podstawowego.- PDF + ePub + Mobi
- Druk 44 pkt
(39,90 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
Promocja
Ta książka będzie świetnym uzupełnieniem wiedzy o Flutterze i Darcie, sprawdzi się również jako wsparcie podczas rozwiązywania konkretnych problemów. Znalazło się tu ponad sto receptur, dzięki którym poznasz tajniki pisania efektywnego kodu, korzystania z narzędzi udostępnianych przez framework Flutter czy posługiwania się rozwiązaniami dostawców usług chmurowych. Dowiesz się, jak należy pracować z bazami Firebase i platformą Google Cloud. Przy czym poszczególne receptury, poza rozwiązaniami problemów, zawierają również nieco szersze omówienia, co pozwoli Ci lepiej wykorzystać zalety Fluttera i Darta — spójnego rozwiązania do wydajnego budowania aplikacji!- PDF + ePub + Mobi
- Druk 34 pkt
(32,90 zł najniższa cena z 30 dni)
34.50 zł
69.00 zł (-50%) -
Promocja
Ten przewodnik, który docenią programiści i architekci, zawiera wyczerpujące omówienie zagadnień projektowania, funkcjonowania i modyfikowania architektury API. Od strony praktycznej przedstawia strategie budowania i testowania API REST umożliwiającego połączenie oferowanej funkcjonalności na poziomie mikrousług. Opisuje stosowanie bram API i infrastruktury typu service mesh. Autorzy dokładnie przyglądają się kwestiom zapewnienia bezpieczeństwa systemów opartych na API, w tym uwierzytelnianiu, autoryzacji i szyfrowaniu. Sporo miejsca poświęcają również ewolucji istniejących systemów w kierunku API i różnych docelowych platform.- PDF + ePub + Mobi
- Druk 34 pkt
(32,90 zł najniższa cena z 30 dni)
34.50 zł
69.00 zł (-50%) -
Promocja
W tej książce omówiono ponad 20 najprzydatniejszych wzorców projektowych, dzięki którym tworzone aplikacje internetowe będą łatwe w późniejszej obsłudze technicznej i w trakcie skalowania. Poza wzorcami projektowymi przedstawiono wzorce generowania i wydajności działania, których znaczenie dla użytkowania aplikacji jest ogromne. Opisano również nowoczesne wzorce Reacta, między innymi Zaczepy, Komponenty Wyższego Rzędu i Właściwości Generowania. Sporo miejsca poświęcono najlepszym praktykom związanym z organizacją kodu, wydajnością działania czy generowaniem, a także innym zagadnieniom, które pozwalają na podniesienie jakości aplikacji internetowych.- PDF + ePub + Mobi
- Druk 34 pkt
(32,90 zł najniższa cena z 30 dni)
34.50 zł
69.00 zł (-50%) -
Promocja
To gruntownie zaktualizowane i uzupełnione wydanie praktycznego przewodnika po wdrażaniu i testowaniu kontenerów Dockera. Przedstawia proces przygotowania pakietu aplikacji ze wszystkimi ich zależnościami, a także jego testowania, wdrażania, skalowania i utrzymywania w środowiskach produkcyjnych. Zawiera omówienie Docker Compose i trybu Docker Swarm, opis zagadnień związanych z Kubernetes, jak również przykłady optymalizacji obrazów Dockera. W tym wydaniu zaprezentowano ponadto najlepsze praktyki i narzędzie BuildKit, opisano wsparcie obrazów wieloarchitekturowych, kontenerów rootless i uwzględniono wiele innych ważnych informacji.- PDF + ePub + Mobi
- Druk 43 pkt
(39,90 zł najniższa cena z 30 dni)
43.50 zł
87.00 zł (-50%) -
Promocja
To książka przeznaczona dla osób, które pracują ze zbiorami danych. Jest praktycznym przewodnikiem po koncepcjach algebry liniowej, pomyślanym tak, by ułatwić ich zrozumienie i zastosowanie w użytecznych obliczeniach. Poszczególne zagadnienia przedstawiono za pomocą kodu Pythona, wraz z przykładami ich wykorzystania w nauce o danych, uczeniu maszynowym, uczeniu głębokim, symulacjach i przetwarzaniu danych biomedycznych. Dzięki podręcznikowi nauczysz się arytmetyki macierzowej, poznasz istotne rozkłady macierzy, w tym LU i QR, a także rozkład według wartości osobliwych, zapoznasz się też z takimi zagadnieniami jak model najmniejszych kwadratów i analiza głównych składowych.- PDF + ePub + Mobi
- Druk 38 pkt
(34,90 zł najniższa cena z 30 dni)
38.50 zł
77.00 zł (-50%) -
Promocja
Ta książka stanowi wszechstronne omówienie wszystkich bibliotek Pythona, potrzebnych naukowcom i specjalistom pracującym z danymi. Znalazł się tu dokładny opis IPythona, NumPy, Pandas, Matplotlib, Scikit-Learn i innych narzędzi. Podręcznik uwzględnia przede wszystkim ich aspekty praktyczne, dzięki czemu świetnie się sprawdzi w rozwiązywaniu codziennych problemów z manipulowaniem, przekształcaniem, oczyszczaniem i wizualizacją różnych typów danych, a także jako pomoc podczas tworzenia modeli statystycznych i modeli uczenia maszynowego. Docenią go wszyscy, którzy zajmują się obliczeniami naukowymi w Pythonie.- PDF + ePub + Mobi
- Druk 64 pkt
(39,90 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%) -
Promocja
Oto kolejne wydanie zwięzłego podręcznika dla programistów Javy, który ma ułatwić maksymalne wykorzystanie technologii tego języka w wersji 17. Treść została skrupulatnie przejrzana i uzupełniona o materiał dotyczący nowości w obiektowym modelu Javy. Pierwsza część książki obejmuje wprowadzenie do języka i do pracy na platformie Javy. Druga zawiera opis podstawowych pojęć i interfejsów API, których znajomość jest niezbędna każdemu programiście Javy. Mimo niewielkiej objętości w podręczniku znalazły się liczne przykłady wykorzystania potencjału tego języka programowania, a także zastosowania najlepszych praktyk programistycznych w rzeczywistej pracy.- Druk 44 pkt
(39,90 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
Promocja
Dzięki tej książce dowiesz się, w jaki sposób uczynić architekturę oprogramowania wystarczająco plastyczną, aby mogła odzwierciedlać zachodzące zmiany biznesowe i technologiczne. W nowym wydaniu rozbudowano pojęcia zmiany kierowanej i przyrostowej, a także przedstawiono najnowsze techniki dotyczące funkcji dopasowania, automatycznego zarządzania architekturą i danych ewolucyjnych. Zaprezentowano praktyki inżynieryjne umożliwiające ewoluowanie systemów oprogramowania, jak również podejścia strukturalne, w tym zasady projektowe, które ułatwiają zarządzanie tą ewolucją. Opisano ponadto, w jaki sposób zasady i praktyki architektury ewolucyjnej wiążą się z różnymi elementami procesu tworzenia oprogramowania.- PDF + ePub + Mobi
- Druk 33 pkt
(32,90 zł najniższa cena z 30 dni)
33.50 zł
67.00 zł (-50%)
Ebooka "Spark. Błyskawiczna analiza danych. Wydanie II" przeczytasz na:
-
czytnikach Inkbook, Kindle, Pocketbook, Onyx Boox i innych
-
systemach Windows, MacOS i innych
-
systemach Windows, Android, iOS, HarmonyOS
-
na dowolnych urządzeniach i aplikacjach obsługujących formaty: PDF, EPub, Mobi
Masz pytania? Zajrzyj do zakładki Pomoc »
Audiobooka "Spark. Błyskawiczna analiza danych. Wydanie II" posłuchasz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolonych urządzeniach i aplikacjach obsługujących format MP3 (pliki spakowane w ZIP)
Masz pytania? Zajrzyj do zakładki Pomoc »
Kurs Video "Spark. Błyskawiczna analiza danych. Wydanie II" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły książki
- Tytuł oryginału:
- Learning Spark: Lightning-Fast Data Analytics, 2nd Edition
- Tłumaczenie:
- Robert Górczyński
- ISBN Książki drukowanej:
- 978-83-283-9914-3, 9788328399143
- Data wydania książki drukowanej :
- 2023-02-07
- ISBN Ebooka:
- 978-83-283-9915-0, 9788328399150
- Data wydania ebooka :
- 2023-02-07 Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie. Jeśli masz wątpliwości skontaktuj się z nami sklep@ebookpoint.pl.
- Format:
- 165x235
- Numer z katalogu:
- 185837
- Rozmiar pliku Pdf:
- 7.2MB
- Rozmiar pliku ePub:
- 10.8MB
- Rozmiar pliku Mobi:
- 21.8MB
- Pobierz przykładowy rozdział PDF »
- Przykłady na ftp » 76MB
Spis treści książki
- Geneza Sparka
- Big data i przetwarzanie rozproszone w Google
- Hadoop w Yahoo!
- Wczesne lata Sparka w AMPLab
- Czym jest Apache Spark?
- Szybkość
- Łatwość użycia
- Modułowość
- Rozszerzalność
- Ujednolicona analityka
- Komponenty Apache Spark tworzą ujednolicony stos
- Spark MLlib
- Wykonywanie rozproszone w Apache Spark
- Z punktu widzenia programisty
- Kto używa Sparka i w jakim celu?
- Popularność w społeczności i dalsza ekspansja
- Krok 1. - pobranie Apache Spark
- Pliki i katalogi Sparka
- Krok 2. - używanie powłoki Scali lub PySparka
- Używanie komputera lokalnego
- Krok 3. - poznanie koncepcji aplikacji Apache Spark
- Aplikacja Sparka i SparkSession
- Zlecenia Sparka
- Etapy Sparka
- Zadania Sparka
- Transformacje, akcje i późna ocena
- Transformacje wąskie i szerokie
- Spark UI
- Pierwsza niezależna aplikacja
- Zliczanie cukierków M&M's
- Tworzenie niezależnych aplikacji w Scali
- Podsumowanie
- Spark - co się kryje za akronimem RDD?
- Strukturyzacja Sparka
- Kluczowe zalety i wartość struktury
- API DataFrame
- Podstawowe typy danych Sparka
- Strukturalne i złożone typy danych Sparka
- Schemat i tworzenie egzemplarza DataFrame
- Kolumny i wyrażenia
- Rekord
- Najczęściej przeprowadzane operacje z użyciem DataFrame
- Przykład pełnego rozwiązania wykorzystującego DataFrame
- API Dataset
- Obiekty typowane i nietypowane oraz ogólne rekordy
- Tworzenie egzemplarza Dataset
- Operacje na egzemplarzu Dataset
- Przykład pełnego rozwiązania wykorzystującego Dataset
- Egzemplarz DataFrame kontra Dataset
- Kiedy używać RDD?
- Silnik Spark SQL
- Optymalizator Catalyst
- Podsumowanie
- Używanie Spark SQL w aplikacji Sparka
- Przykłady podstawowych zapytań
- Widoki i tabele SQL
- Tabele zarządzane kontra tabele niezarządzane
- Tworzenie baz danych i tabel SQL
- Tworzenie widoku
- Wyświetlanie metadanych
- Buforowanie tabel SQL
- Wczytywanie zawartości tabeli do egzemplarza DataFrame
- Źródła danych dla egzemplarzy DataFrame i tabel SQL
- DataFrameReader
- DataFrameWriter
- Parquet
- JSON
- CSV
- Avro
- ORC
- Obrazy
- Pliki binarne
- Podsumowanie
- Spark SQL i Apache Hive
- Funkcje zdefiniowane przez użytkownika
- Wykonywanie zapytań z użyciem powłoki Spark SQL, Beeline i Tableau
- Używanie powłoki Spark SQL
- Praca z narzędziem Beeline
- Praca z Tableau
- Zewnętrzne źródła danych
- Bazy danych SQL i JDBC
- PostgreSQL
- MySQL
- Azure Cosmos DB
- MS SQL Server
- Inne zewnętrzne źródła danych
- Funkcje wyższego rzędu w egzemplarzach DataFrame i silniku Spark SQL
- Opcja 1. - konwersja struktury
- Opcja 2. - funkcja zdefiniowana przez użytkownika
- Wbudowane funkcje dla złożonych typów danych
- Funkcje wyższego rzędu
- Najczęściej wykonywane operacje w DataFrame i Spark SQL
- Suma
- Złączenie
- Okno czasowe
- Modyfikacje
- Podsumowanie
- Pojedyncze API dla Javy i Scali
- Klasy case Scali i JavaBean dla egzemplarzy Dataset
- Praca z egzemplarzem Dataset
- Tworzenie przykładowych danych
- Transformacja przykładowych danych
- Zarządzanie pamięcią podczas pracy z egzemplarzami Dataset i DataFrame
- Kodeki egzemplarza Dataset
- Wewnętrzny format Sparka kontra format obiektu Javy
- Serializacja i deserializacja
- Koszt związany z używaniem egzemplarza Dataset
- Strategie pozwalające obniżyć koszty
- Podsumowanie
- Optymalizacja i dostrajanie Sparka w celu zapewnienia efektywności działania
- Wyświetlanie i definiowanie konfiguracji Apache Spark
- Skalowanie Sparka pod kątem ogromnych obciążeń
- Buforowanie i trwałe przechowywanie danych
- DataFrame.cache()
- DataFrame.persist()
- Kiedy buforować i trwale przechowywać dane?
- Kiedy nie buforować i nie przechowywać trwale danych?
- Rodzina złączeń w Sparku
- Złączenie BHJ
- Złączenie SMJ
- Spark UI
- Karty narzędzia Spark UI
- Podsumowanie
- Ewolucja silnika przetwarzania strumieni w Apache Spark
- Przetwarzanie strumieniowe mikropartii
- Cechy mechanizmu Spark Streaming (DStreams)
- Filozofia strumieniowania strukturalnego
- Model programowania strumieniowania strukturalnego
- Podstawy zapytania strumieniowania strukturalnego
- Pięć kroków do zdefiniowania zapytania strumieniowego
- Pod maską aktywnego zapytania strumieniowanego
- Odzyskiwanie danych po awarii i gwarancja "dokładnie raz"
- Monitorowanie aktywnego zapytania
- Źródło i ujście strumieniowanych danych
- Pliki
- Apache Kafka
- Niestandardowe źródła strumieni i ujść danych
- Transformacje danych
- Wykonywanie przyrostowe i stan strumieniowania
- Transformacje bezstanowe
- Transformacje stanowe
- Agregacje strumieniowania
- Agregacja nieuwzględniająca czasu
- Agregacje z oknami czasowymi na podstawie zdarzeń
- Złączenie strumieniowane
- Złączenie strumienia i egzemplarza statycznego
- Złączenia między egzemplarzami strumieniowanymi
- Dowolne operacje związane ze stanem
- Modelowanie za pomocą mapGroupsWithState() dowolnych operacji stanu
- Stosowanie limitów czasu do zarządzania nieaktywnymi grupami
- Generalizacja z użyciem wywołania flatMapGroupsWithState()
- Dostrajanie wydajności działania
- Podsumowanie
- Waga optymalnego rozwiązania w zakresie pamięci masowej
- Bazy danych
- Krótkie wprowadzenie do SQL
- Odczytywanie i zapisywanie informacji w bazie danych za pomocą Apache Spark
- Ograniczenia baz danych
- Jezioro danych
- Krótkie wprowadzenie do jezior danych
- Odczytywanie i zapisywanie danych jeziora danych za pomocą Apache Spark
- Ograniczenia jezior danych
- Lakehouse - następny krok w ewolucji rozwiązań pamięci masowej
- Apache Hudi
- Apache Iceberg
- Delta Lake
- Tworzenie repozytorium danych za pomocą Apache Spark i Delta Lake
- Konfiguracja Apache Spark i Delta Lake
- Wczytywanie danych do tabeli Delta Lake
- Wczytywanie strumieni danych do tabeli Delta Lake
- Zarządzanie schematem podczas zapisu w celu zapobiegania uszkodzeniu danych
- Ewolucja schematu w celu dostosowania go do zmieniających się danych
- Transformacja istniejących danych
- Audyt zmian danych przeprowadzany za pomocą historii operacji
- Wykonywanie zapytań do poprzednich migawek tabeli dzięki funkcjonalności podróży w czasie
- Podsumowanie
- Czym jest uczenie maszynowe?
- Nadzorowane uczenie maszynowe
- Nienadzorowane uczenie maszynowe
- Dlaczego Spark dla uczenia maszynowego?
- Projektowanie potoków uczenia maszynowego
- Wczytywanie i przygotowywanie danych
- Tworzenie zbiorów danych - testowego i treningowego
- Przygotowywanie cech za pomocą transformerów
- Regresja liniowa
- Stosowanie estymatorów do tworzenia modeli
- Tworzenie potoku
- Ocena modelu
- Zapisywanie i wczytywanie modeli
- Dostrajanie hiperparametru
- Modele oparte na drzewach
- k-krotny sprawdzian krzyżowy
- Optymalizacja potoku
- Podsumowanie
- Zarządzanie modelem
- MLflow
- Opcje wdrażania modelu za pomocą MLlib
- Wsadowe
- Strumieniowane
- Wzorce eksportu modelu dla rozwiązania niemalże w czasie rzeczywistym
- Wykorzystanie Sparka do pracy z modelami, które nie zostały utworzone za pomocą MLlib
- Zdefiniowane przez użytkownika funkcje pandas
- Spark i rozproszone dostrajanie hiperparametru
- Podsumowanie
- Spark Core i Spark SQL
- Dynamiczne oczyszczanie partycji
- Adaptacyjne wykonywanie zapytań
- Podpowiedzi dotyczące złączeń SQL
- API wtyczek katalogu i DataSourceV2
- Planowanie z użyciem akceleratorów
- Strumieniowanie strukturalne
- PySpark, zdefiniowane przez użytkownika funkcje pandas i API funkcji pandas
- Usprawnione zdefiniowane przez użytkownika funkcje pandas zapewniające obsługę podpowiedzi typów w Pythonie
- Obsługa iteratora w zdefiniowanych przez użytkownika funkcjach pandas
- Nowe API funkcji pandas
- Zmieniona funkcjonalność
- Obsługiwane języki
- Zmiany w API DataFrame i Dataset
- Polecenia SQL EXPLAIN i DataFrame
- Podsumowanie
Przedmowa
Wprowadzenie
1. Wprowadzenie do Apache Spark - ujednolicony silnik analityczny
2. Pobranie Apache Spark i rozpoczęcie pracy
3. API strukturalne Apache Spark
4. Spark SQL i DataFrame - wprowadzenie do wbudowanych źródeł danych
5. Spark SQL i DataFrame - współpraca z zewnętrznymi źródłami danych
6. Spark SQL i Dataset
7. Optymalizacja i dostrajanie aplikacji Sparka
8. Strumieniowanie strukturalne
9. Tworzenie niezawodnych jezior danych za pomocą Apache Spark
10. Uczenie maszynowe z użyciem biblioteki MLlib
11. Stosowanie Apache Spark do wdrażania potoków uczenia maszynowego oraz ich skalowania i zarządzania nimi
12. Epilog - Apache Spark 3.0
Helion - inne książki
-
Nowość Promocja
Oprogramowanie jest dziś praktycznie wszędzie, a programiści od dawna należą do najbardziej poszukiwanych specjalistów. Na podstawie napisanego przez nich kodu funkcjonują już nie tylko komputery i smartfony. Oprogramowanie steruje sprzętami domowymi, telewizorem czy lodówką. W ramach tak zwanego internetu rzeczy wiele urządzeń technicznych komunikuje się między sobą bez udziału człowieka. Gwałtownie rozwija się sztuczna inteligencja, wymagająca specjalistycznego oprogramowania. Nie dziwi więc, że jego rozwój ciągle przyspiesza. W obliczu tych faktów odpowiedź na pytanie, jakiego języka programowania warto się nauczyć, jest trudna. Nawet dla osoby, która wie, w jaki sposób zamierza w przyszłości korzystać ze swoich informatycznych umiejętności.- PDF + ePub + Mobi
- Druk 22 pkt
(20,90 zł najniższa cena z 30 dni)
22.45 zł
44.90 zł (-50%) -
Bestseller Nowość Promocja
Sztuczna inteligencja jest na ustach wszystkich. Odkąd pojawił się ChatGPT, newsy ze świata informatyki trafiają na pierwsze strony gazet, pojawiają się w serwisach informacyjnych, programach radiowych i telewizyjnych. Na temat AI dyskutują już nie tylko programiści, ale także fizycy, filozofowie i specjaliści zajmujący się rynkiem pracy. Wojskowi i naukowcy odkrywają dla niej kolejne zastosowania w swoich dziedzinach, futurolodzy zaś na zmianę straszą wizjami rodem z Terminatora i Czarnego lustra i uspokajają, że to wszystko dla naszego dobra, a sztuczna inteligencja pozostaje przecież pod ludzką kontrolą.- PDF + ePub + Mobi
- Druk 22 pkt
(20,90 zł najniższa cena z 30 dni)
22.45 zł
44.90 zł (-50%) -
Nowość Promocja
Ta książka stanowi twardy dowód, że matematyka jest elastyczna, kreatywna i radosna. Potraktuj ją jako fascynującą podróż przez świat matematyki abstrakcyjnej do teorii kategorii. Przekonaj się, że bez formalnej wiedzy w tej dziedzinie możesz rozwinąć umiejętność matematycznego myślenia. Abstrakcyjne idee matematyczne pomogą Ci inaczej spojrzeć na aktualne wydarzenia, kwestie sprawiedliwości społecznej i przywilejów społecznych czy nawet na COVID-19.- PDF + ePub + Mobi
- Druk 29 pkt
(27,90 zł najniższa cena z 30 dni)
29.49 zł
59.00 zł (-50%) -
Nowość Promocja
Dzięki tej przystępnej książce, przeznaczonej dla programistów i badaczy, zrozumiesz podstawy techniczne modeli LLM. Dowiesz się, do czego można je zastosować, i odkryjesz elegancję ich architektury. Nauczysz się praktycznego korzystania z frameworka LangChain, zaprojektowanego do tworzenia responsywnych aplikacji. Dowiesz się, jak dostrajać model, jak zadawać mu pytania, poznasz także sprawdzone metody wdrażania i monitorowania środowisk produkcyjnych, dzięki czemu łatwo zbudujesz narzędzia do pisania, zaawansowane roboty konwersacyjne czy nowatorskie pomoce dla programistów. Liczne praktyczne przykłady i fragmenty kodu ułatwią Ci nie tylko przyswojenie podstaw, ale także używanie modeli LLM w innowacyjny i odpowiedzialny sposób.- PDF + ePub + Mobi
- Druk 39 pkt
(37,89 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Nowość Promocja
Na rynku książek poświęconych analizie biznesowej w sektorze IT dostępnych jest kilka pozycji. Zawierają one informacje na temat praktyk, narzędzi i podejścia stosowanego w tej dziedzinie. Dotychczas jednak brakowało kompendium, które byłoby praktycznym przewodnikiem zbierającym doświadczenia z różnych projektów, firm i od ekspertów podchodzących w odmienny sposób do analizy biznesowej.- PDF + ePub + Mobi
- Druk 44 pkt
(39,90 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
Nowość Promocja
Sztuczna inteligencja stale się rozwija. Właściwie codziennie słyszymy o jej rosnących możliwościach, nowych osiągnięciach i przyszłości, jaką nam przyniesie. Jednak w tej książce skupiamy się nie na przyszłości, a na teraźniejszości i praktycznym obliczu AI - na usługach, które świadczy już dziś. Większość najciekawszych zastosowań sztucznej inteligencji bazuje na ML (uczenie maszynowe, ang. machine learning), NLP (przetwarzanie języka naturalnego, ang. natural language processing) i architekturze RAG (ang. retrieval augmented generation) zwiększającej możliwości tzw. dużych modeli językowych (LLM, ang. large language model). Stanowią one podwaliny budowy systemów AI, bez których te systemy często wcale nie mogłyby powstać.- PDF + ePub + Mobi
- Druk 39 pkt
(37,89 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Nowość Promocja
Pierwsza była wirtualizacja: oprogramowanie symuluje istnienie zasobów logicznych korzystających z zasobów fizycznych. Po niej przyszła konteneryzacja, polegająca na tworzeniu obrazów - kopii danych - zawierających wszystkie pliki potrzebne do uruchomienia danej aplikacji. Środowiska produkcyjne z obu korzystają równolegle, ale to konteneryzacja stała się swojego rodzaju rewolucją w sektorze IT. Pozwoliła bowiem na sprawniejsze wdrażanie mikroserwisów, a także na optymalizację kosztów działania wielu aplikacji.- PDF + ePub + Mobi
- Druk 19 pkt
(17,90 zł najniższa cena z 30 dni)
19.95 zł
39.90 zł (-50%) -
Nowość Promocja
Dzięki tej książce nauczysz się stosować algorytmy w praktycznych sytuacjach i zrozumiesz mechanizmy ich działania. Liczne przykłady pozwolą Ci się zapoznać z kilkoma sposobami ich projektowania i implementacji. Następnie poznasz algorytm określania pozycji stron w wynikach wyszukiwarek internetowych, związane z nimi grafy i algorytmy uczenia maszynowego, a także logikę. Zaznajomisz się ponadto z nowoczesnymi modelami sekwencyjnymi i ich wariantami, jak również algorytmami, metodykami i architekturami implementacji dużych modeli językowych, takich jak ChatGPT. W ostatniej części tego przewodnika znajdziesz opis technik przetwarzania równoległego, przydatnego w zadaniach wymagających dużej mocy obliczeniowej.- PDF + ePub + Mobi
- Druk 44 pkt
(39,90 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
Nowość Promocja
FPGA pochodzi od angielskiego field-programmable gate array. Polski odpowiednik to: bezpośrednio programowalna macierz bramek. FPGA jest rodzajem programowalnego układu logicznego. Ma tę samą funkcjonalność co układ scalony, tyle że może być wielokrotnie programowany bez demontażu. Z tego powodu znajduje zastosowanie tam, gdzie wymagana jest możliwość zmiany działania, na przykład w satelitach kosmicznych. Budujesz, instalujesz w urządzeniu docelowym, a potem modyfikujesz układ w zależności od potrzeb. Brzmi praktycznie, prawda?- Druk 24 pkt
(22,90 zł najniższa cena z 30 dni)
24.95 zł
49.90 zł (-50%) -
Nowość Promocja
Ta książka to drugie, zaktualizowane i rozszerzone wydanie przewodnika po kluczowych pojęciach psychologicznych w tworzeniu produktów i wrażeń, które mają bardziej intuicyjny i ukierunkowany na człowieka charakter. Szczegółowo przeanalizowano znane aplikacje i wrażenia użytkowników, aby pokazać, jak projektanci UX powinni kreować produkty dostosowane do sposobu, w jaki użytkownicy postrzegają i przetwarzają interfejsy cyfrowe. Poza prawami i zasadami opisanymi w psychologii dokładnie przedstawiono, jak ich zastosowanie przyczyni się do wyższej przydatności zaprojektowanego produktu.- PDF + ePub + Mobi
- Druk 28 pkt
(27,90 zł najniższa cena z 30 dni)
28.50 zł
57.00 zł (-50%)
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: sklep@ebookpoint.pl
Książka drukowana
Oceny i opinie klientów: Spark. Błyskawiczna analiza danych. Wydanie II Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee (3) Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię.
(2)
(0)
(0)
(1)
(0)
(0)
więcej opinii