Data Engineering with Scala and Spark. Build streaming and batch pipelines that process massive amounts of data using Scala Eric Tome, Rupam Bhattacharjee, David Radford
- Autorzy:
- Eric Tome, Rupam Bhattacharjee, David Radford
- Serie wydawnicze:
- Hands-on
- Wydawnictwo:
- Packt Publishing
- Ocena:
- Stron:
- 300
- Dostępne formaty:
-
PDFePub
Opis
książki
:
Data Engineering with Scala and Spark. Build streaming and batch pipelines that process massive amounts of data using Scala
Most data engineers know that performance issues in a distributed computing environment can easily lead to issues impacting the overall efficiency and effectiveness of data engineering tasks. While Python remains a popular choice for data engineering due to its ease of use, Scala shines in scenarios where the performance of distributed data processing is paramount.
This book will teach you how to leverage the Scala programming language on the Spark framework and use the latest cloud technologies to build continuous and triggered data pipelines. You’ll do this by setting up a data engineering environment for local development and scalable distributed cloud deployments using data engineering best practices, test-driven development, and CI/CD. You’ll also get to grips with DataFrame API, Dataset API, and Spark SQL API and its use. Data profiling and quality in Scala will also be covered, alongside techniques for orchestrating and performance tuning your end-to-end pipelines to deliver data to your end users.
By the end of this book, you will be able to build streaming and batch data pipelines using Scala while following software engineering best practices.
This book will teach you how to leverage the Scala programming language on the Spark framework and use the latest cloud technologies to build continuous and triggered data pipelines. You’ll do this by setting up a data engineering environment for local development and scalable distributed cloud deployments using data engineering best practices, test-driven development, and CI/CD. You’ll also get to grips with DataFrame API, Dataset API, and Spark SQL API and its use. Data profiling and quality in Scala will also be covered, alongside techniques for orchestrating and performance tuning your end-to-end pipelines to deliver data to your end users.
By the end of this book, you will be able to build streaming and batch data pipelines using Scala while following software engineering best practices.
Wybrane bestsellery
-
Dzięki tej książce przyswoisz różne techniki, które pomogą Ci stać się bardziej produktywnym analitykiem danych. Najpierw zapoznasz się z tematami związanymi z rozumieniem danych i umiejętnościami miękkimi, które okazują się konieczne w pracy dobrego danologa. Dopiero potem skupisz się na kluczowych aspektach uczenia maszynowego. W ten sposób stopniowo przejdziesz ścieżkę od przeciętnego kandydata do wyjątkowego specjalisty data science. Umiejętności opisane w tym przewodniku przez wiele lat były rozpoznawane, katalogowane, analizowane i stosowane do generowania wartości i szkolenia danologów w różnych firmach i branżach.- PDF + ePub + Mobi
- Druk 39 pkt
(39,50 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Dzięki temu praktycznemu przewodnikowi profesjonaliści zajmujący się danymi dobrze zrozumieją wady i zalety poszczególnych rozwiązań. Omówiono tu typowe zagadnienia dotyczące architektur danych, w tym ich rozwój i możliwości. Żadna architektura nie jest na tyle uniwersalna, by być odpowiednia w każdej sytuacji, dlatego w książce znajdziesz rzetelne porównanie cech poszczególnych architektur. Dowiesz się, jakie kompromisy towarzyszą każdej z nich, niezależnie od popularności. W ten sposób o wiele łatwiej przyjdzie Ci wybór rozwiązania, które najlepiej odpowiada Twoim potrzebom.- PDF + ePub + Mobi
- Druk 39 pkt
(39,50 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Tę książkę docenią osoby, które w ramach codziennej pracy integrują tematy związane z prywatnością i bezpieczeństwem danych. To przewodnik dla pragmatyków, zapewniający gruntowną wiedzę o współczesnych elementach ochrony danych, takich jak prywatność różnicowa, uczenie federacyjne i obliczenia szyfrowane. Znajdziesz tu przydatne wskazówki, jak również najlepsze, wielokrotnie sprawdzone praktyki integracji przełomowych technologii, pozwalające skutecznie i na wysokim poziomie dbać o prywatność i bezpieczeństwo danych.- PDF + ePub + Mobi
- Druk 39 pkt
(39,50 zł najniższa cena z 30 dni)
39.50 zł
79.00 zł (-50%) -
Jeśli myślisz o karierze inżyniera danych, ale nie masz doświadczenia w pracy na tym stanowisku, to ten kurs jest dla Ciebie idealną propozycją. Inżynier danych dostarcza je innym zespołom w firmie – usługę tę świadczy głównie dla analityków danych i dla data scientist. Do głównych obowiązków inżyniera danych należy tworzenie procesów ETL i ELT, walidacja danych i przygotowywanie ich poprzez budowanie systemu pobierania (na przykład strumienie danych lub orkiestracja zadań). Jego pracę ułatwiają i usprawniają odpowiednie narzędzia. Takie jak platforma analityczna Databricks.- Videokurs 67 pkt
(29,80 zł najniższa cena z 30 dni)
67.05 zł
149.00 zł (-55%) -
Analiza biznesowa to proces definiowania potrzeb organizacji i opracowywania strategii, które pomagają na nie odpowiadać. Jest niezbędna, by firmy mogły lepiej rozumieć swoje cele, oczekiwania klientów i wymagania rynku. Choć nie stanowi nowego obszaru, popularność zdobywa od niedawna, głównie z powodu powtarzających się problemów w realizacji projektów. Wiele z tych niepowodzeń to skutki zaniedbań właśnie w sferze analizy biznesowej. Na przykład podczas tworzenia nowej aplikacji analiza biznesowa pomoże określić, które funkcje są kluczowe dla użytkowników, i pozwoli uniknąć kosztownych zmian na późniejszych etapach projektu. Analiza biznesowa jest także niezbędna, gdy organizacja wdraża nowe systemy IT – umożliwia ich lepsze dopasowanie do potrzeb pracowników i klientów. Wprowadzenie jej do organizacji zaczyna się od budowania świadomości na poziomie zarządu i kluczowych interesariuszy, a także zdefiniowania celów. Kolejnym krokiem jest zatrudnienie analityków biznesowych, których kompetencje mają bezpośredni wpływ na jakość i sukces dostarczanych rozwiązań. Dobra znajomość analizy biznesowej oferuje wiele możliwości kariery, od stanowisk analityków biznesowych, przez menedżerów projektów, po role w zarządzaniu strategią. Przyjmuje się, że każda osoba w jakimkolwiek stopniu zaangażowana w projekty, przedsięwzięcia i prowadzenie biznesu powinna posiadać choć minimalne kompetencje analityczne.- Videokurs 79 pkt
(47,70 zł najniższa cena z 30 dni)
79.49 zł
159.00 zł (-50%) -
Stanowiący część Microsoft Power Platform zestaw narzędzi Power BI służy przede wszystkim wizualizacji danych i raportowaniu. Ze względu na intuicyjny interfejs i duże możliwości narzędzia te są coraz częściej zaprzęgane do pracy w firmach na całym świecie, w rozmaitych branżach – od finansów, przez marketing, aż po zarządzanie zasobami ludzkimi. Szkoląc się z naszym kursem, poznasz to rozwiązanie od strony praktycznej i zdobędziesz umiejętności gotowe do zastosowania w Twojej codziennej pracy. W ramach nauki opanujesz nie tylko podstawy Power BI, ale też najbardziej zaawansowane funkcje, które oferuje to oprogramowanie, ponieważ będziemy działać na realnych przykładach, z życia wziętych – takich, na które będziesz natrafiać codziennie w swojej praktyce biznesowej.- Videokurs 99 pkt
(59,70 zł najniższa cena z 30 dni)
99.49 zł
199.00 zł (-50%) -
Ta książka ułatwi Ci zgłębienie koncepcji kryjących się za działaniem nowoczesnych baz danych. Dzięki niej zrozumiesz, w jaki sposób struktury dyskowe różnią się od tych w pamięci i jak działają algorytmy efektywnego utrzymywania struktur B drzewa na dysku. Poznasz implementacje pamięci masowej o strukturze dziennika. Znajdziesz tu również wyjaśnienie zasad organizacji węzłów w klaster baz danych i specyfiki środowisk rozproszonych. Dowiesz się, jak algorytmy rozproszone poprawiają wydajność i stabilność systemu i jak uzyskać ostateczną spójność danych. Ponadto w książce zaprezentowano koncepcje antyentropii i plotek, służące do zapewniania zbieżności i rozpowszechniania danych, a także mechanizm transakcji utrzymujący spójność logiczną bazy.- PDF + ePub + Mobi
- Druk 44 pkt
(44,50 zł najniższa cena z 30 dni)
44.50 zł
89.00 zł (-50%) -
W dynamicznie zmieniającym się świecie biznesu automatyzacja procesów staje się kluczowym elementem sukcesu każdej organizacji. Technologia RPA (ang. robotic process automation) w połączeniu z zarządzaniem projektami i inżynierią oprogramowania tworzy nowy standard w zarządzaniu zasobami i operacjami firmowymi. I tu wkracza Microsoft Power Automate – narzędzie typu low code, które umożliwia tworzenie zautomatyzowanych przepływów pracy bez potrzeby zaawansowanej wiedzy programistycznej. To właśnie jego poznaniu poświęcony jest nasz kurs. Skorzystają z niego zarówno programiści, jak i osoby, które myślą o obraniu tej ścieżki kariery.- Videokurs 54 pkt
(38,15 zł najniższa cena z 30 dni)
54.50 zł
109.00 zł (-50%) -
Jeśli myślisz o karierze analityka danych albo starasz się o pracę na stanowisku, na którym będziesz analizować dane, ten kurs jest specjalnie dla Ciebie. Opanujesz dzięki niemu między innymi niezbędne podstawy języka SQL i dowiesz się, jak funkcjonuje i do czego może Ci posłużyć system zarządzania relacyjnymi bazami danych MySQL. Te dwie technologie są ze sobą ściśle powiązane. SQL powstał jako język dziedzinowy używany do tworzenia, modyfikowania relacyjnych baz danych, a także do umieszczania i pobierania danych z tych baz. Z kolei MySQL to jeden z najpopularniejszych systemów zarządzania bazami danych na świecie.- Videokurs 124 pkt
(39,90 zł najniższa cena z 30 dni)
124.50 zł
249.00 zł (-50%) -
Statystyka to dziedzina wiedzy, która bazuje na danych – przedmiotem jej zainteresowania są metody ich pozyskiwania i prezentacji, a przede wszystkim analizy. W ostatnich latach mocno zyskuje na popularności i dziś niemal każda uczelnia w Polsce oferuje możliwość studiowania na kierunku związanym ze statystyką i z analizą danych. Razem bowiem stanowią one niezbędne narzędzie pracy rządów, samorządów, firm i korporacji. Co za tym idzie – osoby, które potrafią przeanalizować dane, właściwie je zinterpretować, a następnie na ich bazie podjąć odpowiednie decyzje, należą do najbardziej pożądanych specjalistów na rynku pracy.- Videokurs 64 pkt
(39,90 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%)
Zobacz pozostałe książki z serii Hands-on
-
An opinionated guide for data engineers, software developers, business analysts, and organizational Leaders to address quality, governance, and understanding of your data using standardized approaches and technologies like git, JSON, YAML, and Python.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
The Podcasting Masterclass is your guide to audio revolution. This book will help you to deep dive into essential topics that will help you to master content, editing, and marketing to become the podcasting guru you were meant to be.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This insightful guide explores principles, best practices, and techniques for designing sustainable, scalable software systems with Kotlin. You'll discover real-world examples to help you create software systems that evolve easily over time.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Transform IoT systems with the power of Artificial Intelligence using this hands-on guide. Dive into practical techniques and expert insights to innovate and optimize your IoT devices, making them smarter and more efficient.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Cybersecurity is one of the key aspects for all organizations, especially in the era of malware attacks and phishing. Cutting-edge data protection systems are the key to a thriving organization, and this is where penetration testing can truly make a difference. ParrotSec has some exciting features to compete with large players like Kali and become the next big thing. This book is a comprehensive guide to all Parrot Security features, complete with advice on how to properly use it for penetration testing.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
AI Ethics in Action is a timely guide offering essential insights for ethical AI innovation. Learn to develop processes, policies, and products that are not just responsible but ethical, with practical, immediately implementable guidance.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Properly responding to an incident can mean the difference between a short or a catastrophic outage. In this book, cyber threat responders will be shown the tools, techniques and procedures necessary for an effective threat response.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Uncover and fix cloud native anti-patterns across strategy, culture, security, and operations. This book guides you through the practical steps to avoid common traps and shift your organization toward cloud-native best practices that drive lasting success.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Learn object-oriented design, SOLID principles, and the most important game development design patterns to create a resilient codebase. Leverage all the features available in Godot Engine to tackle common game development challenges with confidence.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book will teach you how to design, build, optimize, and secure Generative AI-powered systems on AWS. As you progress through the chapters, you will learn how to leverage various AWS services and solutions when automating the LLMOps pipeline.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna
Szczegóły książki
- Tytuł oryginału:
- Data Engineering with Scala and Spark. Build streaming and batch pipelines that process massive amounts of data using Scala
- ISBN Ebooka:
- 978-18-046-1432-7, 9781804614327
- Data wydania ebooka :
-
2024-01-31
Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna
z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie.
Jeśli masz wątpliwości skontaktuj się z nami sklep@ebookpoint.pl.
- Język publikacji:
- 1
- Rozmiar pliku Pdf:
- 8.2MB
- Rozmiar pliku ePub:
- 8MB
- Zgłoś erratę
- Serie wydawnicze: Hands-on
Packt Publishing - inne książki
-
Build scalable applications from the ground up. Learn foundational concepts, design and implement pipelines, and deploy confidently. This comprehensive guide equips you with the skills to excel in the world of natural language processing.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book presents comprehensive insights into MLOps coupled with real-world examples to help you to write programs, train robust and scalable ML models, and build ML pipelines to train and deploy models securely in production.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book will help you learn all you need to know about open table formats and picking the right table format for your needs, blending theoretical understanding with practical examples to help you build, maintain, and optimize lakehouses in production.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Developers with prior experience can leverage the latest modern Android development libraries to build exceptional Android apps. This book discusses crucial factors to consider when developing Android applications and how to maintain them better.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Maximize your Ubuntu 24.04 experience with this guide, covering desktop usage, security, and advanced development environments. You'll gain practical insights from the experience of a core Ubuntu developer for enhanced productivity and innovation.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This ZBrush guide uses hands-on projects to help you master ZBrush and take your digital sculpting skills to the next level. You'll create impressive 3D models while learning advanced techniques, making your artistic journey both fun and productive.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book lets you manipulate and generate 3D geometry with node-based workflow. You understand node inputs/outputs and basic nodes, along with exploring the new simulation zone for physics simulations, enhancing your skills and creativity.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Boost your AWS expertise with the latest in GenAI, MLOps, and certifications. Packed with practical insights and real-world case studies, this book helps you design, implement, and optimize AWS solutions confidently in the evolving cloud landscape.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
Unlock the power of Houdini FX with this beginner-friendly guide. Learn essential techniques for creating dynamic visual effects, and elevate your artistic skills.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna -
This book focuses on developing a capacity to manage cybersecurity incidents by practically implementing methodologies, platforms, and tools through step-by-step exercises. You'll learn how to respond to cybersecurity incidents using intelligence-based threat hunting techniques.W przygotowaniu
Powiadom mnie, gdy książka będzie dostępna
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: sklep@ebookpoint.pl
Proszę wybrać ocenę!
Proszę wpisać opinię!
Książka drukowana
Oceny i opinie klientów: Data Engineering with Scala and Spark. Build streaming and batch pipelines that process massive amounts of data using Scala Eric Tome, Rupam Bhattacharjee, David Radford (0)
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię.