MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems
- Autorzy:
- Donald Miner, Adam Shook
- Ocena:
- Bądź pierwszym, który oceni tę książkę
- Stron:
- 250
- Dostępne formaty:
-
ePubMobi
Opis ebooka: MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems
Until now, design patterns for the MapReduce framework have been scattered among various research papers, blogs, and books. This handy guide brings together a unique collection of valuable MapReduce patterns that will save you time and effort regardless of the domain, language, or development framework you’re using.
Each pattern is explained in context, with pitfalls and caveats clearly identified to help you avoid common design mistakes when modeling your big data architecture. This book also provides a complete overview of MapReduce that explains its origins and implementations, and why design patterns are so important. All code examples are written for Hadoop.
- Summarization patterns: get a top-level view by summarizing and grouping data
- Filtering patterns: view data subsets such as records generated from one user
- Data organization patterns: reorganize data to work with other systems, or to make MapReduce analysis easier
- Join patterns: analyze different datasets together to discover interesting relationships
- Metapatterns: piece together several patterns to solve multi-stage problems, or to perform several analytics in the same job
- Input and output patterns: customize the way you use Hadoop to load or store data
"A clear exposition of MapReduce programs for common data processing patterns—this book is indespensible for anyone using Hadoop."
--Tom White, author of Hadoop: The Definitive Guide
Wybrane bestsellery
-
Tę książkę docenią wszyscy zainteresowani eksploracją danych i uczeniem maszynowym, którzy chcieliby pewnie poruszać się w świecie nauki o danych. Pokazano tu, w jaki sposób Excel pozwala zobrazować proces ich eksplorowania i jak działają poszczególne techniki w tym zakresie. Przejrzyście wyjaśni...
Eksploracja danych za pomocą Excela. Metody uczenia maszynowego krok po kroku Eksploracja danych za pomocą Excela. Metody uczenia maszynowego krok po kroku
(40.20 zł najniższa cena z 30 dni)43.55 zł
67.00 zł(-35%) -
Power Apps to platforma stworzona przez Microsoft, umożliwiająca łatwe projektowanie, tworzenie i dostosowywanie aplikacji bez konieczności posiadania głębokiej wiedzy programistycznej. Z użyciem Power Apps można budować niestandardowe aplikacje, które efektywnie wspierają i automatyzują różne pr...
Power Apps. Kurs video. Tworzenie biznesowych aplikacji no-code Power Apps. Kurs video. Tworzenie biznesowych aplikacji no-code
(39.90 zł najniższa cena z 30 dni)129.35 zł
199.00 zł(-35%) -
Oto zwięzłe i równocześnie praktyczne kompendium, w którym znajdziesz 20 praktyk udanego planowania, analizy, specyfikacji, walidacji i zarządzania wymaganiami. Praktyki te są odpowiednie dla projektów zarządzanych zarówno w tradycyjny, jak i zwinny sposób, niezależnie od branży. Sprawią, że zesp...
Specyfikacja wymagań oprogramowania. Kluczowe praktyki analizy biznesowej Specyfikacja wymagań oprogramowania. Kluczowe praktyki analizy biznesowej
(40.20 zł najniższa cena z 30 dni)53.60 zł
67.00 zł(-20%) -
Oto drugie, zaktualizowane i uzupełnione wydanie przewodnika po bibliotece Pandas. Dzięki tej przystępnej książce nauczysz się w pełni korzystać z możliwości oferowanych przez bibliotekę, nawet jeśli dopiero zaczynasz przygodę z analizą danych w Pythonie. Naukę rozpoczniesz z użyciem rzeczywisteg...
Jak analizować dane z biblioteką Pandas. Praktyczne wprowadzenie. Wydanie II Jak analizować dane z biblioteką Pandas. Praktyczne wprowadzenie. Wydanie II
(65.40 zł najniższa cena z 30 dni)70.85 zł
109.00 zł(-35%) -
Książka obejmuje tematykę inżynierii wymagań według programu certyfikacji IREB® CPRE® Foundation Level na poziomie podstawowym. Omawia zagadnienia wyszczególnione w planie nauczania IREB® CPRE® z naciskiem na aspekt praktyczny, a także przygotowuje do egzaminu certyfikacyjnego...
Certyfikowany inżynier wymagań. Opracowanie na podstawie planu nauczania IREB® CPRE®. Przykładowe pytania egzaminacyjne z odpowiedziami Certyfikowany inżynier wymagań. Opracowanie na podstawie planu nauczania IREB® CPRE®. Przykładowe pytania egzaminacyjne z odpowiedziami
(41.40 zł najniższa cena z 30 dni)44.85 zł
69.00 zł(-35%) -
Oto praktyczny przewodnik po nauce o danych w miejscu pracy. Dowiesz się stąd wszystkiego, co ważne na początku Twojej drogi jako danologa: od osobowości, z którymi przyjdzie Ci pracować, przez detale analizy danych, po matematykę stojącą za algorytmami i uczeniem maszynowym. Nauczysz się myśleć ...
Analityk danych. Przewodnik po data science, statystyce i uczeniu maszynowym Analityk danych. Przewodnik po data science, statystyce i uczeniu maszynowym
(41.40 zł najniższa cena z 30 dni)44.85 zł
69.00 zł(-35%) -
Ta książka jest trzecim, starannie zaktualizowanym wydaniem wyczerpującego przewodnika po narzędziach analitycznych Pythona. Uwzględnia Pythona 3.0 i bibliotekę pandas 1.4. Została napisana w przystępny sposób, a poszczególne zagadnienia bogato zilustrowano przykładami, studiami rzeczywistych prz...
Python w analizie danych. Przetwarzanie danych za pomocą pakietów pandas i NumPy oraz środowiska Jupyter. Wydanie III Python w analizie danych. Przetwarzanie danych za pomocą pakietów pandas i NumPy oraz środowiska Jupyter. Wydanie III
(71.40 zł najniższa cena z 30 dni)77.35 zł
119.00 zł(-35%) -
Dzięki tej książce nauczysz się przekształcać suche dane liczbowe w pełną empatii narrację! Aby spełniły one swoje zadanie, ktoś musi przedstawić zawarte w nich informacje w postaci opowieści. W tej publikacji wyczerpująco i praktycznie opisano przebieg tego procesu. Jej lektura sprawi, że rozwin...
Opowieści ukryte w danych. Wyjaśnij dane i wywołaj działania za pomocą narracji Opowieści ukryte w danych. Wyjaśnij dane i wywołaj działania za pomocą narracji
(20.90 zł najniższa cena z 30 dni)20.90 zł
67.00 zł(-69%) -
W złożonej rzeczywistości myślenie systemowe jest kluczowym narzędziem pozwalającym odnieść się do licznych wyzwań: gospodarczych, ekologicznych, politycznych czy społecznych. Tylko w ten sposób w codziennych wiadomościach można dostrzec przejawy trendów, a w trendach — przeja...(29.94 zł najniższa cena z 30 dni)
32.43 zł
49.90 zł(-35%) -
Ta książka jest przewodnikiem dla każdego, kto musi przekazywać informacje, robiąc przy tym użytek z danych. Szczególnie wartościowa będzie dla analityków, studentów i naukowców, a także dla każdego, kto w swojej komunikacji odwołuje się do danych. Pokazano tu prostą i intuicyjną technikę przedst...
Storytelling danych. Poradnik wizualizacji danych dla profesjonalistów Storytelling danych. Poradnik wizualizacji danych dla profesjonalistów
(46.20 zł najniższa cena z 30 dni)50.05 zł
77.00 zł(-35%)
Ebooka "MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems" przeczytasz na:
-
czytnikach Inkbook, Kindle, Pocketbook, Onyx Boox i innych
-
systemach Windows, MacOS i innych
-
systemach Windows, Android, iOS, HarmonyOS
-
na dowolnych urządzeniach i aplikacjach obsługujących formaty: PDF, EPub, Mobi
Masz pytania? Zajrzyj do zakładki Pomoc »
Audiobooka "MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems" posłuchasz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolnych urządzeniach i aplikacjach obsługujących format MP3 (pliki spakowane w ZIP)
Masz pytania? Zajrzyj do zakładki Pomoc »
Kurs Video "MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły ebooka
- ISBN Ebooka:
- 978-14-493-4198-5, 9781449341985
- Data wydania ebooka:
- 2012-11-21 Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie. Jeśli masz wątpliwości skontaktuj się z nami sklep@ebookpoint.pl.
- Język publikacji:
- angielski
- Rozmiar pliku ePub:
- 5.0MB
- Rozmiar pliku Mobi:
- 5.0MB
Spis treści ebooka
- MapReduce Design Patterns
- Dedication
- Preface
- Intended Audience
- Pattern Format
- The Examples in This Book
- Conventions Used in This Book
- Using Code Examples
- Safari Books Online
- How to Contact Us
- Acknowledgments
- 1. Design Patterns and MapReduce
- Design Patterns
- MapReduce History
- MapReduce and Hadoop Refresher
- Hadoop Example: Word Count
- Pig and Hive
- 2. Summarization Patterns
- Numerical Summarizations
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Numerical Summarization Examples
- Minimum, maximum, and count example
- MinMaxCountTuple code
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Minimum, maximum, and count example
- Average example
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Numerical Summarizations
- Median and standard deviation
- Mapper code
- Reducer code
- Combiner optimization
- Memory-conscious median and standard deviation
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Inverted Index Summarizations
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Performance analysis
- Pattern Description
- Inverted Index Example
- Wikipedia reference inverted index
- Mapper code
- Reducer code
- Combiner optimization
- Wikipedia reference inverted index
- Counting with Counters
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Performance analysis
- Pattern Description
- Counting with Counters Example
- Number of users per state
- Mapper code
- Driver code
- Number of users per state
- 3. Filtering Patterns
- Filtering
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Filtering Examples
- Distributed grep
- Mapper code
- Distributed grep
- Simple Random Sampling
- Mapper Code
- Filtering
- Bloom Filtering
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Bloom Filtering Examples
- Hot list
- Bloom filter training
- Mapper code
- Hot list
- HBase Query using a Bloom filter
- Mapper Code
- Top Ten
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Top Ten Examples
- Top ten users by reputation
- Mapper code
- Reducer code
- Top ten users by reputation
- Distinct
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Distinct Examples
- Distinct user IDs
- Mapper code
- Reducer code
- Combiner optimization
- Distinct user IDs
- 4. Data Organization Patterns
- Structured to Hierarchical
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Structured to Hierarchical Examples
- Post/comment building on StackOverflow
- Driver code
- Mapper code
- Reducer code
- Post/comment building on StackOverflow
- Question/answer building on StackOverflow
- Mapper code
- Reducer code
- Structured to Hierarchical
- Partitioning
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Partitioning Examples
- Partitioning users by last access date
- Driver code
- Mapper code
- Partitioner code
- Reducer code
- Partitioning users by last access date
- Binning
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Binning Examples
- Binning by Hadoop-related tags
- Driver code
- Mapper code
- Binning by Hadoop-related tags
- Total Order Sorting
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Total Order Sorting Examples
- Sort users by last visit
- Driver code
- Analyze mapper code
- Order mapper code
- Order reducer code
- Sort users by last visit
- Shuffling
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Shuffle Examples
- Anonymizing StackOverflow comments
- Mapper code
- Reducer code
- Anonymizing StackOverflow comments
- 5. Join Patterns
- A Refresher on Joins
- Reduce Side Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Reduce Side Join Example
- User and comment join
- Driver code
- User mapper code
- Comment mapper code
- Reducer code
- Combiner optimization
- User and comment join
- Reduce Side Join with Bloom Filter
- Reputable user and comment join
- User mapper code
- Comment mapper code
- Reputable user and comment join
- Replicated Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Replicated Join Examples
- Replicated user comment example
- Mapper code
- Replicated user comment example
- Composite Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Performance analysis
- Pattern Description
- Composite Join Examples
- Composite user comment join
- Driver code
- Mapper code
- Reducer and combiner
- Composite user comment join
- Cartesian Product
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance Analysis
- Pattern Description
- Cartesian Product Examples
- Comment Comparison
- Input format code
- Driver code
- Record reader code
- Mapper code
- Comment Comparison
- 6. Metapatterns
- Job Chaining
- With the Driver
- Job Chaining Examples
- Basic job chaining
- Job one mapper
- Job one reducer
- Job two mapper
- Driver code
- Basic job chaining
- Parallel job chaining
- Mapper code
- Reducer code
- Driver code
- Job Chaining
- With Shell Scripting
- Bash example
- Bash script
- Sample run
- Bash example
- With JobControl
- Job control example
- Main method
- Helper methods
- Job control example
- Chain Folding
- The ChainMapper and ChainReducer Approach
- Chain Folding Example
- Bin users by reputation
- Parsing mapper code
- Replicated join mapper code
- Reducer code
- Binning mapper code
- Driver code
- Bin users by reputation
- Job Merging
- Job Merging Examples
- Anonymous comments and distinct users
- TaggedText WritableComparable
- Merged mapper code
- Merged reducer code
- Driver code
- Anonymous comments and distinct users
- Job Merging Examples
- 7. Input and Output Patterns
- Customizing Input and Output in Hadoop
- InputFormat
- RecordReader
- OutputFormat
- RecordWriter
- Customizing Input and Output in Hadoop
- Generating Data
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Generating Data Examples
- Generating random StackOverflow comments
- Driver code
- InputSplit code
- InputFormat code
- RecordReader code
- Generating random StackOverflow comments
- External Source Output
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Performance analysis
- Pattern Description
- External Source Output Example
- Writing to Redis instances
- OutputFormat code
- RecordWriter code
- Mapper Code
- Driver Code
- Writing to Redis instances
- External Source Input
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Performance analysis
- Pattern Description
- External Source Input Example
- Reading from Redis Instances
- InputSplit code
- InputFormat code
- RecordReader code
- Driver code
- Reading from Redis Instances
- Partition Pruning
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Partition Pruning Examples
- Partitioning by last access date to Redis instances
- Custom WritableComparable code
- OutputFormat code
- RecordWriter code
- Mapper code
- Driver code
- Partitioning by last access date to Redis instances
- Querying for user reputation by last access date
- InputSplit code
- InputFormat code
- RecordReader code
- Driver code
- 8. Final Thoughts and the Future of Design Patterns
- Trends in the Nature of Data
- Images, Audio, and Video
- Streaming Data
- Trends in the Nature of Data
- The Effects of YARN
- Patterns as a Library or Component
- How You Can Help
- A. Bloom Filters
- Overview
- Use Cases
- Representing a Data Set
- Reduce Queries to External Database
- Google BigTable
- Downsides
- Tweaking Your Bloom Filter
- Index
- About the Authors
- Colophon
- Copyright
O'Reilly Media - inne książki
-
JavaScript gives web developers great power to create rich interactive browser experiences, and much of that power is provided by the browser itself. Modern web APIs enable web-based applications to come to life like never before, supporting actions that once required browser plug-ins. Some are s...(186.15 zł najniższa cena z 30 dni)
186.15 zł
219.00 zł(-15%) -
How will software development and operations have to change to meet the sustainability and green needs of the planet? And what does that imply for development organizations? In this eye-opening book, sustainable software advocates Anne Currie, Sarah Hsu, and Sara Bergman provide a unique overview...(160.65 zł najniższa cena z 30 dni)
177.65 zł
209.00 zł(-15%) -
OpenTelemetry is a revolution in observability data. Instead of running multiple uncoordinated pipelines, OpenTelemetry provides users with a single integrated stream of data, providing multiple sources of high-quality telemetry data: tracing, metrics, logs, RUM, eBPF, and more. This practical gu...(143.65 zł najniższa cena z 30 dni)
152.15 zł
179.00 zł(-15%) -
Interested in developing embedded systems? Since they don't tolerate inefficiency, these systems require a disciplined approach to programming. This easy-to-read guide helps you cultivate good development practices based on classic software design patterns and new patterns unique to embedded prog...(152.15 zł najniższa cena z 30 dni)
160.65 zł
189.00 zł(-15%) -
If you use Linux in your day-to-day work, then Linux Pocket Guide is the perfect on-the-job reference. This thoroughly updated 20th anniversary edition explains more than 200 Linux commands, including new commands for file handling, package management, version control, file format conversions, an...(92.65 zł najniższa cena z 30 dni)
101.15 zł
119.00 zł(-15%) -
Gain the valuable skills and techniques you need to accelerate the delivery of machine learning solutions. With this practical guide, data scientists, ML engineers, and their leaders will learn how to bridge the gap between data science and Lean product delivery in a practical and simple way. Dav...(245.65 zł najniższa cena z 30 dni)
245.65 zł
289.00 zł(-15%) -
This practical book provides a detailed explanation of the zero trust security model. Zero trust is a security paradigm shift that eliminates the concept of traditional perimeter-based security and requires you to "always assume breach" and "never trust but always verify." The updated edition off...(203.15 zł najniższa cena z 30 dni)
211.65 zł
249.00 zł(-15%) -
Decentralized finance (DeFi) is a rapidly growing field in fintech, having grown from $700 million to $100 billion over the past three years alone. But the lack of reliable information makes this area both risky and murky. In this practical book, experienced securities attorney Alexandra Damsker ...(203.15 zł najniższa cena z 30 dni)
211.65 zł
249.00 zł(-15%) -
Whether you're a startup founder trying to disrupt an industry or an entrepreneur trying to provoke change from within, your biggest challenge is creating a product people actually want. Lean Analytics steers you in the right direction.This book shows you how to validate your initial idea, find t...(126.65 zł najniższa cena z 30 dni)
126.65 zł
149.00 zł(-15%) -
When it comes to building user interfaces on the web, React enables web developers to unlock a new world of possibilities. This practical book helps you take a deep dive into fundamental concepts of this JavaScript library, including JSX syntax and advanced patterns, the virtual DOM, React reconc...(194.65 zł najniższa cena z 30 dni)
211.65 zł
249.00 zł(-15%)
Dzieki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.
Książka, którą chcesz zamówić pochodzi z końcówki nakładu. Oznacza to, że mogą się pojawić drobne defekty (otarcia, rysy, zagięcia).
Co powinieneś wiedzieć o usłudze "Końcówka nakładu":
- usługa obejmuje tylko książki oznaczone tagiem "Końcówka nakładu";
- wady o których mowa powyżej nie podlegają reklamacji;
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.
Książka drukowana
Oceny i opinie klientów: MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems Donald Miner, Adam Shook (0) Weryfikacja opinii następuję na podstawie historii zamówień na koncie Użytkownika umieszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniające do uzyskania rabatu w ramach Programu Punktowego.