HDP Developer: Apache Spark Using Python (Hadoop) Eğitimi

Ön Kayıt ve Fiyat Bilgi Formu




Eğitim Tipi ve Süresi

4.0 Days ILT     3.0 Days ILT    
Eğitim Sağlayıcı ve Kategori

Hortonworks  » I’m a Developer Eğitimler
Big Data  » I’m a Developer Eğitimler
Hortonworks  » Popular Courses Eğitimler

Eğitime Genel Bakış

Bu eğitimde, big data ve hadoop platformu üzerinde spark teknolojileri kullanılarak uygulama geliştirmeyi öğreneceksiniz. Başlıca konularımız Hadoop, YARN, HDFS, using Spark for interactive data exploration, building and deploying Spark applications, optimization of applications, creating Spark pipelines with multiple libraries, working with different filetypes, building data frames, exploring the Spark SQL API, using Spark Streaming and an introduction to Spark MLlib. Dünyadaki en yeni nesil spark eğitimlerinden birtanesidir.

Tüm verileriniz üzerinde batch, streaming ve interaktif analizlerle eksiksiz birleştirilmiş big data uygulamaları yaratma.

Apache Spark, MapReduce’ün yeni nesil takipçisidir. Spark, Hadoop cluster’ındaki veriler için, hız, kullanım kolaylığı ve çok yönlü analizler için optimize edilmiş  güçlü, açık kaynak bir işlemleme (processing) motorudur.  Spark framework’ü streaming (akıtılan/duraksız) veri işleme ve karmaşık, yinelemeli algoritmaları destekler ve uygulamaların klasik Hadoop MapReduce programlarına göre 100x daha hızlı çalışmasını sağlar.

Bu eğitimde tüm veriler üzerinde batch, streaming ve analizleri birleştiren eksiksiz, birleştirilmiş big data uygulamaları oluşturacaksınız. Daha hızlı ve daha iyi kararlar ve gerçek zamanlı hareketler için çeşitli kullanım durumlarına, mimarilerine ve endüstrilerine uygulanan karmaşık paralel uygulamalar yazmak için Spark’ın nasıl kullanılacağını öğreneceksiniz. Bu ders, geliştirici eğitim rotasının bir parçasıdır.

Ön Koşullar

Hadoop essentials eğitiminin alınmış olması  ve - veya SQL bilinmesi avantajlı olacaktır.

Eğitim Hedefleri 

➩ Describe Hadoop, HDFS, YARN, and uses cases for Hadoop
➩ Describe Spark and Spark specific use cases
➩ Understand the HDFS architecture
➩ Use the HDFS commands to insert and retrieve data
➩ Explain the differences between Spark and MapReduce
➩ Explore data interactively through the spark shell utility
➩ Explain the RDD concept
➩ Understand concepts of functional programming
➩ Use the Python or Scala Spark APIs
➩ Create all types of RDDs: Pair, Double, and Generic
➩ Use RDD type-specific functions
➩ Explain interaction of components of a Spark Application
➩ Explain the creation of the DAG schedule
➩ Build and package Spark applications
➩ Use application configuration items
➩ Deploy applications to the cluster using YARN
➩ Use data caching to increase performance of applications
➩ Implement advanced features of spark
➩ Learn general application optimization guidelines/tips
➩ Create applications using the Spark SQL library
➩ Create/transform data using dataframes
➩ Read, use, and save to different Hadoop file formats
➩ Understand the concepts of Spark Streaming
➩ Create a streaming application
➩ Use Spark MLlib to gain insights from data

Labs

➩ Create a Spark “Hello World” word count application
➩ Use HDFS commands to add and remove files and folders
➩ Use advanced RDD programming to perform sort, join, pattern matching and regex tasks
➩ Explore partitioning and the Spark UI
➩ Increase performance using data caching
➩ Checkpoint iterative applications
➩ Build/package a Spark application using Maven
➩ Use a broadcast variable to efficiently join a small dataset to a massive dataset
➩ Use an accumulator for reporting data quality issues
➩ Create a data frame and perform analysis
➩ Load/transform/store data using Spark with Hive tables
➩ Create a point-in-time spark stream application
➩ Create a spark stream application using window functions
➩ Create a Spark MLlib application using K-Means

 



Eğitim içeriğini PDF olarak indir

Diğer Hortonworks, Big Data Eğitimleri