Análisis de Big Data: Hive, Spark SQL, DataFrames y GraphFrames

Descripción

Sin duda, trabajar con grandes volúmenes de datos es difícil, pero para mover una montaña, debes lidiar con muchas piedras pequeñas. Pero, ¿por qué esforzarse? Usando Mapreduce y Spark abordas el problema parcialmente, dejando espacio para herramientas de alto nivel. Deje de luchar para que su flujo de trabajo de Big Data sea productivo y eficiente, utilice las herramientas que le ofrecemos.

Este curso te enseñará cómo:
- Almacene sus datos de manera eficiente utilizando Hive, Spark SQL y Spark DataFframes.
- Trabajar con gráficos grandes, como gráficos sociales o redes.
- Optimice sus aplicaciones Spark para obtener el máximo rendimiento.

Precisamente, dominarás tus conocimientos en:
- Escribir y ejecutar consultas SQL de Hive & Spark;
- Razonar cómo las consultas se traducen en primitivas de ejecución reales (ya sean trabajos MapReduce o transformaciones Spark);
- Organizar sus datos en Hive para optimizar el uso del espacio en disco y los tiempos de ejecución;
- Construir Spark DataFrames y usarlos para escribir trabajos analíticos ad-hoc fácilmente;
- Procesamiento de gráficos grandes con Spark GraphFrames;
- Depuración, creación de perfiles y optimización del rendimiento de la aplicación Spark.

¿Aún tienes dudas? Mira esto. ¡Conviértete en un ninja de datos tomando este curso!

Agradecimientos especiales a:
- Prof. Mikhail Roytberg, departamento de APT, MIPT, quien fue el revisor inicial del proyecto, el supervisor y mentor de la mitad del equipo de BigData. Él fue quien ayudó a que este espectáculo se pusiera en marcha.
- Oleg Sukhoroslov (PhD, Investigador senior en IITP RAS), quien ha estado enseñando MapReduce, Hadoop y amigos desde 2008. Ahora lidera el equipo de infraestructura.
- Oleg Ivchenko (estudiante de doctorado departamento APT, MIPT), Pavel Akhtyamov (estudiante de maestría en departamento APT, MIPT) y Vladimir Kuznetsov (asistente en la Universidad Estatal PG Demidov Yaroslavl), supercerebros que han desarrollado y ahora mantienen la infraestructura utilizada para asignaciones prácticas en este curso.
- Asya Roitberg, Eugene Baulin, Marina Sudarikova. Estas personas nunca duermen para cuidar a los niños de este curso día y noche, para que su experiencia de aprendizaje sea productiva, fluida y emocionante.