Este curso se centra en la integración y gestión de datos en arquitecturas orientadas a servicios en la nube. Por lo tanto, el curso introducirá brevemente conceptos fundamentales del cloud computing y se ocupará de los datos y la gestión de los servicios en la nube utilizando ejemplos prácticos basados en ambientes existentes en la nube y modelos de ejecución, como (i) ETL y herramientas para la federación de datos, (ii) Map-reduce y su aplicación Hadoop, el más destacado ecosistema de código abierto de herramientas para trabajar con nuevas e interesantes conjuntos de datos a gran escala y, (iii) Bases de datos "NoSQL".
- Comprender el área emergente de "cloud computing" y cómo se relaciona con los modelos tradicionales de la informática
- Ganar competencias en
- ETL para recoger grandes colecciones de datos
- MapReduce como un modelo de programación para el procesamiento distribuido de datos
- Manejo de Bases de datos NoSQL
- Para tener una experiencia en la construcción, el acceso y uso de servicios en la nube mediante la adopción de un enfoque orientado al servicio.
1. Data, Services and Cloud Computing
1.1 Introduction on massive data, services and Cloud
1.2 Get a first touch in developing and deploying a service for extracting and loading big collections of data in a SQL Server on the Cloud
2. Data Modelling and processing
2.1 Big data models
2.2 Map-reduce programming model and the Hadoop framework
3. Data distribution
3.1 Replication and sharding
3.2 Management issues
4. Choosing the right data store
4.1 Polyglot Persistence
4.2 NoSQL databases observation: main actors, application types
5. Data service oriented computing
5.1 Building data services for cloud
5.2 Academic and industrial perspectives
El objetivo del mini-proyecto es poner a prueba sus habilidades para desarrollar una aplicación en la nube basada en servicios. Confiamos en su capacidad para imaginar una aplicación inicial. La solicitud debe ser simple, pero debe tener las siguientes características:
- Hacer frente a la construcción de una base de datos políglota, con un proceso de ETL que pueda llenarla mediante la interacción con los servicios de datos existentes (por ejemplo, Facebook, Twitter, Deezer)
- Implementar la base de datos políglota en una o varias nubes
- Servicios que pueden dar acceso a la misma para la manipulación y consulta de los datos de exportación.
- Desarrollar un servicio que puede analizar los datos mediante un programa de Hadoop.
- Desarrollar una aplicación que utiliza los servicios.
- Implementar la aplicación en una nube
El trabajo se realizará por grupos de 3 ó 4 personas que deben estar seguros de ser capaces de hacer frente a la gestión de datos y la teoría de las cuestiones técnicas (por ejemplo, ETL, almacenamiento, acceso concurrente, consulta, análisis). Cada grupo va a demostrar el mini proyecto durante 1/2 hora, incluyendo preguntas durante el período de exámenes. Cada grupo hará entrega de un informe de un máximo de 10 páginas y el código de la aplicación.
Durante la presentación el grupo hará lo siguiente:
- Describir el mini-proyecto en concreto, el objetivo y las funciones principales.
- Describir la base de datos políglota implementado la caracterización de los datos utilizando UML, justificando la elección de los modelos utilizados para el almacenamiento de los datos y el proceso ETL utilizado para su alimentación.
- Explicar que se llevaron a cabo los servicios de acceso a la base de datos políglota y mostrar que se despliegan en una nube.
- Describir y demostrar el servicio hadoop que analiza la base de datos.
- Describir la arquitectura de la aplicación de base de datos global implementado en la nube.
- Demostrar la aplicación: preparar un kit de prueba e insistir en los puntos fuertes de su aplicación.