Resource, data and application management for cloud federations and multi-clouds

Abstract

Distributed Real-Time Media Processing refers to classes of highly distributed, delay no-tolerant applications that account for the majority of the data traffic generated in the world today. Real-Time audio/video conferencing and live content streaming are of particular research interests as technology forecasts predict video traffic surpassing every other type of data traffic in the world in the near future. These applications are very sensitive to both communication properties such as latency, jitter, packet loss, bit rate as well as backend stream processing load profiles. In this work we provide a novel and generalized large-scale Multi-Cloud architectural blueprint for ISP and Carrier providers, that permits smart geo-distributed service placement in order to optimize latency/locality of stream processing applications. We provide as a well self-managed Intra-Cloud federation algorithm based on gradient topologies in order to optimize routes in a live media streaming backend. Additionally we introduce a novel distributed Network Bandwidth Manager that optimizes system stability by arbitrating network bandwidth between multiple Cloud services sharing the same network infrastructure. At last, an empirical study is provided connecting media quality parameters and Cloud backend load profiles, including an algorithm for stream allocation on Cloud Selective Forwarding units.

El procesamiento de medios en tiempo real distribuido se refiere a clases de aplicaciones altamente distribuidas, no tolerantes al retardo, que representan la mayoría del tráfico de datos generado en el mundo actual. Las conferencias de audio y video en tiempo real y la transmisión de contenido en vivo tienen especial interés en investigación, ya que la prospectiva tecnológica estima que el tráfico de video supere a cualquier otro tipo de tráfico de datos en el futuro cercano. La transmisión en vivo se refiere a aplicaciones en las que flujos de audio/vídeo de una fuente se han de entregar a un conjunto de destinos en lugares geográficos diferentes mientras se mantiene baja la latencia de entrega del flujo (como por ejemplo la cobertura de eventos en vivo). Las plataformas de conferencia en tiempo real son plataformas de aplicación que implementan comunicaciones de audio/video en tiempo real entre muchos participantes. Ambas categorías presentan una alta sensibilidad tanto al estado de la red (latencia, jitter, pérdida de paquetes, velocidad de bits) como a los perfiles de carga de la infraestructura de procesamiento de flujo (latencia y jitter introducidos durante el procesamiento en la nube de paquetes de datos multimedia). Esta tesis trata de mejorar el procesamiento de datos multimedia en tiempo real tanto en los parámetros de nivel de red como en las optimizaciones en la nube.