2 - Arquitecturas Distribuidas

Prof.
Daniel Wladdimiro
Sistemas Distribuidos
Arquitecturas Distribuidas
Prof. Daniel Wladdimiro

daniel.wladdimiro@usach.cl
Basadas en las diapositivas del Dr. Nicolás Hidalgo
SISTEMAS DISTRIBUIDOS
Tipos de sistemas distribuidos

• Tipo -> cual es la finalidad del sistema
• Tipo != Arquitectura, no confundir!
• Arquitectura, organización de los componentes
• 3 tipos de SD:
– Computación distribuida
– Información distribuida
– Sistemas distribuidos embebidos
SISTEMAS DISTRIBUIDOS 2

1. Computación Distribuida:
– Orientada a la computación de alto rendimiento
– Clusters: nodos homogéneos conectados en una red rápida
– Grid: nodos heterogéneos conectados a una red compartida
bajo varias administraciones
– Peer-to-Peer: nodos heterogéneos conectados a una red
compartida completamente abierta

• Cluster
– Se volvieron populares cuando el precio/rendimiento de
los PCs mejoró
– Económicamente mejor opción
– Hardware homogéneo
– Cluster vs Supercomputador
– Tradicionalmente utilizados para aplicaciones paralelas,
programa único corriendo en paralelo en varias máquinas
Cluster

• 128 cpu, beowulf NASA cluster

• Grid
– Muy heterogéneos: hw, OS, network, etc
– Colaboración de diferentes instituciones
– Organización virtual con recursos para compartir
– Computación y almacenamiento
– Otros recursos pueden ser compartidos, e.g. telescopios
Peer-to-Peer
• Comunicación directa
• Completamente descentralizado
• 3 tipos:
– estructurada
– no estructurada
– híbrida
Peer-to-Peer
• Ejecución de programas que no se pueden ejecutar de
manera centralizada
• Compartición de recursos de cálculo
• Descomposición de la aplicación en micro-tareas
– Seti@home (astronomia)
– genome@home (ADN)
– folding@home (proteinas)
SETI@Home
• Cálculo masivo y paralelo
• Radio astronomía
– SETI: Search for Extra-Terrestrial Intelligence
– Análisis de datos recolectados
– Explota los recursos no utilizados de los usuarios vía
Internet
SISTEMAS DISTRIBUIDOS
SETI@home
• 3.8M usuarios en 226 países
• 38 TeraFlops
• 1.7 Zetaflops (10^21) en los últimos años
• Heterogéneos
– 77 tipos de procesadores
Folding@home
• Cálculo masivo paralelo
• Plegamiento de proteínas
• Estudios de enfermedades
– Alzheimer, fibrosis quística, EBS (vaca loca), cáncer
– Orden de petaflops (10^15)
– PS3 pueden ser usadas

• 2. Sistemas de Información
– Middleware para su integración, no fue fácil
– Procesadores de transacciones
• Primitivas especiales
• Atómicas, consistentes, aisladas, durables (ACID)
– Enterprise applications
• Componentes o servicios (SOA)

3. Sistemas embebidos o pervasivos
• Nueva componente, la movilidad
• Sin control centralizado
• Características especiales: procesador, batería, etc.
– Home systems
– Salud y cuidado
– Smartcities
Home systems
Salud y cuidado
Smartcities
Smartcities
• Smart Parking
• Structural Health
• Noise Maps
• Electronic Fields
• Traffic congestión
• Smart Lighting
• Waste management
• Smart roads
Smartcities casos reales

• Detecting Radiation Levels in Fukushima: an example of
crowdsourcing
• Smart Agriculture project in Galicia to monitor vineyards
• Smart Water project in Valencia to monitor Water Cycle
Management
• Smart City project in Serbia for environmental
monitoring by Public Transportation
• Sistema distribuido: reparte sus componentes en
diferentes máquinas
• Aumento de complejidad en su manejo
• Buena organización para funcionar: arquitectura
Arquitecturas
• Centralizadas
• Descentralizadas
• Híbridas
• Pervasivas
1. Centralizadas
Arquitectura C/S
• Clientes: proceso que solicita un servicio
• Servidores: proceso que implementa un servicio en
específico
• Como?
– Paso de mensajes (interacción request-reply)
Arquitecturas C/S
Cliente / Servidor
• 3 Niveles
– Interfaz usuario
– Procesamiento
– Datos
• Ejemplo: Web Search Engine (WSE)
Cliente / Servidor
Cliente / Servidor
• Multiples opciones de distribución
– Cliente implementa programas a nivel interfaz usuario
– Servidor contiene el resto, procesamiento y datos
• Todo manejado por el servidor y cliente es “dump”
Cliente / Servidor
Cliente / Servidor
• Tendencia a mantener el procesamiento en el lado del
servidor
– Mucha responsabilidad en el cliente
– Manejo del cliente es más difícil
• Mas sensible a errores
• Fat clients no son la opción ideal
• Thin clients es mejor
Prof. Daniel
Prof.Wladdimiro
Nicolas Hidalgo
Cliente / Servidor
• Thin clients
– Similar a un network computer, pero TODOS los
procesos se ejecutan en el servidor
– Ejemplos: X11, VNC, Citrix
TALLERSISTEMAS DISTRIBUIDOS
DE SISTEMAS DISTRIBUIDOS 34
Cliente / Servidor
• Arquitectura de 3 capas
– Servidor puede actuar como un cliente
– los programas del nivel de procesamiento residen en
diferentes máquinas
– e.g. Web sites
Cliente / Servidor
Cliente / Servidor
Cliente / Servidor
Cliente / Servidor
Cliente / Servidor
2. Decentralizadas
Peer-to-Peer Networks
Peer-to-Peer (P2P)
• Definición [Schollmeier 01]
Una arquitectura de red distribuida puede ser llamada P2P si los
participantes comparten una parte de sus recursos. Ellos son
accesibles por otros pares directamente, sin pasar por entidades
intermediarias
• Colaboración y compartición de recursos a gran
escala
• Potencial de tener millones de nodos
• Participantes son simétricos
C/S vs P2P
Propiedades
• Características principales:
• Altamente escalables
• 100% descentralizado, no hay cuellos de botella
• Auto-organizados, participantes autónomos
• Conocimiento local
• Tolerancia a fallos (no hay un punto único de falla)
• Conexión y participantes no confiables
Que es un Overlay?
• Es una red de computadores construida sobre otra
red
Tipos de Overlays
• Estructuradas
• No Estructuradas
• Híbridas o SuperPeers
2.1 Redes Estructuradas
Redes estructuradas
• Construidas con proceso deterministico
• Tienen estructura bien definida
• Se utilizan tablas de hash distribuidas para su
generación
• Capaces de escalar a los cientos de millones de
participantes
• Proveen de búsquedas completas
Por qué pueden escalar?
Distributed Hash Table
Redes estructuradas
• Búsqueda eficiente y escalable (log N)
• Mapeo a espacio lógico por medio de hash tipo sha-1 o
md5
• Ruteos diferentes dependiendo de la geometría del
overlay
– Tree
– Hypercube
– Butterfly
– Plaxon trees
Problemas?
• Alta latencia en búsqueda, por qué?
• Poca seguridad, por qué?
• Solo búsquedas puntuales o exactas, por qué?
Chord
• Organización del tipo anillo -> 0 … 2m
– Cada peer posee un identificador generado con un SHA-1
(consistent Hash)
– Node id: SHA (IP Address+puerto)
– Recurso id (key): SHA(recurso)
• Auto-organizado
• Mantenimiento caro, (log N)2
• Ruteo de mensajes del tipo árbol
Chord
• Asignación de recursos -> Sucesor de la key
• Asignación en sentido del reloj (uni-direccional)
• Peer Entra (Join):
– Se hace responsable de un grupo de recursos (sucesor)
– Recibe recursos
• Peer deja la red (leave):
– Entrega recursos al nuevo sucesor
Chord
• Join/leave crean inconsistencias en tablas
• Reparación es costosa, protocolo de estabilización
• Como se detectan las caídas?
– Heart beats messages
• Guarda replicas en S sucesores
Join
• Rutea su identificador
• Contacta al sucesor de su identificador
• Consistencia de tablas
– Sucesor entrega información de su antecesor
– Sucesor agrega a nuevo peer como antecesor
• Distribuye los recursos de los cuales es responsable el
nuevo peer
Búsqueda
• Cada peer conoce su sucesor en el anillo
• Modelo simple de búsqueda
– seguir links a sucesores
• Eficiente?
• Cual es la complejidad?
Búsqueda
• Que podemos hacer para mejorarla?
– Agregar información
– Fingertable
• Fingertable: tabla que contiene información acerca de
log m peer en la red
• Que permite?
– Saltar peers y acercarse más rápido al peer responsable
Búsqueda
• Objetivo encontrar el sucesor de la clave en cuestión
• Métrica?
– Cercanía entre identificadores
Pastry
• Organizado en anillo
• Topología ruteo Plaxon-Tree
• Ruteo basado en prefijo
• Identificador de 128 bits generado con hash SHA-1
• Espacio 0 - 2128
• Ruteo Log(N) saltos al destino -> Escalable?
Tabla de Pastry
• Leafset
• Routing Table
• Neighbours set
Pastry Leafset
• Pastry guarda L peers llamados leafsets nodes
• Para un peer X, su leafset esta compuesto por los
—L/2 y L/2 peers en el anillo
• Para que?
– Balance de carga
– Tolerancia a fallos
– Replicas
– Multi-path search
Tabla de Ruteo
• Organizada por prefijo
• Fila i contiene aquellos ids de peer que comparten un
prefijo de tamaño i
• Ruteo por prefijo asegura acercarse sucesivamente a
la clave buscada
• Más prefijos en común, más cerca del destino
Tabla Vecinos
• Peer cercanos en términos de latencia
• Útiles para generar búsquedas diversas en caminos
• Como se genera?
– Ping para estimar latencia o simplemente IP
Busqueda Pastry
2.2 Redes No Estructuradas
No estructuradas
• Redes no estructuradas
• Estructura aleatoria
• Conocimiento local
• Métodos de búsqueda basado en inundación de
mensajes o Flooding
• Gran autonomía
• Nadie a quien demandar!!
Topología
Como localizo un participante?

• Participante es llamado Bootstrap node
• Como lo localizo?
– Listas pre-existentes
– Bootstrap cache
• Problema?
– Limitar conexiones para balancear la carga (versión 0.4
Gnutella 5 conexiones)
Búsquedas
• Incompletas
• Poco eficientes, muchos mensajes!
• Comparación de string, gran expresividad!
• Completamente descentralizada
• Efectivo en contenido popular
• Difícil encontrar contenido no popular
• Búsqueda no garantiza encontrar resultado
Recursos
• Se almacenan en peers aleatorios
• Recursos pueden quedar lejos de los peers
– max TTL=7 en Gnutella 0.4
• Búsquedas más profundas! más mensajes!
• Caching: Problema de investigación
– Donde localizarlo?
Tipos de Búsquedas
• Flooding o inundación de mensajes
– Mensaje enviado a todos los participantes conocidos
– Poco eficiente
– Calidad resultados vs # mensajes
– Problemas de escalabilidad, por que?
– Poco realista, red de millones de usuarios
– Existen otras alternativas? Si!
Breath First Search (BFS)

• Flooding controlado
• Sistema de control basado en TTL o routing hops
• Se hace “forward" del la consulta si no hay resultados
• El proceso se repite TTL veces
• Mensajes duplicados, gran overhead!
Iterative Deeping
• Multiple y secuenciales BFS
• Expanding Ring
• Comienza con búsquedas poco profundas
• De no encontrar el recurso itera y prueba mayor
profundidad
• Se puede optimizar:
– Nodos en el camino de profundidad p1 almacenan por un tiempo
en cache la pregunta
– Si no encuentra , se reenvía a profundidad p2-p1
– Guardar por un tiempo la consulta evita mensajes repetidos
Directed BFS
• Se elige un subconjunto de los vecinos y se envía el
mensaje
• Trata de adivinar que vecino es más probable que
responda
– Random
– Resultados con menos saltos
– Más mensajes recibidos
– Más vecinos
– Menor latencia, etc.
Local Indexes
• “Radius of Knowledge”
• Qué archivos tienen mis vecinos y los vecinos de mis
vecinos
• Todos los nodos conocen el radio
• Problemas de memoria para mantener las listas
• Construir la lista, extra overhead!
Random Walks
• Diferente a BFS
– mensajes enviado a un vecino aleatorio
• Si se pilla el recurso retorna un hit, sino el proceso se
repite hasta TTL max
• Donde ir se evalúa de manera random en cada paso
• Ciego y sin memoria
Random Walks
• Basado en que la información es abundante y
uniforme
• Random walk básico utiliza un walker
• Ventaja disminuye el número de mensajes
• Aumenta latencia, esperar respuestas
K-Random Walk
• Multiples random walks paralelos
• Disminuye latencia
• Variantes
– Adaptative Probabilistic Search (APS)
– Id-based, envía solo al que no ha ruteado la consulta
– Two-Level Random Walk, K1 random walkers por un TTL
T1, luego K2 random walkers por TTL T2
Como terminan los walkers?

• TTL?
– Difícil setear el parametro TTL
– Red dinámica no ayuda
• Chequeo?
– Se chequea con el nodo que consulta frecuentemente
– Normalmente cada 4 saltos
2.3 Super Peers
Super-Peers
• Encontrar información en una red no estructurada es
problemático
• No hay proceso determinístico para encontrar un
recurso en específico
• Solución?
– Indice
• Donde?
Super-Peers
• Ya no tenemos la simetría de los otros overlays
• Super peers son peer con mayores capacidades o roles
especiales
– Procesamiento
– Ancho de banda
– Estabilidad
• Organización Jerárquica
Super-Peers
• Peers regulares conectados a Super peer (SP)
• Toda la comunicación va a través del súper peer
• Relación estable con súper peer
• SP larga sesión
• SP alta disponibilidad
• Inestabilidades?
Super-Peers
• Es beneficioso conectarse al mismo SP?
– No siempre, e.g. FileSharing
– Estrategias para asignación dinámica a SP
• Que nodos son candidatos a SP?
• Como los Elegimos?
– Algoritmos de elección
Skype
3. Híbridas
Edge Server Systems

• Soluciones en los bordes (edges) de la red
• End Users se conectan a edge servers
• Permite optimizar la entrega de contenido
• Se aplican técnicas similares a todo sistema distribuido
– Réplicas en otros edge servers
– e.g Web Pages
Edge Server Systems
Nanodatacenters
– Set Top Boxes (STBs)
– Controlados por ISP
– Muchos disponibles (160 M on US)
– Gran cantidad de recursos
– Peers estables y seguros
TLC: Two-level Caching

• Caching service (CS) usando una red P2P
• Virtualización en STB’s
• Política de admisión LRU
• Result cache (Rcache)
– Global cache
– Local cache
• 2 levels
– Short term: Location cache
– Mid-term: Replicación
Por que usar TLC?

• ISP:
– Menor tráfico hacia el backbone (SLA violations)
– Uso recursos disponibles
• Buscador:
– Reduce número de consultas y mejora escalabilidad
• Usuario:
– QoS (Latencia, calidad respuestas)
– Gasto energético extra! -> Incentivos ISP
4. Pervasivas
MANETS
• Mobile Adhoc Networks
• Redes móviles punto a punto
• Auto-organizada
• Sin topología definida: movilidad!
• Conexión a través de WIFI, 3G o Bluetooth
• Redes locales, limitadas al alcance del medio de
comunicación
Escenarios MANET
• Militar
• Vehículos (VANETS)
• Emergencias: Rescates
Escenarios MANET
Delay Tolerant Netwoks

• Redes tolerantes a disrupciones o delay
• Utilizan el principio de Store&forward
• Paso de mensajes por medio de protocolos
oportunistas
• e.g. Epidemic, Prophet, MaxProp, Spray and Wait

Escenarios DTN
• Alta latencia/ baja tasa de datos
• Desconexiones intermitentes
• Bajo consumo de energía
• Cuando?
– Desastres naturales
– Comunicaciones espaciales

Wireless Sensor Networks

• Redes de sensores
• Humedad, temperatura, viento, velocidad, etc…
• Bajo consumo de energía
• Procesamiento limitado

Problemas?
• Protocolos de comunicación simples
• Manejo de particiones
• Procesamiento limitado
• Energía
• Consultas puntuales?


Escenarios WSN
• Los anteriormente presentados:
– Monitoreo en general para toma de decisiones

Fin

2 - Arquitecturas Distribuidas

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

2 - Arquitecturas Distribuidas

Загружено:

Авторское право:

Доступные форматы

Prof.

Prof. Daniel Wladdimiro

Basadas en las diapositivas del Dr. Nicolás Hidalgo

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Tipos de sistemas distribuidos

Smartcities casos reales

2.1 Redes Estructuradas

Por qué pueden escalar?

Distributed Hash Table

2.2 Redes No Estructuradas

Como localizo un participante?

Breath First Search (BFS)

Como terminan los walkers?

2.3 Super Peers

Edge Server Systems

Edge Server Systems

TLC: Two-level Caching

Por que usar TLC?

Delay Tolerant Netwoks

SISTEMAS DISTRIBUIDOS 100

SISTEMAS DISTRIBUIDOS 101

Wireless Sensor Networks

SISTEMAS DISTRIBUIDOS 102

SISTEMAS DISTRIBUIDOS 103

SISTEMAS DISTRIBUIDOS 104

SISTEMAS DISTRIBUIDOS 105

SISTEMAS DISTRIBUIDOS 106

Вам также может понравиться