REAL PARA EL SOPORTE DE SERVICIOS DE EXPLOTACIN FERROVIARIA Fco. J avier Snchez Bolumar J aime Lloret Mauri J uan Ramn Daz Santos J os Miguel J imenez Herranz Direccin de Formacin Departamento de ComunicacionesDepartamento de Comunicaciones Departamento de Comunicaciones Administrador de Infraestructuras Ferroviarias (ADIF) Universidad Politcnica de Valencia Universidad Politcnica de Valencia Universidad Politcnica de Valencia jsbolumar@adif.es jlloret@dcom.upv.es juadasan@dcom.upv.es jojiher@masters.upv.es
Abstract- Real-time networks on railway control systems, requires delivering high availability, quality and secures services over Ethernet/IP. To offer redundancy, dual fiber o copper ring topologies are deployed at the equipment edge, and real-time applications are assigned to separate VLANs, that are mapped to MPLS or VPLS VPNs across enterprise MAN/WAN networks. Railway companies, that need high speed restoration and high availability telecommunication services, have been faced with a dilemma: in one hand, the use of ring architectures on expensive MAN networks like SDH/SONET o RPR, especially on high speed railway lines, or, on the other hand, to apply low cost level 2/3 ring Ethernet solutions, commonly on conventional railway lines. Now, we must research for a third option with low cost and fast restoration Ethernet networking technology to support critical and non critical real-time railway control systems.
I. INTRODUCCIN Generalmente, las administraciones ferroviarias cuentan con una infraestructura de comunicaciones de voz y datos propia, basada normalmente en sistemas de transmisin SDH/PDH sobre cables de fibra ptica y de cobre tendidos a lo largo del recorrido. Esta infraestructura sirve de soporte tanto a los servicios informticos, como a los servicios especializados de explotacin y control de trfico ferroviario, aunque hasta el momento, los medios y tecnologas empleados en los dos casos han sido totalmente diferentes. Los servicios de explotacin ferroviaria, que hasta hace unos aos constituan islas de control del trfico y de los sistemas de seguridad, estn incorporando tecnologas de redes, con el fin de permitir ms fcilmente el crecimiento de las instalaciones y la gestin centralizada de stas. Dentro del fenmeno de convergencia hacia IP, se estn migrando las antiguas comunicaciones serie va mdem, hacia redes Ethernet conmutadas sobre par trenzado y fibra ptica, con protocolos TCP/IP. Dada la naturaleza crtica de los servicios de control, se emplean normalmente redes Ethernet con topologas fsicas en anillo (vase la figura 1), y Fig. 1. Topologa de doble anillo se habilitan mecanismos de tolerancia a fallos (Resilient Links [1], Fast Spanning Tree, HSRP o VRRP, protocolos de Enrutamiento con soporte de balanceo de carga o rutas redundantes y con rpida convergencia como EIGRP, etc.). As mismo, las redes de acceso se conectan a anillos y nodos regionales de diferentes niveles, para poder permitir la gestin centralizada de los sistemas. Aunque el transporte entre anillos regionales est basado en SDH/PDH, lo ms habitual es emplear por encima MPLS/VPLS en el ncleo de red para dar soporte a VPNs y calidad de servicio. Por lo tanto, de forma similar a lo que ocurre en una red informtica, tambin se puede hablar de dos entornos: redes de acceso Ethernet con conmutadores que se conectan entre s mediante fibra oscura o enlaces xDSL sobre cable de cobre, y por otra parte, el ncleo de red basado en MPLS/VPLS sobre SDH/PDH (en estos casos, el empleo de ATM sobre SDH, es cada vez menor). Los anillos nacionales y regionales SDH actuales en la pennsula Ibrica se pueden ver en la Figura 2. En la Figura 3 se puede observar la conexin de acceso a un anillo regional. El funcionamiento de estas redes se basa en asignar a cada aplicacin o trfico de tiempo real una VLAN independiente, establecer calidad de servicio mediante marcado de nivel 2 y 3, y relacionar cada VLAN con una VPN en la red troncal MPLS/VPLS.
Fig. 2. Anillos nacionales y regionales SDH
Fig. 3. Conexin de anillo de acceso al anillo regional
La introduccin de estas tecnologas en el mbito de los sistemas de control y de seguridad para la explotacin ferroviaria es muy reciente, y podemos decir que el Administrador de Infraestructuras Ferroviarias (anteriormente, conocido como Red Nacional de los Ferrocarriles Espaoles RENFE-) est siendo pionero en este sentido, resolviendo problemas funcionales, motivados por el cambio a este nuevo entorno de trabajo. Las mejoras a introducir deberan buscar tres objetivos principales: conseguir tiempos muy bajos de recuperacin ante fallos (se deben minimizar los existentes), suministrar la calidad de servicio totalmente garantizada para las aplicaciones crticas (incluso durante la ocurrencia del fallo), y seguridad integrada en la red, para evitar accesos no autorizados o interferencias en el funcionamiento de las aplicaciones. En este documento, nos centraremos solamente en los mecanismos de proteccin y recuperacin ante fallos. Las siguientes secciones estn estructuradas tal como se indica a continuacin. La seccin 2 muestra las diferentes soluciones actuales y los mecanismos de proteccin y recuperacin ante fallos que presentan. Las nuevas tendencias, se ven en la seccin 3. En la seccin 4, se hace una comparativa de todas las tecnologas, indicando las limitaciones y posibles mejoras a introducir. Las conclusiones muestran que las soluciones actuales son deficientes para el soporte de servicios de explotacin ferroviaria de tiempo real y abre nuevas vas de investigacin. II. PROTECCIN Y RECUPERACIN ANTE FALLOS Como ya se ha comentado anteriormente, es importantsimo minimizar la ocurrencia de fallos y el tiempo de recuperacin ante stos. Para ello, podemos recurrir a mtodos de nivel 1 basados en redundancia fsica (a nivel de componentes, equipos, chasis, subsistemas, etc.), mtodos de nivel 2 basados en topologas Ethernet, y por ltimo, mtodos de nivel 3 basados en enrutamiento. Las topologas de las redes tolerantes a fallos se han basado tpicamente en anillos dobles de fibra ptica y/o cobre, gracias a su gran capacidad, redundancia y fiabilidad. Sin duda alguna, el grado de proteccin que ofrecen estas topologas es significativamente superior al de topologas estrella, rbol o ramificadas, ms propias de redes informticas de propsito general. A continuacin vamos a ver las tecnologas principales que en la actualidad utilizan la topologa en anillo para servicios de explotacin ferroviaria, y cuales son sus limitaciones. Adems de la redundancia de elementos fsicos, se describirn los mecanismos de proteccin y recuperacin ante fallos habitualmente empleados y las carencias detectadas. El objetivo final de todas estas soluciones es soportar topologas con doble anillo de fibra o cobre, maximizando el ancho de banda aprovechado en el troncal, y ofreciendo tiempos de restauracin ante fallos por debajo de los 50 ms de SDH/SONET. A. Anillos SDH y SONET
Los anillos SDH/SONET aseguran, sin lugar a dudas, un alto grado de proteccin, pero el coste de los equipos es mucho mayor que para redes Ethernet, y adems requieren elevados anchos de banda. Por otra parte, al ser diseadas inicialmente para trfico de voz TDM, estas redes no estn optimizadas para trfico LAN, ya que el ancho de banda empleado es fijo, por lo que no se adapta a los requerimientos de las aplicaciones, y prcticamente la granularidad mxima que se obtiene es de un E1 o un T1, o en el mejor de los casos, un canal de 64 Kbits. Una alternativa para aprovechar los mecanismos de multiplexacin estadstica, puede ser montar ATM sobre SDH/SONET, pero se trata de una solucin de coste econmico elevado. Por otra parte, aunque se consiguen tiempos de restauracin de servicio inferiores a 50 ms, pagamos un alto precio, al dejar sin utilizar el 50% del ancho de banda, ya que una de las fibras debe estar libre para entrar en servicio cuando se produzca el fallo y suministrar el respaldo correspondiente. B. Mecanismos de recuperacin de nivel 2 en redes Ethernet nativas Las redes Ethernet nativas disponen de mecanismos muy limitados de recuperacin ante fallos. Veamos los ms significantes: - IEEE 801.d: El Spanning Tree Protocol (STP) tradicional, tiene un tiempo de recuperacin muy lento, que hace inviable su utilizacin en sistemas de tiempo real crticos. Tanto en la versin tradicional como en las mejoras posteriores, el enlace de reserva permanece inactivo. El tiempo de recuperacin puede estar del orden de 30 segundos, o incluso ms. Anillo de acceso Ethernet (vMAN) Anillo de Acceso Ethernet (vMAN) WAN Ncl eo de Red (VPLS Switched / MPLS IP Routed) Tneles MPLS/VPLS Servidores de Gestin Centrales Anillo de acceso Ethernet (vMAN) Anillo de acceso Ethernet (vMAN) Anillo de Acceso Ethernet (vMAN) Anillo de Acceso Ethernet (vMAN) WAN Ncl eo de Red (VPLS Switched / MPLS IP Routed) Tneles MPLS/VPLS Servidores de Gestin Centrales Arquitectura en anillo o en malla regional sobre sistemas de transmisin SDH
- IEEE 802.1w: Rapid Spanning Tree Protocol (RSTP). Permite recuperar la topologa de red en tiempos en torno a 1 segundo. La distribucin de trfico en los enlaces no permite balanceo de carga y requiere un sobredimensionado excesivo. Debido al tiempo de recuperacin, no se puede aplicar a trficos muy sensibles. - IEEE 802.3ad (Link Aggregation). Ofrece tiempos de recuperacin en torno a decenas de milisegundos, pero slo protege de cadas de enlace, y no de cadas de nodo.
Estas soluciones comenzaron a emplearse en la fase inicial de migracin de servicios de comunicaciones serie a conexiones por red, pero pronto se comprobaron sus carencias, por lo que es habitual utilizar por encima mecanismos de tolerancia a fallos de nivel 3, que veremos a continuacin. C. Mecanismos de recuperacin de nivel 3 en redes Ethernet basados en protocolos de enrutamiento y backup de puertas de enlace
Estos mecanismos de nivel 3 complementan a los nativos Ethernet vistos con anterioridad, y se basan en la utilizacin de protocolos y algoritmos de enrutamiento con soporte de balanceo de carga a travs de mltiples enlaces y con convergencia rpida ante los cambios. Los ms utilizados son el protocolo estndar OSPF en una nica rea para entornos con mltiples fabricantes, y el protocolo EIGRP en entornos Cisco puros (en estos casos no se utiliza E-BGP, ya que es una solucin que suele aplicarse slo para conexin a Internet, pero no en redes privadas). OSPF tiene tiempos de convergencia que pueden oscilar entre 2 y 4 segundos, mientras que EIGRP puede llegar incluso a converger en slo 1 segundo. Evidentemente, estos tiempos estn fuera del rango deseado, pero si utilizamos varias rutas simultneas con balanceo de carga, conseguimos el objetivo, siempre y cuando partamos de una situacin de operacin normal con dos o ms rutas activas. Lgicamente, la utilizacin de estos protocolos implica que los equipos saldrn al resto de la red a travs de un router, por lo que si deseamos redundancia, es necesario duplicar los routers y emplear mtodos de tolerancia a fallos de la puerta de enlace o gateway por defecto de cara a los equipos. En este caso, se utiliza el estndar VRRP (Virtual Router Redundancy Protocol) u otro mtodo propietario similar como HSRP de Cisco. En la prctica, suele conectarse un router al anillo de fibra oscura y el otro al anillo de cobre xDSL. La configuracin se realiza de forma que mientras el router conectado a la fibra tenga activo uno de los enlaces al anillo, ser ste el que asuma el papel de default gateway, mientras que en el caso de que fallen los dos enlaces, tomar el control el router que se conecta al anillo de cobre. De esta forma, el anillo se encontrar siempre cerrado por fibra, y en caso de fallo combinar los enlaces de fibra operativos, con los de cobre en aquellos tramos con fallo. D. Ethernet RPR IEEE 802.17 La alternativa conocida como Resilient Packet Ring (RPR) o IEEE 802.17 [2] [3], persigue alcanzar la robustez de SDH/SONET, sin la penalizacin del 50% del ancho de banda infrautilizado. La restauracin de servicio en RPR se consigue mediante el trnsito del trfico en ambas direcciones alrededor del anillo constantemente (ver la figura 4). Si se produce una cada, todo el trfico se traslada al otro anillo, lo que implica riesgos de congestin y de deterioro del servicio. Para superar esta deficiencia, RPR usa mecanismos de marcado QoS para dar preferencia al trfico prioritario, pero no se puede hablar de niveles de servicio garantizados. En RPR tambin se puede implementar VPNs Ethernet sobre RPR, tal como muestra el artculo [4] de Nortel Networks. III. NUEVAS TENDENCIAS A. Ethernet Automatic Protection System (EAPS RFC 3619) Se trata de una tecnologa de proteccin de anillos Ethernet desarrollada por Extreme Networks [5] que se encuentra ya en la versin 2, aunque en la RFC3619 slo viene recogida la versin 1 [6]. Cada VLAN que se desea proteger se configura en todos los puertos del anillo para ese dominio EAPS, donde se elegir un nodo maestro y el resto actuarn como nodos de trnsito. En la versin 2, soporta topologas en anillo complejas, que eliminan la posibilidad de un nico punto de fallo (mltiples dominios en un anillo o en un nodo, VLANs pertenecientes a varios dominios, etc.). Desde el punto de vista de la compatibilidad, la ventaja de esta solucin es la coexistencia con STP, y que se puede elegir el sentido de circulacin del flujo de informacin por cada VLAN, lo que permite introducir ingeniera de trfico bsica. B. Ethernet sobre MPLS (EoMPLS) En cuanto a los mecanismos de proteccin, MPLS se distingue por: - Recuperacin garantizada en tiempos inferiores a 50 ms. mediante Fast-reroute. - Calidad de servicio garantizada durante la transicin - Distribucin ptima del trfico despus de la cada, con redistribucin homognea de la carga. - Posibilidad de definir servicios con diferentes esquemas o calidad de proteccin. IV. COMPARATIVA La solucin SDH/SONET, consigue tiempos de restauracin de servicio inferiores a 50 ms, pero adems de tratarse de una solucin cara, desaprovecha el 50% del ancho de banda, que queda a la espera de ser utilizado en caso de fallo. Las limitaciones de los mecanismos Ethernet de nivel 2, se centran en dos puntos: el ancho de banda del anillo o camino de reserva sigue sin utilizarse, y los tiempos de recuperacin antes fallos no bajan de 0,5 segundos en el mejor de los casos.
Fig. 4. Arquitectura RPR Los mecanismos de recuperacin de nivel 3, constituyen la solucin ms utilizada actualmente en la red de acceso con topologas de doble anillo en cobre y fibra, en gran parte por su coste moderado, pero resulta poco compacta (hacen falta varios conmutadores y al menos dos routers por LAN, uno para cada anillo) y su efectividad desaparece cuando disponemos de un nico anillo activo, ya que en este caso los tiempos de convergencia impactan directamente sobre el funcionamiento de las aplicaciones de tiempo real, provocando bloqueos del sistema. Por lo tanto, podemos decir que Ethernet supera a SDH/SONET en el uso ms eficiente del ancho de banda para trfico de datos [7], sin embargo, el protocolo no fue originalmente diseado para ser usado en topologas en anillo o con trfico de tiempo real. Los mecanismos de recuperacin de Ethernet durante un corte de fibra son mucho ms lentos (del orden de segundos), y no son apropiados para proteccin a nivel de camino, que asegura la restauracin del servicio segn clases. As mismo, tampoco es muy eficiente en el reparto equitativo del ancho de banda de los anillos. Por otra parte, RPR tiene problemas de escalabilidad y los costes estn muy lejos de las soluciones IP/Ethernet tradicionales, con lo que no es probable que se consume el despliegue total de la tecnologa. De hecho, se utiliza casi de forma exclusiva en algunas lneas de alta velocidad. EAPS se trata de una solucin adecuada para redes multiservicio, pero que debido a sus importantes costes de despliegue no ha tenido casi implantacin en redes de control. Con respecto a EoMPLS, un factor diferenciador frente a Ethernet es su capacidad para monitorizar el rendimiento, verificando la conectividad y la calidad de las conexiones, tanto en el plano de control, como en el plano de datos. Mientras que en Ethernet nativa slo es posible verificar el estado de los equipos y la conectividad en el plano de control. En cuanto a la escalabilidad, EoMPLS permite establecer conexiones siempre por el camino mejor, optimizando el dimensionado de la red y garantizando una mayor escalabilidad. Mientras que en Ethernet nativa, las topologas o caminos calculados por el algoritmo Spanning Tree no son el ptimo, sino tan slo uno de los caminos posibles, por lo que se requiere un sobredimensionado mucho mayor, que incrementan la inversin en equipos y medios de transmisin (canales SDH o PDH, fibra oscura, etc.). Por lo tanto, las redes EoMPLS permiten transportar diferentes tipos de trfico, facilitando la convergencia de servicios sobre la red, y evitando la creacin y mantenimiento de redes separadas (red de tiempo real, red multiservicio, etc.). El mayor problema de estas redes es su complejidad de configuracin y gestin, el alto coste econmico, y carencias importantes de seguridad, que deben ser subsanadas mediante mecanismos complejos de cifrado, autenticacin y autorizacin. V. CONCLUSIONES En general, podemos decir que, la estructura y tecnologa actual de estas redes responde bsicamente a las necesidades del trfico multimedia, pero sin embargo, no ocurre lo mismo cuando deseamos conectar a la misma red de transporte, los sistemas de tiempo real crticos. De hecho, para evitar los bloqueos ocasionales que pueden producirse en estos sistemas, es habitual crear dos redes paralelas totalmente independientes (una red multiservicio para los sistemas de tiempo real no crticos y otra red para los sistemas de tiempo real crticos), con el consiguiente aumento de la complejidad tcnica y de los costes econmicos asociados. Segn hemos visto, actualmente no existe una arquitectura de red que d respuesta a todos los requerimientos de tolerancia a fallos y recuperacin, calidad de servicio garantizada y seguridad, que necesitan las aplicaciones de tiempo real para la explotacin ferroviaria. Es necesario abrir nuevas lneas de investigacin, que permitan obtener una arquitectura de red, que adems de cumplir con estos requisitos, tenga costes de instalacin y gestin moderados, y sea fcilmente integrable con los sistemas de tiempo real crticos y no crticos, sin necesidad de realizar cambios drsticos en los equipos y aplicaciones. AGRADECIMIENTOS Queremos mostrar nuestro agradecimiento a las Direcciones Tcnicas y de Telecomunicaciones del Administrador de Infraestructuras Ferroviarias (ADIF), y a todas las empresas y personas relacionadas con el entorno de los sistemas de control ferroviarios. REFERENCIAS [1] Resilient Packet Ring Alliance: http://www.rpralliance.org/ [2] IEEE 802.17 Resilient Packet Ring Working Group: http://www.ieee802.org/17/ [3] Fredrik Davik, Mete Yilmaz, Stein Gjessing, Necdet Uzun, IEEE 802.17 Resilient Packet Ring Tutorial. http://www.ifi.uio.no/forskning/grupper/nd/opnet/rpr_tutorial_submiss ion.pdf [4] Nortel Networks Positioning Paper. Implementing Ethernet VPNs using Resilient Packet Ring. 2003. http://www.nortel.com/solutions/optical/collateral/56046.25-0414- 03.pdf [5] Extreme Networks White Paper. Building Carrier Class Metro Ethernet Networks. 2004. [6] RFC3619 Ethernet Automatic Protection Switching: http://www.faqs.org/rfcs/rfc3619.html [7] Y. F. Wong, C.Y. Wong Performance Comparison of Resilient Packet Ring (RPR), Packet over SDH/SONET (POS) and Gigabit Ethernt (GE) for network design. Disponible en: http://www.singaren.net.sg/activity/spects03.pdf
SOLUCION RPR EN ESTACIONES PRINCIPALES Y SECUNDARIAS Puerto Llano Anil lo RPR VC-4 Anil lo RPR VC-4 Venta de Ines ESTACION PRINCIPAL 2 ESTACION PRINCIPAL 3 ESTACION PRINCIPAL 4 ANILLO RPR VC4 Anill o RPR VC-4 Ani llo RPR VC-4