Control cooperativo de sistemas multi-agentes y sus aplicaciones
Ileana Grave, Yu Tang y Mihir Sen
Resumen— En este trabajo se estudia el problema de sin-
cronización de sistemas no lineales desde el punto de vista
de control. En él se unifican los principales conceptos sobre
la teorı́a de sincronización y se considera a cada uno de los
agentes como sistemas disipativos. Se diseñan nuevas leyes de
control con diversos objetivos: El primero de ellos es lograr
sincronización de velocidad o posición con retroalimentación de
posición, mientras que el segundo es obtener sincronización en
cierta posición deseada de sistemas Lagrangianos considerando
a la posición como estado medible.
I. INTRODUCCI ÓN
En la naturaleza pueden observarse comportamientos co-
operativos entre individuos; tales como parvadas de aves
y bancos de peces que se reagrupan para evitar a los
depredadores. Otro tipo de fenómenos naturales, son los
grupos de luciérnagas que se iluminan al mismo tiempo,
péndulos acoplados; entre otros [1]. Tales hechos ilustran el
concepto de sincronización. Según la definición de la Real
Academia Española, sincronizar es “hacer coincidir en el
tiempo dos o más movimientos o fenómenos”.
Desde el punto de vista de control, se han estudiado las
condiciones que permiten llevar determinadas variables de
un grupo de sistemas (bajo una interconexión adecuada)
a cierto valor común mediante leyes de control locales;
definido formalmente como consenso. Entre los problemas
de control abordados a partir de la teorı́a de sincronización se
encuentran: la formación de vehı́culos aéreos no tripulados,
redes sensoriales, generadores eléctricos, redes robóticas y
la sincronización de osciladores caóticos, entre otros. Cada
uno de estos grupos de sistemas está formado por sistemas
autónomos que se comunican entre sı́ para cumplir con el
objetivo final; los cuales son conocidos como agentes. El
caso de interés en este estudio, es el de lograr sincronización
entre agentes por medio de leyes de control locales.
En esta trabajo, el problema de sincronización con retroali-
mentación de posición a una posición deseada es resuelto por
medio de la utilización de un filtro de primer orden. En ella
la teorı́a existente sobre técnicas de sincronización entrada-
salida con acoplamiento lineal se utiliza para desarrollar
leyes de control basadas en retroalimentación de posición que
permitan lograr sincronización de la variable de interés. Cada
uno de los agentes se considerará como una clase de sis-
temas no-lineales, especı́ficamente sistemas disipativos. Los
resultados obtenidos se aplican a manipuladores robóticos
interconectados donde además el consenso es forzado a cierta
posición deseada.
M. Sen pertenece al Departamento de Ingenierı́a Aeroespacial y Mecánica
de la Universidad de Notre Dame, Notre Dame, IN 46556.
En la literatura, un algoritmo de consenso sin lı́der para
sistemas Lagragianos basado en el Laplaciano como matriz
de interconexión se presenta en [2], mientras que en [3] se
considera el problema desde el punto de vista pasivo. Sin
embargo, en ambos casos, la sincronización no se logra en
una referencia dada. Los trabajos mencionados anteriormente
tienen la limitante común, del uso de la velocidad en la ley
de control; lo que representa un inconveniente en su imple-
mentación. Cabe mencionar que el caso de sincronización
y seguimiento de trayectoria para sistemas Lagrangianos
utilizando retroalimentación de posición es atacado en [4]
utilizando observadores.
El resto del escrito se organiza como sigue. En la Sección
II se presentan los conceptos necesarios para estudiar sis-
temas interconectados a partir de la teorı́a de grafos y la
teorı́a de control. En la Sección III se desarrolla una variación
a la ley para sincronización de agentes disipativos con el
objetivo de lograr sincronización de velocidad o posición de
agentes distribuidos en una topologı́a bidireccional utilizando
como salida a la variable de posición. La Sección IV se
trata el caso de sincronización con regulación empleando
retroalimentación de posición para sistemas Lagrangianos.
Los resultados obtenidos se presentan en la Sección V y las
conclusiones en la Sección VI.
II. PRELIMINARES
La teorı́a de grafos es una herramienta útil para representar
la interconexión entre agentes. Una definición importante
para el diseño de la ley de control se presenta a continuación:
Un grafo dirigido está fuertemente conectado si dos vértices
cualquiera pueden ser unidos por una trayectoria y está
débilmente conectado si dos vértices cualquiera pueden ser
unidos por una trayectoria débil [5].
Otra forma general, compacta y ampliamente utilizada
para expresar la interconexión entre agentes es por medio
de la matriz Laplaciana L [6], la cual se construye a través
de la Matriz de Adyacencia y la Matriz de Grado de un grafo
dirigido ponderado.
La Matriz de Adyacencia de un grafo dirigido ponderado
A = [aij ] es aquella en la que los elementos aij son no
negativos y se forma a partir de las conexiones que existen
entre los nodos del grafo. Si existe un borde que conecta
al elemento i con el elemento j (respetando la dirección
definida por el grafo), entonces al elemento aij se le asigna
el peso asociado, de lo contrario se le asigna el valor de cero.
La Matriz de Grado ∆ = [∆ij ] de un grafo G es una
matriz diagonal donde
∆ij = 0, i 6= j

∆=
∆ii = degout (vi ), i = j
 Pn
degout (vi ) = j=1 aij es el grado de salida del nodo vi y se toma como salida a la variable filtrada zi y K está
y está dado por la suma de los elementos fila de la matriz definida como en la Ec. (4).
de adyacencia. La función candidata de Lyapunov para los N agentes del
A partir de las matrices anteriores, la Matriz Laplaciana sistema es
asociada al grafo G se construye como N N
1X X
(zi − zj )T (zi − zj )
X
V =2 Vi + (6)
L(G) = L = ∆ − A. (1) 2 i=1
i=1 j∈Ni
En el diseño de la ley de control, será necesario en donde Vi representa la función de almacenamiento de energı́a
algunas ocasiones representar a la matriz Laplaciana como para el i-ésimo agente y Ni es el conjunto de agentes
el producto de dos matrices, esto se puede lograr por medio transmitiendo sus salidas al agente i.
del producto de Kronecker. Del álgebra lineal, el producto La derivada de la función de Lyapunov, sustituyendo a la
de Kronecker de dos matrices A ∈ Rm×n y B ∈ Rp×p se ley de control (5) y a la Ec.(4), obtiene la forma
define como
N X
a11 B · · · a1n B
 
ẏiT Kd (zi − zj )
X
V̇ ≤ −2
A ⊗ B :=  .. .. .. mp×np
∈R (2) i=1 j∈Ni
 
. . .
N X
am1 B ··· amn B
(zi − zj )T A(zi − zj )
X
−
Una propiedad importante para A, B > 0, matrices positivas i=1 j∈Ni
definidas, es que el producto de Kronecker A⊗B es positivo N X
definido.
X
+ (zi − zj )Kd (ẏi − ẏj ) (7)
III. SINCRONIZACI ÓN DE SISTEMAS i=1 j∈Ni

MULTIAGENTES En la derivada de la función anterior, se aprecia que es nece-

En esta sección los resultados reportados por Chopra y sario reescribirla de manera conveniente para continuar con
Spong [3] se extienden con el fin de generar una nueva ley el diseño; lo que se logra aprovechando las caracterı́sticas del
de control basada en la retroalimentación de posición para grafo considerado. En él, existen dos trayectorias dirigidas
lograr sincronización de velocidad o posición de sistemas que van del primer al último agente, cruzando a todos los
(Qi , Si , Ri ) − Disipativos [7] del tipo Qi = 0, Si = 12 I agentes interconectados en forma ordenada. A una de estas
y Ri = 0 (sistemas pasivos). Las leyes de control obtenidas trayectorias se le denomina Nv y permite establecer las
se aplican a masas puntuales y los resultados finales se siguientes relaciones:
comparan con los del algoritmo original, tomado de [3], en N X
X
el que se utiliza retroalimentación de velocidad. (zi − zj )Kd (ẏi − ẏj ) =
Cada sistema es no lineal expresado en la forma i=1 j∈Ni
N X
ẋi = fi (xi ) + gi (xi )ui
(zi − zj )T Kd (ẏi − ẏj )
X
2 (8)
yi = hi (xi ), (3) i=1 j∈Nv
N X
con las variables del sistema definidas como xi ∈ Rn , la
ẏiT Kd (zi − zj ) =
X
entrada ui ∈ Rm y la salida yi ∈ Rm . En el diseño, se −2
i=1 j∈Ni
considera que los agentes están interconectados por medio
N X
de un grafo no dirigido en forma de anillo o configuraciones
(zi − zj )T Kd (ẏi − ẏj ),
X
en lı́nea. −2 (9)
i=1 j∈Nv
Como se mencionó anteriormente, el objetivo final es que
la ley de control contenga únicamente términos de posición, tales relaciones facilitan escribir la derivada de la función
por lo que se utiliza un filtro de primer orden para cada uno candidata de Lyapunov como
de los agentes con la siguiente dinámica N X
(zi − zj )T A(zi − zj ) ≤ 0.
X
żi = −Azi + Kẏi (4) V̇ = −2 (10)
i=1 j∈Ni
donde A = AT > 0 y K = KT > 0.
A continuación, se considera el conjunto E = {xi ∈
A. Sincronización de velocidad. Rn , i = 1, · · · , N |V̇ ≡ 0} caracterizado por todas las
A continuación, se diseña la ley de control para lograr sin- trayectorias en las que {(zi − zj )T A(zi − zj ) ≡ 0 ∀j ∈
cronización de velocidad con retroalimentación de posición Ni , ∀i = 1, · · · , N }. Por el principio de invarianza de
asumiendo que el sistema (3) es pasivo de ui → ẏi , donde LaSalle, todas las soluciones del sistema (3) en lazo cerrado
la entrada de control se considera de la forma con (5) convergen al conjunto invariante mas grande con-
X tenido en E, conforme t → ∞. La definición de grafo fuerte-
ui = −K (zi − zj ), i = 1, ..., N, (5) mente conectado permite concluir que existe sincronización
j∈Ni de la variable zi .
 Dado que zi es la versión filtrada de la velocidad, donde

zi − zj ≡ 0 ⇒ ẏi − ẏj ≡ 0 1 T 1 1
(11) Vi = ėi Mi ėi + eTi Kp ei + zTi zi . (16)
2 2 2
existe sincronización de velocidad. Finalmente, se observa
que es posible alcanzar sincronización de velocidad uti- La derivada de la función candidata de Lyapunov corre-
lizando retroalimentación de posición. sponde a

IV. SINCRONIZACI ÓN DE SISTEMAS V̇ = 2ėTi {τi − Ci ėi − Kp ei − Kd zi }

LAGRANGIANOS + ėTi Ṁi ėi + 2eTi Kp ėi + zTi {−Azi + Kd ėi }
N X
Como una aplicación de la teorı́a de sincronización de
(zi − zj )T (żi − żj )
X
agentes, se muestra una aplicación de la teorı́a de sin- +
i=1 j∈Ni
cronización de agentes cuyo objetivo final es lograr sin-
N X
cronización de n robots totalmente actuados a cierta posición
(ei − ej )T Kps (ėi − ėj ),
X
+ (17)
deseada utilizando retroalimentación de posición. A lo largo
i=1 j∈Ni
de la Sección, se considera a cada robot representado por
la cual, aprovechando que la gráfica de interconexión tiene
Mi (qi )q̈i + Ci (qi , q̇i )q̇i + Gi (qi ) = τi , (12)
una trayectoria dirigida que cruza a todos los agentes y que
donde qi ∈ Rn son las coordenadas generalizadas para el Ṁi (qi ) − 2Ci (qi , q̇i ) es antisimétrica, puede reescribirse
sistema con n grados de libertad, τi ∈ Rn es el vector como
de fuerzas generalizadas, Mi (qi ) ∈ Rn×n es la matriz de N N X
inercia simétrica positiva definida, Ci (qi , q̇i )q̇i es el vector zTi Azi −2 (zi −zj )T A(zi −zj ). (18)
X X
V̇ = −2
de fuerzas Centrı́petas y de Coriolis y Gi (qi ) ∈ Rn es el i=1 i=1 j∈Nv
vector de fuerzas gravitacionales. La matriz Ci (qi , q̇i ) tiene
cierta propiedad que hace a la matriz Ṁi (qi ) − 2Ci (qi , q̇i ) Considerando el conjunto invariante donde zi ≡ 0 ⇒ q̇i = 0
antisimétrica [8]. y zi − zj ≡ 0 ⇒ q̇i − q̇j = 0, a partir del sistema (13) en
Cada uno de los robots es un sistema (Qi , Si , Ri ) − lazo cerrado con la entrada de control (14) se obtienen N
Disipativo del tipo Qi = 0, Si = 21 I y Ri = 0. Para ecuaciones de la forma
facilitar el diseño, la ley de control para lograr sincronización N
X X
se desarrolla a partir del sistema en lazo cerrado con la ley − Kp ei − Kps (ei − ej ) = 0. (19)
de control de regulación. i=1 j∈Ni
El objetivo de control en el caso de regulación tradicional,
es hacer que el error de posición ei = qi − qd y el error Para simplificar el resultado final, las ecuaciones anteriores
de velocidad ėi = q̇d , donde qd es la posición de referencia son expresadas en forma del producto de Kronecker a partir
para las variables de configuración, tiendan a cero ei (t) → 0, del vector de error e = [eT1 , . . . , eTN ]T ∈ RnN y la matriz
ėi (t) → 0 como t → ∞. Laplaciana L (sin considerar las ganancias de control dentro
El sistema (12) puede reescribirse a partir de su dinámica de las gráficas) de la siguiente manera
de error de la siguiente manera
−(IN ⊗ Kp )e − (L ⊗ Kps )e = 0
Mi (qi )ëi + Ci (qi , q̇i )ėi + Gi (qi ) = τi , (13) − (IN ⊗ Kp + L ⊗ Kps ) e = 0 (20)
| {z }
el cual será el sistema a utilizar para desarrollar la ley L
de sincronización. Para lograr sincronización en el valor con Kp ∈ Rn , Kps ∈ Rn matrices de gananacias diagonales
deseado, la entrada del sistema (13) se considera como positivas definidas y IN ∈ RN ×N una matriz identidad, la
τi = Gi (qi ) − Kp ei − Kd zi matriz L es positiva definida. Gracias a esto y al principio
X X de invarianza de LaSalle, es posible concluir que existe
− Kps (ei − ej ) − Kd (zi − zj ). (14) sincronización de posición a la posición deseada.
j∈Ni j∈Ni

Para continuar con el diseño, se define como candidata a V. SIMULACIONES

función de Lyapunov a
Los resultados del algoritmo presentado en la sección IV
N N se aplican al caso de tres brazos robóticos para ejemplificar
1
(zi − zj )T (zi − zj )
X X X
V =2 Vi + el diseño. Cada uno de los agentes es un robot manipulador
i=1
2 i=1 j∈Ni de dos grados de libertad, la posición está descrita por un
N
1X X vector qi ∈ R2 de ángulos de la articulación y las entradas
+ (ei − ej )T Kps (ei − ej ) (15) están dadas por el vector de torques τi ∈ R2 aplicado a las
2 i=1 j∈Ni uniones de cada robot. A partir de [9], el primer agente está
dado por sistemas reales. El caso de sincronización de posición a cierta
posición deseada para sistemas Lagrangianos fue estudiado
M1 (q1 ) =
extendiendo los resultados existentes para sistemas pasivos y
2.351 + 0.168 cos(q12 ) 0.102 + 0.084 cos(q12 )
 
desarrollando una nueva ley de control con retroalimentación
0.102 + 0.084 cos(q12 ) 0.102 de posición. Como trabajo futuro, ambos resultados pueden
C1 (q1 , q̇1 ) = ser analizados considerando retardos en la comunicación,

−0.168 sin(q12 )q̇12 −0.084 sin(q12 )q̇12
 diferentes grafos de interconexión, cambios en la topologı́a,
0.084 sin(q12 )q̇11 0 pérdidas de comunicación, incertidumbres en los parámetros
o la presencia de perturbaciones en las mediciones. Todos
G1 (q1 ) =
estos aspectos se pueden incorporar al diseño de la ley de
3.921 sin(q11 ) + 0.168 sin(q11 + q12 )
 
g , (21) control con el fin de obtener una ley de control que logre
0.168 sin(q11 + q12 ) mejores resultados en la implementación.
mientras que el segundo y tercer agente a sincronizar se REFERENCIAS
definen al igual que [10], con matrices [1] S. H. Strogatz, SYNC: The Emerging Science of Spontaneous Order.
New York Hyperon, 2003.
M2 (q2 ) = M3 (q3 ) = [2] W. Ren, “Distributed leaderless consensus algorithms for networked
8.77 + 1.02 cos(q22 ) 0.76 + 0.51 cos(q22 )
 
euler-lagrange systems,” International Journal of Control, vol. 82,
no. 11, pp. 2137–2149, Nov. 2009.
0.76 + 0.51 cos(q22 ) 0.62 [3] N. Chopra and M. W. Spong, Passivity-based control of multi-agent
C2 (q2 , q̇2 ) = C3 (q3 , q̇3 ) = systems, ser. Advances in Robot Control: From Everyday Physics to
Human-like Movements, S. Kawamura and M. Svinin, Eds. Springer-
−0.51 sin(q22 )q̇22 −0.51 sin(q22 )(q̇21 + q̇22 )
 
Verlag, 2006.
0.51 sin(q22 )q̇21 0 [4] A. Rodriguez-Angels and H. Nijmeijer, “Mutual synchronization of
robots via esimated state feedback: A cooperative approach,” IEEE
G2 (q2 ) = G3 (q3 ) = Transactions on Control Systems Technology, vol. 12, no. 4, pp. 542–
554, July 2004.
7.6 sin(q21 ) + 0.63 sin(q12 + q22 )
 
g (22) [5] C. Godsil and G. Royle, Algebraic Graph Theory, ser. Graduate Texts
0.63 sin(q21 + q22 ), in Mathematics. Springer, 2001, no. 207.
[6] R. Olfati-Saber and R. M. Murray, “Consensus problems in networks
en las que g = 9.81m/s2 representa la aceleración grav- of agents with switching topology and time-delays,” IEEE Transac-
itacional. Las posiciones iniciales y la posición de refer- tions on Automatic Control, vol. 49, no. 9, pp. 1520–1533, Sept. 2004.
[7] J. C. Willems, “Dissipative dynamical systems-part i: General theory,”
encia común para los agentes son q1 = [0.3, 0.7]T , q2 = Arch. Rational Mechanics Analysis, no. 45, pp. 321–351, 1972a.
[0.2, 0.5]T , q3 = [0, 0.2]T y qd = [0.8, 0.1]T ; respectiva- [8] J.-J. Slotine and W. Li, Applied Nonlinear Control. Englewood Cliffs:
mente. La entrada de control para cada uno de los agentes Prentice Hall, 1991.
[9] F. Reyes and R. Kelly, “Experimental evaluation of model-based
se considera como controllers on a direct-drive robot arm,” Mechatronics, no. 11, pp.
267–282, 2001.
τ1 = −Kp e1 − Kd z1 − Kps (e1 − e2 ) [10] L. Kruise, “Modeling and control of a flexible beam and a robot arm,”
Ph.D. dissertation, Univ. of Twente, Enschede, 1990.
− Kd (z1 − z2 ) − G1 (q1 )
τ2 = −Kp e2 − Kd z2 − Kps (e2 − e1 ) − Kps (e2 − e3 )
− Kd (z2 − z1 ) − Kd (z2 − z3 )
− G2 (q2 ) Fig. 1. Grafo de interconexión para la Ley de control (23).
τ3 = −Kp e3 − Kd z3 − Kps (e3 − e2 )
− Kd (z3 − z2 ) − G3 (q3 ) (23)
i=1
0.8 i=2
para un grafo como el que se muestra en la Figura 1. Los i=3
0.6
q1,i (rad)

resultados obtenidos en simulación se presentan en la Figura

0.4
2 en ella se observa que existe sincronización de posición a
0.2
la referencia dada de cada uno de los agentes. Los valores
utilizados en simulación se definen a continuación: 0
0 5 10 15 20 25 30
Tiempo (s)
8 0 9 0
   
A= , Kd = Kds = , (24) 0.8
i=1
0 90 0 17 0.6
i=2
i=3
q2,i (rad)

0.4
1 0 7 0
   
Kp = , Kps = . (25) 0.2
0 1 0 7 0

−0.2
VI. CONCLUSIONES 0 5 10 15 20 25 30
Tiempo (s)
Una ley de control basada en retroalimentación de posición
fue generada para el problema de sincronización de ve- Fig. 2. Gráfica de la posición para tres brazos robóticos bajo la ley de
locidad y sincronización de posición, esto simplifica la control (23).
implementación de leyes de control para sincronización en