Вы находитесь на странице: 1из 69

EVALUACIÓN DEL APRENDIZAJE DEL ESTUDIANTE

CONFERENCISTA:

Mg. Wilson Martínez Urieles


Posgrado: Evaluación Escolar
Univ. Pedagógica Nacional

Posgrado: Administración y Sup. Educativa


Univ. Externado de Colombia

E-mail: wilmaru15@hotmail.com Cel. 301-7888400


IDEA CLAVE No. 1
 LA EVALUACÓN ES EL MOTOR DEL APRENDIZAJE

«La Evaluación es el motor del aprendizaje», ya que, de


ella depende tanto qué y cómo se enseña, como el qué y
el cómo se aprende.
Sanmartí, Neus (2010)
IDEA CLAVE No. 2
 LA FINALIDAD PRINCIPAL DE LA EVALUACION ES
LA REGULACION TANTO DE LA ENSEÑANZA
COMO DEL APRENDIZAJE
«La finalidad principal de la Evaluación es la regulación»
tanto de las dificultades y los errores del alumno, como
del proceso de enseñanza.
Sanmartí, Neus (2010)
IDEA CLAVE No. 3
 LO MÁS IMPORTANTE ES APRENDER A AUTOEVALUARSE

«Lo más importante: aprender a autoevaluarse». Para


ello es necesario que los alumnos se apropien: de los
objetivos de aprendizaje, de las estrategias de
pensamiento y de acciones aplicables para dar respuestas
a las tareas planteadas; y de los criterios de evaluación
Sanmartí, Neus (2010)
IDEA CLAVE No. 4
 LA FUNCIÓN CLASIFICADORA Y SELECCINADORA
DE LA EVALUACIÓN TAMBIEN ES IMPORTANTE
La función clasificadora y seleccionadora de la evaluación
también es importante. No se puede obviar y sus resultados
depender en buena parte de la calidad de la evaluación-
regulación realizada a lo largo del proceso de enseñanza y
aprendizaje.
Sanmartí, Neus (2010)
IDEA CLAVE No. 5
 EVALUAR ES UNA CONDICION NECESARIA PARA
MEJORAR LA ENSEÑANZA
«evaluar es una condición necesaria para mejorar la
enseñanza». La evaluación debe proporcionar
información que permita juzgar la calidad del currículo
aplicado y evaluado con la finalidad de mejorar la
practica docente y la teoría que la sustenta.
Sanmartí, Neus (2010)
IDEA CLAVE No. 6
 La utilización de instrumentos diversos puede
mejorar la evaluación
«Es necesario diversificar los instrumentos de
evaluación. Dado que cualquier aprendizaje contempla
diversos tipos de objetivos, es preciso que los
instrumentos de recogida de información sea múltiple y
variado. Y las estrategias para analizar los datos y
promover la regulación deben favorecer la automia del
alumnado.
Sanmartí, Neus (2010)
ENFOQUES EVALUATIVOS
DEL SISTEMA
INSTITUCIONAL DE
EVALUACION DE
ESTUDIANTES (SIEE)
ENFOQUES EVALUATIVOS DEL SIEE
EVALUACION
CRITERIAL
EVALUACION
DIAGNÓSTICA

EVALUACION
ENFOQUES DEMOCRÁTICA
EVALUACION EVALUATIVOS
AUTÉNTICA
DEL SIEE

EVALUACION
EVALUACION FORMATIVA
FORMADORA
EVALUACION DIAGNÓSTICA INICIAL
Tiene por objetivo determinar la situación
real del grupo de estudiante (prognosis) o
de cada estudiante (diagnosis) antes de
iniciar un determinado proceso de
enseñanza y aprendizaje, para la
organización del entorno didáctico por
parte del docente.
CARACTERISTICA DE LA EVALUACION
DIAGNÓSTICA
1. Determinar los estilos de
aprendizaje del estudiante.
2. Identificar los pre - conceptos y
las estrategias cognitivas y
metacognitivas del estudiante.
3. Evaluación sobre la
transferencia o no de lo
aprendido a otras situaciones.
4. Comparar el estado inicial del
estudiante.
EVALUACIÓN CRITERIAL
VENTAJAS:
1. Permite concertar los criterios
de actuación específicos y
explícitos para evaluar el trabajo
del estudiante.
2. Intensifica la motivación del
estudiante para actuar bien.
3. Comparar el trabajo del
estudiante con criterios
específicos.
EVALUACIÓN DEMOCRÁTICA

Está orientada hacia la investigación


y evaluación de la vida en el aula, del
estudiante indagando por su
microcultura como una totalidad,
con sus manifestaciones, discursos y
motivaciones para comprender las
necesidades del estudiante.
PRINCIPIOS DE LA EVALUACION
DEMOCRÁTICA
1. Principio de transparencia.
Los profesores y estudiantes
se comprometen a actuar por
consenso.
2. Principio de Motivación.
Comprensión y estimulación
afectiva.
3. Principio de la participación y
la negociación
EVALUACIÓN AUTÉNTICA CENTRADA
EN EL DESEMPEÑO DEL ESTUDIANTE
Busca evaluar lo que se hace, así como
identificar el vinculo entre lo conceptual y
procedimental, entender cómo ocurre el
desempeño en un contexto o seguir el
proceso de adquisición y perfeccionamiento,
saberes o formas de actuación. Implica la
autoevaluación del estudiante, pues su meta
es la promoción de su capacidad de
autorregulación y reflexión sobre su propio
aprendizaje.
EVALUACIÓN FORMATIVA
 Actúa en el momento mismo en
que se producen los errores del
estudiante.
 La responsabilidad de la
regulación recae exclusivamente
en el profesor.
 El estudiante depende del
docente para poder progresar,
identificar dificultades o decidir
las mejores estrategias para
superarlas.
EVALUACIÓN FORMADORA
 Surge como alternativa complementaria a la
evaluación formativa (Nunziati,G,1990).
 El estudiante es quien regula el proceso de
aprendizaje y, el docente lo ayuda a ser
autónomo y a desarrollar mecanismos de
autorregulación sustentada en proceso
metacognitivos.
DEFINICION DE EVALUACION
DE APRENDIZAJE
En realidad todos tenemos alguna idea sobre
evaluación, quizá aproximada, pero profesores y
alumnos sabemos que en la escuela debemos
evaluar y también ser evaluados.
CONCEPTO DE EVALUACIÓN DE APRENDIZAJE
Sanmarti Neus. (2007), considera el nuevo concepto de
evaluación como un proceso caracterizado por:
1. Planificación de la evaluación del aprendizaje
2. Recoger información ya sea con instrumentos o
procedimientos formales e informales
3. Analizar la información y emitir un juicio sobre ella.
4. Tomar decisiones de acuerdo con el juicio emitido,
para atender dos tipos de finalidades:
1. Función social
2. Función pedagógica o reguladora
FUNCIONES DE LA EVALUACIÓN DEL
APRENDIZAJE DEL ESTUDIANTE

CLASIFICAR
CALIFICAR
TOMAR COMPARAR
DECISIONES PROMOCIÓN
PARA LA FUNCIÓN
SOCIAL Y
PERMANENCIA
ACREDITACIÓN
FUNCIÓN FUNCIÓN
PEDAGÓGIC FUNCIÓN
REGULADORA Y
AUTORREGULA A MEJORA DE
DORA DEL LOS PROCESOS
APRENDIZAJE DE
FUNCIÓN ENSEÑANZA
AYUDA DEL
APRENDIZAJE
FUNCIÓN SOCIAL
DE LA EVALUACIÓN
Determina qué estudiantes han logrado el progreso
necesario en sus aprendizajes (Capacidades,
conocimientos y actitudes) para otorgarles la
certificación correspondiente, requerida por la sociedad
en las diferentes modalidades y niveles del sistema
educativo.

Se trata de constatar o certificar el logro de


determinados aprendizajes al termino de un periodo,
curso o ciclo de formación para la promoción o no a
grados inmediatos superiores.
FUNCIÓN REGULADORA
Focaliza su actuación de
seguimiento oportuno del
proceso de enseñanza y
aprendizaje para detectar logros
o dificultades con el fin de
aplicar las medidas pertinentes
que conduzcan a su
mejoramiento; y para
determinar las prácticas que
resultaron más eficaces y
aquellas que por el contrario,
podrían ser modificadas.
CARACTERÍSTICA DE LA EVALUACIÓN
 Integral: porque desde el punto de vista del aprendizaje
involucra las dimensiones intelectual, social, afectiva, motriz y
axiológica del estudiante. En este sentido, la evaluación tiene
correspondencia con el enfoque cognitivo, afectivo y
sociocultural del currículo, puesto que su objeto son las
capacidades, los valores y actitudes y las interacciones que se dan
en el aula.
 Procesal: porque se realiza a lo largo del proceso
educativo, en sus distintos momentos: al inicio,
durante y al final del mismo, de manera que los
resultados de la evaluación permitan tomar
decisiones oportunas
 Sistemática: porque se organiza y desarrolla en etapas
debidamente planificadas, en las que se formulan previamente
los aprendizajes que se evaluará y se utilizan técnicas e
instrumentos válidos y confiables para la obtención de
información pertinente y relevante sobre la evolución de los
procesos y logros del aprendizaje de los estudiantes. La
recolección de información ocasional mediante técnicas no
formales, como la observación casual o no planificada también
es de gran utilidad.
MALLA CURRICULAR
 Estándar________________________________________________________
 Aprendizajes a Mejorar: (ICFES)____________________________________
 Aprendizajes de la Matriz de Referencia: (ICFES)______________________
 Competencias:____________________ Componentes:__________________
Pensamientos Contenido Contenido Contenido Contenido Evidencia
Procedimental Actitudinal Estrategico
conceptual
 Participativa: porque posibilita la intervención de los
distintos actores en el proceso de evaluación,
comprometiendo al propio alumno, a los docentes,
directores y padres de familia en el mejoramiento de los
aprendizajes, mediante la
autoevaluación, coevaluación y heteroevaluación.

 Flexible: porque se adecua a las diferencias personales


de los estudiantes, considerando sus propios ritmos y
estilos de aprendizaje. En función de estas diferencias se
seleccionan y definen las técnicas e instrumentos de
evaluación más pertinentes.
FASES DE LA EVALUACIÓN
Como señalamos anteriormente la evaluación se
caracteriza por ser sistemática. Toda evaluación auténtica
y responsable debe preverse desde el momento mismo de
la programación de aula cuando el profesor establece los
indicadores para cada capacidad y actitud.

El proceso de evaluación comprende las siguientes etapas:


1. Planificación de la evaluación
2. Recolección y selección de información
3. Interpretación y valoración de la información
4. Comunicación de los resultados
5. Toma de decisiones
 Fase de Planificación de la evaluación: Planificar la
evaluación implica esencialmente dar respuesta a las
siguientes interrogantes: qué, para qué, cómo y
cuándo se evaluará y con qué instrumentos.
 Fase de Recogida y selección de información: Para
obtener la información se utilizan técnicas formales,
semiformales o no formales.

De toda la información obtenida se deberá seleccionar


la que resulte más confiable y significativa. La
información es más confiable cuando procede de la
aplicación sistemática de técnicas e instrumentos y no
del simple azar.
 Fase de Interpretación y valoración de la
información:
 Se realiza en términos del grado de desarrollo de los
aprendizajes establecidos en cada área.
 Se trata de encontrar sentido a los resultados de la
evaluación, determinar si son coherentes o no con los
propósitos planteados (y sobre todo con los rendimientos
anteriores de los estudiantes) y emitir un juicio de valor.
 En la interpretación de los resultados también se
considera las reales posibilidades de los alumnos, sus
ritmos de aprendizaje, la regularidad demostrada, porque
ello determina el mayor o menor desarrollo de las
capacidades y actitudes.

Esta es la base para una valoración justa de los resultados.


* Fase de Comunicación de los resultados:

Esto significa que se analiza


y se dialoga acerca del
proceso educativo con la
participación de los
estudiantes, docentes y de
los padres de familia, de tal
manera que los resultados
de la evaluación son
conocidos por todos los
interesados. Así, todos se
involucran en el proceso y
los resultados son más
significativos.
 Fase de la Toma de decisiones: Los resultados de la
evaluación deben llevarnos a aplicar medidas
pertinentes y oportunas para mejorar el proceso de
aprendizaje. Esto implica volver sobre lo actuado para
atender aquellos aspectos que requieran
readecuaciones, profundización, refuerzo o
recuperación. Las deficiencias que se produzcan
pueden provenir tanto de las estrategias empleadas
por el docente como de la propia evaluación.
EL OBJETO DE EVALUACIÓN
El objeto de la evaluación son las capacidades
fundamentales e intelectuales, los valores éticos y sociales
la formación integral de la persona.

Capacidades fundamentales del estudiantes son entre otras:

• Pensamiento Creativo
• Pensamiento Critico
• Solución de Problemas
• Toma de Decisiones
¿QUÉ SON LAS CAPACIDADES?
 Las capacidades se definen como las
potencialidades inherentes a la persona las cuales
pueda desarrollar a lo largo de toda su vida. Ellas
se cimentan en la interrelación de procesos
cognitivos, socio-afectivos y motores

Las capacidades son: Fundamentales, de área y


específicas.
CAPACIDADES FUNDAMENTALES
 Constituyen las grandes intencionalidades del currículo y
se caracterizan por su alto grado de complejidad. Son las
siguientes:

 Pensamiento creativo
 Pensamiento critico
 Solución de problemas
 Toma de decisiones

La capacidad comunicativa constituye el elemento


articulador y hace posible el desarrollo de las capacidades
anteriores.
 Pensamiento creativo: Capacidad para encontrar y
proponer formas originales de actuación, superando
las rutas conocidas o los cánones preestablecidos.

 Pensamiento crítico: Capacidad para actuar y


conducirse en forma reflexiva, elaborando
conclusiones propias y en forma argumentativa.
 Solución de problemas: Capacidad para
encontrar respuestas alternativas pertinentes y
oportunas ante las situaciones difíciles o de
conflicto.

 Toma de decisiones: Capacidad para optar,


entre una variedad de alternativas, por la más
coherente, conveniente y oportuna,
discriminando los riesgos e implicancias de
dicha opción.
CUADRO DE RELACIÓN ENTRE
CAPACIDADES ESPECÍFICAS Y
LOS RASGOS QUE
CARACTERIZAN CADA
CAPACIDAD
FUNDAMENTAL
CAPACIDADES
FUNDAMENTALES
RASGOS CAPACIDADES ESPECIFICAS

Originalidad Produce, sintetiza, construye, diseña,


elabora, genera
Pensamiento creativo
Intuición Intuye, percibe, anticipa, predice,
interpreta, observa
Fluidez imaginativa Imagina, inventa, reproduce,
diagrama, recrea
Fluidez asociativa Conecta, asocia, relaciona, discrimina,
selecciona
Fluidez analógica Relaciona, reproduce, descubre,
integra
Profundidad de Explora, abstrae, infiere, investiga
pensamiento
Fluidez verbal Comunica, elabora
Fluidez figurativa Extrapola, representa
Flexibilidad adaptiva Contextualiza
Sensibilidad a los Identifica, interpreta
CAPACIDADES RASGOS CAPACIDADES ESPECIFICAS
FUNDAMENTALES

Análisis y síntesis Percibe, discrimina, compara,


de la información constata, formula, descubre,
reconstruye
Pensamiento crítico

Interpretación de Organiza, distingue, selecciona,


la información ordena, secuencia, categoriza,
clasifica

Exposición de Reflexiona, juzga, infiere, opina,


razones sistematiza

Valoración Plantea, demuestra, infiere,


apreciativa corrobora, resume, generaliza,
argumenta

Autorregulación Autoevalúa, retroalimenta,


sistematiza
CAPACIDADES RASGOS CAPACIDADES ESPECIFICAS
FUNDAMENTALES

Visión Anticipa, predice,


prospectiva imagina, intuye
TOMA DE DECISIONES

Actuación Asume, discrepa, elige


autónoma

Discriminació Reflexiona, analiza,


n selectiva jerarquiza, prioriza

Actuación Juzga, enjuicia, revisa,


asertiva utiliza, aplica, evalúa
CAPACIDADES RASGOS CAPACIDADES ESPECIFICAS
FUNDAMENTALE

Agudeza perceptiva Identifica, descubre, observa


SOLUCIÓN DE PROBLEMAS

Reflexión lógica Analiza, deduce, infiere, formula


Actuación adaptiva Juzga, enjuicia, revisa, evalúa,
aplica
Discriminación Clasifica, selecciona, compara,
selectiva jerarquiza
Visión prospectiva Anticipa, predice, imagina, intuye
Pensamiento Extrapola, planifica, diseña,
estratégico experimenta, organiza, elabora
Flexibilidad de Explora, adecua, adapta, interpreta
pensamiento
Autonomía Asume, discrepa
LOS INDICADORES
Los indicadores son enunciados que describen
señales o manifestaciones que evidencian con
claridad los aprendizajes de los estudiantes respecto a
una capacidad o actitud.

En el caso de capacidades de área, los indicadores se


originan en la articulación entre las capacidades
específicas y los contenidos básicos; mientras que en
el caso de las actitudes, los indicadores son las
manifestaciones observables que las evidencian.
ESTRUCTURA DE UN INDICADOR
Los indicadores presentan generalmente los siguientes elementos:

 Una capacidad específica que, generalmente, hace alusión a


una operación mental (discrimina, infiere, etc.).

 Un contenido que hace posible el desarrollo de la capacidad


específica. Responde a la pregunta ¿qué es lo que... (más la
capacidad específica). Si el alumno discrimina, “algo” tiene que
discriminar.

 Un producto en el que se evidencia el desarrollo de la capacidad


específica. El producto puede ser el resultado que se obtiene al
desarrollar la capacidad específica (una maqueta, un problema) o
también el recurso, cuyo uso es necesario para desarrollar la
capacidad específica (en un texto informativo).
Ejemplos de indicadores :
LA AUTOEVALUACIÓN
Y LA COEVALUACIÓN
Si el enfoque curricular está centrado en la persona y sus
necesidades, necesariamente debe darse la oportunidad para
que el estudiante desarrolle progresivamente la autonomía,
con el fin de que estos asuman la responsabilidad de su
propio aprendizaje. Esto es factible cuando el estudiante:

 Es consciente de Cómo aprende


 Cuando es capaz de detectar sus virtudes; sus creencias
 Cuando emplea estrategias mas adecuadas para superarlas.
Esta es la razón por la cual proponemos una evaluación
participativa en la que los educandos conjuntamente con el
docente negocien los mecanismos más apropiados de la
evaluación.
PROPÓSITOS DE LA AUTOEVALUACIÓN
Y LA COEVALUACIÓN
La Autoevaluación y la Coevaluación favorecen:

 La reflexión,
 La actitud positiva,
 El Sentido de responsabilidad.

El estudiante se valora a sí mismo y también valora a los demás de


esta manera los aprendizajes son mas significativos cuando se
obtienen en forma cooperativa.

La autoevaluación y la coevaluación tiene carácter formativo; su


propósito es reflexionar sobre el desempeño y las actitudes de los
estudiantes con el fin de optimizar el aprendizaje.
EL CARÁCTER DEMOCRÁTICO
DE LA AUTOEVALUACIÓN

La autoevaluación es el
espacio socio-educativo de
participación en la que los
estudiantes con el docente,
negocian los mecanismos
apropiados de evaluación
TÉCNICAS E INSTRUMENTOS
DE EVALUACIÓN

Una vez que se haya identificado el objeto de la


evaluación: las capacidades, actitudes y valores, y sean
formulados los indicadores que evidencien el
aprendizaje, se procede a la selección de las técnicas y
los instrumentos mas adecuados para recoger la
información, los cuales pueden ser pertinentes con las
capacidades y actitudes que se pretenden evaluar
TÉCNICAS CON SUS RESPECTIVOS
INSTRUMENTOS DE EVALUACIÓN

 Observación Sistemática
 Ejercicios Prácticos
 Lista de cotejo
 Mapa conceptual
 Registro anecdótico
 Mapa mental
 Escala de actitudes
 Red semántica
 Análisis de casos
 Situaciones Orales de Evaluación
 Proyectos
 Exposición
 Diario
 Diálogo
 Portafolio
 Debate
 Ensayo
 Exámenes orales
TÉCNICAS CON SUS RESPECTIVOS
INSTRUMENTOS DE EVALUACIÓN

Pruebas Escritas  Pruebas Objetivas


 Pruebas de Desarrollo  De respuesta alternativa
 De correspondencia
• Examen Temático
 De selección múltiple
• Ejercicio Interpretativo  De ordenamiento
LISTA DE COTEJOS PARA EVALUAR EL
RESPETO A LAS NORMAS DE CONVIVENCIA
ESTRATEGIAS Y PROCEDIMEINTOS
PARA LA EVALUACION DEL ESTUDIANTE
 Portafolio
 Solución de problemas
 Diario reflexivo
 Proyectos
 Rúbrica
 Pruebas criteriales
 Ensayos
 Debates
 Mapas mentales
 Pruebas de ejecución
INSITU
MAPA MENTAL
El modelo ideal para la Evaluación en un contexto de
diversidad.
Un portafolio es una selección de los resultados de
alguna de las tareas realizadas por cada estudiante para
documentar e ilustrar sus progresos y sus logros.
Es un dossier donde tanto el estudiante como el profesor
pueden ver que se han hecho en diferentes periodos del
proceso de aprendizaje.
Es, por tanto, un documento personal recogido por el
estudiante con la ayuda ( y el feedback) del profesor.
 Ayuda a evaluar la actuación del Estudiante;
 Ayuda a integrar las tareas de aprendizaje y la
evaluación;
 Ayuda a estimular la auto- evaluación y la reflexión
sobre la actuación.
 Ayuda a evaluar tanto al progreso como resultado
 Ayuda a evaluar las destrezas reales superando los
problemas de tiempo
 Es un sistemas global de evaluación que da a los
profesores más información acerca de la actuación de
los estudiantes.
 Estimula la Autoevaluación , Autoeducación, la
Autoestima Y La Automotivación.
``Es una estrategia evaluativa que permite
desarrollar habilidades Metacognitivas. Consiste en
que el estudiante Reflexione , se autoevalué y
escriba acerca de su proceso de aprendizaje, estas
reflexiones se pueden centrar en las siguientes
aspectos:
1. el desarrollo conceptual alcanzado,
2. los sentimientos y actitudes que experimentó
durante su aprendizaje
3. los procesos mentales que siguió para lograr el
aprendizaje`´
evalúan
son
Aprendizaje Situado

requiere
como Matrices de Verificación

Estrategia de Evaluación Auténtica evalúan

para entendido
Desempeño
como
Maestro-alumno
establece
Alumno-alumno
busca Niveles de Pericia
Autoevaluación dominio
Evaluar el aprendizaje de
conceptos,
procedimientos, Cualitativo Cuantitativo
estrategias, actitudes
son
situaciones Puntuaciones
en Novato->experto
reales numéricas
ELABORACIÓN DE RÚBRICAS
 Seleccionar un proceso o
producto a enseñar-
aprender.
 Buscar modelo de un buen
trabajo.
 Seleccionar los aspectos a
evaluar.
 Establecer el número de
niveles en la escala de
clasificación (generalmente
de 3-5).
 Formular la descripción de
los criterios de ejecución
de cada nivel y aspecto a
evaluar.
http://www.eduteka.org/MatrizValoracion.php3
RÚBRICA PARA EVALUAR PROCESOS DE APRENDIZAJE COOPERATIVO
DIMENSIONES
EXCEPCIONAL ADMIRABLE ACEPTABLE AMATEUR
Y CRITERIOS

Todos los Al menos ¾ de Al menos la mitad Sólo una o dos


PARTICIPA- estudiantes los estudiantes de los estudiantes personas
CIÓN participan con participan presentan ideas participan
activamente propias activamente
GRUPAL entusiasmo
Todos La mayor parte La responsabilidad La
de los miembros es compartida por responsabilidad
RESPONSABI comparten por
del grupo ½ de los recae en una sola
-LIDAD igual la
comparten la integrantes del persona
responsabilidad
COMPRAR- sobre la tarea
responsabilidad grupo
en la tarea
TIDA
Habilidades de Los estudiantes Alguna habilidad Muy poca
liderazgo y saber muestran estar para interactuar; interacción:
escuchar; versados en la se escucha con conversación
CALIDAD conciencia de los interacción; se atención; alguna muy breve;
puntos de vista y conducen evidencia de algunos
DE LA opiniones de los animadas discusión o estudiantes están
INTERA- demás discusiones planteamiento de distraídos o
CCIÓN centradas en la alternativas desinteresados.
tarea
C/estudiante Cada estudiante Hay roles No hay ningún
tiene un rol tiene un rol asignados a los esfuerzo de
ROLES definido; asignado, pero estudiantes, pero asignar roles a
no está no se adhieren los miembros del
DENTRO desempeño claramente consistentemente grupo.
DEL GRUPO efectivo de definido o no es a ellos.
roles consistente

Вам также может понравиться