Tema 6Verificacin y Validacin

Veremos: Diferencias con la ingeniera del software. Verificacin. Validacin

Ing. Conocimiento UC3M, 2004

Diferencias con Ing. Software

IS: Ejecucin de casos de prueba. IC: Criterios para medir su xito no son objetivos. Se tolera incertidumbre y subjetividad. No se pueden probar fcilmente: grandes espacios de bsqueda. No existen respuestas 'correctas' del sistema

Ing. Conocimiento UC3M, 2004

Verificacin
Construir el sistema correctamente. Descubrir y corregir errores en el SBC desarrollado.

Quin la realiza? Tipos: esttica y dinmica

Criterios a verificar en una SBC: Consistencia: alcanzar estado en conflicto con mundo modelizado Precisin: correccin de la sintaxis. Errores morfolgicos. Completitud: lagunas en capacidad deductiva.
Ing. Conocimiento UC3M, 2004

Tipos de inconsistencia
Estructural: Si no contiene ninguna regla intil: inalcanzable, un callejn sin salida, no ejecutable o redundate. Por ejemplo: Duplicacin: p^qr ; q^pr, No disparables: p^p r ; Ciclos de reglas: pr ; rx ; px Lgica: Reglas con conclusiones o antecedentes redundantes. Subsuncin de reglas (ocultas por otras). Reglas ejecutables en una misma situacin con conclusiones que producen contradiccin lgica

Ing. Conocimiento UC3M, 2004

Tipos de inconsistencias
Semntica: Valores ilegales en variables. Se precisa un modelo de coherencia para definir conflictos semnticos porque dependen del contexto. Por ejemplo: Coherencia de un patrn: ($MiZapato velocidad 38) Coherencia de un conjunto de patrones: ($MiZapato talla 38)($MiZapato talla 44) Coherencia de una regla: Si ($MiZapato talla 38) Entonces ($MiZapato talla 44) Coherencia de un conjunto de reglas: Encadenamiento de reglas que lleva a afirmar un conjunto de patrones incoherentes
Ing. Conocimiento UC3M, 2004

Automatizar verificacin de SBC

Teiresias, ad-hoc para Mycin en 1976. CHECK para SBC escritos con LES (Lokheed Expert Systems), 1985 EVA (Expert Systems Validation Associate), consistencia semntica. 1987 KBR, primero orientado a verificacin dinmica, 1988 SACCO, sobre Lisp, 1988-91. VALID, ESPRIT 2148. 1988-93. Taxonoma de actividades.

Ing. Conocimiento UC3M, 2004

Definicin de Validacin
Construir el sistema correcto. Actividad viva no sobre el papel. Segn ANSI/IEEE evaluar la conformidad con la especificacin de requisitos En IC: Determinar si el sistema satisface las necesidades del usuario. Con expertos y usuarios. Cuando? 2 tipos: Objetiva: basada en especificaciones formales Interpretativa: Actividades encaminadas a eliminar los errores de tipo conceptual y de contexto. A veces denominada evaluacin.
Ing. Conocimiento UC3M, 2004

Cumplir especificaciones del modelo de diseo

La representacin elegida es la adecuada. La tcnica de razonamiento elegida es la apropiada. Reflejo de modelo conceptual en la implementacin. En el diseo y la implementacin se ha pensado en la modularidad. La comunicacin entre los subsistemas es adecuada. El sistema es fcil de mantener y de comprender.

Ing. Conocimiento UC3M, 2004

Aspectos de Validacin
Qu se est validando? Metodologa de validacin. Criterios de validacin.

Ing. Conocimiento UC3M, 2004

Qu se est validando?
La comunicacin del sistema con otros sistemas (transferencias) es adecuada. El interfaz es comprensible para el usuario. La explicacin del razonamiento del sistema es suficiente. Cumple los requisitos de ejecucin en tiempo real pedidos. El sistema cumple las especificaciones de seguridad. Satisfaccin y utilidad de los resultados finales e intermedios comparados con: resultados conocidos, prestaciones de un experto o de un modelo algortmico.
Ing. Conocimiento UC3M, 2004

Metodologa de validacin
Informal: reuniones. Mediante casos de test. Analoga con Turing. Significacin y correccin de los casos? Pruebas de campo. Actuacin en paralelo con experto. Validacin de subsistemas. Anlisis de sensibilidad. Sistemas con incertidumbre: cambios provocados.

Ing. Conocimiento UC3M, 2004

Criterios de validacin
Cuntos casos de prueba. Cmo se generan estos casos de prueba. Establecer una proporcin entre casos fciles, medios y difciles. Cmo comparar los resultados con los de un experto. Cmo se mide la realizacin de un experto humano en ese campo. Cmo evaluar el sistema cuando distintos expertos opinan distintas cosas. Si se generan distintas respuestas cmo se consideran.
Ing. Conocimiento UC3M, 2004

Resultados del proceso de validacin

Exactitud u aceptabilidad de soluciones. Cuntas veces acierta? Adecuacin al problema. Cubre el dominio? Errores: Por comisin. Por omisin.

Ing. Conocimiento UC3M, 2004

Pasos de Verificacin y Validacin

Verificar si el sistema es completo, preciso y consistente. Evaluar si el sistema cumple especificaciones del modelo de diseo de KADS. Disear un plan de validacin aplicando metodologas apropiadas. Valorar en funcin de criterios de validacin. Entre otros los requisitos funcionales definidos en la fase de identificacin del problema.

Ing. Conocimiento UC3M, 2004