Академический Документы
Профессиональный Документы
Культура Документы
de Tecnologas
de la Comunicacin
Pgina 1 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La presente publicacin pertenece a Instituto Nacional de Tecnologas de la Comunicacin (INTECO) y est bajo una
licencia Reconocimiento-No comercial 2.5 Espaa de Creative Commons, y por ello esta permitido copiar, distribuir y
comunicar pblicamente esta obra bajo las condiciones siguientes:
Reconocimiento: El contenido de este informe se puede reproducir total o parcialmente por terceros, citando su
procedencia y haciendo referencia expresa tanto a INTECO como a su sitio web: www.inteco.es. Dicho reconocimiento
no podr en ningn caso sugerir que INTECO presta apoyo a dicho tercero o apoya el uso que hace de su obra.
Uso No Comercial: El material original y los trabajos derivados pueden ser distribuidos, copiados y exhibidos mientras su
uso no tenga fines comerciales.
Al reutilizar o distribuir la obra, tiene que dejar bien claro los trminos de la licencia de esta obra. Alguna de estas condiciones
puede no aplicarse si se obtiene el permiso de INTECO como titular de los derechos de autor. Nada en esta licencia
menoscaba o restringe los derechos morales de INTECO.
Texto completo de la licencia:
http://creativecommons.org/licenses/by-nc/2.5/es/
Pgina 2 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
INDICE DE CONTENIDO
INDICE DE CONTENIDO ......................................................................................................3
PUNTOS CLAVE ...................................................................................................................7
1.1
1.2
1.3
1.4
INTRODUCCIN..........................................................................................................14
2.1
Presentacin ........................................................................................................15
2.1.1
2.1.2
2.1.3
2.2
2.3
Metodologa .........................................................................................................19
2.3.1
2.3.2
Introduccin .........................................................................................................24
3.1.1
3.1.2
3.2
3.3
3.3.1
Pgina 3 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.3.2
ITMark ..............................................................................................................47
3.3.5
SwTQM ............................................................................................................48
3.3.6
TickIT ...............................................................................................................54
3.3.7
3.3.8
3.3.9
3.4
3.4.1
TPI/TMAP.........................................................................................................61
3.4.2
3.5
3.5.1
3.5.2
3.5.3
3.5.4
3.5.5
3.6
3.6.1
3.6.2
3.6.3
3.6.4
3.6.5
Pgina 4 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.6.6
4
Subversion .......................................................................................................79
4.2
4.3
4.4
4.5
4.5.1
Iniciativas en el extranjero................................................................................94
4.5.2
4.5.3
4.6
4.6.1
4.7
4.7.1
4.7.2
El caso de SOLUZIONA.................................................................................117
4.8
4.9
La necesidad real de las empresas espaolas y el papel de los agentes
intermedios.....................................................................................................................120
4.9.1
5
5.2
5.2.1
Comisin Europea..........................................................................................136
5.2.2
Brasil ..............................................................................................................138
Pgina 5 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
5.2.3
Argentina ........................................................................................................140
5.2.4
Mxico ............................................................................................................143
NDICE DE TABLAS..........................................................................................................145
NDICE DE GRFICOS.....................................................................................................146
Pgina 6 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
PUNTOS CLAVE
En un mundo en que la informtica y los sistemas de informacin se han convertido en una
pieza fundamental en cualquier empresa, la adquisicin de software paquetizado o hecho
a medida es un mercado que crece ao a ao. La cantidad de empresas dedicadas al
desarrollo de software, por lgica, sigue esta progresin basada en la demanda, y este
crecimiento lleva implcito la bsqueda constante de mtodos de diferenciacin en el
mercado. De esta forma, el sector del desarrollo de software espaol ha experimentado un
alza del 8 por ciento en 2006 para situarse en unas cifras de facturacin global de cerca de
1.600 millones de facturacin. Este sector, con aproximadamente 80.000 empleados, se
compone en un 99,8% de PYME, de las que ms del 85% son microempresas de menos
de 10 empleados.
1.1
Modelos que persiguen la mejora del producto final (modelo orientados a producto),
como puede ser TPI o la norma ISO 9126. Desde el ao 2000, adems, los
modelos giles han aparecido para facilitar la consecucin de ese producto final
mediante metodologas ligeras que se enfocan en la participacin del cliente y las
pruebas continuas para completar proyectos de desarrollo relativamente cortos.
Pgina 7 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 8 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
implantacin, otros modelos como SwTQM, ITMark, o las iniciativas que a nivel local
surgen en mercados como el latinoamericano.
Esta visin de la totalidad del sector hacia CMMI como modelo absoluto de referencia (en
el que calidad de desarrollo se asocia unvocamente a CMMI) hace que la atencin se
pierda frente a otros modelos que se adaptan mejor que aqul, por mltiples razones, a
muchas de las empresas espaolas. Por ello, mientras las grandes empresas pueden
adoptar CMMI ( ISO/IEC 15504) sin demasiados problemas, las barreras que ste
presenta para una PYME en el momento de evaluar su adopcin hacen que la PYME
detenga sus iniciativas de mejora.
En este punto, como principales aspectos en contra de la adopcin por parte de la PYME
se han identificado los siguientes:
Los altos costes que conlleva la adopcin de estos modelos referentes, con
respecto a los costes de las auditoras y certificaciones, costes en recursos
humanos y formacin, y los costes de adquisicin de herramientas que los
soporten, entre otros.
Escepticismo ante los beneficios que puede aportar una certificacin. A este
respecto, que el ROI (retorno de inversin) sea calculable nicamente a medio y
largo plazo no ayuda a tomar la decisin por parte de la direccin de una PYME.
El cambio de filosofa de trabajo que implican los modelos y las metodologas que
subyacen.
Pgina 9 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
falta de apoyo a otros modelos, una de las soluciones propuestas es la creacin y apoyo
por parte de la administracin de un modelo reducido orientado expresamente a la PYME
y la microempresa. En este sentido, se han identificado varias iniciativas nacionales e
internacionales con relativo xito, como en el caso de Mxico, Brasil o Colombia. Adems,
los comits ISO estn trabajando en una versin de ISO 15504 para la microempresa, y el
SEI (Software Engineering Institute) hace lo propio con CMMI mediante experiencias en
pruebas piloto. En el caso de Espaa se han detectado dos importantes niciativas:
Pgina 10 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
1.4
Los datos presentados muestran una cantidad de iniciativas y casos de xito que
presagian optimismo frente al futuro de la certificacin y su contribucin a la mejora de los
procesos internos y los productos de las empresas espaolas. Teniendo presente adems
la visin del cliente comprador de software, los motivos fundamentales por los que una
empresa debiera certificarse o adoptar al menos un modelo de calidad son los siguientes:
Para las grandes empresas, los motivos para la implantacin de estos modelos son
principalmente los requerimientos de sus clientes y la iniciativa propia para control
interno de costes, as como el marketing y elemento diferenciador de cara al
exterior.
Identificar los modelos existentes para los diversos tipos y tamaos de empresas,
seleccionando aquellos que mejor se adapten a cada tipo independientemente de
que se puedan tratar de modelos orientados a la mejora de procesos o a la mejora
del producto.
Pgina 11 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Promover y divulgar iniciativas que se deban llevar a cabo para difundir los
modelos entre las empresas, como forma de dar a conocer las bondades y
beneficios de cada uno de ellos para cada tipo de empresa identificada:
Servir como ente que publicite y d valor a las certificaciones de calidad ante
clientes y empresas.
Realizar las oportunas campaas de informacin, por los mtodos que se estimen
necesarios, para hacer ver a los compradores de software en Espaa de la
necesidad de exigir productos con un sello de calidad.
Realizar las oportunas campaas de informacin, por los mtodos que se estimen
necesarios, para hacer ver a las microempresas espaolas de los beneficios reales
de la implantacin de modelos para la generacin de productos bajo un sello de
calidad.
La creacin de un sello de calidad respaldado por este agente es una solucin que
garantizara la respuesta ante las empresas y sus clientes, dotando al modelo o modelos
elegidos de un mayor valor aadido, adems de la propia mejora que para la empresa
supone la implantacin del modelo y por ende, la obtencin del sello.
Los entrevistados en este estudio identifican a una entidad pblica (como el INTECO)
como el organismo que debera erigirse como agente impulsor de la certificacin. En estos
momentos, la administracin ya es parte implicada en el proceso en varias vertientes:
Pgina 12 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
En menor medida, se otorga este papel a otras organizaciones intermedias como las
asociaciones empresariales. Los datos aportados por los entrevistados sobre estas
asociaciones hablan de ciertos factores como:
Proximidad a la PYME, lo que las dota de una gran confianza desde el punto de
vista de los asociados.
Afn de mejora de sus asociados, punto expuesto tanto por los representantes de
las asociaciones entrevistados como por las propias PYME.
Pgina 13 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
2 INTRODUCCIN
La certificacin de la calidad en el desarrollo de software ha adquirido una gran
importancia en el mundo durante los ltimos aos. Continuamente surgen modelos e
iniciativas que tratan de ofrecer a las organizaciones nuevas metodologas buscando la
mejora en la calidad y la excelencia en sus productos. Espaa no es ajena a esta
tendencia que contribuir a impulsar la industria de desarrollo del software en Espaa.
El trmino calidad, tiene una definicin ambigua al ser un concepto subjetivo que engloba
multitud de factores y percepciones .No obstante, las normas y modelos internacionales
ofrecen varias acepciones, basadas sobre todo en:
Segn el IEEE, la calidad del software debe ser mesurable y predecible, y debe incorporar
varios factores bsicos:
Ausencia de defectos.
Tasa de defecto: mesurable segn el nmero de defectos por cada 1000 lneas de
cdigo (KLOC), u otra unidad.
Pgina 14 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Presentacin
El Instituto Nacional de Tecnologas de la Comunicacin
Pgina 15 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
2.1.3
Pgina 16 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 17 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
2.2
De entre los nuevos retos a los que se enfrenta la Sociedad de la Informacin, cabe
destacar el desarrollo de iniciativas para contribuir a un mayor crecimiento y facilidad de
acceso a las nuevas tecnologas.
Ante esta situacin y dentro de las funciones asignadas al Observatorio de la Seguridad de
la Informacin de INTECO, ha puesto en marcha un Estudio sobre Certificacin de la
calidad como medio para impulsar la industria de desarrollo de software en Espaa.
En concreto, el proyecto consiste en la realizacin de un anlisis sobre el estado de la
calidad del software y las certificaciones existentes a nivel espaol para lograr un doble
objetivo:
Pgina 18 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
2.3
o AMR Research
o Accenture
o Calidaddelsoftware.com
o Carleton University
INTECO
o Deloitte
Red.es
o ExpoQA
o Forrester
o
IEEE
Pgina 19 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
SQI Australia
2.3.2
Las tareas englobadas en esta fase del proyecto tienen como objetivo realizar, documentar
y analizar el resultado de las entrevistas a entidades y expertos relacionados con el mundo
del desarrollo de software en Espaa y, en concreto, con los modelos de mejora de
procesos.
Destacando las siguientes actividades concretas:
Confeccin de un acta tras la finalizacin de cada entrevista, que resuma las ideas
ms significativas sobre los aspectos objeto del estudio.
Participantes
En primer lugar se ha desarrollado una labor de identificacin y contacto con numerosas
empresas y expertos en relacin con la gestin de la calidad del software. As, se ha
logrado entrevistar a diferentes empresas y asociaciones empresariales, organismos
pblicos, entidades certificadoras, entidades normalizadoras y acreditadoras, expertos de
universidades espaolas y expertos independientes, no vinculados a ninguna de estas
categoras. El listado de empresas e instituciones expertas que han participado en las
entrevistas es el siguiente:
Empresas privadas:
Pgina 20 de 147
Accenture
Altia
Consoltic
DxD. Espaa
DxD. India
Grupo Mondragn
Ibermatica
IBM
PROCONSI
Software Ag
SoftWCare
Shylex
TQS
Asociaciones empresariales:
o
AGESTIC (Asociacin
Informacin).
Gallega
de
Empresas
de
Tecnologa
Organismos pblicos:
o
Junta de Extremadura.
Universidades:
o
Entidades certificadoras:
o
AENOR.
Caelum 1 http://www.calidaddelsoftware.com/.
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 23 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3 NORMAS,
MODELOS
Y
CERTIFICACIONES
ORIENTADAS A LA CALIDAD DEL SOFTWARE
3.1
Introduccin
Unir la misin de la empresa y el esfuerzo de cada una de las reas que la integran
en una sinergia de resultados orientados a la competitividad y la calidad global.
Los procesos software tienen una gran importancia en el campo de la Ingeniera del
Software, siendo una pieza bsica en su estructura. El Software Engineering Body of
Knowledge (SWEBOK) es un material de buenas prcticas de referencia en el campo de la
ingeniera del software, y suele ser de obligada referencia al implementar los modelos de
mejora que se desarrollarn a lo largo de este informe.
Segn la Encuesta sobre Equipamiento y Uso de Tecnologas de la Informacin y Comunicacin en los hogares, del
Instituto Nacional de Estadstica (2007), 60,2% de los hogares espaoles disponen de ordenador personal (porttil o
sobremesa), siendo los usuarios ms jvenes (10 a 25 aos) los usuarios de ordenadores en los ltimos 3 meses (92,8%).
Estudio sobre incidencias y necesidades de seguridad en las pequeas y medianas empresas espaolas. INTECO. 2007
Pgina 24 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Testeo del software: prcticas sobre la verificacin dinmica del software mediante
un nmero finito de casos de prueba, niveles de testeo, aplicabilidad de los mismos,
etc.
Calidad del software: describe las mejores prcticas de calidad que trascienden el
ciclo de vida del software. Indica los fundamentos de calidad como cultura y tica,
Pgina 25 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
http://www.sei.cmu.edu/programs/acquisition-support/presentations/process-pro.pdf
Pgina 26 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
estado de cada proceso en cualquier momento, el significado que debe darse a cada uno
de los puntos de decisin, etc.
La mejora del producto final pasa, segn estos modelos, por la mejora de los procesos que
llevan a su creacin. La adopcin del modelo o metodologa adecuados podr realizar esta
mejora con una correcta implantacin, dotando implcitamente al producto final de una
calidad manifiesta. Entre los modelos o estndares a nivel de proceso se pueden
mencionar ISO 9001:2000 (ISO 90003:2004), ISO/IEC 15504, CMMI, TickIT, ISO 20000,
Bootstrap, SwTQM (basado en EFQM y CMMI), etc.
3.1.2
Pgina 27 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
para lo cual fueron entrevistados 125 profesionales de distintos perfiles. Las conclusiones
de este informe son las siguientes:
Es habitual que exista entre los desarrolladores una actitud, identificada ya por
Glenford J. Myers 5 , de falta de inters por las pruebas, considerndolas un mal
necesario y una actividad destructiva y poco creativa. No existe una especial
presin en los desarrolladores a aceptar con facilidad formacin sobre pruebas.
Certificacin y acreditacin
Glenford J. Myers (1979): The art of software testing. John Wiley and Sons
Pgina 28 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
lanzar al mercado sus productos. Esta entidad acta como intermediadora al ofrecer
confianza:
En el cliente de las empresas certificadas, de forma que ste sabe que contrata sus
productos a una organizacin con un sello de calidad reconocido y respaldado.
Desde este punto de vista de respaldo sobre la certificacin se entiende que las entidades
certificadoras con suficiente peso en el mercado puedan lanzar sus propios productos sin
necesidad de pasar el proceso de la acreditacin.
Esta prctica es comn en Espaa, a tenor de la entrevista realizada a los responsables
de nuevas tecnologas de ENAC, y parte del proceso de la acreditacin. En el caso de que
una empresa con suficiente arraigo y reconocimiento en el mercado decida incluir en su
catlogo un producto nuevo de certificacin basado en un esquema propio o ajeno, puede
y debe hacerlo inicialmente sin necesidad de una acreditacin previa. Ser nicamente a
medio-largo plazo cuando, si este producto tiene un xito reconocido y medible, basado en
una norma oficial reconocida (como ISO), y el mercado lo demanda, cuando ENAC
proceda a estudiar los resultados y los factores de mercado para realizar la acreditacin
sobre esa certificacin. Con ello, se podr extender a otras empresas certificadoras
menores que la soliciten a posteriori.
El mercado, dentro de esta lnea, ofrece certificaciones de calidad sin acreditacin de
ENAC. El catlogo de productos de certificacin de AENOR, por ejemplo, contiene una
certificacin de calidad de desarrollo de software basada en la norma ISO/IEC 15504 y son
ya varias las empresas que han publicitado ya su certificacin con AENOR bajo este
esquema, como Stratesys Consulting, o Ibermtica.
Cabe destacar en este punto que la base de datos de IQNet, acreditador europeo para
respaldo de entidades certificadoras, contiene un total de 14.598 certificados ISO
9001:2000 emitidos por sus partners en Espaa AENOR y DQS Espaa bajo su
acreditacin.
Por ltimo, y en referencia concreta a ISO/IEC 15504, ENAC est actualmente a la espera
de recibir un esquema piloto de certificacin para proceder a su revisin y prueba.
El mercado de la certificacin de software es rico en cuanto a normas y modelos se refiere.
La calidad a nivel de procesos puede ser evaluada de manera genrica o especfica,
segn el modelo o estndar seleccionado. Todo modelo o estndar a nivel de proceso
tiene que tener un mbito de aplicacin especfico y tiene como finalidad la mejora
continua.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 29 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Autor
Kuvaja et al, 1994
Informacin adicional
http://www.bootstrap-institute.com
http://www.eia.org
ISO/IEC 15504
ISO/IEC 9000
ISO
ISO
http://www.iso.org
http://www.iso.org
MIL STD-498
Departamento de Defensa
(EE. UU.)
http://www2.umassd.edu/SWPI/DOD/MILSTD-498/498_OVER.PDF
CMMI. Capability
Maturity Model
Integration
http://www.sei.cmu.edu/cmmi/
SCE. Software
Capability Evaluation
http://www.sei.cmu.edu
Humphrey, 1997
http://www.sei.cmu.edu/tsp/
http://www.sei.cmu.edu/tsp/
ITMark
http://www.esi.es
TickIT
http://www.tickit.org
EFQM
Fundacin Europea de
Gestin de Calidad
http://www.efqm.org
ITIL
http://www.itil.co.uk
TPI/TMAP
Sogeti
http://www.tmap.net
Fuente: INTECO
En los siguientes apartados se puede ver con ms nivel de detalle la descripcin de cada
uno de estos modelos, as como el estado del arte de cada uno de ellos.
3.3
3.3.1
Pgina 30 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
El liderazgo.
El enfoque a procesos.
Pgina 31 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La mejora continua.
La ISO 9001:2000 es la norma que contiene los requisitos bsicos que debe cumplir una
organizacin para la implementacin de un SGC, y es la nica certificable en la actualidad.
Las organizaciones que desean ir ms all de los requisitos bsicos exigidos en la norma
ISO 9001:2000 deberan cumplir los requisitos adicionales que establece la norma ISO
9004:2000, complementaria a la anterior, y recomendada para las organizaciones que
persiguen una mejora continua. No obstante, ISO 9004:2000 no es una norma certificable.
Estructura
La estructura de ISO 9001:2000 tiene muchas semejanzas al crculo de Deming, que
define el extendido ciclo PDCA (Plan-Do-Check-Act). La norma se estructura en los
siguientes captulos:
Captulo 6: Gestin de los Recursos. Define los requisitos exigidos sobre los tres
tipos de recursos en que se acta: recursos humanos, infraestructura, y el ambiente
de trabajo.
Captulo 8: Medicin, anlisis y mejora. Define los requisitos para los procesos que
recopilan informacin, la analizan, y que actan en consecuencia. El objetivo
declarado en la norma es que la organizacin busque la satisfaccin del cliente a
travs del cumplimiento de los requisitos.
Pgina 32 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Fuente: INTECO
Pgina 33 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La norma Capability Maturity Model Integration en adelante CMMI es una de las normas
mejor valoradas segn las entrevistas realizadas en el transcurso del estudio, en las que
queda de manifiesto el inters de las empresas espaolas por el modelo.
CMMI es la evolucin de CMM (Capability Maturity Model), que data de finales de los aos
ochenta. Como respuesta a un requerimiento del Gobierno Federal de los Estados Unidos,
CMM fue desarrollado para establecer un modelo de madurez mesurable al que tuviesen
que acogerse los procesos internos de las empresas concesionarias de servicios de la
administracin estadounidense, como un mtodo de mejorar la calidad de sus productos a
travs de la mejora de sus procesos. La primera definicin del modelo de madurez de
procesos en el desarrollo de software se public en septiembre de 1987, y fue una
variacin que evolucion al modelo CMM-SW (CMM for Software) con una ltima versin
de 1993.
Durante los aos 90, el Software Engineering Institute en adelante SEI desarroll
(adems de CMM-SW) otra serie de modelos de madurez aplicables a otras reas. Dado
que las empresas solicitaban continuamente la evaluacin de sus procesos para varias
reas, se cre CMMI como un modelo integrado que incluye, entre otros, el modelo CMMSW y con un principio bsico fundamental, la calidad de un producto o de un sistema es en
su mayor parte consecuencia de la calidad de los procesos empleados en su desarrollo y
mantenimiento. La primera versin de CMMI como tal data de enero 2002, y en la
actualidad ha llegado a su versin 1.2.
Los documentos que actualmente forman el modelo CMMI son los siguientes:
CMMI for Development, v.1.2.: es la continuacin y mejora del modelo CMMI v1.1, y
ha sido desarrollado gracias al concepto de constelaciones CMMI. Estas son un
conjunto de componentes bsicos que pueden ser aumentados por material
Pgina 34 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
CMMI Acquisition Module v.1.1.: define una serie de prcticas (a aadir al modelo
bsico CMMI) con respecto a proyectos de adquisicin. Estas mejores prcticas se
enfocan en las actividades llevadas a cabo por profesionales de compras en el
marco de la oficina de programas de adquisicin.
Desarrollo: elaborada como CMMI-DE y como evolucin natural del anterior modelo
CMMI v1.1.
Las referencias generales a CMMI en los textos que se incluyen en este informe abarcan
tanto al modelo CMMI v.1.1 como a CMMI for Development (CMMI-DEV) v.1.2, debido a
que CMMI-SE/SW ha evolucionado directamente a la constelacin CMMI for Development.
Descripcin del modelo CMMI (CMMI v1.1, CMMI for Development)
Una de las particularidades de este mtodo de mejora es la agrupacin de las reas de
proceso definidas en cinco niveles de madurez, de modo que una organizacin que tenga
institucionalizadas todas las prcticas incluidas en un nivel y sus inferiores, se considera
que ha alcanzado ese nivel de madurez. Los niveles son los siguientes:
1. Inicial. Las organizaciones en este nivel no disponen de un ambiente estable para
el desarrollo y mantenimiento de software. Aunque se utilicen tcnicas correctas de
ingeniera, los esfuerzos se ven minados por la falta de planificacin. El xito de los
proyectos se basa la mayora de las veces en el esfuerzo personal, aunque a
menudo se producen fracasos y casi siempre retrasos y sobrecostes, haciendo que
el resultado de los proyectos sea impredecible.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 35 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 36 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Grfico 2: Nivel de madurez segn CMMI, por tamao de las organizaciones (muestra de 1680
empresas que han comunicado sus datos al SEI)
80%
70%
20%
38,1%
34,6%
40,4%
38,6%
38,9%
27,2%
30%
20,4%
40%
44,2%
38,8%
50%
43,2%
60%
10%
0%
25 o menos
No facilitados
25 a 50
51 a 75
Nivel 1
76 a 100
101 a 200
Nivel 2
201 a 300
301 a 500
Nivel 3
ms de
2000
Nivel 5
Fuente: SEI 6
Software Engineering Institute (2007): CMMI v1.1 SCAMPI SM v1.1 Class A Appraisal Results;
2006 end-year update.
Pgina 37 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
estn definidos por cada una de las reas, sobre la que admite comparaciones
como ente independiente, permitiendo adems elegir el orden de las mejoras.
Variantes y aadidos al modelo CMMI
Como se ha descrito en la introduccin, CMMI for Development (CMMI-DEV) es, como tal,
la evolucin natural de CMM v.1.1. En la versin 1.2, con la introduccin del concepto de
constelacin, ha pasado adems a ser una de las tres actualmente planificadas por el SEI
(desarrollo, adquisicin y servicios). Se describen a continuacin las iniciativas y estado
actual al respecto de las otras dos constelaciones.
CMMI for Adquisition Module en versin 1.1: es un modulo aadido a CMMI for
Developmenty funciona como una gua independiente que describe las mejores
prcticas a emplear en la adquisicin de productos, sistemas, y servicios de
terceros. Su enfoque inicial es la efectividad de las actividades de adquisicin y las
prcticas a implementar por los proyectos de adquisicin de primer nivel. Puede ser
usado adems para implementar actividades de mejora de procesos institucionales
de compra dentro de una organizacin.
Adems el modelo distingue dos clases de adquisiciones, dado que algunas de ellas
estn bajo control directo del proyecto de adquisicin, y otras se dirigen mediante la
monitorizacin de desarrollos de terceros.
Por ltimo, las reas de proceso involucradas en la adquisicin de productos y su
integracin en el esquema del mdulo CMMI se definen con detalle en el documento
del SEI CMMI Adquisition Module v1.1.
Pgina 38 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Media
Tamao de la
muestra en esta
categora
Punto
inferior de
la muestra
Punto
superior de
la muestra
Coste
20%
21
3%
87%
Planificacin de actividades
37%
19
2%
90%
Productividad
62%
17
9%
255%
Calidad final
50%
20
7%
132%
14%
-4%
55%
Retorno de la inversin
4,7 : 1
16
2: 1
27,7 : 1
Categora medida
Fuente: SEI
Los datos de la Tabla 2 pertenecen a 25 empresas europeas que han implementado CMMI
y han tenido un suficiente plazo de tiempo como para poder medir estos parmetros de
7
http://www.sei.cmu.edu/cmmi
(https://bscw.sei.cmu.edu/)
travs
del
Basic
Support
for
Cooperative
Work
Pgina 39 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
medio-largo plazo. Cabe destacar que el retorno de la inversin global se sita en una
media de un 470%.
Como punto fuerte del modelo destaca la inclusin de las prcticas de institucionalizacin,
que permiten asegurar que los procesos asociados con cada rea de proceso sern
efectivos, repetibles y duraderos. As mismo, el modelo se establece como una gua paso
a paso para la mejora, a travs de niveles de madurez y capacidad (frente al modelo
ISO). Ofrece, como ltimo aspecto reseable, la transicin del aprendizaje individual al
aprendizaje de la organizacin por mejora continua, lecciones aprendidas y uso de
bibliotecas y bases de datos de proyectos mejorados.
Como puntos dbiles destaca que CMMI puede llegar a ser excesivamente detallado
para algunas organizaciones, aspecto esto de difcil comprensin, y adems requiere
una inversin elevada para ser completamente implementado. No existe una gua a
medida de pequeas organizaciones como las PYME, aunque la representacin continua
permite seleccionar slo aquellas reas de proceso de inters, punto que puede ser
asumido por las pequeas empresas. Este punto de partida ha sido asumido por ESI
(European Software Institute) para crear su propio modelo adaptado a PYME, ITMark, que
se describe posteriormente en el epgrafe 3.3.4.
Esquema de evaluacin
Dado que CMMI no es una norma, por lo que no existe un proceso de certificacin como
tal, slo se evala a travs de profesionales reconocidos por el SEI, que ste denomina
Lead Appraisers. Este proceso de evaluacin determina la madurez de los procesos de la
organizacin que la lleva a cabo, valorando formalmente el nivel adquirido. El mtodo de
evaluacin instaurado de forma oficial por SEI es el SCAMPI (Standard CMMI Appraisal
Method for Process Improvement), que proporciona un benchmarking relativo a la
implantacin de los modelos CMMI. Mediante la aplicacin de este mtodo, se identifican
las fortalezas y debilidades de los procesos actualmente implementados en la
organizacin, se descubren los riesgos asociados, y se pueden determinar los niveles de
capacidad y madurez de los mismos.
Las evaluaciones bajo SCAMPI se basan en los principios de evaluacin ARC, definidos
por el SEI en el documento Appraisal Requirements for CMMI (ARC), Version 1.2. El
mtodo SCAMPI, a su vez, se define en Standard CMMI Appraisal Method for Process
Improvement (SCAMPISM), Version 1.2: Method Definition Document.
Estos documentos definen tres tipos de revisiones bajo SCAMPI:
Pgina 40 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La evaluacin clase A requiere que el proceso de evaluacin sea llevado a cabo por Lead
Appraisals, auditores acreditados por el SEI, de los que existe un amplio listado en su
sitio web. Las dems evaluaciones (B y C) deben ser supervisadas por agentes
autorizados del SEI para garantizar la interpretacin correcta de los mtodos.
En todas ellas se realiza una puntuacin de la implementacin de cada una de las
prcticas indicadas en el modelo CMMI segn los criterios indicados en la lista siguiente:
En terminologa CMMI, segn el documento que define el modelo, un Artefacto Directo es un producto tangible resultado
directo de la implementacin de una prctica genrica o especfica. Puede ser parte integral de la verificacin de la
implementacin de una prctica, o puede estar explcitamente declarado o implcito en la declaracin de la prctica o
material asociado a la misma.
Son una consecuencia de ejecutar una prctica especfica o genrica o de hacer tangible su implementacin, pero no son
el objetivo para el cual fueron realizados.
10
Declaraciones verbales (en entrevistas) o escritas, confirmando o apoyando la implementacin de una prctica especfica
o genrica.
Pgina 41 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
insatisfactoria, el equipo debe ser capaz de describir cmo las debilidades han llevado a
esa calificacin.
Implantacin en el mercado
Los ltimos resultados del informe emitido por el SEI, CMMI v1.1 SCAMPI SM v1.1
Class A Appraisal Results, actualizado a final de ao de 2006 y en que se muestran las
evaluaciones SCAMPI realizadas hasta enero de 2007, aparecen en la Tabla 2. En esta
tabla se puede comprobar la importancia que las empresas espaolas otorgan a esta
certificacin, pues Espaa se encuentra en el noveno lugar mundial con 31 evaluaciones
realizadas, tras Estados Unidos, China, India, Corea, Japn, Reino Unido, Brasil y Francia.
En Europa, Espaa es el tercer pas con ms evaluaciones exitosas realizadas.
Tabla 3: Evaluaciones SCAMPI Clase A, a enero de 2007
Country
Number of
Appraisals
Maturity
Level 1
Reported
Maturity
Level 2
Reported
Maturity
Level 3
Reported
Maturity
Level 4
Reported
Maturity
Level 5
Reported
Argentina
19
No
Yes
Yes
Yes
Yes
Australia
23
Yes
Yes
Yes
Yes
Yes
Austria
10 or fewer
Dahrain
10 or fewer
Belarus
10 or fewer
Belgium
10 or fewer
Brazil
48
No
Yes
Yes
Yes
Yes
Canad
26
No
Yes
Yes
Yes
Yes
Chile
15
No
Yes
Yes
No
Yes
China
240
Yes
Yes
Yes
Yes
Yes
No
Yes
Yes
Yes
Yes
Colombia
10 or fewer
Czech Republic
10 or fewer
Denmark
10 or fewer
Dominican Republic
10 or fewer
Egypt
17
Finland
10 or fewer
France
75
Yes
Yes
Yes
Yes
Yes
Germany
35
Yes
Yes
Yes
Yes
Yes
Hong Kong
10
India
204
No
Yes
Yes
Yes
Yes
Indonesia
10 or fewer
Ireland
10 or fewer
Pgina 42 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Country
Number of
Appraisals
Israel
Italy
Maturity
Level 1
Reported
Maturity
Level 2
Reported
Maturity
Level 3
Reported
Maturity
Level 4
Reported
Maturity
Level 5
Reported
10
10 or fewer
Japan
172
Yes
Yes
Yes
Yes
Yes
Korea, Republic Of
78
Yes
Yes
Yes
Yes
Yes
No
Yes
Yes
No
Yes
No
Yes
Yes
Yes
Yes
No
Yes
Yes
No
Yes
No
Yes
Yes
No
Yes
No
Yes
Yes
No
Yes
Latvia
10 or fewer
Malaysia
19
Mauritius
10 or fewer
Mexico
15
Morocco
10 or fewer
Netherlands
10 or fewer
New Zealand
10 or fewer
Pakistan
10 or fewer
Peru
10 or fewer
Philippines
16
Portugal
10 or fewer
Russia
10 or fewer
Singapore
10 or fewer
Slowakia
10 or fewer
South Africa
10 or fewer
Spain
31
Sweden
10 or fewer
Swtzerland
10 or fewer
Taiwan
46
Thailand
10 or fewer
Turkey
10 or fewer
United Kingdom
48
Yes
Yes
Yes
Yes
No
United States
718
Yes
Yes
Yes
Yes
Yes
Viet Nam
10 or fewer
Fuente: SEI 11
Costes de implantacin
Se incluyen a continuacin, en la Tabla 3, los tiempos estimados
implantacin/adaptacin de cada nivel dentro del modelo CMMI segn el SEI.
11
de
Op. cit. 6
Pgina 43 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Tiempo
23 meses
Nivel 2 al nivel 3
22 meses
Nivel 3 al nivel 4
28 meses
Nivel 4 al nivel 5
17 meses
Fuente: SEI 12
3.3.3
12
Op. cit. 7
Pgina 44 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
P7
P8
Gua de uso para la
mejora de procesos
P3
P2
Realizacin de una
evaluacin
Conceptos y gua de
introduccin
P9
Vocabulario
P6
Gua de calificacin
de proveedores
P4
Gua de evaluacin
P5
Modelo de evaluacin
y gua de uso
ISO/IEC 15504 se basa en el estado del arte actual con respecto a las certificaciones de
calidad de desarrollo de software, incorporando as la escala de puntuacin de capacidad
de CMM, las actividades de proceso de ingeniera de ISO/IEC 12207, Trillium y CMM, la
representacin de capacidad basada en perfiles de atributos de BOOTSTRAP y la
experiencia del sistema de gestin de la calidad general de ISO 9001.
Estructura del estndar
ISO/IEC desarrolla un modelo 2-D de evaluacin de la capacidad del proceso. Se valora la
organizacin de desarrollo software en la dimensin del proceso contra los atributos del
proceso en la dimensin de capacidad:
Pgina 45 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Finalmente como puntos a favor, ISO 15504 es el primer modelo de procesos que
incorpora las ya comentadas dimensiones independientes para los procesos y la
capacidad. El resultado de la evaluacin podra ser representado por un perfil en una
grfica de dos dimensiones. As mismo, define un conjunto de criterios de conformidad
para permitir la comparacin de modelos externos de procesos y encontrar requisitos
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 46 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
comunes. Por el contrario, el dominio de procesos debera ser ms amplio para abarcar
todos los posibles ciclos de vida (algo no necesario por la adopcin de modelos externos,
los PRM) y es difcil que todos los atributos de proceso fueran universales, aplicables a
todos los procesos y prcticas base. Adems, la dimensin capacidad ha alcanzado un
alto grado de dificultad y existen algunos solapamientos con la de procesos.
Adems, cabe decir que la complejidad de las evaluaciones (y por consiguiente el costo)
es significativamente ms alta que en otros modelos.
3.3.4
ITMark
El modelo ITMark ha sido diseado por ESI (European Software Institute), fundacin
privada sin nimo de lucro creada en 1993 por la Comisin Europea en colaboracin con
el gobierno vasco, e integrada en la Corporacin Tecnolgica TECNALIA.
ITMark evala y acredita la calidad de la empresa en tres grandes reas: una relacionada
con la gestin general de la empresa (estratgica, comercial, financiera y de marketing),
otra sobre la seguridad de la informacin y la tercera y ms especfica, vinculada a la
madurez de sus procesos software. En los temas relativos a gestin se toma como
referencia el modelo 10-Squared. Desde el punto de vista de la seguridad se emplea el
estndar ISO 17799, en tanto que en el rea especfica de software se incorpora una
versin simplificada de CMMI.
Este modelo se ha definido con la PYME y la microempresa como objetivo fundamental,
preparando un esquema de certificacin basado en CMMI que, segn ESI, no se ha
reducido para aplicarlo ms fcilmente en PYME. Por el contrario, se aplica de forma
concreta, pero estableciendo unos requisitos que se pueden interpretar nicamente desde
las caractersticas especiales de las PYME. Las evaluaciones de cumplimiento del modelo
ITMark, por ello, no son Clase A (ver el apartado sobre CMMI), sino evaluaciones
simplificadas de Clases B y C.
Bajo ITMark se realizan evaluaciones a las empresas en tres niveles:
ITMark Premium, acredita a una empresa que ha conseguido una buena madurez
en sus procesos de trabajo tcnico, seguridad y del negocio. En este caso los
niveles necesarios son considerablemente superiores a los descritos anteriormente,
Pgina 47 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
exigindose que todos los procesos evaluados desde los tres puntos de vista estn
razonablemente desarrollados. Por ejemplo, en el caso de CMMI se utiliza una
evaluacin bastante detallada de Clase B sobre CMMI Nivel 2, que una vez
superada nos facilita una confianza grande de poder superar con un trabajo
relativamente escaso la Evaluacin Oficial CMMI de Clase A.
Segn el director de servicios de ESI, Iigo Garro, con IT Mark se identifican las fortalezas,
debilidades y oportunidades de mejora de los procesos fomentando la cultura de la mejora
continua. Teniendo en cuenta la visin general de que CMMI es de aplicacin nicamente
en grandes empresas, ITMark se presenta como un modelo de ajuste de CMMI en cuanto
a mtodos de evaluacin, ms sencillos y flexibles, pensando ante todo en la PYME.
3.3.5
SwTQM
La iniciativa SwTQM parte del European Foundation for Quality Management (EFQM),
fundacin sin nimo de lucro con sede en Bruselas que rene a 700 organizaciones
interesadas en la consecucin de la excelencia a travs de la calidad de sus procesos, y el
ESI (European Software Institute), como modelo de excelencia para organizaciones que
desarrollan software de forma intensiva (SIO). La base principal del modelo es CMMI v1.1,
y se completa con el Modelo de Excelencia de EFQM.
El modelo se destina, segn la informacin publicada en la web de ESI, a:
El beneficio real de SwTQM, como unin de un modelo SPI y uno TQM, sera:
Pgina 48 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Proveer a las SIOs de un modelo nico y completo que satisfaga los requerimientos
de negocio con respecto a TQM, facilitando la implicacin de los departamentos de
software en sus iniciativas.
Pgina 49 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 50 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
RESULTADOS
Liderazgo
Personal
Resultados
en Personal
Poltica y
Estrategia
Resultados
en
Clientes
Procesos
Colaboradores
y recursos
Rendimiento
Resultados
en Sociedad
INNOVACIN Y APRENDIZAJE
Fuente: EFQM 13
El modelo reconoce que hay varias aproximaciones para llegar al objetivo ltimo de la
excelencia en todos los aspectos del funcionamiento. Por ello, se establece nicamente
como herramienta de mejora del sistema de gestin, y por tanto no es normativa ni
prescriptiva: no dice cmo hay que hacer las cosas, respetando as las caractersticas de
cada organizacin y la experiencia de sus miembros. En cualquier caso, el modelo
establece indicadores sobre cmo evaluar los resultados obtenidos, as como claves
finales que ofrecen la medida del rendimiento final.
El modelo establece la siguiente lgica (semejante al modelo PDCA) a la hora de
implementar EFQM:
13
(http://www.efqm.org)
Pgina 51 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Datos de implantacin
Realizando una bsqueda en la base de datos de EFQM en agosto de 2007, aparecen 10
empresas TIC espaolas incluidas en el sello Club Excelencia en Gestin, como se ve en
la Tabla 4.
Tabla 5: Empresas con el sello de excelencia EFQM (Club Excelencia en Gestin)
Sello de calidad
EFQM Commited to Excellence
EFQM Recognised to Excellence
EFQM European Quality Awards
Entidades espaolas
163
52
10
Empresas TIC
5
4
1
Fuente: EFQM
La evolucin a SwTQM
El modelo SwTQM se crea con la mentalidad de la mejora de procesos como eje del
cambio en las organizaciones hacia sistemas de excelencia, y se piensa en las bondades
de unir un modelo de excelencia en la gestin como EFQM, y un modelo SPI (Software
Process Improvement, mejora de procesos de software) como CMMI v1.1, orientado
adems al desarrollo de software. Ambos modelos son distintos, en cuanto a los enfoques
de partida, pero complementarios segn los diseadores de SwTQM.
De esta forma, EFQM:
Enfocado en el cliente.
En cambio, CMMI:
Pgina 52 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Los dos puntos de vista sobre la mejora de la calidad se amoldan en un modelo comn a
partir de una situacin inicial bsica:
Es difcil para una SIO (organizacin intensiva en software) incluir los procesos
relacionados con el desarrollo del software como procesos clave a la vista de los
propietarios de los procesos de negocio.
Pgina 53 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.3.6
Results: Control del buen rendimiento en negocio (EFQM), y del buen rendimiento
en la implementacin de mejoras segn SPI (CMMI).
TickIT
Especficamente en Calidad:
Exige pruebas de los entregables del diseo para verificar que satisfagan la
especificacin.
Pgina 54 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 55 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
crea valor aadido y ayuda a comprender las ventajas de alinear la tecnologa con el
negocio.
Asimismo, la actualizacin de ITIL ayuda a alinear sus mejores prcticas con las recogidas
en otros marcos de referencias, como COBIT (Control OBjectives for Information and
related Technology).
ITIL define, en un framework de procesos de IT no propietario, cmo se aplica en una
organizacin la Gestin del Servicio, mediante una terminologa estndar basada en
Buenas Prcticas independiente de tecnologa y proveedores, e incluye
interdependencias entre los procesos. As mismo, define claramente qu hacer y qu no
hacer. Cada libro describe un proceso crtico para la administracin de servicios IT, y
describe los procesos requeridos para el manejo eficiente y efectivo de la infraestructura,
garantizando los niveles de servicio establecidos entre la organizacin y sus clientes.
Grfico 5: Estructura del modelo ITIL
Equipo de Soporte
Centro de
Atencin
al Cliente
Desarrollo
Entrega del
Servicio
Integracin
del Servicio
Clientes
Proveedores
Equipo de Servicio
Fuente: Desarrollo propio basado en el modelo ITIL 14
14
Pgina 56 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Costes de implantacin
Se incluyen a continuacin los tiempos estimados de implantacin/adaptacin de cada
proceso perteneciente al estndar ITIL, diferenciando si se trata de una PYME o de una
gran empresa.
Tabla 6: Tiempo de implantacin de los procesos ITIL
Tiempo de implantacin
Proceso ITIL
Administracin de Incidentes y Service Desk
Administracin de Configuracin
Administracin de Problemas
Administracin de Cambios
Administracin de Release
Administracin de Disponibilidad
Administracin de Capacidad
Administracin Continua de Servicios TI
Administracin Financiera
Administracin de Niveles de Servicios
PYME
3-6 meses
3-4 meses
1-3 meses
1-3 meses
1 mes
3-6 meses
4-6 meses
3-6 meses
4-6 meses
2-4 meses
Gran empresa
6-24 meses
4-12 meses
3-4 meses
3-5 meses
1-2 meses
6-9 meses
6-12 meses
6-12 meses
6-9 meses
4-6 meses
Fuente:ITIL
3.3.8
15
15
http://www.itil.co.uk
16
http://www.sei.cmu.edu/tsp
Pgina 57 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Cuesta menos encontrar y arreglar errores en la etapa inicial del proyecto que
encontrarlos en las etapas subsecuentes.
Utilizar sus datos para planear los proyectos y/o los componentes futuros.
Analizar sus datos para desarrollar sus procesos con ms calidad para mejorar su
funcionamiento.
Pgina 58 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
una mejora en la calidad. Los siguientes son los niveles existentes y las KPAs que se
manejan en cada uno:
3.3.9
Nivel 2 - Inicial:
o
Nivel 3 - Repetible:
o
Nivel 4 - Definido:
o
Control de calidad.
Nivel 5 - Controlado:
o
Prevencin de defectos.
ISO/IEC 20000
Pgina 59 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La primera parte (Especificacin) define los requerimientos (217) necesarios para realizar
una entrega de servicios de TI alineados con las necesidades del negocio, con la calidad y
el valor aadido para los clientes, asegurando una optimizacin de los costes y
garantizando la seguridad de la entrega en todo momento. El cumplimiento de esta parte,
garantiza adems, que se est realizando un ciclo de mejora continua en la gestin de
servicios de TI. La especificacin supone un completo sistema de gestin (organizado
segn ISO 9001) basado en procesos de gestin de servicio, polticas, objetivos y
controles. El marco de procesos diseado se organiza en base a los siguientes bloques:
Pgina 60 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
entidad recibi en 2006 por itSMF 17 la versin traducida de la norma UNE correspondiente
a la norma ISO/IEC 20000.
3.4
3.4.1
TPI (Test Process Improvement) est basado en las mejores prcticas de la industria
relativas a la mejora del proceso de pruebas y orientado al producto final. El modelo
incluye guas prcticas para evaluar el nivel de madurez del proceso de pruebas de una
organizacin, as como los pasos para mejorar este proceso. Es certificable bajo la
evaluacin TMAP, y tanto este esquema de certificacin como el modelo TPI son
propietarios de Sogeti 18 .
Estructura del modelo
El modelo se compone de 20 reas Claves, que constituyen la base para mejorar y
estructurar el proceso de pruebas, tal y como se muestran en el Grfico 6.
Grfico 6: Estructura del modelo TPI
Ciclo de Vida
Tcnicas
Infraestructuras
Organizacin
General
Estrategia de test
Uso ciclo de vida
Momento de participacin
Estimacin y planificacin
Tcnicas de especificacin de test
Tcnicas de test estticas
Mtricas
Automatizacin de testing
Entorno de test
Entorno de oficina
Dedicacin y motivacin
Funciones de test y formacin
Campo de aplicacin de la metodologa
Comunicacin
Reporting
Gestin de defectos
Gestin de Testware
Gestin del proceso de test
Evaluacin
White Box testing
17
http://www.es.sogeti.com
Pgina 61 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
El enfoque sobre estas reas, segn TPI, contribuye a la mejora de los procesos de
prueba en la forma siguiente:
Uso de Ciclo de Vida: Define las fases del proyecto junto a las actividades y
procedimientos para mejorar la prediccin y control del proceso de pruebas.
Pgina 62 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Gestin de Defectos: Mide el buen uso del ciclo de vida y las cualidades que
puedan obtenerse de cada defecto.
White Box Test: Mide el nivel de conocimientos tcnicos durante las pruebas de
bajo nivel (unitarias).
Estudio de documentacin.
Con ello se definen las acciones de mejora, a partir de los objetivos de mejora
establecidos, y de los resultados de la evaluacin. Las acciones se determinan de tal
manera que sea posible ir mejorando paso a paso. Las mejoras se identifican en base a la
puntuacin actual y el nivel deseado de cada una de las 20 reas, y se debe realizar un
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 63 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Las normas ISO/IEC 9126, ISO 14598 e IEC establecen un modelo para medir la calidad
del producto y permiten identificar los requisitos de calidad de software. La ISO 9126
(basada en el modelo de McCall) plantea un modelo normalizado que permite evaluar y
comparar productos sobre la misma base.
La calidad queda definida a un alto nivel de abstraccin por seis caractersticas:
Usabilidad: Esfuerzo necesario para el uso y la valoracin individual de tal uso, por
parte de un conjunto de usuarios.
Pgina 64 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Una mejora al nivel de abstraccin planteado por la norma ISO/IEC 9126 es el modelo
QUINT2, que es un superconjunto del conjunto de caractersticas y subcaractersticas de
la ISO/IEC 9126 al proporcionar mtricas para medir la calidad que se basa en la dicha
norma.
Los modelos planteados (ISO/IEC 9126 y su mejora Quint 2) contemplan nicamente
aproximaciones a la calidad externa e interna de un producto software, por lo que la norma
se revis y se incluy un nuevo modelo de calidad que ampliaba (ISO 14598) las
caractersticas de los mismos, incluyendo:
Necesidades de
calidad del usuario
Uso y retroalimentacin
Contribuye a especificar
Requerimientos de
calidad externos
Indica
Calidad externa
Validacin
Indica
Contribuye a especificar
Requerimientos de
calidad interna
Calidad de uso
Verificacin
Calidad interna
Pgina 65 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Adicionalmente, para realizar el anlisis de los requisitos de calidad de uso se usan las 4
caractersticas principales definidas en la ISO/IEC 9126: Eficacia, Productividad,
Seguridad y Satisfaccin. Ahora bien, no hay que olvidar, que ISO 9126 es un modelo
genrico y es necesario adaptarlo para:
3.5
Las metodologas presentadas en este apartado pueden ser aplicadas por s mismas,
como mtodo para la mejora de los desarrollos de software, o en conjuncin con un
modelo de mejora de procesos como CMMI ISO/IEC 15504, ya que stos exigen una
metodologa de trabajo aunque no impongan ninguna en sus especificaciones bsicas.
3.5.1
Metodologa MTRICA 3
Pgina 66 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Seguridad (SEG).
Metodologa RUP
Pgina 67 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Process (ROP) a partir de Objectory 3.8 y del Enfoque Rational (Rational Approach),
adoptando UML como lenguaje de modelado.
En junio del 1998, finalmente, se lanza Rational Unified Process (RUP), el cual es un
proceso de desarrollo de software, que, junto al Lenguaje Unificado de Modelado UML,
constituye la metodologa estndar ms utilizada para el anlisis, implementacin y
documentacin de sistemas orientados a objetos. RUP es en realidad un refinamiento
realizado por Rational Software del ms genrico Proceso Unificado.
El proceso de software RUP tiene tres caractersticas esenciales:
Dirigido por los casos de uso, que son como un fragmento de funcionalidad del
sistema que proporciona al usuario un valor aadido y que representan los
requisitos funcionales del sistema.
En RUP los Casos de Uso no son slo una herramienta para especificar los
requisitos del sistema. Tambin guan su diseo, implementacin y prueba,
sirviendo como elemento integrador a travs de las fases de Requisitos, Anlisis y
Diseo, Implementacin y Pruebas.
Bajo la metodologa RUP, cada proceso puede representarse en una grfica de dos
dimensiones. Mientras que en el eje de ordenadas (Y) se colocan las actividades
(modelado de negocios, requisitos, anlisis y diseo, modelado, despliegue, actividades de
apoyo, etc.), el eje de abscisas (X) representa el tiempo dividido en cuatro fases:
Pgina 68 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
RUP puede ser implementada como metodologa de desarrollo bajo cualquier tipo de
modelo de procesos como ISO/IEC 15504, CMMI, etc.
3.5.3
Fue iniciado en Motorola el ao 1982 por el ingeniero Bill Smith como una estrategia de
negocios y mejora de la calidad, y posteriormente mejorado y popularizado por General
Electric. Esta metodologa parte de la apreciacin externa y compartida de los propietarios
de los procesos, con el fin de evaluar los diferentes problemas o disturbios que pueden
llevar a un bajo rendimiento o baja calidad de los productos terminados, as como la
ineficiencia o ineficacia de los procesos de una empresa.
Se centra en dos aspectos fundamentales:
Pgina 69 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Sleeping and Washing: Este paso corresponde a la limpieza y al despeje del rea
de trabajo. Esto no solo se refiere a la limpieza, sino tambin a la claridad, al orden,
a que el ambiente de trabajo sea adecuado.
Standardizing: En esta parte del mtodo se entra a analizar los procesos operativos,
buscando la minimizacin de sus defectos y su interaccin con la cadena productiva
de la empresa. Una vez hallado el mtodo ptimo, se estandariza en la
organizacin, creando un manual de procesos adecuado a las condiciones de la
empresa, susceptible de mejora de acuerdo a los cambios y desarrollos futuros.
Pgina 70 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Metodologa MSF
Invertir en calidad.
Aprender de la experiencia.
En 2005, el desarrollo del nuevo producto de Microsoft Visual Studio 2005 Team System
ha causado una evolucin de MSF hacia la nueva versin 4.0 con dos lneas paralelas:
Microsoft Solutions Framework (MSF) for CMMI Process Improvement: Abarca los
procesos de anlisis de requerimientos, aprobaciones, revisiones formales, gestin
de cambios, actividades de mejora de procesos, pruebas de contexto, desarrollo
(dirigido por pruebas), pruebas funcionales, y planificacin iterativa.
Pgina 71 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.5.5
Mtodos giles
Cada uno tiene sus caractersticas propias y cubre un rango de reas de procesos
ms o menos amplias, con tendencia a combinarlas para dar mayor cobertura en el
ciclo de vida del desarrollo del software.
Pgina 72 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Prcticas de codificacin:
o
Prcticas de desarrollo:
o
Asumir la propiedad colectiva del cdigo, para que todo el equipo sea
responsable de l.
Prcticas de negocio:
Pgina 73 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Agile SPI
Desarrollado en el marco del proyecto SIMEP-SW, en Colombia, Agile SPI (Software
Process Agile Improvement) parte de la premisa fundamental en este tipo de mtodos de
que los modelos utilizados sean ligeros, basados en estndares internacionales, y acordes
a las caractersticas, idiosincrasia y circunstancias de la realidad socio-econmica de la
industria de software colombiana.
La arquitectura preliminar de Agile SPI consta de los siguientes componentes:
Light SPI Evaluation Model: Un modelo ligero de evaluacin del proceso productivo.
Light SPI Metrics Quality Model: Un modelo ligero de mtricas del proceso
productivo.
3.6
Herramientas de apoyo
Pgina 74 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
componentes que pueden ser adquiridos individualmente para dar solucin a problemas
en etapas determinadas del modelo elegido, o ser integrados con aplicaciones o
herramientas ya existentes.
Dado que los mtodos de licenciamiento de estas herramientas son muy variados, y en
ocasiones dependen directamente del tamao de la empresa, nmero de usuarios, o
instalaciones en base de datos, no se pueden ofrecer costes asociados a su adquisicin.
Se han obviado en la muestra los productos ofimticos que nicamente permiten la
realizacin de diagramas PERT o GANTT para los procesos de gestin de proyectos, ya
que son de sobra conocidos.
3.6.1
Las herramientas de IBM, bajo el sello Rational Software, ofrecen un conjunto completo de
aplicaciones dirigidas a cada uno de los agentes que deben poner en prctica los procesos
implementados bajo un modelo como CMMI. Pueden ser adaptados para el trabajo con
otro tipo de modelos semejantes a CMMI e, incluso, ser utilizadas como herramientas sin
integracin bajo modelos distintos a ste.
En su portafolio de productos, Rational Software posee las siguientes herramientas y
soluciones ejecutadas sobre la plataforma Eclipse:
Para uso de los probadores del software: Rational Manual Tester, Rational
Functional Tester, Rational Performance Tester: Estas tres tipos de herramientas.
se integran en el ciclo de vida del software para permitir la realizacin de pruebas a
los analistas (fase de planificacin), a los arquitectos y desarrolladores (fase de
diseo e implementacin), y a los probadores (fases de ejecucin y validacin). Su
uso conjunto con el Rational ClearQuest permite al project manager la generacin
Pgina 75 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
A nivel directivo se ofrecen herramientas para el uso del equipo de gestin del
proyecto, como es el caso de Rational MethodComposer, Rational ClearCase,
Rational ClearQuest y Rational Project Console, o para el uso de la Direccin de IT,
Rational Portfolio Manager.
o
Pgina 76 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.6.2
Pgina 77 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Herramientas de Telelogic
La suite de herramientas diseadas por Telelogic para ALM, MDD (Model Driven
Architecture) y BPO (Bussiness Process Optimization) es extensa. Como muestra del
portafolio de soluciones se presentan como ms importantes las herramientas siguientes:
Pgina 78 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
3.6.5
IrqA es una herramienta de gestin de requisitos diseada por TCP (empresa radicada en
Madrid), que se asocia normalmente al modelo CMMI en sus niveles 2 y 3. Soporta,
adems del anlisis de requisitos en s, los resultados pruebas de aceptacin y validacin
de cara a llevar un histrico de todos aquellos requisitos modificados en el transcurso del
ciclo de vida del software. Est orientada al trabajo colaborativo entre analistas, gestores
del proyecto y responsables de pruebas.
Segn la informacin obtenida de IrqA 19 , ofrece el soporte necesario para el ciclo de
especificacin, mediante modelos para la captura, anlisis, construccin, validacin,
organizacin y clasificacin de los requisitos, as como de la gestin de las pruebas de
aceptacin. Est enfocado en la explotacin de la informacin, para lo cual se fundamenta
en una base de datos RDBMS y provee un conjunto amplio de capacidades de modelado
gracias al uso de XML como lenguaje de definicin de datos e interfaces.
3.6.6
Subversion
19
http://irqonline.com
Pgina 79 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
4 LA CERTIFICACIN DE
EMPRESAS ESPAOLAS
LA
CALIDAD
EN
LAS
Un rasgo claramente diferenciador del tejido empresarial espaol con respecto al resto de
pases vecinos es la fortaleza de la pequea y mediana empresa, que atendiendo a su
tamao se define como ilustra la Tabla 7 y a su volumen de negocio como se indica en la
Tabla 8.
Tabla 7: Definicin de la PYME segn la normativa de la Comunidad Europea (en vigor desde
el 1 de enero de 2005)
Nmero de empleados
Facturacin mxima (en millones
de euros)
Valor mximo del Activo del
Balance (en millones de euros)
Microempresa
Empresa
pequea
Empresa
mediana
Menos de 10
Menos de 50
Menos de 250
10
50
10
43
Categora de empresa
Mediana
Pequea
Micro
Efectivos
<250
<50
<10
Recomendacin 2003
Volumen de negocio
Balance general
<= 50 m
<= 43 m
<= 10 m
<= 10 m
<= 5 m
<= 2 m
Fuente: Ministerio de Industria, Turismo y Comercio
Tal y como se puede comprobar en dichas tablas, se constata que las empresas
espaolas son en su mayora organizaciones de menos de 10 empleados, tambin
conocidas como microempresas. De hecho, segn datos del Instituto Nacional de
Estadstica (DIRCE, Directorio Central de Empresas), de los ms de tres millones de
empresas existentes en Espaa en el ao 2006, cerca del 94% se trataba de
organizaciones con menos de diez asalariados o con ningn trabajador en plantilla. Este
hecho evidencia la influencia que la PYME tiene sobre la economa del pas, as como
sobre la sociedad en su conjunto.
El sector del software no es ajeno a esta situacin y as, la estructura del sector se
compone en un 99,8% de pymes, de las que ms del 85% son microempresas de menos
de 10 empleados. A pesar de esto, las PYME generan ms del 60% del Valor Aadido en
el Sector y el 70% de los puestos de trabajo.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 80 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Total
<10
<50
<200
>200
3.157
745
436
791
1.135
268
955
584
7.513
2.784
277
1.206
9.606
635
389
1.377
132
33
32.023
3.004
702
416
762
1.101
257
928
566
7.100
2.668
268
1.155
8.703
608
371
1.230
129
33
30.001
116
36
18
25
31
8
23
18
337
105
8
45
658
22
15
109
2
0
1.576
34
5
1
4
3
2
4
0
57
10
1
5
168
4
3
26
1
0
328
3
2
1
0
0
1
0
0
19
1
0
1
77
1
0
12
0
0
118
Por otro lado y segn se desprende del informe elaborado por la Asociacin de Empresas
de Electrnica, Tecnologas de la Informacin y Telecomunicaciones de Espaa
(AETIC) 20 , en colaboracin con el Ministerio de Industria, Turismo y Comercio, el mercado
interior neto (concepto que identifica el consumo de Tecnologas de la Informacin por
parte de los usuarios finales) creci en 2006 un 8% y se situ en 11.544 millones de euros.
La mayor tasa de crecimiento dentro del mercado interno se corresponde a los servicios
informticos que, con un crecimiento de 10,5%, se han situado en 4.975 millones de euros
y a los servicios telemticos e interactivos que registraron un crecimiento del 10,2% y una
facturacin de 849 millones de euros. El software, por su parte, experiment un alza del
8% para situarse en 1.600 millones de euros.
20
Pgina 81 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
El software, por su parte, experiment un alza del 8 por ciento para situarse en 1.600
millones. Los crecimientos ms destacados se han dado en las reas de sistemas
operativos, con un 14,1 por ciento y el software para bases de datos, con un 11,6 por
ciento. Por su peso en esta rea, hay que destacar tambin el avance de las aplicaciones
multimedia con un 10 por ciento de incremento.
Dentro de este importante entorno de crecimiento continuo, y a pesar de que las empresas
de TI ms conocidas son grandes multinacionales, el sector de T.I. se compone en un
99,8% de PYME, de las que ms del 85% son microempresas de menos de 10
empleados. A pesar de esto, las PYME generan ms del 60% del Valor Aadido en el
Sector y el 70% de los puestos de trabajo.
Estos datos refuerzan la idea de que las PYME son uno de los grandes motores del sector
de T.I., un sector en el que la gran competitividad existente hace que se busquen
continuamente elementos diferenciadores ante el mercado espaol. El establecimiento
de modelos para la mejora de los procesos internos o un sistema de pruebas del producto
ofrece el punto de excelencia necesario dentro del mercado del desarrollo del software,
dado que sus principales beneficios (como se podr ver a lo largo de este informe) dotan a
la empresa de calidad a la vez que un mayor control interno.
La competitividad intrnseca en este mercado, pues, ha adoptado los sellos de certificacin
de calidad como un paraguas bajo el que se anan los esfuerzos por la mejora interna, la
consecucin de la excelencia e, incluso, una dosis de marketing de cara al exterior que es
realmente bien percibido por sus clientes.
4.1
Las cifras presentadas en la introduccin, en las que se indica un 99,63% de las empresas
dedicadas a actividades informticas en Espaa son PYME, y de ellas un 93,68% son
microPYME, con menos de 10 trabajadores, indican que este colectivo (especialmente las
microempresas) tiene un peso especfico muy importante en el desarrollo de software. Por
ello, se debe incidir en ellas y presentar sus caractersticas esenciales antes de analizar
los modelos de mejora presentados anteriormente.
Segn las conclusiones obtenidas de las entrevistas realizadas a empresas y asociaciones
empresariales, adems de los autores mencionados en cada uno de los puntos abajo
indicados, si realizamos un anlisis muy escueto y exhaustivo de cules son las
principales ventajas o puntos positivos que presenta una PYME, podemos observar que
existen determinados aspectos que hacen que la misma presente ventajas diferenciales
frente a las grandes empresas. A modo de ejemplo:
Pgina 82 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Sin embargo, a pesar de presentar ventajas importantes, observamos que tambin existen
desventajas o aspectos negativos que pueden plantear problemas a la hora de adaptarse
a los cambios que se pueden producir con la implantacin de un modelo evaluable:
21
23
Chen, E; Price J (1994): "La gestin de la calidad en la pequea empresa". Harvard Deusto
Business Review n 59.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 83 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Segn Judith Meles 25 , las particularidades de los desarrollos de software sin una
metodologa explcita acentan estos aspectos negativos, pues a lo anterior se aaden los
retrasos en las entregas, los costos excedidos, la falta de cumplimiento de los
compromisos, requerimientos incompletos o no especificados en su totalidad, trabajo fuera
de hora, etc.
Con todos estos datos, la implantacin de modelos rgidos de control y mejora de procesos
se hace una tarea compleja en este tipo de empresas, que se torna muy complicada por
razones obvias si aplicamos estas conclusiones a las microempresas.
4.2
24
Guinjoan, M; Pellicer, P (1987): "Nuevas tcnicas y sistemas organizativos para las pymes". Serie
de estudios IMPI.
25
26
Este estudio ha sido coordinado por la Universidad de Estrasburgo y realizado bajo el patrocinio
del Programa ADAPT de la Unin Europea por la Universidad de Alcal, con la colaboracin de
CEOE.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 84 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
En segundo lugar, las empresas espaolas consideran (un 48%) que la competencia se ha
intensificado como consecuencia de la entrada de nuevos competidores y no por la
incorporacin de productos sustitutivos o por las exigencias de calidad. En este sentido
el esfuerzo realizado por las PYME espaolas es enorme por cuanto a pesar de la
creciente competencia han conseguido aumentar el nmero de unidades vendidas. La
situacin en Europa es similar en relacin al aumento de la competitividad. No obstante,
hay diferencias en el anlisis. En Europa el 53% de las empresas consideran que el
incremento de la competitividad se debe a la influencia de los actuales competidores,
mientras que en Espaa el 33,8% de las empresas sealan que el incremento de la
competitividad se debe a la aparicin de productos sustitutivos y un 20% se debe a las
nuevas exigencias de calidad.
Segn este estudio, las PYME espaolas han realizado un proceso de racionalizacin y
optimizacin de los recursos, lo que les ha permitido incrementar la rentabilidad de ventas.
El estudio afirma que las empresas ya han realizado un esfuerzo en la modernizacin de
sus instalaciones y en los procesos de produccin. Pero, una de las dificultades
subrayadas por los empresarios es la dificultad para acceder a los mercados financieros,
lo que obstaculiza dicho proceso de modernizacin.
Como se ha comentado, este esfuerzo lleva consigo un incremento implcito en la calidad
de los productos desarrollados que debe ser abordado, por lo que las empresas espaolas
tratan de adaptarse a esta nueva situacin. Por ello, la situacin sobre el estado de los
modelos y certificaciones de calidad en Europa y su adopcin por empresas fuera de
nuestras fronteras es seguida con detalle desde Espaa.
4.3
La descripcin de estos modelos, como referencia, aparece en el apartado 3 del presente informe.
Pgina 85 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 86 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
por ambos modelos, aunque es CMMI el estndar que aparece por delante en las
preferencias.
Grfico 8: Conocimiento sobre CMM/CMMI (empresas dedicadas a actividades informticas)
69,2%
CMMI
ISO 15504
23,0%
7,8%
NS-NC
Otro
0,0%
0%
10%
20%
30%
40%
50%
60%
70%
80%
Fuente: AEC
No conoce
8,0%
Conoce
51,0%
Utiliza
8,0%
NS-NC
33,0%
0%
10%
20%
30%
40%
50%
60%
Fuente: AEC
Por otro lado, los representantes de las grandes empresas entrevistadas aseguran por su
experiencia internacional que en estos momentos en el extranjero se valora CMMI como
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 87 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
primera opcin, que ha pasado a ser el referente en los contactos con grandes empresas
internacionales del sector, y que hace dos o tres aos que ISO 15504 ha dejado de tener
presencia en el mercado. Dada esta experiencia en relaciones y contactos internacionales,
los responsables de las grandes empresas han comentado que, de facto, el modelo ms
slido y til en el entorno espaol es el de CMMI, Tal y como aparece reflejado en el
Grfico 10, donde un 69,2% de los entrevistados sealan CMMI como primera opcin a la
hora de elegir un modelo para su implantacin frente a un 23% que muestran inters por la
ISO 15504.
Grfico 10: Inters/primera opcin de los entrevistados sobre los modelos de mejora de la
calidad a la hora de elegir un modelo para su implantacin.
69,2%
CMMI
ISO 15504
23,0%
7,8%
NS-NC
Otro
0,0%
0%
10%
20%
30%
40%
50%
60%
70%
80%
Fuente: INTECO
Pgina 88 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
29
Batista, J., Dias de Figueiredo, A. (2000): SPI in a Very Small Team: a Case with CMM.
Software Process: Improvement and Practice, vol. 5, n 4, diciembre, pp. 243-250.
30
Hareton, L. y Terence, Y, (2001): A process framework for small projects. Software Process:
Improvement and Practice. 6(2): p. 67-83.
31
Tuffley, A., Grove, B. y McNair, G. (2004): SPICE for small organisations. Software Process:
Improvement and Practice 9(1): 23-31.
32
Mekelburg, D (2005): Sustaining Best Practices: How real-world software organizations improve
quality processes.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 89 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Por otra parte, la ENAC, tal y como se ha comentado anteriormente, apenas trabaja en la
actualidad en este sector en Espaa. Los primeros pasos van encaminados hacia ISO/IEC
15504, ya que esta futura certificacin estara basada en una norma oficial (ISO), al
contrario que CMMI, cuyo esquema es propiedad del SEI, quien se reserva la potestad de
realizar las evaluaciones mediante sus Lead Appraisals.
4.4
Pgina 90 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
33
Hareton K. N. Leung y Terence C. F. Yuen (2001): A process framework for small projects.
Software Process: Improvement and Practice 6(2): 67-83.
34
Saiedian, H. y, Urban, J. (1997): A case study to demonstrate the impact of quality design
principles when restructuring existing software. Software Quality Journal, 6(4):337-348.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 91 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Los altos costes que conlleva la adopcin del modelo, con respecto a:
o
El cambio de filosofa de trabajo que implican los modelos y las metodologas que
subyacen en ellos.
35
Op. cit. 29
Pgina 92 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Los costes econmicos a la implantacin son, adems, muy altos para lo que deben
afrontar. En la Tabla 10 aparece un listado de costes aproximado, obtenido de los datos
proporcionados por algunos de los entrevistados.
Tabla 10: Costes econmicos asociados a las evaluaciones o certificaciones
Modelo
10.000 a 20.000
CMMI (acreditacin)
ISO/IEC 15504
(**)
(*) Aadir los costes derivados del plan de accin inicial, como la adquisicin de herramientas
(**) Sin datos al respecto
Fuente: INTECO
Estos costes econmicos no son los nicos que debe abordar una organizacin. Segn las
certificadoras entrevistadas, el desglose total supone:
Pgina 93 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Las prcticas sin relacin al tipo de proyecto que apunta documentar CMM.
Iniciativas en el extranjero
36
Weitzenfeld y lvarez (2003): Modelo para la reduccin del ciclo de desarrollo de software
basado en CMM. Universidad Autnoma de Aguascalientes, Mxico.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 94 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Como centro de consulta, dado que muchas de las partes de este conjunto de
herramientas y repositorio pueden ser descargadas y usadas para ayudar a una
pequea organizacin a adoptar CMMI.
37
SEI (2006): Thoughts on applying CMMI in small settings. y SEI (2006): Proceedings of the First
International Research Workshop for Process Improvement in Small Settings, 2005.
38
39
http://www.sei.cmu.edu/iprc/ipss.html
http://www.sei.cmu.edu/cmmi/publications/toolkit/
Pgina 95 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Iniciativas de ISO
Al respecto de las actuaciones de ISO en este sentido, ISO ha creado el grupo de trabajo
SC7-WG24 con el objetivo de buscar un marco sobre el que describir perfiles evaluables
en pequeas empresas y microempresas. Como resultado previo, pretenden elaborar un
estndar y dos guas que ayuden a este tipo de empresas a mejorar sus procesos
software como primer paso.
El trabajo concerniente a esta iniciativa est an en curso. En la reunin del grupo
celebrada en mayo de 2006, WG24 decidi por unanimidad tomar como base para su
trabajo los modelos mexicanos MoProSoft y EvalProSoft, uno de los resultados del
proyecto PROSOFT (a continuacin), traducidos al ingls por requerimiento de ISO y con
la ayuda de Microsoft.
Iniciativas encuadradas en el proyecto PROSOFT (Mxico)
Encuadrados en el proyecto PROSOFT (Programa para el Desarrollo de la Industria del
Software) de la Secretara de Economa de Mxico, con el objetivo de la mejora y
evaluacin de los procesos de desarrollo y mantenimiento de sistemas y productos de
software adaptados a la industria software, mexicana se han diseado dos modelos con un
cierto xito en Latinoamrica:
Generar una estructura de los procesos que est acorde con la estructura
de las organizaciones de la industria de software (Alta Direccin, Gestin
y Operacin).
40
Oktaba, H (2005): Modelo de Procesos para la Industria de Software MoProSoft Por Niveles de
Capacidad de Procesos. Versin 1.3,
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Pgina 96 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
La autoevaluacin.
Pgina 97 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Iniciativa SIMEP-SW
SIMEP-SW es un proyecto financiado por Colciencias (entidad responsable de la
investigacin en ciencia y tecnologa del pas) y la Universidad del Cauca (Colombia). La
finalidad del mismo es crear, aplicar y probar un sistema de mejora de procesos en base a
otros modelos de calidad, mejora y evaluacin internacionales, de forma que se logre una
adaptacin a las caractersticas de las empresas colombianas, as como la idiosincrasia y
el contexto socio-econmico del pas. El resultado del proyecto ha sido la definicin de un
modelo de mejora denominado Agile SPI, basado en modelos ligeros adaptados de
estndares internacionales para calidad y evaluacin, y un mtodo gil para la mejora.
Segn los autores de la definicin del modelo, no puede obviarse CMMI en el sector del
desarrollo del software, pero estos modelos son descriptivos (dicen qu hay que hacer
pero no el cmo), as que han diseado una implementacin del cmo hacerlo segn el
requerimiento del qu de CMMI.
COMPETISOFT Iberoamrica
COMPETISOFT trata de incrementar el nivel de competitividad de las PYME
Iberoamericanas desarrolladoras de software, creando un marco metodolgico comn que
se ajuste a las necesidades especficas de estas organizaciones. Este marco debera ser
la base para establecer un mecanismo de evaluacin y certificacin de la industria del
software en Iberoamrica. Los objetivos especficos de COMPETISOFT son:
Pgina 98 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Pgina 99 de 147
Instituto Nacional
de Tecnologas
de la Comunicacin
Iniciativas en Australia
RAPID (Rapid Assessments for Process Improvement for software Development) fue
desarrollado por SQI (Software Quality Institute) bajo los auspicios del Software
Engineering Australia, en el marco de un programa de investigacin dirigido por Aileen
Cater-Steel 41 , sobre la aplicacin de nuevos mtodos de evaluacin a pequeas y
medianas empresas.
El mtodo est basado en ISO/IEC 15504, y est diseado para realizar la evaluacin en
un da con la base de la reduccin de reas y procesos a evaluar. De esta forma, de los 40
procesos definidos en ISO/IEC 15504 slo se revisan 8, adems de medir la capacidad de
los procesos slo en los niveles 1 a 3 del estndar en lugar de los 6 iniciales.
Uso de modelos giles
De la referencia incluida anteriormente sobre la iniciativa COMPETISOFT para las PYME,
en la que se establecen como modelo de referencia MoProsoft y como modelo de mejora
Agile SPI, y de los estudios realizados por la Universidad del Cauca (Colombia) y la
Universidad de Chile sobre mtodos giles y su comparacin con CMMI 42 , se pueden
extraer dos conclusiones fundamentales:
Los mtodos giles son un mtodo muy adecuado para su aplicacin en las PYME y
la microempresa. El modelo Agile SPI, usado en el marco del proyecto para la
mejora de procesos software, fue probado en un piloto del que formaron parte 4
empresas mexicanas de menos de 50 empleados durante 8 meses (segn datos del
informe final de COMPETISOFT elaborado por H. Oktaba). Un nmero determinado
de procesos de cada una de ellas fue evaluado inicialmente segn la escala CMMI,
de 0 a 5, obteniendo una media global de 0,18. Los resultados finales tras 8 meses
arrojaron una media global de 1,13, por lo que la mejora fue realmente alta. Alguna
de estas empresas fue evaluada con el nivel 4 de CMMI al trmino del proyecto.
Es posible combinar algunos de estos mtodos giles (como XP) para lograr el
equivalente a un nivel 2 de CMMI en un 72%, segn los resultados del informe de
las universidades antes mencionado. Como requerimientos, los autores exigan una
definicin clara de los procesos y la posibilidad de realizar una minievaluacin
inicial.
Con esto, los modelos giles se presentan como alternativas simples a CMMI y a sus
modelos derivados para la PYME y la microempresa.
41
Instituto Nacional
de Tecnologas
de la Comunicacin
En este sentido, XP se ha diseado teniendo como meta final de la satisfaccin del cliente
y el cumplimiento de las fechas de entrega antes que ninguna otra circunstancia.
Otras iniciativas
4.5.2
Iniciativas en Espaa
Se incluyen a continuacin las iniciativas que se han lanzado en Espaa al respecto de los
modelos orientados a pequeas empresas y microempresas, as como las adaptaciones
que de modelos existentes y reconocidos (como CMMI e ISO/IEC 15504) se han
desarrollado recientemente.
ITMark
El modelo ITMark ha sido diseado por ESI (European Software Institute), fundacin
privada sin nimo de lucro creada en 1993 por la Comisin Europea en colaboracin con
el gobierno vasco, e integrada en la Corporacin Tecnolgica TECNALIA.
ITMark 43 evala y acredita la calidad de la empresa en tres grandes reas: una
relacionada con la gestin general de la empresa (estratgica, comercial, financiera y de
marketing), otra sobre la seguridad de la informacin y la tercera y ms especfica,
vinculada a la madurez de sus procesos software. En los temas relativos a gestin se toma
como referencia el modelo 10-Squared. Desde el punto de vista de la seguridad se emplea
el estndar ISO 17799, en tanto que en el rea especfica de software se incorpora una
versin simplificada de CMMI.
Varias han sido las implantaciones de ITMark en Europa hasta julio de 2007. Segn la web
de ESI 44 , en Espaa ha sido adoptado por las compaas Consultores Asociados, CTI
43
44
http://www.esi.es/index.php?op=15.1.2
Instituto Nacional
de Tecnologas
de la Comunicacin
Soft, ECNA Informtica, Innobask y WideWorld, todas ellas PYME. No se ofrecen cifras
sobre los resultados de estas implantaciones.
Iniciativas del gobierno de Aragn
El programa SoftAragn es una iniciativa del Departamento de Ciencia, Tecnologa y
Universidad del Gobierno de Aragn desarrollada por el ITA (Instituto Tecnolgico de
Aragn). Esta iniciativa pretende incrementar la competitividad de las empresas dedicadas
al desarrollo de software de Aragn mediante la mejora de sus procesos internos.
De igual forma que en otro tipo de subvenciones (el proyecto incluye una fuerte
subvencin), las empresas participantes deban formar un grupo para realizar el objetivo
de mejora en el mismo tiempo, a travs de la sinergia generada mediante la asociacin.
SoftAragn cuenta con la colaboracin de ESI, especialistas en CMMI, encargados de
realizar las evaluaciones iniciales y la preparacin de los planes de mejora para las
empresas participantes.
El punto de partida del programa, segn informacin proporcionada por el ITA, ha sido:
Un modelo apropiado para cualquier tipo de PYME que partiese con niveles de
madurez bajos en sus procesos.
basados
en
prcticas
reconocidas
Estos puntos han conformado la base de un modelo CMMI reducido, aplicado a PYME,
que es un punto intermedio antes de conseguir el nivel 2 de CMMI (al que algunas de las
empresas participantes optan actualmente). El modelo intermedio se acredita por parte del
gobierno de Aragn con un sello especfico (Bsico, equivalente a una evaluacin de
CMMI Clase C; y Premium, equivalente a una evaluacin clase B 45 ).
Segn el ITA, en datos presentados en la III Semana del CMMI celebrada en marzo de
2007 en Madrid, su experiencia tras tres aos de programa ofrece las siguientes
conclusiones:
45
Instituto Nacional
de Tecnologas
de la Comunicacin
Todas se basan en los dos modelos con mayor renombre internacional, CMMI e
ISO/IEC 15504.
Instituto Nacional
de Tecnologas
de la Comunicacin
Todas surgen de un mismo punto de partida, que indica que estos modelos no son
aplicables a PYME. Cada iniciativa llega a esta conclusin de forma independiente,
justificada tras un estudio o encuesta previa.
Todas tratan de crear un modelo puente, de manera que tras adoptar alguno de
estos modelos, la empresa pudiese en un futuro optar a una evaluacin clase A
CMMI o a una certificacin ISO/IEC 15504. Con ello se reconoce implcitamente la
excelencia de estos dos modelos y los logros y beneficios que otorgan.
Las iniciativas llevadas a cabo en Espaa tambin aplican como punto de partida la
creacin de un modelo intermedio como paso previo a CMMI e ISO/IEC 15504. Se centran
en la mejora de los procesos (tal y como defienden estos dos modelos) como mtodo de
alcanzar la calidad, y apenas tienen en cuenta los modelos orientados a producto.
Al respecto del estado de estas iniciativas, una conclusin que se ha extrado de las
entrevistas realizadas es la descoordinacin y la falta de informacin sobre las
iniciativas a seguir en el campo de la aplicacin de modelos aplicables a PYME y a
microempresa. A este respecto, menos de un 15% de los entrevistados conocan la
certificacin ITMark, y ningn entrevistado conoca la iniciativa de la AEC.
Un ejemplo ms claro de estas faltas es la participacin espaola en los comits de
normalizacin. En boca de uno de sus representantes, entrevistado durante este estudio,
los dems comits internacionales participantes suelen achacar al espaol la poca relacin
que tienen con la empresa espaola. Esto se justifica por su parte por el poco inters de la
empresa en participar en este tipo de grupos de trabajo, por lo que la labor de diseo de
normas queda restringida a trabajos realizados en universidades o en empresas privadas
como ESI. Debido a esto, la aportacin a las normas en general es muy terica en
detrimento del punto de vista empresarial prctico.
Segn el 86% de los entrevistados, existe la necesidad de un agente intermedio que
aglutine las iniciativas, y sirva de puente entre la PYME y las entidades normalizadoras y
dems organismos que respaldan la creacin de estndares, normas y modelos. Este
agente, segn conclusiones de los entrevistados, debera jugar un papel consistente en:
Identificar los modelos existentes para los diversos tipos y tamaos de empresas,
seleccionando aquellos que mejor se adapten a cada tipo independientemente de
que se puedan tratar de modelos orientados a la mejora de procesos o a la mejora
del producto.
Instituto Nacional
de Tecnologas
de la Comunicacin
Promover y divulgar iniciativas que se deban llevar a cabo para difundir los
modelos entre las empresas, como forma de dar a conocer las bondades y
beneficios de cada uno de ellos para cada tipo de empresa identificada:
o
Por los resultados obtenidos en cada iniciativa, revisando las conclusiones de cada una de
ellas en los sitios web en que las han publicado, se observa que existe un xito medible en
la aplicacin de los nuevos modelos intermedios. El agente aglutinador debera partir de
esta informacin como una base slida a la hora de llevar a cabo los proyectos antes
indicados.
4.6
Pese a estas dificultades, muchas son las razones que impulsan a una empresa a
implementar un sistema de mejora continua de procesos. Se incluyen a continuacin los
resultados obtenidos por la AEC (Asociacin Espaola para la Calidad) en su encuesta
Encuesta del Comit de Software sobre la Certificacin de Sistemas de Calidad,
publicada a principios del ao 2006.
Instituto Nacional
de Tecnologas
de la Comunicacin
Grfico 11: Motivos que llevan a las empresas a implementar un modelo de mejora de
procesos
Mejora de la gestin
interna
73,0%
Mejora de la satisfaccin
del cliente
52,0%
Requerimientos
comerciales o legales
49,0%
Aumento de la
competitividad
43,0%
19,0%
Otros
2,0%
0
10
20
30
40
50
60
70
80
Fuente: AEC
El informe 46 del Standish Group de 2005, indica que el 31,1% de los proyectos se
cancelan antes de completarse, y slo el 16,2% de los proyectos se completan en tiempo,
cumpliendo adecuadamente con todos los requerimientos, incluyendo financiacin. No es
extrao, pues, que el primer motivo de las empresas a la hora de buscar una certificacin
de calidad sea la mejora de sus procesos internos.
Las empresas entrevistadas que han implementado CMMI en las ltimas oleadas del Plan
Avanza mediante el plan COMPETIC, como puede ser PROCONSI, estn plenamente
satisfechas con el resultado tanto a nivel interno como externo. Sin ningn gnero de
dudas, reconocen como los beneficios a posteriori ms importantes los siguientes
puntos:
46
Mejor control sobre los proyectos abordados, gracias en parte a las herramientas
que la metodologa arrastra.
Disponible en www.scs.carleton.ca.
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
48,0%
47,0%
Aumento de ventas
Mejora de la posicin
competitiva
38,0%
15,0%
Disminucin de costes
12,0%
10,0%
7,0%
Otros
0%
10%
20%
30%
40%
50%
60%
Fuente: AEC
Segn la misma encuesta, el 79% de las empresas que han implantado estos modelos
estn satisfechas con el resultado final y los beneficios obtenidos.
A tenor de los comentarios de expertos universitarios y empresas de desarrollo en general,
la situacin actual en la universidad espaola no ayuda, de forma indirecta, a la
implantacin de un modelo. La formacin en calidad impartida en las universidades como
asignatura, ya sean troncales, optativas o de libre eleccin, es prcticamente nula, aunque
existen algunos casos de temarios de Calidad del Software como el de la Escuela
Universitaria de Informtica perteneciente a la Universidad de Valladolid.
Por este motivo, no existe una arraigada cultura de calidad en el desarrollo de software
implcita en el personal recin licenciado. Esto supone, al entender de la gente
entrevistada, una dificultad aadida en las empresas que quieren implantar una
metodologa y un sistema de calidad medible, evaluable o certificable. En aquellas que ya
poseen certificaciones o evaluaciones, en cambio, y que contratan este tipo de personal
sin experiencia no supone grandes problemas, puesto que como ya se ha comentado la
formacin inicial de las nuevas adquisiciones es un tema bsico e implcito en su sistema
de calidad.
4.6.1
El caso de PROCONSI
Instituto Nacional
de Tecnologas
de la Comunicacin
47
48
Instituto Nacional
de Tecnologas
de la Comunicacin
Estado del arte en la calidad del software en general, y aplicado a la empresa y sus
experiencias.
o
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
4.7
Las grandes empresas espaolas que actan como clientes suelen exigir a sus
proveedores de software que se acojan a determinados estndares de calidad, como
pueden ser las normas ISO 9000 y, ltimamente, CMMI ISO 15504. Segn las empresas
desarrolladoras entrevistadas, ste suele ser un motivo fundamental para implantar los
modelos solicitados.
Dado que un modelo de calidad basado en la familia de normas ISO 9000 es un requisito
de facto en el mercado, para una gran empresa suele ser fcil la adopcin de los modelos
orientados a sus procesos de desarrollo de software. Software Ag e Ibermtica, por
ejemplo, cuentan sus casos frente a CMMI y SPICE, respectivamente, como
implantaciones bastante sencillas dado que sus estructuras organizativas de calidad
permitan la compatibilidad de las exigencias de los nuevos modelos. Consideran adems
que su personal apenas necesitaba ser formado, dado que la calidad en los procesos de
desarrollo estaba muy implantada en la empresa.
Los beneficios adquiridos no son mesurables an por lo reciente de las evaluaciones de
los modelos que han implantado; no obstante y a priori, sin posibilidad de otras medidas,
sitan al marketing como uno de los principales beneficios que han adquirido.
Accenture es otra de las grandes empresas que ha implementado un modelo de mejora de
procesos a gran escala. La eleccin ha sido CMMI, ya que el mercado europeo, segn su
percepcin particular, ha abandonado definitivamente ISO 15504 (SPICE) en favor del
primero. Al igual que las otras empresas comentadas, coinciden en sealar que la
implantacin en una gran empresa es ms sencilla si ya se posee una certificacin como
ISO 9001, y ahonda en los beneficios que se obtienen.
Estos casos y experiencias no son extrapolables a empresas sin departamentos de
calidad, ni a organizaciones sin metodologas de desarrollo y herramientas asociadas,
como son gran parte de las PYME y prcticamente todas las microPYME. Adems, los
representantes de las grandes empresas coinciden al sealar (en un 100% de sus
respuestas) que estos modelos son inalcanzables para las pequeas y medianas
empresas tanto por su enorme coste econmico como por los recursos necesarios para
implementarlos.
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Instituto Nacional
de Tecnologas
de la Comunicacin
4.7.1
El caso de ACCENTURE
Accenture presenta una apuesta continua sobre la calidad. No han sido los clientes,
sino la propia empresa, quien ha iniciado los procesos para la mejora interna. De
esta forma, en 1999 fueron certificados bajo la norma ISO 9001:1994; en 2002
comenz la certificacin de la fbrica de software con CMM-SW nivel 3; en 2003
con CMM-SW nivel 5; y finalmente, en 2005, con CMMI nivel 5.
Piensan que les ha resultado muy sencillo adoptar CMMI debido a la posesin de
certificados de calidad en vigor como ISO 9001, y la cultura de calidad y mejora
permanente que vive la empresa.
Piensan que los clientes en Espaa dan muy poca importancia al nivel de CMMI, o a
la certificacin en general. En concreto, realizaron una prueba con un cliente en la
que la tasa de errores fue deliberadamente multiplicada por 10. El cliente no slo no
se quej en el transcurso del proyecto, sino que felicit al equipo por su trabajo y
haber entregado un producto con muy pocos errores.
Accenture cuenta con un Lead Appraiser acreditado por el SEI. No obstante, han
sido muy pocas las empresas que se han dirigido a ellos para realizar evaluaciones
Instituto Nacional
de Tecnologas
de la Comunicacin
4.7.2
El caso de SOLUZIONA
El modelo elegido en este caso ha sido tambin CMMI, con una metodologa de
desarrollo 6-Sigma subyacente. El rea evaluada corresponde a su fbrica de
software, al igual que en el caso de Accenture, aunque SOLUZIONA se encuentra
en nivel 3, y esperan poder evaluar prximamente en nivel 4.
4.8
Desde el punto de vista del cliente, el estudio de la AEC Encuesta del Comit de Software
sobre la Certificacin de Sistemas de Calidad, del ao 2006, ofrece los resultados
incluidos en el Grfico 13.
Instituto Nacional
de Tecnologas
de la Comunicacin
75,0%
12,0%
No es un factor diferencial
11,0%
NS-NC
2,0%
0%
10%
20%
30%
40%
50%
60%
70%
80%
Fuente: AEC
Como se puede apreciar, la mayor parte de las empresas que contratan servicios de un
tercero valoran, pero no exigen, un sistema de calidad certificado. Segn las entrevistas
realizadas, que apoyan estos datos, la exigencia real de una certificacin suele venir
nicamente de los grandes clientes. En cambio, si son PYME las que actan como cliente
no se da esta clase de requerimiento.
El cliente de la PYME espaola suele ser, en la inmensa mayora de los casos, otra
PYME. Segn algunos entrevistados, como SoftWCare, los clientes no entienden bien que
el hecho de que su desarrolladora les entregue rpido el producto suele implicar
normalmente la obtencin de un producto inmaduro y de poca calidad. Es prctica habitual
que esto suceda as en el mercado, y la solucin no es obvia.
En otras ocasiones son los proveedores de software los que no quieren educar a sus
clientes en este sentido, pues ven un gran negocio en ese mantenimiento. La realidad,
segn los entrevistados, es que luego se sufren las consecuencias de esta actitud. El
denominado mantenimiento no es tal, sino una mera garanta que hay que cubrir sin coste;
correcciones no previstas ni, por supuesto, abonadas, que son complicadas de corregir a
posteriori al no haberlo hecho bien desde el principio.
Segn las entrevistas realizadas y lo desarrollado anteriormente en el informe, los puntos
importantes a tener en cuenta en este sentido al respecto de las PYME se resumen a
continuacin:
Instituto Nacional
de Tecnologas
de la Comunicacin
El cliente de una PYME suele ser otra pequeas y mediana empresa, y en la mayor
parte de las ocasiones microempresas.
El cliente requiere del software en plazo, y por los motivos antes comentados ste
suele ser inmaduro.
El resultado final no hace sino reforzar el concepto de programar rpido, al da, con plazos
enormemente cortos, sin que los clientes exijan la calidad que mereceran esos productos.
La desarrolladora, en este escenario, carece de tiempo y recursos, como ya se ha
comentado, para variar la inercia del proceso tratando de implantar un modelo como los
comentados.
En el caso de las grandes empresas dedicadas al desarrollo de software en Espaa, los
resultados de las entrevistas ofrecen datos completamente distintos sobre sus clientes.
stos suelen ser grandes empresas, con altos requerimientos de calidad a sus
proveedores, por lo que en estos casos la certificacin de calidad (o una evaluacin
positiva de una implantacin de un modelo de mejora de procesos) en los trabajos
destinados a ellos suele ser exigida constantemente. La certificacin de calidad pasa de
ser un elemento diferenciador a un requerimiento.
Si en el caso de las empresas entrevistadas la actitud frente a la implantacin de modelos
de mejora viene marcada en gran medida por sus clientes, las entidades de certificacin y
acreditacin entrevistadas van ms lejos, poniendo al cliente en la parte ms importante
de todo este proceso. Segn stas, como se ha puesto de manifiesto en las entrevistas
realizadas a las mismas, el cliente es quien debera exigir la calidad en el desarrollo del
software, por encima de otros requerimientos, y es adems quien debera concienciarse
Instituto Nacional
de Tecnologas
de la Comunicacin
A la vista de los datos presentados y la visin del cliente comprador de software, los
motivos fundamentales por los que una empresa debe certificarse o adoptar al menos
un modelo de calidad son los siguientes:
Para la PYME: Segn su tamao y el tamao de los clientes, puede darse el caso
de necesidad por requerimientos externos o, como en el caso de las
microempresas, implantar la mejora por futuros ahorros de costes.
Instituto Nacional
de Tecnologas
de la Comunicacin
Servir como ente que publicite y d valor a las certificaciones de calidad ante
clientes y empresas.
Realizar las oportunas campaas de informacin, por los mtodos que se estimen
necesarios, para hacer ver a los compradores de software en Espaa de la
necesidad de exigir productos con un sello de calidad.
Realizar las oportunas campaas de informacin, por los mtodos que se estimen
necesarios, para hacer ver a las microempresas espaolas de los beneficios reales
de la implantacin de modelos para la generacin de productos bajo un sello de
calidad.
El efecto que el enfoque sobre el cliente dara a las posibles iniciativas con respecto a la
introduccin de los modelos de calidad es un punto esencial, y ha quedado de manifiesto
en las entrevistas realizadas. En casos en que el cliente no requiere sellos de certificacin,
ni le da importancia a los mismos, no hay necesidad palpable de inversin en certificacin.
Los responsables de las grandes empresas opinan que ste ha sido un hecho esencial a
la hora de implantar un modelo y as lo han observado tambin algunas PYME
entrevistadas.
Las conclusiones preliminares apuntan al establecimiento de una entidad con las
caractersticas que se han venido desarrollando hasta este punto. Preguntados al respecto
los
entrevistados,
los
resultados
son
los
que
ofrece
el
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Grfico 14: Cul debe ser la entidad u organismo que impulse la adopcin de modelos de
calidad por parte del empresariado espaol
39,4%
Administracin pblica
El cliente
24,2%
Entidades intermedias
21,2%
La propia empresa
Otros
15,2%
0,0%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
Fuente: INTECO
De esta forma, las administraciones pblicas parecen tener un gran peso especfico al
respecto de la visin actual de las empresas. En estos momentos ya son parte implicada
en el proceso en varias vertientes:
49
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
certificacin de calidad entre las PYME espaolas se debe otorgar a los organismos
intermedios como las asociaciones empresariales. Los datos aportados hablan de
algunos factores como:
Proximidad a la PYME, lo que las dota de una gran confianza desde el punto de
vista de los asociados.
Afn de mejora de sus asociados, punto expuesto tanto por los representantes de
las asociaciones entrevistados como por las propias PYME.
Convocatorias de foros de discusin, en los que las PYME abordan temas que les
preocupan, los ponen en comn y adoptan decisiones conjuntas en forma de grupos
de trabajo. Los foros han sido identificados en las entrevistas como uno de los
mejores medios para la difusin de la informacin sobre calidad del software. Las
PYME se muestran completamente de acuerdo en participar en ellos, ofreciendo
adems su experiencia en aquellos casos en que han obtenido ya alguna
certificacin sobre el tema o, simplemente, estn en vas de hacerlo.
Instituto Nacional
de Tecnologas
de la Comunicacin
Comunidad
Asturias
Cantabria
Galicia
Pas Vasco
La Rioja
Castilla y Len
Comunidad Foral
de Navarra
Aragn
Comunitat Valenciana
Regin de Murcia
Asociacin
Cluster TIC
ASCENTIC (Asociacin Cntabra de Empresas de Nuevas
Tecnologas de la Informacin y las Comunicaciones)
AGESTIC (Asociacin Gallega de Empresas de Tecnologa e
Informacin)
EGANET (Asociacin de Empresas Gallegas dedicadas a Internet)
INEO (Cluster INEO Zona Franca; Vigo)
GAIA (Asociacin Cluster de Telecomunicaciones; Agrupacin Vasca
de las Tecnologas Electrnicas y de la Informacin)
AERTIC (Asociacin de Empresas Riojanas de Tecnologas de la
Informacin y la Comunicacin)
AETICAL (Asociacin de Empresas de TIC de Castilla y Len)
ATANA (Asociacin de Empresas Navarras de TIC)
AEIA (Asociacin de Empresas de Tecnologas de la Informacin y
Comunicaciones de Aragn)
ESTIC (Asociacin de Empresas del Sector TIC)
AVINFO (Asociacin de Informtica de la Comunitat Valenciana)
TIMUR (Asociacin Murciana de Empresas de Tecnologas de la
Informacin y de la Comunicacin)
Andaluca
Catalua
Castilla-La Mancha
Comunidad Balear
4.9.1
50
Las asociaciones que integran CONETIC son parte de las mostradas en la Tabla 8; a saber: AEIA, AETICAL, ASCENTIC,
ASEITEC, ATANA, AVINFO, EGANET, ETICOM, FEDETICAM, GAIA, GSBIT, INEO y TIMUR.
Instituto Nacional
de Tecnologas
de la Comunicacin
Se ha realizado una entrevista con Carmen Gonzlez y Jess Rubio, Jefe de Servicio de
Promocin y Coordinacin de la Direccin General para la Sociedad de la Informacin de
la Junta de Extremadura, para obtener su percepcin acerca del mercado de la calidad, y
en especial aplicado al software libre. A continuacin se presentan las conclusiones
obtenidas.
Distribucin estndar.
Para este sistema operativo desarrollan las aplicaciones necesarias en cada caso,
bien por cuenta propia (servicios informticos de la Junta de Extremadura), o bien
mediante la subcontratacin de las mismas por los mtodos ms adecuados en
cada caso. La caracterstica principal de estas aplicaciones es que deben ser
desarrolladas en cdigo abierto, por lo que los cdigos fuente de las aplicaciones
han de ser entregados a la Junta para su almacenamiento en un repositorio de
informacin comn de acceso libre. En la mayor parte de las ocasiones, estos
desarrollos son realizados por las PYME de la regin.
Instituto Nacional
de Tecnologas
de la Comunicacin
Piensan que sin un sello de certificacin o una evaluacin de sus procesos, las
empresas que desarrollan cdigo abierto, en su mayora pequeas y medianas
empresas, actan internamente como si hubiesen pasado con xito la auditora de
una entidad certificadora. Si bien es cierto que en el ltimo ao han ofrecido
subvenciones para la obtencin de certificados, los representantes de la Junta de
Extremadura consideran que con el requisito de entrega de cdigo impulsan en gran
medida la calidad como parte fundamental del proceso de desarrollo en las PYME
de la regin. As mismo, piensan que para ello las desarrolladoras deben aplicar
implcitamente unos criterios de calidad de desarrollo que indirectamente suponen el
uso de metodologas, libreras y herramientas en la elaboracin del cdigo y la
documentacin semejantes a las requeridas por cualquier modelo de mejora de
procesos.
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
Identificar los modelos existentes para los diversos tipos y tamaos de empresas,
seleccionando aquellos que mejor se adapten a cada tipo independientemente de
que se puedan tratar de modelos orientados a la mejora de procesos o a la mejora
del producto.
Promover y divulgar iniciativas que se deban llevar a cabo para difundir los
modelos entre las empresas, como forma de dar a conocer las bondades y
beneficios de cada uno de ellos para cada tipo de empresa identificada:
o
Instituto Nacional
de Tecnologas
de la Comunicacin
As mismo,
Servir como ente que publicite y d valor a las certificaciones de calidad ante
clientes y empresas.
Realizar las oportunas campaas de informacin, por los mtodos que se estimen
necesarios, para hacer ver a los clientes compradores de software en Espaa de
la necesidad de exigir productos con un sello de calidad.
Realizar las oportunas campaas de difusin, por los mtodos que se estimen
necesarios, para hacer ver a las microempresas espaolas de los beneficios reales
de la implantacin de modelos para la generacin de productos bajo un sello de
calidad reconocible.
5.1
Uno de los objetivos de la entidad debe ser establecer claramente los modelos a difundir a
cada tipo de empresa, as como la necesidad de desarrollar modelos nuevos si fuese
necesario. Como se ha visto, los modelos presentados en los apartados anteriores
resuelven de forma distinta la aproximacin a la calidad del producto final. Algunos de ellos
centran sus esfuerzos en la mejora de la capacidad de los procesos que conducen a ese
producto, otros se centran en las pruebas a realizar durante el ciclo de vida, y otros
realizan una mezcla de ambas aproximaciones con modelos ms reducidos.
A continuacin se incluye un pequeo resumen de apoyo 51 sobre los modelos ms
importantes presentados anteriormente, descartando aquellos generalistas y no centrados
exclusivamente en desarrolladoras de software, as como los modelos con poca
implantacin. La referencia sobre las caractersticas especiales de cada modelo se
encuentra en el apartado 3 de este informe.
51
Para elaborar este resumen y las valoraciones en l incluidas, se han tenido en cuenta la informacin disponible sobre
cada uno de los modelos (documentacin oficial publicada, etc.); las opiniones e informacin obtenida a travs de las
entrevistas a los expertos y representantes de entidades certificadoras, normalizadoras y expertos independientes; la
informacin obtenida a travs de las experiencias de implantacin comunicadas por los entrevistados; y el conocimiento y
opinin de los expertos entrevistados.
Instituto Nacional
de Tecnologas
de la Comunicacin
Instituto Nacional
de Tecnologas
de la Comunicacin
De aqu se desprende que mientras CMMI e ISO/IEC 15504 son modelos para grandes y
medianas empresas, los modelos ITMark y SwTQM son certificables y pueden ser
implementados en cualquier PYME, aunque ITMark se adaptara mejor a la
microempresa debido a que SwTQM no deja de ser una personalizacin para software del
modelo EFQM para PYME. En estas microempresas con muy pocos empleados, adems,
son una buena opcin:
El uso de modelos orientados a la mejora del producto como TPI, que nicamente
se enfocan sobre las pruebas del software y son de rpida implementacin (con
respecto a los dems).
Instituto Nacional
de Tecnologas
de la Comunicacin
Las empresas, en cualquier momento, podran ser objeto de auditora segn una
muestra seleccionada anualmente para verificar:
o
En este marco de actuacin, y a grandes rasgos, los costes de las evaluaciones anuales
para la renovacin de la certificacin supondran nicamente una tasa anual a pagar
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Instituto Nacional
de Tecnologas
de la Comunicacin
segn su tamao o modelo. La entidad certificadora, por el contrario, debera ser quien
realizase las auditoras segn la muestra de empresas elegida
5.2
Comisin Europea
52
http://cordis.europa.eu/esprit/src/essi.htm
Instituto Nacional
de Tecnologas
de la Comunicacin
Tanto ESPINODEs como ESBNETs tienen como meta continuar los resultados de la
iniciativa a nivel regional. Mientras que el objetivo de ESPINODE es proveer soporte a las
PIE, ESBNET tiene como meta integrar las acciones realizadas a pequea escala en una
red cuyo nfasis se site en la comunidad de empresas no acogidas a PIE.
Fruto de este proyecto se han creado varios modelos con implantacin regional, a travs
de los programas piloto comentados, en pases como Italia, Irlanda, Suiza y Austria. Sin
embargo, los resultados no han sido extrapolados ni se ha ahondado en los modelos
creados de cara a su difusin generalista.
Programa marco para la innovacin y la competitividad (CIP) de 2007-2013
Con objeto de tener en cuenta la diversidad de sus objetivos y de garantizar su visibilidad,
el CIP comprende tres subprogramas especficos. Los intereses de las pequeas y
medianas empresas (PYME) y la innovacin ecolgica constituyen prioridades
transversales y se tienen en cuenta en todo el programa marco.
Uno de estos programas, el de iniciativa empresarial y la innovacin, rene acciones
dirigidas a promover la iniciativa empresarial, la competitividad industrial y la innovacin. El
programa se dirige expresamente a las PYME, desde las empresas gacela (empresas
de crecimiento rpido) de alta tecnologa hasta las microempresas y empresas familiares,
que son la gran mayora de empresas europeas. Facilita el acceso de las PYME a la
financiacin y a las inversiones en su fase inicial y de crecimiento. Asimismo, hace posible
que las empresas puedan acceder a informacin y asesoramiento sobre el funcionamiento
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Instituto Nacional
de Tecnologas
de la Comunicacin
del mercado interior y sus posibilidades, as como sobre la legislacin comunitaria que les
es aplicable y sobre la legislacin futura, para as poder prepararse y adaptarse de manera
rentable. A tal fin, los servicios europeos de ayuda a las empresas desempean un papel
importante. El programa prev adems el intercambio de mejores prcticas entre los
Estados miembros a fin de mejorar el entorno normativo y administrativo para las
empresas y la innovacin. El Programa para la iniciativa empresarial y la innovacin se
basa en varios instrumentos financiados por el Programa plurianual en favor de la empresa
y el espritu empresarial, el Sexto programa marco para acciones de investigacin, el
programa LIFE y el Programa para la competitividad industrial, que ha finalizado el 31 de
diciembre de 2006. Las iniciativas no detallan investigacin en calidad del software,
aunque s incluyen proyectos de subvenciones englobados en la mejora general de la
PYME. En este sentido, se pueden consultar las pginas web oficiales del ICT PSP 53 , y la
web de SOST 54 .
5.2.2
Brasil
El Proyecto MPS.Br - mejora de proceso del software brasileo - es una iniciativa global
promovida por la administracin brasilea que involucra a universidades, grupos de
investigacin y empresas, bajo la coordinacin de la Sociedad SOFTEX 55 (Sociedad para
Promocin de la Excelencia del Software Brasileo). El proyecto, en marcha desde el
2003, tiene como finalidad la definicin y difusin de un Modelo de Referencia y un Modelo
de Negocio para la mejora del proceso de software (MR.MPS y MN.MPS,
respectivamente).
El proyecto promueve la calificacin de un grupo amplio de empresas compatible con los
estndares de calidad aceptados internacionalmente por la comunidad de software, a
costos accesibles para la mayora de las empresas brasileas, siendo adecuado al perfil y
la cultura de cada una de ellas.
La propuesta base es la elaboracin de un Modelo de Referencia de Procesos, basado en
los conceptos de madurez y capacidad de proceso, para evaluacin y mejora de la calidad
y productividad de productos y servicios de software para:
53
En http://ec.europa.eu/information_society/activities/ict_psp/index_en.htm
54
En http://www.sost.es/CIP.html
55
Instituto Nacional
de Tecnologas
de la Comunicacin
Frum de Credenciamento e Controle (FCC), que tiene por objetivo asegurar que
las Instituciones Implementadoras y las Instituciones Evaluadoras sean sometidas a
un proceso adecuado de acreditacin y que sus actuaciones se mantienen en
dentro de los lmites ticos y de calidad esperados, adems de evaluar y controlar
los resultados del programa MPS.BR.
Instituto Nacional
de Tecnologas
de la Comunicacin
o
5.2.3
Argentina
Referente tcnico pblico, tanto para el Estado Argentino como para el mbito
privado, en:
o
56
Disponible en www.inti.gov.ar
Instituto Nacional
de Tecnologas
de la Comunicacin
57
Ms informacin en www.cessi.org.ar
58
59
Instituto Nacional
de Tecnologas
de la Comunicacin
Diseo y Productividad.
Cursos de Capacitacin.
Transferencias Tecnolgicas.
Cada laboratorio se concibe como una asociacin entre el polo tecnolgico local, el INTI y
universidades de la regin. Esta unin permite desarrollar las lneas de trabajo
enunciadas, a travs de una puesta en marcha acorde con la especificidad y urgencia de
cada regin.
Los laboratorios creados en el marco del programa son los siguientes:
Instituto Nacional
de Tecnologas
de la Comunicacin
5.2.4
Mxico
http://www.polotecnologico.net/CentroDeCalidad.asp
61
http://www.software.net.mx
Instituto Nacional
de Tecnologas
de la Comunicacin
62
Instituto Nacional
de Tecnologas
de la Comunicacin
NDICE DE TABLAS
Tabla 1: Modelos y metodologas existentes en el mercado...............................................30
Tabla 2: Beneficios de la implantacin de CMMI segn encuestas del SEI........................39
Tabla 3: Evaluaciones SCAMPI Clase A, a enero de 2007.................................................42
Tabla 4: Tiempo de implantacin de los niveles CMMI .......................................................44
Tabla 5: Empresas con el sello de excelencia EFQM (Club Excelencia en Gestin)..........52
Tabla 6: Tiempo de implantacin de los procesos ITIL .......................................................57
Tabla 7: Definicin de la PYME segn la normativa de la Comunidad Europea (en vigor
desde el 1 de enero de 2005)..............................................................................................80
Tabla 8: Clasificacin de las PYME por volumen de negocio .............................................80
Tabla 9: Empresas espaolas dedicadas a actividades informticas en 2006 ...................81
Tabla 10: Costes econmicos asociados a las evaluaciones o certificaciones...................93
Tabla 11: Asociaciones de empresas por Comunidad Autnoma.....................................126
Instituto Nacional
de Tecnologas
de la Comunicacin
NDICE DE GRFICOS
Grfico 1: Modelos existentes en el mercado encaminados a la mejora de procesos segn
especificaciones de la norma ISO 9001:2000 .....................................................................33
Grfico 2: Nivel de madurez segn CMMI, por tamao de las organizaciones (muestra de
1680 empresas que han comunicado sus datos al SEI) .....................................................37
Grfico 3: Estructura de procesos de ISO/IEC 15504 (SPICE), segn indica la norma......45
Grfico 4: Estructura del modelo de excelencia de EFQM..................................................51
Grfico 5: Estructura del modelo ITIL ..................................................................................56
Grfico 6: Estructura del modelo TPI...................................................................................61
Grfico 7: Calidad en el ciclo de vida del software, segn ISO 9126 ..................................65
Grfico 8: Conocimiento sobre CMM/CMMI (empresas dedicadas a actividades
informticas) ........................................................................................................................87
Grfico 9: Conocimiento sobre ISO 15504 (empresas dedicadas a actividades
informticas) ........................................................................................................................87
Grfico 10: Inters/primera opcin de los entrevistados sobre los modelos de mejora de la
calidad a la hora de elegir un modelo para su implantacin................................................88
Grfico 11: Motivos que llevan a las empresas a implementar un modelo de mejora de
procesos ............................................................................................................................106
Grfico 12: Mejoras obtenidas tras la implantacin del modelo de calidad.......................108
Grfico 13: Posicin como cliente a la hora de contratar servicios de un proveedor ........118
Grfico 14: Cul debe ser la entidad u organismo que impulse la adopcin de modelos de
calidad por parte del empresariado espaol......................................................................123
http://www.inteco.es
http://observatorio.inteco.es
Estudio sobre la certificacin de la calidad del software en Espaa
Observatorio de la Seguridad de la Informacin
Laboratorio Nacional de Calidad del Software
Instituto Nacional
de Tecnologas
de la Comunicacin
http://www.inteco.es/Calidad_del_Software/Laboratorio_Nacional