Evaluación de Proyectos Sociales: Tipos y Finalidades, Resúmenes de Evaluación del Desempeño

¡Descarga Evaluación de Proyectos Sociales: Tipos y Finalidades y más Resúmenes en PDF de Evaluación del Desempeño solo en Docsity! Ciclo de Políticas Públicas: - Definición del problema - Entrada de la agenda - Toma de decisiones - Implementación/ejecución - Evaluación. 1.1 Definición y concepto de evaluación. Es necesaria por la falta de certitud al llevar una política publica. La ultima fase del proceso de política publica, es retroalimentable, que sirve como un instrumento técnico y una herramienta política. La justificación ultima de la evaluación sería el ejercicio de responsabilidad política y la búsqueda de lo que se ha denominada eficacia democrática (Bañón y Carrillo 1994), incluyendo así el punto de vista del ciudadano. Los beneficios derivados de la evaluación superan a los costes (Ruiz Viñas 2004) Tanto los modelos como los enfoques han ido evolucionando paralelamente al desarrollo del APPs. Razones para evaluar políticas públicas: - Los procesos sociales sobre los que se quiere influir se conocen solo parcialmente. - La información es imperfecta, por lo tanto, la base para la realización es imperfecta también. - Condicionamientos políticos= búsqueda de consenso y soluciones de compromiso. - Desviación de objetivos, es decir, en conocimientos y habilidades de la organización EVALUACIÓN DE POLÍTICAS PÚBLICAS. - Impactos imprevistos de las políticas. Definición de evaluación o “Recoger y analizar sistemáticamente una información para poder determinar el valor o mérito de una intervención (PP)” Joint Committee Standard Education. o Es el proceso de determinar en qué medida los objetivos de un programa se han alcanzado (Tyler 1950) o Investigación sistemática del valor o mérito de un objeto. (Joint Committee Standard Education, 1981) o La provisión de información para la toma de decisiones sobre una intervención. (Cronbach, 1981) o La aplicación de métodos de investigación sistemáticos para la evaluación del diseño, la implementación y la efectividad de un programa. (Chelimsky, 1985) o Emitir un juicio sobre el valor de la acción pública. (Viveret, 1989) o Iniciativa pluralista cuyo núcleo es el sistema de los actores implicados y cuyo propósito estriba en valorar la fundamentación de una intervención publica, basándose en el símil de sus efectos con los sistemas de valores vigentes. (Monnier, 1995) o Práctica seria de argumentación basada en información pertinente sobre los efectos de una política (Roth, 2002) BALLART: Producción de información que sirva a los gestores públicos para tener una idea sobre la calidad de los servicios que están produciendo, en función de lo que se estime como valor. Evaluación como técnica que busca producir información útil a las Administraciones públicas para mejorar: - Los procesos de decisiones y planificación. - El funcionamiento y la gestión de las operaciones diarias. - Los resultados finales en relaciones a los recursos invertidos. 5. Operacionalizacion de criterios e indicadores 6. Diseño metodológico. Diseños experimentales, cuasi experimentales, no experimentales. 7. Búsqueda de fuentes y diseño de técnicas A quien necesito preguntar para obtener la información; sé las herramientas (encuestas, grupos de discusión, análisis de datos…) 8. Trabajo de campo Recolección de datos 9. Datos Sistematización, depuración… Análisis de los datos. 10. Interpretaciones Análisis de resultados 11. Juicios La medición realizada puesta en relación, en comparación con los criterios de valor 12. Recomendaciones Lista de cuestiones recogidas de los errores detectados por la política pública. 13. Comunicación de resultados Presentación pública del informe con las conclusiones. Análisis posibles con la evaluación Se ajusta el programa o dispositivo a las necesidades prioritarias de la población. Si no es así ¿Cuáles son las dificultades con las que se encuentra? Se explicita el análisis de causualidad que sustenta la intevernción que a veces está implícito El programa contribuye a lograr los cambios deseados. Se constata la congruencia del modelo ¿es lógico? • Analisis de la coherencia interna • Revision de sus componentes ¿son necesarios? ¿son suficientes? ¿Implementación correcta? ¿Recursos adecuados? ¿Policy shift? Revisión del estado del problema/ política pública: • Continuación de política existente • Revisión de la política • Terminación de la política: por éxito o por fracaso. • Nueva política: cambio por una política nueva. Tipos de evaluación De acuerdo con la procedencia del evaluador/es • Evaluación interna, los propios involucrados en el proyecto evalúan el proyecto. • Evaluación externa, agentes de fuera de los involucrados en el proyecto. • Evaluación mixta, un grupo formado por agentes internos y externos. Unir las ventajas de ambos métodos. Ventajas y desventajas. Ventajas evaluación interna: - Conocimiento del proyecto y la administración. - Reducción de costes. - Más fácil identificar problemas e implementarlos. Desventajas evaluación interna: - Imparcialidad, interés personal en la evaluación. - Evaluación menos objetiva. - Personal menos capacitado para una evaluación. Ventajas evaluación externa: - Más objetiva - Equipo más preparado - Credibilidad por la opinión pública, sociedad. - Independencia del equipo evaluador Desventajas evaluación interna: - Mayor coste - Menos capacidad de introducir modificaciones - Falta de conocimiento en el proyecto. - Recelos del personal. - Criterios de elección. • Momento de realización de la evaluación Acabado (normalmente, externa); Diferentes evaluaciones en la ejecución (interna, normalmente por los costes) • Incidencia de los resultados de la evaluación. Modificaciones sobre la marcha à evaluación interna • Garantías de objetividad requeridas. Que sea creíble à evaluación externa 07/06 Tipos de evaluación De acuerdo con la procedencia del evaluador/evaluadores - Evaluación interna - Evaluación externa - Evaluación mixta Ventaja y desventajas. Criterios de selección: - momento de realización de la evaluación – incidencia de los resultados de la evaluación – garantías de objetividad requeridas. De acuerdo con su temporalización. ¿Cómo evaluar? 1- En relación a la puesta en marcha del proyecto: o Ex ante de que se ejecute el proyecto o In itinere/Intermedia. A mitad del proyecto como análisis crítico de ver si funciona o no la política pública con una idea de introducir mejoras entre medias. El seguimiento es algo diferente a la evaluación. Se centra más en la implantación de la PPs. o Ex post (final), se realiza una vez acabado el proyecto y tiene como fin enjuiciar el plan, proyecto o política pública. De acuerdo con el modelo - Método cuantitativo. Datos de corte matemático - Método cualitativo. Se hace más referencia a las impresiones que tienen lis usuarios en el proceso de la PPs. - Enfoque pluralista/mixta. Es un híbrido entre lo cualitativo y lo cuantitativo. De acuerdo con la metodología. - Constructivista o libre de objetivos. Conlleva que los objetivos serán dinámicos, los objetivos no se establecen en objetivos cuantificables. - Evaluación formativa. Detectar fallos que tenga la PP. - Evaluación participativa. Los actores de la PP adquieren protagonismo, normalmente se encuentra en el contexto de los grupos de interés, complicadas de poner en marcha. - Evaluación integral y holística. No se considera la evaluación como ultima parte, se hace combinando técnicas mixtas y se hace completa. Instrumentos de medición TÉCNICAS: • Observación no participante (cualitativo) • Observación participante (cualitativo) • Visitas de seguimiento (cualitativo) • Entrevistas en profundidad (cualitativo) • Cuestionarios, encuestas, sondeos (cuantitativo) • Test (cualitativos, cuantitativo) • Escalas (cualitativos, cuantitativo) • Revisión documental (cualitativo, cuantitativo) • Grupos de discusión/focus group (cualitativo, cuantitativo) MÉTODOS DE INVESTIGACIÓN: • Estudios de casos (cualitativo, cuantitativos. Limitaciones instrumentales - Las técnicas de explotación de la propia información. - Dificultad de aislar los efectos. - Dimensión temporal. - Escasa cultura evaluativa organizacional. TEMA 2: DEFINICIÓN Y CONCEPTO DE EVALUACIÓN. “Comparar en un instante determinado lo que se ha alcanzado mediante una acción con lo que se debería haber alcanzado de acuerdo con una programación previa” SUBACTIVIDADES DE LA EVALUACIÓN. 1. Especificación – (Criterios) unidades de medida. 1. Medición – (Técnicas) cuantitativo y cualitativo. 1. Análisis – (Métodos) 1. Recomendación – (Formas) de como poder mejorar esa política pública. OBJETIVOS DE LA EVALUACIÓN 1. Medir el grado de: 1. Mejorar la toma de decisión: Situación prevista Situación real Evaluación Proceso de comparación - EFICACIA - EFICIENCIA - EFECTIVIDAD - IDONEIDAD - Mejorar prácticas - Añadir técnicas - Modificar estrategias - Continuar o no con el proyecto - Establecer proyectos semejantes Los criterios claves a la hora de definir la evaluación es la estructuración del problema (tiene que ver con la ev. de diagnostico), por otro lado, nos encontramos con el grado y la resolución del problema. CRITERIOS APLICABLES. - ¿es eficaz?: si se han conseguido los objetivos planeados. - ¿es eficiente?: cuánto esfuerzo ha requerido el resultado. - ¿es adecuado?: en qué proporción ha resuelto el problema. - ¿es equitativo?: si se han distribuido los costes y beneficios. - ¿es responsable?: satisface o no las necesidades, preferencias y valores. - ¿es apropiado?: si los resultados deseados (objetivos) son realmente valiosos TEMA 3: TIPOS DE EVALUACIÓN Criterios: 1) Según el momento (función) de la evaluación. - Formativa, se realiza cuando se ejecuta el proyecto para poder mejorar un proyecto que esté en marcha - Sumativa o final, se evalúa poco a poco y se obtienen unos resultados del proyecto 2) Según la procedencia de los evaluadores - Interna (autoevaluación), técnicos especializados al proyecto - Externa, un organismo fuera de la institución que evalúa el proyecto. - Mixta 3) Según la naturaleza de lo evaluado - Evaluación de necesidades, tiene que ver con el diagnostico, en la cual se establece la necesidad que da origen al problema, nace con la idea de conocer la situación con la se evaluara el programa, en donde la información es nula o escasa. - Evaluación del diseño, se aplica una vez que se tiene la programación del proyecto, la idea es determinar la idoneidad (capacidad del proyecto de hacer - Sentidas, se llaman también experimentadas, haciendo referencia a percepciones subjetivas o presunciones, hay discrepancia en las necesidades de la ciudadanía que se enfocan más en lo subjetivo, aquí no existe una verbalización, no se tiene por qué manifestar. - Expresadas, se conocen como demandadas, son propias del programa o del servicio, esas necesidades si se articula en la sociedad, estableciendo esa carencia, manifestándose de forma oral o escrita, donde el sujeto toma voz, mediante una solicitud, poniéndose posteriormente en práctica. - Relativas, conocida también como comparada, entre los que, si son beneficiarios entre otros que no lo han obtenido, pero sí comparten la misma característica. Fases: 1. Inventario de recursos. 2. Identificación de necesidades: característica, volumen, localización, tendencia. 3. Identificación de afectados. 4. Estudio del entorno de los servicios. 5. Análisis de los factores de riesgo. 6. Evaluaciones – estudios anteriores. 7. Aportaciones de posibles soluciones. Evaluación del diagnostico. Elementos: 1. El problema 2. El desarrollo y selección de instrumentos y procedimientos. 3. Interpretación (conclusiones) El elemento principal de esta fase es la manera de como solucionaremos el problema En esta fase hay que ver si el problema se ha definido claramente y es correcto y claro, centrándome en los elementos y técnicas, para detectar el problema que se le quiere dar solución. En la interpretación de los resultados, de esa conclusión hay que valorar si están correctas o no para que no surjan problemas. Evaluación de diseño. - Evaluación de la factibilidad. - Evaluación de la pertinencia. - Evaluación de la coherencia interna Hay que realizar en conexo con las diferentes evaluaciones estudiadas. Da pie a una evaluación de la evaluabilidad. Evaluación de la implementación Acciones à Problema Objetivosà Problema Accionesà Objetivos Evaluación técnica y económica de un proyecto y su relación con las necesidades detectadas. 1. Análisis de servicios concretos, son actividades y actuaciones que realiza esa política publica, las cuestiones que propone el programa 2. Análisis de cobertura, tiene que ver con los beneficiarios del proyecto. 3. Análisis de proceso, hace referencia de si el proyecto se desarrolla de forma correcta, sin barreras. Si se desarrolla el proyecto de acuerdo como se realizó, guarda o ve como esa población se relaciona con el proyecto en sí. Es una evaluación de carácter formativa con el propósito de mejorar u optimizar la política pública. Hay algunos autores que lo llaman también evaluación del desarrollo. Conceptos de resultado e impacto a) Resultado: Mide los efectos del programa sobre la población beneficiaria del mismo. b) Impacto: Mide los efectos sobre la comunidad en su conjunto. Evaluación de resultados. 1) Consecución de los objetivos en cantidad, calidad y tiempo, se logra esos objetivos que vienen definidos en el diseño, ya que si no viniesen partiríamos de un error 1) Análisis de resultados no esperados – positivos o negativos. 1) Opinión y satisfacción de los usuarios del programa. Este tipo de evaluación tiene un carácter completamente sumativo, es decir, que no se espera una retroalimentación instantánea o a corto plazo de los resultados o datos que se obtienen de la política pública. Se espera una evaluación de corte finalista. Tiene por objetivo principal proporcionar evidencias objetivas, sistemáticas y completas del grado en el que el programa ha conseguido los fines que proponía, intenta ver qué se consigue, cuánto se ha completado. Y ver consecuencias que no se hayan previsto y que se hayan conocido u obtenido en ese programa o actuación. ¿Por qué es buena la evaluación de resultados en una política pública? Ofrece resultados de cara a futuras evaluaciones y a esos técnicos e implementadores y nos da Se suelen confundir fines con medios en muchas propuestas de actuación o programas. - El hecho de establecer un servicio o realizar actividades no dice que hayas resuelto el problema que se definió. - El evaluador quiere saber lo que tu has logrado, el resultado de tu acción (acciones/actividades) Saber que has trabajado no es suficiente. (1) Quiere saber si con tus tutorías grupales has sido capaz de reducir el abandono escolar. Los planificadores tienen dificultades para definir y escribir los objetivos de sus proyectos. PASO DESCRIPCIÓN EJEMPLO Determinar áreas Estas son la clave a la que hay que mirar para ver el impacto de un programa sobre las mismas Área de resultado puede ser el abandono escolar Determinar indicadores Parte cuantificable del área de resultados. Permite ver que tal se está haciendo Nº de alumnos que abandonan la escuela Determinar estándares Cuánto el indicador de medida de ejecución se necesita para considerar éxito el programa 7% de reducción en abandonos escolares Establecer un calendario Marco temporal, fecha de inicio o termino Para el 1 de enero de 2023, se habrá de reducir un 7% el abandono escolar Determinar gastos presupuestos ¿Cuánto es el máximo que se quiere/puede gastar? Se empleará X euros en reducir ese 7% Escribir objetivos Verbo/acción con una afirmación que refleja los indicadores de medida seguidos de los estándares de ejecución en un marco cronológico y a un coste Reducir un 7% el abandono escolar en la zona X para el 1 de enero de 2023 a un coste no superior a X euros Evaluar los objetivos ¿Refleja este objetivo la cantidad de cambio que se pretendía en esta área? Si=OK No=Repetir proceso Objetivos de la evaluación Son los conocimientos o informaciones relativas a los objetos, instancias o características del programa, que se requiere recoger y analizar de acuerdo con las finalidades que sirven de justificación al estudio evaluativo. Estas necesidades no se presentan de forma clara. Se puede pedir que la evaluación determine “si el programa funciona bien o mal”, el objetivo de conocimiento puede ser: - Si se están produciendo los resultados buscados. - Si el personal técnico cumple sus funciones. - Si existe desperdicio de recursos, - Si la población beneficiaria está satisfecha con la atención o servicios que el programa presta. - Etc. El cliente puede formular su problema en términos que no pueden ser introducidos en un diseño de investigación. Son objetivos de conocimiento. - Influyen en cómo se recogerá y analizará la información Importante: los objetivos (y también los propósitos y motivación) varían según el nivel o las funciones que desempeñan personas ubicadas en diferentes niveles de la estructura del programa, es decir, las necesidades de información serán diferentes. Existen dos tipos de objetivos: - Objetivos descriptivos: si la evaluación es de tipo descriptivo los objetivos de evaluación derivan directamente de los objetivos del programa, proyecto, política pública, etc. Se pueden establecer también en forma de hipótesis. - Objetivos explicativos: la evaluación se refiere a los factores que explican los niveles o calidades de logro de los resultados finales o de aspectos instrumentales (funcionamiento, metodología, etc.). Supone pensar en la incidencia de otras variables del programa en los resultados y a formular hipótesis que conecten esas características con la situación que se desea explicar. TEMA 4. ¿QUÉ SE EVALÚA EN UN PROGRAMA O POLÍTICA PÚBLICA? LOS CRITERIOS EVALUATIVOS Y LAS PREGUNTAS. CRITERIOS DE EVALUACIÓN Deben de estar claramente definidos. (Dentro del propio texto) Determinan y guían el estudio, orientando la recopilación y análisis de la información, es decir, de las variables que se van a valorar y de los criterios de valor. Establecer los criterios de evaluación sirve para clarificar y reforzar los objetivos y para repasar o explicitar la «teoría de programas», en otras palabras, las premisas, principios y mecanismos subyacentes al programa. El análisis de algunas experiencias de evaluación nos hace concluir que, en general, pensar sobre qué se quiere evaluar- criterios de evaluación- es un paso clave que muchas veces se suele obviar o se suele dar por hecho, en muchas ocasiones, el QUÉ EVALUAR (criterios de evaluación) a través de CÓMO (metodología y técnicas) evaluarlo, dando prioridad a esto último. La evaluación conlleva sistemáticamente aquellos factores que determinan una política pública, estos factores se presentan como criterios o principios de la evaluación. Podemos diferenciar tres tipos de criterios según (1) estén relacionados con la redacción de los objetivos (2) el grado de logro o (3) el uso de los medios para alcanzar los objetivos. ¿Existen contradicciones entre los diferentes niveles de objetivos? ¿Existen duplicidades entre las actividades programadas en relación a la consecución de los objetivos? Dificultades Falta de concreción de los objetivos o de las actividades planteadas por la política política Dimensión: Diseño de la política Métodos y herramientas: Árbol de objetivos Matriz de valoración de las relaciones entre las necesidades planteadas y objetivos. COHERENCIA EXTERNA Este análisis permite valorar el grado de correspondencia que existe entre un programa y otras intervenciones que se estén ejecutando en un mismo espacio temporal y físico- temporal. Este tipo de análisis requiere estudiar los objetivos de intervenciones de forma comparados con todos los programas que convergen en un territorio. Preguntas claves: ¿Se puede decir que no existe superposición entre la política y otras intervenciones aplicadas en el mismo territorio? ¿Los objetivos planteados en la política coinciden con los expresados en otras intervenciones del territorio? Dificultades: Imprecisión en la definición de las necesidades detectadas o en el establecimiento de objetivos de la política objeto de evaluación o de las políticas que pueden presentar algún grado de complementariedad. Métodos y herramientas: Comparación entre los árboles de problemas y objetivos de los distintos planes. Matriz de valoración de la compatibilidad de la intervención con otras estrategias, EFICACIA Determinar el grado en que una operación alcanza o se espera que alcance sus objetivos en un periodo determinado y con independencia de los costes que su ejecución implique (bajo una múltiple perspectiva de realización financiera, física, resultada e impactada) El análisis de eficacia parte de la premisa que el objetivo del programa ha sido definido de manera inequívoca y con carácter operacional. Sin embargo, debe atenderse que en muchas ocasiones los objetivos pueden haber estado formulados de forma confusa y muy general. EN estos casos… Preguntas claves: ¿En que medida se han cumplido los objetivos? ¿Qué acciones han favorecido el cumplimiento de los objetivos esperados? ¿Han existido factores externos a la evaluación que hayan influido en la resolución de los problemas detectados? Dificultades 1. Resultados planificados pocos claros, múltiples o confusos o que son objeto de cambios 2. Mala definición de los indicadores de los resultados planificados 3. Falta de información de referencia sobre las instituciones, personas o infraestructuras 4. Escaso conocimiento de los vínculos causa efectos 5. Dificultad para atribuir los resultados al programa en particular debido a las variables de intervención. Dimensión de la política publica Resultados Métodos y herramientas: Ex ante: Medición de los valores iniciales de las variables resultantes y otras variables importantes. Ex post: Medición de los valores de las variables resultantes y otras variables importantes después de haberse llevado a cabo una intervención. EFICIENCIA El análisis de eficiencia mide hasta que punto los resultados derivan de una utilización eficiente de los recursos financieros, humanos y materiales utilizados (insumos). La principal dificultad es determinar el standard de asignación de recursos. Pocas veces el valor de referencia viene establecido, por lo que el equipo evaluador deberá establecer este valor sobre el que se realizan las mediciones. Los exámenes previos en relación a la eficiencia se establecerán durante el proceso de planificación de una política, o cuando se decidan los presupuestos e insumos. Preguntas clave: ¿Cuál ha sido el coste material de esos objetivos conseguidos? ¿Se aplicaron procedimientos racionales de gestión financiera y de equipo? ¿Se han utilizado los recursos de manera más económica posible? Dificultad: No disposición de los valores de referencia. Dimensión: Gestión de la política pública (proceso) Métodos y herramientas: Los métodos y herramientas que pueden ser utilizados para efectuar el análisis son: Medición directa: registro de datos cuantificables por medio de instrumentos analíticos. SOSTENIBILIDAD El análisis de sostenibilidad de un programa permite evaluar en qué medida los resultados del programa han sido o tienen probabilidades de ser duraderos una vez finalizado el programa y una vez retirados lo recursos externos. Los factores que inciden en la sostenibilidad se examinan sobre la base de la prioridad asignada al programa. En el análisis también se estudia la disponibilidad de los recursos administrativos, financieros y humanos que harían falta para mantener los resultados del programa a largo plazo. Preguntas claves: ¿Es probable que los logros de programa se mantengan una vez finalizada la intervención? ¿Tienen las contrapartes participantes la voluntad y la capacidad de continuar por su cuenta las actividades? Dificultades metodológicas: La sostenibilidad es una situación hipotética y proyectada. No es posible prever todos los factores intermedios que comprometen la sostenibilidad. Dimensión de la política pública a la que se hace referencia: El impacto de la política pública. ¿Qué relación tiene el proyecto con las necesidades reales detectadas? Es decir, si las necesidades reales que se han detectado son las que establece ese proyecto de investigación. ¿Qué relación hay entre ese proyecto y las necesidades reales detectadas? Si ese proyecto o política pública que se va a hacer va a responder o responde a esas necesidades reales que han sido detectadas. ¿Qué relación tiene ese proyecto con la política o los planes de la institución responsable? Es decir, si esa política o proyecto está relacionado con lo que está haciendo o supone una continuación, un cambio, una mejora, va en la misma línea… es decir, cuál es la lógica que hay detrás. Ventajas específicas del proyecto para resolver el problema y alcanzar los objetivos, ¿ese proyecto va a responder o va a resolver ese problema, va a mejorar esa situación, se pueden alcanzar los objetivos previstos o propuestos en ese proyecto? ¿Cómo ayudarán los objetivos y metas a resolver ese problema? Es decir, ¿los objetivos y metas que se han fijado para resolver ese problema nos ayudan o es una continuación, es un parche a esa problemática? Vamos a medir también las posibilidades reales para alcanzar esas metas, es decir, vamos a tomar una actitud realista y ver si se puede, con ese proyecto, alcanzar esas metas u objetivos que estaban previstos en esa formulación de esa política pública. ¿Por qué realizar esas técnicas metodológicas y no otras diferentes? Hay que ver o intentar indagar porqué hay que hacer las cosas de esa forma y no de otra. ¿Por qué realizar ese proyecto en esas fechas y no en otras? Es decir, mirar la temporalidad. ¿Son suficientes los recursos para llevar a cabo esa política pública o se necesitan más? Es decir, si con esos recursos podemos alcanzar o llegar a esos propósitos o no. ¿Hay un respaldo de ese proyecto por parte de la institución que lo desarrolla, de esa Administración, de los colaboradores que están en relación, de los beneficiarios…? Todas estas son cuestiones que están relacionadas con el diseño de ese programa, donde lo principal es ver si ese proyecto está bien definido en relación a las metas y objetivos que quiere conseguir, si está bien ese diseño realizado en función de cómo estructurarlo y ejecutarlo… Hay que ver la adecuación técnica y económica y su relación con las necesidades detectadas. (3) EN FASE DE IMPLEMENTACIÓN Es el período durante el cual se realizan todas las gestiones necesarias en ese proyecto de investigación para ponerlo en marcha. Al término de la fase de implementación los elementos mínimos o que deberían ser tomados en consideración, aunque deberían revisarse para hacer una evaluación de la implementación, serían: § Tareas de Motivación de los Actores y Beneficiarios del Proyecto. Encontramos dos sectores importantes, la comunidad donde se desarrolla ese programa o política pública y por otro lado el departamento o ejecutores, recursos humanos. Son técnicos o funcionarios o empleados públicos o privados que están implicados en la ejecución de esa política pública y que se encargan de la ejecución y la puesta en marcha. Habría que ver en términos de beneficiarios, el grado de conocimiento y compromiso que tengan esos beneficiarios con esa política pública o programa. Normalmente se establece una especie de relación, si el compromiso es mayor de estos beneficiarios con esa política pública o programa, el proyecto tendrá unos objetivos mayores. La idea, para que haya un mayor compromiso o conocimiento del proyecto en sí, es que estos beneficiarios hayan participado en las fases previas. Este mayor compromiso y conocimiento hace que la política pública funcione mejor y se obtengan unos mejores resultados. En los ejecutores, nos interesan los conocimientos que tengan, las habilidades, destrezas… para poner en marcha esa política pública, esa actuación. § Realización de Actividades. Es la más sencilla porque conlleva la verificación de los plazos y la ejecución del programa, la cantidad de presupuestos y recursos o formación, así mismo como la calidad de estos. Viene recogida en la formulación del programa y, normalmente, la mayoría de los programas de las intervenciones públicas conllevan o contienen un cronograma. Es relativamente sencilla la medicación de la realización de actividades porque lo único que hay que hacer ir al cronograma, ver cuáles son los plazos en las ejecuciones, si se están manteniendo o no, la cantidad de recursos de ese proyecto que debería ya estar ejecutado e incluso la calidad del mismo. § Recursos Humanos. Guarda relación con las tareas de motivación. Sería el grado de compromiso, de implicación que tengan esos ejecutores con ese programa o esa política que pueden derivar a una mejor implementación u óptimo. Aquí más que el compromiso de esos profesionales o del personal que esté a cargo del proyecto para su ejecución. Nos vamos a centrar más en los perfiles técnicos, es decir, el perfil técnico de esos ejecutores, por un lado, vamos a mirar si hay una cantidad suficiente, es decir, ese proyecto conlleva una serie de actividades y para realizarla se necesita un número determinado de personal. Así que, por lo tanto, lo principal sería saber si con el personal que se pone a disposición en términos de recursos humanos es suficiente para ejecutar las tareas y ver la calidad de ese personal. Ver si ese personal tiene las competencias necesarias para la ejecución de esa política. § Recursos Materiales y Técnicos. Elementos que hacen falta para la implementación del programa, también tendríamos que ver la cantidad y calidad de los recursos técnicos puestos a disposición de ese programa o política pública para su éxito. § Financiación del Programa. La disponibilidad de los recursos económicos para la implementación del programa. Muchas veces los recursos económicos no van de la mano de los proyectos y hace que el proyecto se tenga que alargar y puede pasar que el proyecto se tenga que alargar y no se llega a los fines establecidos. Parece simple, pero muchas veces la financiación del programa afecta tanto por la llegada del dinero y por su empleo. § Establecimiento del Proyecto. Se tendría que ver los preparativos en el lugar de ejecución del proyecto. Normalmente suelen aparecer recogidos en la formulación del proyecto y hacen referencia a tres ámbitos: infraestructura, las necesarias para ese proyecto; organización previa de los beneficiarios y la información y publicidad. § Dinámica Interna de Organización. Las organizaciones tienen una dinámica de que tienen y en temas de satisfacción, las diferencias que se esperan entre ese valor esperado con esa política pública y lo que reciben. § Efectos No Programados. Que pueda tener en la sociedad o en los propios beneficiarios. Cuando se aplica una política pública se aplica o realiza con cierta incertidumbre y es la que conlleva la realización de un proyecto. La seguridad de que el proyecto va a funcionar al 100% o que se van a conseguir los objetivos que estaban propuestos no se tiene. Los efectos no programados pueden ser positivos o negativos y la evaluación de resultados debe de medir. Es complicado porque supone un gran conocimiento del proyecto, del programa, de la actuación, del contexto de aplicación y de la aplicación de las técnicas y mediciones para llegar a poder valorar la presencia de efectos no programados por un programa o una política pública en ese contexto determinado donde se aplicó ese programa o política pública. Efectos que no venían recogidos en esa formulación, pero que se han conseguido. § Eficiencia. § Impactos. Qué impactos ha conseguido esa política pública en la sociedad en términos de eficiencia y de la gestión. TEMA 6.- EL PROCESO EVALUATIVO 1. INTRODUCCIÓN Proceso seguido para la evaluación de un proyecto: • Definición del marco de referencia: § Diagnóstico del proyecto. § Formulación del proyecto. • Definición de la evaluación: § Determinación de objetivos y elección del modelo. § Determinación de variables a medir. § Definición de unidades de medida. § Definición de la periodicidad. § Elección de instrumentos. § Determinación de recursos. • Implementación de la evaluación: § Confección de instrumentos. § Consecución de recursos. § Preparación del equipo evaluador. • Aplicación de las mediciones. • Análisis de los resultados. • Formulación de las conclusiones. • Adopción de las medidas de retroalimentación. • Introducción de las medidas en el proceso. La evaluación de un proyecto como un proceso. El método para desarrollar un proceso evaluativo: § Definición del marco de referencia. § Definición del tipo de evaluación. § Implementación de la evaluación. § Aplicación de las mediciones. § Análisis de los resultados. § Formulación de las conclusiones. § Adopción de las medidas de retroalimentación. § Introducción de las medidas en el proceso. 2. DEFINICIÓN DEL MARCO DE REFERENCIA Es un requisito fundamental dentro del proceso de evaluación y normalmente suele ser una fuente básica de información que nos ayuda a comparar lo previsto y lo alcanzado en la ejecución. El marco de referencia será ese punto que nos va a servir como punto de partida en ese proceso evaluativo donde vamos a comparar lo previsto, es decir, esa situación que se quería mejorar, con donde se alcanzó, en términos de diagnóstico y es el punto de partida para el proceso de evaluación. El proceso de evaluación parte de la definición de este marco de referencia que se compone de dos pasos iniciales dentro de esa programación que se hace para conseguir o llegar a evaluar ese proyecto. Por un lado tenemos el diagnóstico previo y por otro, la formulación del proyecto: • A través del diagnóstico previo se quiere obtener un informe sobre la situación que se quiere modificar con la ejecución del proyecto. Se obtiene información sobre la situación de partida que se quiere modificar con la ejecución del proyecto y proporciona datos en relación a calidad o cantidad del problema, los elementos que haya de apoyo a la realización del problema (recursos disponibles, grado de aceptación que provoca esa modificación de la situación en la que nos encontramos…), el diagnóstico nos va a dar un informe sobre esa situación que se quiere modificar con la ejecución del proyecto. ¿Por qué es importante un buen diagnóstico? Porque nos va a dar información para contrastar los logros que se obtienen, es decir, si no tenemos un buen diagnóstico no vamos a poder evaluar bien esa consecución de esos logros. • La formulación del proyecto que con ella se define las variables que nos van a servir para medir el éxito, es decir, con ellas definimos qué variables o qué acciones que nos van a ayudar o permitir medir el éxito o no un programa y permite ver el conjunto de logros que se desean alcanzar con esa ejecución. Sería la situación de llegada. El diagnóstico es previo a la formulación de ese proyecto y supone un análisis de la situación de partida y la formulación del proyecto supone la situación de llegada. La diferencia entre la situación de partida y esa situación de llegada nos va a dar lo que serían los logros deseados para el proyecto, es decir, el logro sería aquello que se quiere conseguir con la ejecución o la implementación de ese programa. El éxito de la evaluación está muy relacionado con la claridad y la precisión en la que se tomó para diagnosticar ese problema que originó el proyecto y la formulación del mismo. El éxito de la ejecución de la implementación de una política pública y de su desarrollo está muy relacionado con la implementación de todos los actores posibles en la política pública y el éxito de una evaluación, del proceso de evaluación, está muy relacionado en este caso con claridad y precisión de ese diagnóstico previo que se realiza y la formulación de ese proyecto que se hace. Un conocimiento mayor, más preciso, de esa realidad existente que es previa a la ejecución del proyecto nos va a permitir que sea mucho más fácil determinar el impacto y los efectos que se pueden lograr con esas acciones del mismo, es decir, el tener un buen diagnóstico y formulación del proyecto nos va a permitir tener un conocimiento mayor de la realidad y aquí jugaríamos con una situación antes, una ejecución segundo lugar, las previsiones del comportamiento futuro, es decir, revisiones sobre esa situación problemática que se pretende resolver con el proyecto en esas actuaciones de cara a un futuro. En tercer lugar, metas, hace referencia al ¿para qué?. No son otra cosa que los logros, es decir, lo que se pretende alcanzar con la ejecución de esa acción. Es importante que estas metas, los logros, sean claras, es decir, que el lenguaje sea comprensible y preciso, que sean realistas, es decir, que se puedan alcanzar o factibles y que sean pertinentes, es decir, que estén relacionadas con los problemas que se pretendan solucionar. En cuarto lugar, objetivos, hace referencia al ¿cuánto?. Están muy relacionados con las metas. Los objetivos están relacionados con el cuanto y normalmente suelen ser cuantificados o cualificados, deben ser mesurables. Normalmente los requisitos que deben de cumplir los objetivos es que sean precisos, es decir, que sean concretos, directos y que eviten conceptos vagos o ambiguos, que quede claro en qué consiste ese objetivo, que sean medibles, es decir, que se puedan medir y que esa medición se realiza a través de indicadores, que sean coherentes, es decir, coherentes con ese objetivo que se pretende conseguir y que estén o que se establecen en un marco temporal, es decir, que se puedan realizar en ese tiempo que dura ese proyecto o programa. Encontramos la diferenciación básica entre objetivos generales y objetivos específicos. Los objetivos generales son propósitos más amplios y los objetivos específicos serían objetivos de carácter operativo e identificar de forma más concreta qué es lo que se pretende alcanzar. En quinto lugar, localización, hace referencia al ¿dónde?. Establece el área geográfica donde se va a aplicar o realizar ese programa de evaluación o donde se ejecuta ese programa que se está evaluando. Aquí habría dos aspectos a tener en cuenta: macrolocalización y microlocalización. En el carácter macro sería una visión general del ámbito geográfico, es decir, antecedentes sociales o económicos de esa región o contexto donde se ejecuta ese programa que es el que va a ser objeto de evaluación. En el carácter micro tendría que ver con los centros de acción del programa, es decir, si el programa se ejecuta en ciertas unidades, dónde se encuentran estas unidades, por qué están ahí y no en otro sitio. Al final, la localización nos habla de la determinación de esa área geográfica donde se ubicaría ese proyecto o programa de evaluación. En sexto lugar, metodología, hace referencia al ¿cómo?. Es el camino que se elige para llegar a un fin o cómo hacer o desarrollar el proyecto. Normalmente implica la definición de tareas, la realización de normas, procedimientos o instrumentos. En séptimo lugar, calendarización, hace referencia al ¿cuándo?. Nos remite a la aplicación de un cronograma que contiene las fechas de inicio y finalización, las tareas, las diferentes subtareas, los plazos de tiempo previstos y la parte del proceso. En octavo lugar, recursos humanos, hace referencia al ¿quién?. Son las personas que son necesarias para la ejecución y las responsabilidades específicas tanto en términos de cantidad como de calidad. En noveno lugar, recursos materiales y financieros, hace referencia al ¿con qué?. Los recursos materiales serían las instalaciones, materiales, equipos informáticos… todo lo que esté relacionado con bienes consumibles. Los recursos financieros serían los presupuestos y la financiación. 3. DEFINICIÓN DEL TIPO DE EVALUACIÓN Ésta conlleva más decisiones. Son seis decisiones que incluso en algunos casos se puede aumentar hasta siete. La definición del tipo de evaluación supone que hay que elegir un modelo evaluativo (i), elegir qué variables son las que se quieren medir (ii), especificar las unidades de medida (iii), precisar los cortes evaluativos o mediciones (iv), elegir los instrumentos para recoger información (v), identificar los recursos necesarios para realizar la evaluación (vi) y definir otros aspectos necesarios para el buen éxito del proyecto y/o proceso (vii). La definición del tipo de evaluación va a estar relacionado con las características específicas que rodeen a ese proyecto. Lo ideal sería que la definición de la evaluación se realice de forma paralela a la formulación del proyecto. (i)Determinación de los Objetivos y Elección de un Modelo Evaluativo. Hay que contestar a cuál es el objetivo de la evaluación, es decir, ¿para qué se va a evaluar el proyecto?, además de si los objetivos van a ser para continuar con el proyecto, mejorar sus prácticas… Esto nos va a determinar o precisar las diferentes características. En relación a los objetivos vamos a encontrar diferentes modelos de evaluación. Normalmente hay tres tipos de modelos: A. Diseño Experimental. Suele ser muy riguroso y da un carácter muy científico a la evaluación. El problema es que es un modelo de difícil implementación. Para poder hacerlo hay que realizarlo a la vez que se va realizando la ejecución del proyecto. Normalmente se compone de un grupo experimental que serían los beneficiarios del proyecto y un grupo de control que son iguales a esos beneficiarios del proyecto en sus características, pero no participan de él, no son beneficiarios de ese proyecto. Para la realización de este diseño hay que contar la presencia de estos dos grupos. Además se deben realizar mediciones antes de que comience el proyecto y después de que el proyecto haya finalizado. Por eso es de muy difícil aplicación. Se calculan las diferencias entre ambos grupos y estas diferencias determinarán el éxito o no del proyecto. B. Diseño Cuasi-Experimental. Es menos riguroso que el diseño experimental, pero es más viable, más práctico en su ejecución. Tenemos el diseño de series temporales, es decir, mediciones periódicas antes y después de la ejecución del proyecto y grupos de control no equivalente, es decir, se utilizan para controlar a personas o grupos que tienen características semejantes con los cuales se van a comparar, pero la selección de esas personas que forman parte del grupo de control no equivalente se realiza por conveniencia, es un muestreo por conveniencia. En el grupo experimental hay una aleatoriedad y un azar y en el diseño cuasi- experimentales el grupo de control no está elegido al azar. C. Diseño No Experimental. Son menos confiables, pero un poco más adecuado cuando los recursos son escasos, sobre todo los recursos de las instituciones. No hace falta grupo de control y se suelen hacer mediciones antes y después o solo después o incluso se puede hacer sólo después con grupos de control, pero ese grupo de control puede ser por conveniencia, no aleatorio. modelo aplicado a la idea de periodicidad de esta evaluación con la que se debe evaluar. Aquí lo que tenemos es un ideal, un corte evaluativo previo para las necesidades, un corte evaluación para la formulación y luego, mientras se está desarrollando el proyecto en esa fase de implementación y ejecución, tendríamos cuatro cortes. En primer lugar, un corte al 25% del proyecto, es decir, el 25% del tiempo, de la duración total del proyecto, cuando se haya ejecutado temporalmente ese 25%, que sería la fase piloto, se aplicaría este primer corte evaluativo de la implementación. El objetivo de este corte es detectar errores o posibles éxitos para retroalimentar al proyecto en las otras fases. En segundo lugar, tenemos la fase modelo que se realizaría la mitad del corte temporal (50%), es decir, cuando haya pasado otro 25% de tiempo. Esta fase por definición, es un poco más rígida y habría que realizar una evaluación un poco más rigurosa y más completa. En tercer lugar, tenemos la fase de prototipo, es decir, el programa ya se ejecuta en condiciones realistas, ya está a la mitad del programa implementado y sería al 75%. Finalmente tenemos la evaluación final al 100% del proyecto evaluado. (v)Elección de Instrumentos. La definición de los instrumentos para la recopilación de los datos, es decir, aquí se puede recurrir a cualquier instrumento de investigación. En la anterior, en esos cortes, haríamos la mediciones y ¿con qué vamos a medir, qué instrumentos vamos a utilizar para medirlos? Eso es lo que vamos a definir en la siguiente etapa de esta fase de definición de la evaluación. Para ello vamos a utilizar encuestas, datos estadísticos, mediciones de la realidad, por ejemplo, número de usuarios que va a ese servicio o el número de llamadas telefónicas que recibe el teléfono de información que está puesto para los beneficiarios de ese programa o el número de consultas recibidas presencialmente o el número de intervenciones realizadas por los técnicos, es decir, pueden datos de carácter cuantitativo o incluso datos de encuesta. Esas mediciones se necesitan datos, que se han establecido previamente, que eran medibles, aquí lo que vamos a ver es con qué instrumentos los vamos a recoger. (vii)Determinación de Recursos. Vamos a definir la cantidad y calidad de los recursos que intervendrán en el proceso evaluativo. Recursos que puede ser: a. Recursos humanos, es decir, las personas que desarrollarán las diferentes tareas que están puestas en el proyecto, ya sean diseño de los instrumentos necesitamos crear la encuesta, diseñarla, en maquetarla, pasarla… Vamos a ver quién las va a hacer, quién va a hacer estas encuestas, mediciones, montar el informe, realizar el trabajo de campo, tabular y realizar los análisis, establecer la conclusiones, argumentar o establecer los procesos de retroalimentación. b. Recursos materiales, es decir, el material de oficina, impresión de cuestionarios, los programas para el tratamiento de datos, etc. c. Recursos financieros, es decir, la contratación de personal, dietas, gastos imprevistos… 4. IMPLEMENTACIÓN DE LA EVALUACIÓN Todo el proceso organizativo que es necesario desarrollar antes de iniciar la ejecución propiamente de la evaluación, es lo que haría referencia a esta fase de implementación del proceso evaluativo, es decir, todo eso que es necesario y previo a la evaluación. Tendríamos diferentes tareas, pero tareas que son de carácter preparatorio, tareas preparatorias que deben ser realizadas previamente al inicio de la aplicación de la evaluación. Algunas tareas pueden ser la confección de instrumentos de evaluación, que sería diseñar cada uno de los instrumentos que se van a utilizar para recoger información, es decir, si vamos a hacer encuestas o entrevistas en profundidad, sería e diseño de cada uno de esos instrumentos que nos van a permitir, por ejemplo en el caso de la encuesta, el cuestionario que es el que vamos a preguntar o si vamos a realizar entrevistas en profundidad, necesitamos un guion de entrevista; la consecución de los recursos en temas de humanos, materiales y financieros que deben estar garantizados y luego la preparación del equipo evaluador en términos de capacitación y formación. 5. PASOS EN LA EJECUCIÓN DE LA EVALUACIÓN La fase cuatro sería la aplicación de las mediciones, es decir, poner la aplicación de esos diferentes instrumentos como la encuesta, la entrevista en profundidad, los grupos de discusión, la observación, análisis de datos macro o micro para la evaluación. Vamos a obtener esos datos de esas mediciones a partir de los diferentes instrumentos. La fase cinco sería el análisis de los resultados, es decir, ya tenemos la información que nos viene de la fase cuatro de la aplicación de las mediciones, hemos medido y ahora vamos a analizar esos resultados. Obtenida la información o esos datos hay que ordenarlos, codificarlos y analizarlos. Por ejemplo, en el caso de que hagamos encuestas en papel, luego hay que pasarla a las bases de datos y hay que realizar tareas de codificación y una vez codificado hay que depurarlo para ver que no hay errores y que se ha pasado bien y una vez depurada y la base correcta hay que hacer las tareas de análisis. La fase seis sería la formulación de las conclusiones, es decir, hechas esas tareas de análisis habría que formular las conclusiones. De ese análisis se extraen las diferentes conclusiones y éstas normalmente se enmarcan en los interrogantes que el evaluador se ha formulado en torno a las metas de cada fase del proyecto. La fase siete sería la adopción de las medidas de retroalimentación, es decir, esas conclusiones que nos han dado en la fase seis, en esa ejecución de la evaluación, nos daría paso a las medidas que hay que introducir en el proceso, es decir, las conclusiones que se han extraído del análisis, aquí se enmarcan los diferentes interrogantes que el evaluador se formuló en torno a cada una de las metas o las fases que tenía ese proyecto. Aquí adoptamos ya las conclusiones y a partir de ellas dan origen a esas medidas de retroalimentación para mejorar el proyecto. Lo que diferencia una evaluación a una auditoria o un estado de la situación sería ese elemento de retroalimentación y ese elemento de retroalimentación serían esas recomendaciones, es decir, la evaluación conlleva en sí un proceso de retroalimentación sobre la base de unas recomendaciones a introducir en ese proceso o en ese programa para mejorar futuras actuaciones o intervenciones. La fase ocho sería la introducción de las medidas en el proceso, es decir, la introducción de medidas de retroalimentación si estamos en esas fases primeras, fases pilotos o si el proyecto lleva una línea temporal más amplia, a partir de esa medición que se hace ver esas medidas que mejore la implementación del proyecto. son siempre previos a los cambios que se producen en B. En otras palabras, que A sea temporal a B, es decir, sea previa a B. - Ningún otro factor afecta a B, es decir, si hay algún factor se puede medir y separar su efecto del de A. La relación tiene que ser de A hacia B. El B sólo será afectado por la presencia de A. Si se viese el B afectado por otro tipo de variables, situaciones, ya no podríamos determinar que el impacto de A se produce sobre B. Además hay que tener en cuenta la presencia de variables extrañas, la cuales el investigador debe controlar. Las variables extrañas son situaciones que pueden ocurrir durante la realización de esa experimentación y puede afectar a los resultados. Para que ese programa tenga validez hay que controlar que no se presenten esas variables extrañas porque pueden afectar a la relación de causalidad que queremos medir. La variable independiente sería la introducción del programa y los cambios que vamos a observar en esa población beneficiaria sería la variable dependiente. Las variables extrañas no son otra cosa que variables que puedan afectar a esa relación de causalidad entre la introducción del programa que sería la variable independiente y los cambios experimentados por la variable B. Los cambios que experimenta esa variable en función de los objetivos y que sería el indicador de esos resultados, que sería la variable dependiente. La variable B sería la variable dependiente y tenemos una variable independiente que sería la introducción de ese programa. Para afirmar la causalidad tenemos que afirmar la existencia de una serie de factores que puedan implicar las variaciones. Se suelen controlar 7 variables: 1. Histórica, hace referencia a la presencia de eventos externos que suceden en el entorno del programa, externo al individuo, y que pueden tener influencia en aquellas variables que indican los resultados del programa. Yo hago la primera observación, mi política pública y la segunda observación. Procesos que ocurren en el contexto donde el ciudadano se mueve. 2. Maduración, hace referencia a eventos internos a esos sujetos que ocurren en esa misma persona en el transcurso de las mediciones, es decir, la historia hacía referencia al contexto donde se mueven estos usuarios, hago la observación y a partir hago una intervención y una vez acabado hago otra vez la medición. Lo que afecte en su conjunto a ese contexto sería la historia. La maduración haría referencia a las vivencias, situaciones, que esa persona ha pasado durante este tiempo, el beneficiario de esa política pública, a nivel individual. Como su nombre indica es que se vuelven más maduros, imaginemos que queremos hacer una formación o talleres para mejorar las capacidades y durante el transcurso temporal puede que los hechos que le ocurren a los sujetos beneficiarios de ese programa hagan que madure o cambien su percepción y no tiene nada que ver con el programa o política pública. 3. Efectos de prueba/test, hace referencia al propio test, esa persona entiende o ve que la están midiendo. Tenemos dos test, las dos mediciones, hacemos la primera observación (A), hacemos la política pública y luego hacemos la observación en dos. Los resultados en ese segundo momento se pueden deber más al hecho de haber realizado el primer test que al programa mismo, es decir, la persona toma conciencia, por ejemplo, si es un beneficiario, de que le están evaluando, pues ya sabe qué le preguntaron la última vez y como ya sabe lo que le preguntaron modifica su percepción o hace una influencia positiva o negativa de esa percepción, de esa respuesta, es decir, como ya hice mi medición al principio y ahora modifico esa respuesta en tono más positivo o más negativo. 4. Instrumentación, esta variable guarda referencia a las herramientas. Imaginemos que los cuestionarios que hemos usado para hacer la medición 1 y la medición 2 no son los mismos, que se decide cambiar sin razón de ser. Se deciden que no son los mismos o a lo mejor son los mismos cuestionarios, pero se ha modificado alguna de las preguntas. Cambiar el cuestionario, cómo se ha preguntado e incluso los entrevistadores, esto puede ocasionar o conllevar que haya errores en las mediciones. 5. Regresión estadística, tiene que ver con el proceso de regresión, es decir, los valores en una regresión tenemos esa línea media, independientemente del programa, es decir, los valores tienden una media por estadística pura. Tenemos esa campana y los valores se tienden a concentrar en el centro. Aquí ocurre que si hay errores en esas mediciones, ya sean positivos o negativos en el momento 1, esos errores no tienen por qué aparecer en la segunda medición y por lo tanto podrían mejorar o empeorar los resultados. La regresión estadística tiene que ver con la regresión en sí y los procesos de medición. 6. Sesgo en la selección, para evitar que ocurra el tema de la historia, es decir, que haya variables externas al individuo que afecten, por ejemplo, una emisión de televisión o para evitar la propia maduración del sujeto, se puede utilizar el grupo de control. Ocurre que se hayan seleccionado los grupos y no sean iguales, pero el grupo de control y el grupo experimental deben de ser iguales, equivalentes, en las variables que se consideran fundamentales. Normalmente se suele usar que tengan la misma edad, nivel de estudios, clases sociales… porque si no son iguales, no se pueden establecer esa relación. 7. Mortalidad, puede provocar diferencias entre el grupo experimental y el grupo de control por lo que se denominan casos perdidos y esto es, entre la primera medición y la segunda medición, y puede ocurrir que haya personas que hayan abandonado el programa, por lo que ya no podemos hacerle la entrevista; personas que cuando les vayas a preguntar la segunda vez, es decir, le hayamos preguntado, ahora dicen que no quieren contestar para esa segunda medición; que no se encuentran en sus domicilios cuando pasas o incluso de gente que ha fallecido, que se ha cambiado de ciudad, que ya no está en ese ámbito y ya no vale. 3. DISEÑOS EVALUATIVOS Yo tengo un programa o política pública que tienen su impacto y quiero ver si esa política pública produce ese efecto o impacto sobre esa población. ¿Cómo hacemos esto? Hemos dicho que desde un laboratorio sí sería muy fácil, pero en la vida real es más complicado. Esto se hace, normalmente, con grupos experimentales o grupos de control: El modelo básico antes-después con grupos de control. Yo tengo la población A, a la que se le va a realizar la intervención que sería esa política pública y para saber si esos efectos han sido provocados por esa política pública, lo normal es que lo primero que se haga, cuando se están en la fase de diagnóstico o en una fase previa, hago una investigación exploratoria o descriptiva para determinar esa necesidad que tiene esa población. Recordar que en las fases previas había que ver cuáles son esas necesidades mediciones a intervalos periódicos, es decir, antes de que comience el proyecto y una vez acabado. Además ese grupo de control o esa comparación la obtenemos en el modelo de series temporales múltiples, que es una variación del modelo de series temporales, donde acudimos a un grupo de control, a un grupo de comparación, un poco ficticio que proviene de otro contexto geográfico y se realizan mediciones del programa como en las series temporales y se comparan con las de otros contextos. 3.3. DISEÑOS O MODELOS NO EXPERIMENTALES Los modelos no experimentales serían los menos rigurosos que los anteriores, en orden de cientificidad, porque es más difícil controlar los cambios que se puedan producir por esos factores o variables externas, pero también son más manejables, simples o fáciles de utilizar. Hay que tener en cuenta que en estos modelos teníamos un grupo de control y un modelo de comparación que nos ayudan a controlar los efectos externos. Tenemos unos muestreos por conveniencia o por azar. Hay unas mediciones antes y después o diferentes series de mediciones o temporales y son un poco más puristas. ¿Por qué se utiliza este modelo? Porque muchas veces son la única forma o la única manera de llegar a ponerlos en práctica. La única forma de poder llevar a cabo una evaluación se debe o recae en eso, no es porque el evaluador no sea competente o no lo quiera poner, sino porque no tiene medios o no tiene posibilidades de hacer otro tipo de proyecto o diseño evaluativo y no le queda más remedio que tirar de un modelo no experimental. Estos modelos se suelen utilizar mucho con proyectos sociales, la mayoría de proyectos sociales se suelen evaluar con este tipo de modelos. Son muy aconsejables para introducir medidas de retroalimentación. Son tres modelos: 1. Modelos Antes-Después. Se mide la situación o el problema o esa necesidad antes de que se ponga en marcha la ejecución del proyecto, se ejecuta el proyecto, y se hace otra observación una vez que ha finalizado el proyecto. Aunque se realice una evaluación antes y final, eso no significa que no pueda haber diferentes cortes evaluativos, eso ya lo decide el equipo evaluador en función de la necesidades del proyecto y de la propia dinámica del proyecto. Este modelo comienza en esa fase del diagnóstico y finaliza con esta evaluación final. 2. Modelo Únicamente Después. Normalmente los proyectos parten de una fase de diagnóstico, pero puede ocurrir que no se hiciese, aunque se supone que el proyecto parte de una evaluación del diagnóstico. La cuestión es que el diagnóstico que se ha hecho, no se ha hecho correctamente y hay errores en la medición del diagnóstico y esa observación primera no vale. El equipo evaluador cuando revisa se encuentra con que ese punto de partida, esa situación que supone que da pie a ese proyecto o programa no fue suficientemente bien medida y no permite la comparación o evaluar el momento 1 con el momento 2. ¿Qué haría el evaluador en estos casos? La única solución es que el equipo evaluador utiliza esa parte del diagnóstico que esté suficientemente bien medida e imaginar, a través de alguna de las técnicas de proyección o prospección, cómo sería esta situación previa a partir de datos secundarios. ¿Cuál es el efecto que tiene? Las conclusiones no son muy definitivas, es decir, solo podríamos establecer conclusiones espaciales y no son muy científicas y válidas. Habría limitaciones y se podrían establecer críticas a este modelo de evaluación. 3. Modelo Únicamente Después con Grupo de Comparación. Las conclusiones son parciales con muchas críticas porque solo tenemos la ejecución y luego se hace la medición y hay que imaginar esa situación previa para establecer las conclusiones. En función de como se imagine esa situación previa se dirá el efecto de la política. La observación final menos la observación imaginada o previa, si es mayor que cero, sería que la política pública ha funcionado. En función de cómo se plantee la situación previa saldrá más positivo o negativo. En función de cómo el equipo evaluador, a partir de esos datos secundarios, especifique cuál es la situación de partida, va a depender el éxito y esto al final es muy subjetivo porque ya de por sí la evaluación tiene componentes subjetivos sobre todo por la definición del logro, metas… ¿Qué es lo que se hace? Lo que haríamos sería un modelo únicamente después, pero le vamos a introducir un grupo de comparación, es decir, al modelo únicamente después, para salvar sus críticas o darle más confianza a la evaluación, se recurre al grupo de comparación, es decir, sería medir igual, pero se recurre a un grupo de comparación, intervención y medición. Tema 8. EL PROCESO DE MEDICIÓN 1. EL PROCESO DE MEDIDA La idea es medir esas observaciones y para medir esas observaciones lo que vamos a hacer es cómo realizar ese proceso de medición. El proceso de medición es que a partir de ese marco de referencia se va a establecer o definir, una vez que establezca cuál es la meta, los diferentes objetivos que van a dar pie o que fundamentan esa meta y esos objetivos pasarlo a indicadores y esos indicadores es lo que vamos a medir. Nuestra idea es que la meta es algo más general, sería como el logro que quiere la política pública en un marco más normativo, mientras que los objetivos son más operativos. La medida es algo que está presente en nuestro día a día y en cualquier aspecto de la vida y muchas veces se manifiesta de manera inconsciente o consciente como la medición de la altura, de los líquidos o una báscula. Cuando realizamos este tipo de actividad lo que estamos realizando es un proceso de medición. ¿En qué consiste medir? La medición al final es la asignación de un número real a cada objeto de acuerdo a unas reglas predeterminadas, es decir, tenemos unos objetos que tienen unas características al cual se le asignan de acuerdo a unas reglas predeterminadas y ese número persigue buscar una buena correspondencia entre las características que se pretenden medir y los números asignados. El proceso de medición, normalmente, se va a realizar en ciencias sociales a través de la metodología cuantitativa Hay que tener en cuenta en esta asignación es que no estamos midiendo objetos, sino las características de los objetos. Cuando hacemos una medición de la evaluación de los beneficiarios, el objeto serían los beneficiarios, pero no estamos midiendo a los beneficiarios en sí, lo que estamos midiendo son las características que tienen esos beneficiarios por En tercer lugar, debemos RECOGER LA INFORMACIÓN a través de determinas técnicas e instrumentos. Se refiere al trabajo de campo. En cuarto lugar, DETERMINAMOS LOS PORCENTAJES en relación a la obtención de cada objetivo y de la meta, comparamos la puntuación máxima y real. En quinto lugar, debemos hacer una ESTIMACIÓN DEL GRADO DE OBTENCIÓN DE LA META. (algún tipo de cuadro o matriz) 4. TRANSFORMACIÓN CONCEPTOS Y VARIABLES. Tenemos: meta, objetivo e indicador y ese indicador en una variable (la variable es lo que medimos) y cuando se operacionaliza un concepto tenemos conceptos, dimensiones, indicadores y variables. El concepto es asimilable a la meta y el objetivo a las dimensiones. Medir es establecer criterios para determinar una observación. Medir no es sinónimo, no tiene por qué ser siempre, de cuantificar, podemos también cualificar y muchas veces medir es ver la presencia, es decir, si ha habido grupos. La ausencia de un fenómeno o el grado de aparición también se puede medir. Operacionalizar es establecer los criterios de medición y esto conlleva elegir uno o varios indicadores para cada variable y la forma de obtener información sobre el estado y el valor de esas variables para los casos estudiados. 5. OPERALIZACIÓN DE VARIABLES. El proceso de operacionalización o de concreción de los conceptos significa el cómo vamos a llevar esos conceptos a esa variable, cómo vamos a llevar esa meta a esa variable, pues esa variable es la que vamos a medir al final, cuya finalidad principal es poder abordar su observación desde la realidad y contrastar las hipótesis planteadas. El proceso de operacionalización es esto. Parto de un concepto o conceptos, esos conceptos los divido en dimensiones, algunos autores hablan también de índices, pero normalmente son dimensiones y esas dimensiones las bajamos a indicadores y esos indicadores nos los llevamos a variables de medición. 6. OPERALIZACIÓN DE VARIABLES: EN CONCEPTOS COMPLEJOS- ABSTRACTOS. ¿Qué es lo que hacemos? § En primer lugar, seleccionamos y definimos el concepto. § En segundo lugar, identificamos las dimensiones más relevantes de ese concepto. § En tercer lugar, seleccionamos unos indicadores para cada dimensión, normalmente, habrá más de uno, pero puede que haya dimensiones en las que no se necesite o conceptos que no necesiten más de un indicador. § En cuarto lugar, se especifica la relación entre indicadores y dimensiones. § En quinto lugar, se miden con los diferentes indicadores a partir de esas variables que sería lo que se mide, es decir, la concretización del indicador. 7. ASPECTOS A CONSIDERAR EN LA CONSTRUCCIÓN DE VARIABLES/ESCALAS DE MEDIDA. § Escalas numéricas como “de 1 a 10” o escalas verbales como “mucho, bastante, poco o nada”. § Escalas continuas (admite la presencia de decimales) como “de 0 a 10 y me sitúo a 7.5” o escalas discontinuas § (no admite la presencia de decimales o posición intermedia) “de 0 a 10”. § Utilización de figuras como símbolos, líneas, termómetro, emojis… § Respuesta forzada/no forzada tiene que ver con la categoría par e impar y tiene que ver con la forma en la que damos la opciones de respuesta como por ejemplo en una pregunta con cinco opciones: “1. Nada en Absoluto; N o Muy Poco; 3. Algo; 4. Mucho; 5. Muchísimo”. Al tener cinco opciones, la opción central, la que correspondería al número 3 sería como una opción intermedia que no sería ni a favor ni en contra. Tenemos 2 negativas, 2 positivas y 1 neutra. Al ser impar, no estoy forzando a la persona para que se posicione. § Respuesta equilibrada/no equilibrada significa si hay las mismas opciones de carácter positivo que las mismas opciones de carácter negativo, es decir, una respuesta equilibrada sería “Muy de Acuerdo, De Acuerdo, En Desacuerdo y Muy en Desacuerdo”, pues tiene las mismas opciones: 2 positivas y 2 negativas. Ocurre que muchas veces en algunos cuestionarios podemos quitar alguna de las opciones negativas y así la gente cuando se le lee las opciones de respuesta hay una mayor probabilidad que la gente diga algo positivo, pero no sería ético pues se sesga la respuesta, pero no significa que no se haga. § Determinación de los extremos de la escala (equidistancia al punto de indiferencia). Se refiere al 0-10 o 1-10, es decir, si queremos que el 5 sea o no la media. § Número de opciones de respuesta (equilibrio dificultad-sensibilidad). Si tiene más opciones de respuesta es más difícil, pero también es un poco más sensible, más preciso. El indicador 1-10 tiene más opciones o presenta una variabilidad mayor, por lo que este indicador de 1 a 10 es más sensible que el de 1 a 5, pero también puede generar más confusión u otro tipo de actuaciones. § Escalas simples o escalas multi-ítem como diferentes preguntas todas a la vez, por ejemplo, que se valore de 0 a 10 cuánto confía en las instituciones como Parlamento, Sistema Judicial, Policía, Políticos, Partidos… Hay que determinar si vamos a preguntar sobre uno de los ítems o sobre una batería. § Tipo de escala básica, al final si son numéricas o verbales, normalmente, a una respuesta verbal le vamos a establecer un número. 7.1. LAS ESCALAS BÁSICAS DE MEDIDA La variable nominal es algo que responde a unos elementos como el color del pelo, el género hombre/mujer, la nacionalidad, el estatus social, el nivel educativo, la religión, la raza, el partido político al que votó… Son cuando hay opciones de respuesta que responden a una opción y entre las opciones no hay ningún tipo de relación. eso se hace a través del proceso de evaluación. La evaluación nos serviría para ver si hay diferencias entre lo que hemos previsto y lo que tenemos realmente. 3. La ACCIÓN CORRECTIVA, es decir, a partir de esa evaluación podemos establecer correcciones. Las correcciones sería ese proceso de retroalimentación, pues miramos o evaluamos si hay diferencias o no y la acción correctiva estaría dentro de esa reprogramación. Hacemos una programación o reprogramamos esa situación real a la deseada. 4. Esto se va a implementar a través de un CONJUNTO DE ACCIONES CORRECTIVAS, es decir, esa reprogramación al final lo que consiste es en un conjunto de acciones, cuestiones, que se le envía a ese organismo que tiene que tomar esas medidas para volver a la ruta y esas medidas vendrían recogidas en lo que denominaríamos mensaje de retroalimentación, es decir, la observación de la situación real y la esperada a partir de la observación nos conlleva, si ha habido diferencias y no es lo que se espera a la creación de una acciones correctivas que vamos a denominar reprogramación y esta reprogramación, que sería ese conjunto de acciones retrospectivas, lo vamos a llamar mensaje de retroalimentación. 2. MEDIDAS CORRECTIVAS Las medidas correctivas o ese mensaje de retroalimentación pueden ser de diferentes tipos: 1. En función de los OBJETIVOS. Significa que esas medidas de corrección para adaptar pueden ir de la mano de cambiar la cantidad de los objetivos, es decir, los objetivos que se fijaron eran muy altos o un número muy elevado y se van a disminuir. Por otro lado, en vez de bajar la cantidad de esos objetivos, también se puede bajar la calidad de esos objetivos, es decir, se va a seguir haciendo lo que estaba previsto, pero va a bajarse la calidad estableciendo una calidad diferente, normalmente inferior ya que los recursos que operan serían más difíciles o imposibles de alcanzar con esa calidad inicialmente establecida. En términos de cantidad y calidad es preferible disminuir la cantidad y salvaguardad la calidad. Y luego tenemos los plazos, normalmente cuando se establecen los objetivos se establecen unos plazos de implementación. La lógica sería disminuir o aumentar el plazo de ejecución. 2. En función de la METODOLOGÍA. La metodología en un sentido amplio. Que la metodología del desarrollo de esa política pública no sea la adecuada, por lo tanto, habría que establecer cambios en esa política pública que puede ir desde cambios totales o parciales. 3. En función de los RECURSOS. Recursos de tipo humano o económico. Los recursos humanos por ejemplo que los responsables de la ejecución de esa política pública no tienen las capacidades o las competencias necesarias para esa ejecución y por lo tanto hay que cambiar a los coordinadores, combinar cuadros de mando, ejecutores, el número de técnicos… es decir, cualquier cosa que esté relacionada con la ejecución de esa política pública y que está relacionada con los recursos humanos. Los recursos económicos por ejemplo que no haya capital o recursos insuficientes. 3. GRUPO ACTIVANTE ¿Cómo haríamos esas medidas correctivas? Esto se lleva a través de lo que se conoce como grupo activante. El grupo activante sería ese conjunto de técnicos, especialistas o de diferentes roles como ejecutores de base hasta la autoridad superior que es el encargado o que tiene a su cargo esa política pública. Este grupo activamente sigue siendo un elemento de control o un elemento que se ha establecido en el proceso de retroalimentación. Es el al que le corresponde establecer ese mensaje de retroalimentación y aplicar las diferentes medidas correctivas que han salido o que surgen de esa evaluación para eliminar esas desviaciones que se han observado en esa evaluación intermedia. Cualquier persona no es válida o es miembro de este grupo activante, es decir, no por ser miembro del equipo interno o por ser externo es miembro del grupo activamente. Lo que sí hay es una relación directa entre el ejercicio del poder, la cuota de poder, y la calidad de esa corrección. Hay diferentes medidas correctivas y a cada una de esas medidas correctivas le corresponde a alguien que lleva la voz cantante: • En primer lugar, la cuestiones que están relacionadas con la metodología le corresponde a los ejecutores de base que serían los encargados de ese proceso, es decir, si se detecta ese fallo debería de cambiarse. • En segundo lugar, tenemos cuestiones de tipo administrativo. Normalmente estas cuestiones deberían de ser aplicadas por el coordinador general o director del programa. • En tercer lugar, si las medidas tienen que ver con el tema de recursos humanos deben de ser aplicadas normalmente por supervisores externos para que tengan una aplicación un poco más efectiva y no haya suspicacias o cuestiones extrañas. • En cuarto lugar, las medidas que tengan o que afecten a características fundamentales del programa relacionadas con esa cantidad, calidad y plazos de objetivos éstas sí deben ser aplicadas por una autoridad superior de la institución responsable del programa. Para que el grupo activamente sea efectivo es necesario que se den dos situaciones. En primer lugar, que la persona que es responsable de esa actividad o la persona que está al cargo de esa actuación, ese rol, esa persona que sería el que tiene que activar esa medida correctiva asuma que es él el que la tiene que aplicar, es decir, que la persona activante de la medida correctiva asuma la responsabilidad de aplicar, es decir, debe de actuar por iniciativa propia. En segundo lugar, que la medida debe ser tomada en cuanto se conoce porque la situación puede cambiar en el tiempo, es decir, si esperamos un poco esa situación ya no es la misma. 4. ANILLO DE RETROALIMENTACIÓN La funcionalidad del sistema propuesto radica en lo que se conoce como anillo de retroalimentación. Cada una de las fases lleva a la siguiente. 1. la identificación de las desviaciones sería la primera tarea en ese sistema de control. Tendríamos que establecer las marcas a partir de las cuales no tenemos ningún problema porque está dentro de unos límites aceptables, si no hay que