Evaluación de políticas y programas públicos para un Estado soberano e inclusivo
Paula Amaya[1]y Natalia Aquilino[2]
descargar
Presentación
La comprensión de la historia política reciente y los devenires del Estado como institución que debe articular y liderar el abordaje de los problemas sociales, son centrales para cualquier estudio sobre el comportamiento de las organizaciones y la transformación social.
La reorientación del desempeño del Estado como efecto de las crisis económicas, sociales y políticas de fines del siglo pasado e inicios del presente en países como Argentina, Bolivia, Ecuador y Venezuela permiten discernir el desarrollo de nuevos paradigmas de producción e implementación de políticas públicas (Vilas, 2011).
Este escenario complejo de empoderamiento del Estado y liderazgo político ha implicado en Argentina la implementación de políticas como la Asignación Universal por Hijo, el programa Conectar Igualdad y PROCREAR entre otros[3].
La implementación de estas decisiones –y sus resultados – en su momento y la situación política, social e institucional de la actualidad en países como Argentina y Brasil trae consigo diferentes reflexiones y debates. Una de las discusiones necesarias gira en torno a las capacidades que las organizaciones públicas presentan (y no presentan) para llevar a cabo de manera sostenida políticas que logren una distribución más equitativa de los recursos y un ejercicio pleno de los derechos humanos. En este sentido, cobra fuerza tanto en el plano académico como de gestión interrogantes que pueden organizarse alrededor de la siguiente pregunta:
¿Qué instituciones públicas hacen falta para abordar los desafíos de un Estado soberano e inclusivo en la región?
Evidentemente no es posible responder a tal pregunta en 10 páginas, pero si nos planteamos el objetivo de presentar una perspectiva de valoración de las políticas que pone el foco de atención en los resultados sociales de las mismas, superando los abordajes más difundidos, concentrados en el seguimiento de los procesos y la rendición de cuentas.
Un Estado con fuerte incidencia en las cuestiones sociales, necesita ejercer un liderazgo competente para la resolución de las diferentes problemáticas. Esto conlleva al desafío de fortalecer tanto el compromiso político y social como las competencias de los actores que intervienen en el ciclo de vida de las políticas públicas.
Inscribimos el desarrollo de este trabajo en el marco de los modelos de formulación, implementación y evaluación basados en la comprensión de las políticas públicas como el resultado –en gran parte- de la confrontación entre los distintos grupos de interés implicados en los procesos de producción social en un momento y contexto histórico y territorial determinado (Entre otros: Colomer, 1991; Olson, 1992; March, y Olsen, 1993; Mann 1997).
Si bien entendemos que los resultados de los procesos decisorios de las políticas públicas dependen de las interacciones que se establecen entre una pluralidad de actores, incluimos como prioritario dentro de ese mapa de actores a quienes tienen la responsabilidad de liderar esos procesos decisorios, explicitando el contenido de las “banderas” que guiarán la batalla.
Las “banderas” (metafóricamente) son las que expresan aquellos valores que constituyen los posicionamientos de personas y grupos – por ejemplo, quienes constituyen un gobierno. Sin una discusión sobre los valores, los sentidos, el horizonte social deseado que funda la acción, los diseños institucionales se vuelven entidades sin bases sólidas. En palabras de Carlos Vilas (2013) “Es necesario discutir el juego mismo antes que sus reglas”.
Tal como afirma Joan Subirats (2014) «La toma de decisiones importantes en la solución de los problemas colectivos como problema científico tiene que ver directamente con nuestra vida como ciudadanos (agregamos y ciudadanas). Una ciencia de las políticas que quiera afirmar la propia relevancia, incluso práctica, no puede eximirse de plantear preguntas y tratar de dar respuestas adecuadas».
Por lo tanto, este trabajo se encuadra en el interés de constituirse un aporte concreto al proceso de toma de decisiones inscriptas en gobiernos latinoamericanos que tengan como bandera, que resalten como valor, la transformación social necesaria para lograr una distribución de los recursos que incluya a todos y todas en el ejercicio de los derechos humanos.
Es en este marco que nos interesa analizar cuáles son las capacidades estratégicas necesarias de construir para lograr este objetivo valorativo.
En términos generales resulta central fortalecer un Estado con mecanismos de articulación y coordinación estratégicos, instancias de programación y evaluación que expresen tanto los valores del grupo gobernante como los diferentes intereses de actores involucrados, criterios que normen tanto el desempeño institucional como de las personas. Estas competencias deben articularse en organizaciones con estructuras flexibles, capaces de construir una relación coherente entre las competencias del Estado, las misiones institucionales y los desempeños de grupos y personas.
Es necesario también fortalecer estrategias de planificación y evaluación de los resultados de las políticas y programas, a cargo de los responsables de las principales áreas de gobierno, de forma articulada e integral, atendiendo a la complejidad que caracteriza a las políticas.
En este artículo nos proponemos entonces dos objetivos. En primer lugar, compartir una caracterización del estado de situación de “institucionalización” de la evaluación, su desarrollo y su práctica en el nivel nacional de gobierno en Argentina, situando este diagnóstico en el contexto latinoamericano. En segundo lugar, desarrollar un modelo de evaluación de políticas públicas que entendemos pone en cuestión las prácticas de evaluación dominantes en la región (fundadas en nociones que enfatizan el control externo y el enfoque economicista).
Partimos de la idea de que la construcción de un Estado latinoamericano soberano necesita de un modelo de evaluación político integral fundado en una perspectiva de derechos, que se oriente principalmente a analizar, valorar y socializar la transformación social promovida por las políticas (Pichardo, 1997; Cunill, 2003 entre otres).
Las políticas universales potencialmente implican la conquista de derechos sociales postergados. Pero a la vez, interpelan fuertemente a las organizaciones públicas, desafiándolas a lograr un mejor desempeño y mayores niveles de cooperación y articulación interinstitucional, entre otras cualidades. La evaluación como estrategia de gobierno puede contribuir a responder a algunos de los interrogantes que vinculan la acción estatal con los resultados de las políticas. Por ejemplo:
- ¿Cómo abrir 2 millones de cuentas bancarias para liquidar la Asignación Universal por Hijo con criterios de igualdad en tiempo y forma?
- ¿Cómo intervenir de forma estratégica en el mercado inmobiliario para que los actores privados no lleven al fracaso a una política de acceso a la vivienda como el PROCREAR?
- ¿Cómo entregar 3.500.000 de netbooks y lograr que millones de docentes en todo el país hagan un uso pertinente de este elemento dentro el aula?
Podemos estar de acuerdo en que un Estado soberano, con una fuerte intervención social, necesita de instituciones sólidas, competentes, “capaces”. Creemos además que esta construcción y fortalecimiento no es una cuestión tecnocrática.
Carlos Vilas (2013) parte del concepto de recuperación de la política como herramienta de construcción y transformación social, haciendo un aporte de “cambio de rumbo” a ciertas producciones dominantes del último cuarto de siglo donde se le asigna un rol instrumental y se la trata como un asunto técnico. La cuestión de la política como conflicto es central para abordar el concepto de calidad institucional, dado que “el mejor resultado social posible” es una variable con múltiples interpretaciones y se configura a partir de la interacción de factores materiales y valorativos. Las instituciones y el ejercicio de las políticas públicas no son ajenas a esta realidad, y, por lo tanto, a la hora de abordar cuestiones de diseño, implementación y evaluación de las políticas resulta imprescindible abordar los “sentidos”, las visiones sobre la sociedad pretendida, y sus implicancias en el modelo de Estado y administración que esto determina.
- Evaluación de políticas y programas en América Latina en general y Argentina en particular: Diagnóstico de situación
La evaluación de políticas y programas en el contexto latinoamericano
El desarrollo que las tendencias de la evaluación de políticas acotadas al control externo o la rendición de cuentas han tenido en la década del noventa en nuestro continente, indican que este tipo de evaluación es insuficiente para abordar el fortalecimiento de las políticas públicas y sus resultados en la actualidad (Ospina, 2002).
Las perspectivas de la evaluación centradas en la eficacia administrativa y la rendición de cuentas son útiles y necesarias para promover mejores sistemas de gestión y aumentar la transparencia de la acción pública, circunscribiendo su incidencia (utilidad) al ámbito institucional o a la valoración de la sociedad civil especializada. Para fortalecer el potencial de la evaluación es necesario desarrollar estrategias de evaluación que abarquen no solo la gestión, sino también el gobierno (Subirats, 2004). Comprender el gobierno, implica comprender el contexto político y social en el cual la evaluación se desarrolla y situar los análisis institucionales, en ese contexto.
La evaluación no ha dejado de ser tema de agenda gubernamental en la mayoría de los países de América Latina, en los últimos 10 años (Lázaro, 2015). Las decisiones tomadas dan cuenta de cambios producidos en relación al “posicionamiento” de la evaluación de políticas y programas en el ámbito estatal. Los esfuerzos para fortalecer el lugar y la incidencia de la evaluación en la toma de decisiones, aún con diferencias entre los países y los distintos momentos, es una constante. Esto nos permite sostener que, aunque de forma gradual y a pasos lentos, se puede hablar de una mayor relación entre los objetivos prioritarios de desarrollo social de los gobiernos y las prácticas de evaluación, aunque todavía no podamos hablar de una práctica madura o extendida de manera homogénea.
¿Cuáles han sido los principales cambios en los diseños estructurales y competencias de las instituciones de evaluación?
Como dato particular, las iniciativas recientes para el fortalecimiento de los sistemas de evaluación, suelen generalmente estar más relacionadas con la definición de objetivos estratégicos o metas de desarrollo o planes de planes de gobierno (depende del caso). Aún con diferencias, se advierte una tendencia a vincular la evaluación con el registro y valoración de los resultados alcanzados por los gobiernos en materia social.
Por otro lado, una coincidencia es la ubicación de estas áreas en el poder ejecutivo, bajo la coordinación de autoridades políticas vinculadas con la planificación. De hecho, en las estructuras comúnmente dependen de ministerios o secretarias de planificación, áreas en directa dependencia de las presidencias. Esta cuestión puede estar hablando de una tendencia (Casos de Brasil, Colombia, Ecuador, entre otros).
Otra caracterización común es el esfuerzo en orientar los sistemas de evaluación a la identificación de resultados, más que procesos. Si bien todavía se advierten dificultades en las prácticas de evaluación para alcanzar este propósito, al menos los manuales, guías y documentos analizados muestran una orientación similar en este sentido (SINERGIA, 2012; CONEVAL, 2015; CNCPS/SIEMPRO, 2018).
Además, la práctica evaluadora en América Latina fue ganando autonomía como estrategia de gobierno y se despliega como campo específico dentro de la Administración Pública. Por un lado, existe legislación que la enmarca legalmente, la fortalece y le otorga una base de ejercicio sistemático (los mejores ejemplos son los de Costa Rica, Colombia, México, Argentina). Ya sea en la Constitución Política, en leyes, reglamentos operativos o decretos de los poderes ejecutivos. Por otro lado, se observa un progresivo aumento de su capacidad presupuestaria con líneas específicas destinadas a su planeación y ejecución en los presupuestos nacionales centrales o sectoriales, subnacionales y municipales (Costa Rica, México, Chile entre otros).
Otra particularidad de la región, es que la evaluación de políticas fue creciendo en instrumental técnico propio que le otorga un lenguaje en común (en desarrollo) y una práctica que puede dialogar horizontalmente entre Estados. Herramientas como los planes nacionales de evaluación, los manuales de operación, los glosarios terminológicos y los debates metodológicos vigentes le están aportando una mirada propia, “desde el Sur”, al campo.
Los escenarios de gobierno, en los diferentes niveles, presentan la oportunidad de fortalecer la incidencia de la evaluación en los procesos de toma de decisiones acerca de las políticas y los programas públicos, pero no en cualquier contexto.
Los avances llevados a cabo en América Latina, nos permitirían pensar que la evaluación se consolida –aún con lentos avances y algunos retrocesos- como práctica en el proceso de toma de decisiones del Estado.
En relación con esta afirmación, entendemos que el progreso de la evaluación en los próximos años será central para afianzar la relación entre ella y las decisiones públicas que fortalezcan políticas efectivas de inclusión social.
Al mismo tiempo, la región presenta una oferta académica en crecimiento de nivel universitario (especialmente de posgrado) y también desde los entes estatales vinculados a la capacitación de los funcionarios públicos sobre temas vinculados a la evaluación de políticas y programas (México, Chile, Argentina)[4].
Por último, es importante destacar que también se observa un crecimiento notable de sociedades, redes y asociaciones de evaluación que trabajan en contextos de gran diversidad. Este escenario complejo ofrece una gama de intereses múltiples en los que se pueden focalizar estas Organizaciones Voluntarias para la Evaluación Profesional (VOPE, por sus siglas en inglés), las cuales se organizan en grupos de trabajo para plantearse objetivos concretos al respecto y generar acciones para su cumplimiento profesional y voluntario de diversos colegas miembros de la Red EvaluAR, distribuidos por la geografía argentina.
El desarrollo de la evaluación de políticas y programas en Argentina: Un panorama general sobre el nivel nacional de gobierno
Durante el año 2018 se realizó en Argentina un estudio diagnóstico de situación de la institucionalización de la evaluación en el nivel nacional de gobierno, a cargo de integrantes de la red EvaluAR de diferentes instituciones, liderados principalmente por profesionales de la Universidad Nacional de La Plata, el Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento (CIPPEC) y la Universidad Nacional Arturo Jauretche con apoyo del Programa Peer-to-Peer (P2P) de EvalPartners y la Organización Internacional para la Cooperación en Evaluación (InternationaI Organization for Cooperation in Evaluation, IOCE)[5].
El diagnóstico se concentró en conocer el estado de situación sobre diferentes aspectos relacionados con la institucionalización de la evaluación. Participaron del estudio más de 40 personas de diferentes perfiles que fueron abordadas a través de tres metodologías diferentes.
En términos generales podemos concluir de la lectura de ese estudio que el grado de desarrollo de la evaluación es heterogéneo entre ministerios, siendo de todas formas bajo su grado de institucionalización. Existen áreas de evaluación con profesionales, cuyas principales tareas se relacionan con el seguimiento de ciertos programas. Las evaluaciones sobre los resultados de los mismos se dan de forma ocasional no sistemática, sus conclusiones generalmente no tienen incidencia en la toma de decisiones y no existe un plan nacional de evaluaciones.
Así como existen áreas profesionales con competencia de evaluación en diferentes ministerios, no se encuentra un órgano que desarrolle esa función a nivel nacional de forma integradas sobre las políticas, programas, objetivos de desarrollo o plan de gobierno.
Aunque el 90% de las personas entrevistadas consideran que la evaluación potencialmente puede incidir en el ejercicio democrático a través del mejoramiento de la relación entre sus componentes, el 45% entiende que en la práctica la evaluación en Argentina no incide concretamente en el fortalecimiento de la democracia o lo hace en experiencias acotadas, discontinuas, sin una incidencia sostenida. Respecto de la relación entre evaluación de políticas y programas en Argentina y fortalecimiento de la gobernabilidad (cooperación entre instituciones y actores en el abordaje de los problemas priorizados por la comunidad política y social), el 40% de las personas entrevistadas considera que no existe una incidencia porque la práctica de la evaluación está acotada al ámbito institucional estatal.
En Argentina no tenemos una política que ordene la función de monitoreo y evaluación de las acciones del Estado Nacional. Las regulaciones (leyes, decretos, resoluciones) que existen se enfocan en el control del gasto y no definen mandatos ni lineamientos para el monitoreo y evaluación de los resultados de desarrollo que se logran ni del desempeño de las agencias de gobierno.
En 2018 encontramos el decreto del Poder Ejecutivo Nacional 292/2018 que asigna la rectoría del monitoreo y evaluación de las políticas sociales al Consejo Nacional de Coordinación de las Políticas Sociales (CNCPS) a través del Sistema de Evaluación y Monitoreo de Programas Sociales (SIEMPRO). Este decreto exige además la elaboración y ejecución de un Plan Anual de Evaluación de las políticas estratégicas de gobierno, aunque a más de un año de su aparición no es posible identificar avances significativos en esta iniciativa.
El Ministerio de Educación cuenta con dos áreas transversales con funciones de M&E. La Secretaría de Evaluación de la Calidad Educativa que se concentra en la evaluación de la política educativa y la Jefatura de Gabinete que se focaliza en el seguimiento de la gestión del desempeño de programas y proyectos.
El Ministerio de Producción y Trabajo cuenta con un área de monitoreo y evaluación de la producción a nivel de la Secretaría de Transformación Productiva y un área transversal con funciones de M&E a nivel de la Secretaría de Empleo.
Se distinguen dos tipos de monitoreo en las prácticas de los ministerios que cumplen distintas funciones: monitoreo de programas y monitoreo de gestión. El primero focaliza en los resultados de políticas, planes y programas sectoriales y el segundo mira la gestión a través de metas de desempeño, supervisión del presupuesto y el gasto y dotaciones.
La realización de evaluaciones en los organismos se caracteriza en términos generales por los siguientes rasgos: i) un bajo nivel de planificación de la actividad evaluativa, ii) estructuración de la actividad evaluativa en función de la demanda de organismos internacionales, iii) realización de algunas evaluaciones puntuales y múltiples estudios de carácter descriptivo. Al preguntar por la realización de evaluaciones en la mayoría de los casos se incluyen en las respuestas la referencia a la realización de una multiplicidad de estudios de carácter descriptivo sobre tres aspectos: i) capacidades organizacionales, ii) características de la población objetivo y iii) procesos de gestión e implementación.
Estos datos colaboran en la confirmación de la necesidad de avanzar en el fortalecimiento de la evaluación de políticas y programas, tanto en el plano conceptual como de la práctica, consolidación e incidencia en el campo de las políticas públicas. El apartado construido a continuación forma para de este desafío. Resaltando nuevamente que el tratamiento de la temática de la evaluación no puede estar escindida de la discusión sobre modelo y rol del Estado, cuestión sobre la cual hemos planteado un posicionamiento al inicio de este artículo. Entendemos como valor prioritario la construcción y el fortalecimiento de Estados que puedan liderar la transformación social necesaria para lograr una distribución de los recursos que incluya a todos y todas en el ejercicio de los derechos humanos.
La evaluación desde una perspectiva integral y la toma de decisiones para lograr mejores políticas públicas
La perspectiva integral de la evaluación parte de principios y criterios que implican la necesidad de fortalecer el liderazgo político y social del Estado y se sostiene en una concepción que enfatiza y pretende potenciar la capacidad transformadora de las políticas públicas, en la consolidación del pleno ejercicio de los derechos humanos.
El propósito de esta segunda parte del trabajo es desarrollar los principales aspectos de una perspectiva integral de la evaluación, cuestión que consideramos estratégica para fortalecer un modelo de Estado soberano en América Latina.
En primer lugar, referimos a los principales aspectos de una perspectiva integral de la evaluación, comenzando por su definición.
“La evaluación integral de políticas y programas públicos es una práctica de construcción, análisis y comunicación de información para mejorar tanto los procesos como los resultados de las decisiones e intervenciones del Estado. Implica una reflexión social compleja y participativa, que incluye el intercambio crítico y propositivo sobre los cursos de acción. El foco principal de atención de la evaluación se centra en la identificación, valoración y socialización de los resultados construidos por las políticas y programas, en términos de cambios sociales producidos en las condiciones de vida de la población”.
Esta definición refleja un tipo de evaluación que se desarrolla como intento de abordar la temática desde la complejidad político – social que la misma implica, ligada a la toma de decisiones de políticas públicas y la gestión de las mismas. La perspectiva integral de la evaluación tiene el foco de atención puesto en los resultados sociales de las políticas, teniendo en cuenta la necesidad de valorar tanto los diseños, procesos, resultados e impactos involucrando la percepción de los grupos involucrados.
Se impulsa desde la promoción de los derechos humanos, entendiendo que los problemas de desigualdad social, libertad de expresión y organización política deben ser el eje vertebral de toda intervención en el ámbito de las políticas públicas.
Además, se desarrolla desde la preocupación por lograr la igualdad de oportunidades y trato efectiva entre hombres y mujeres, teniendo en cuenta el atropello a estas últimas que todavía las instituciones sociales y políticas reproducen.
La construcción, seguimiento y valoración de las políticas es una estrategia necesaria para el fortalecimiento de Estados soberanos, tanto para acompañar la construcción de la calidad institucional en sus dos sentidos como para consolidar la cohesión social alrededor de los resultados de las políticas. En este último sentido la perspectiva integral hace referencia a la competencia, deber y responsabilidad de comunicar efectivamente los resultados alcanzados en el ejercicio de su función de los y las funcionarias públicas con cargos directivos.
Resulta necesario promover este tipo de evaluación construyendo y fortaleciendo su institucionalización.
En los diseños de las instituciones públicas, la evaluación integral de políticas y programas debiera principalmente estar a cargo de un área vinculada a la planificación, con dependencia de la máxima autoridad posible del poder ejecutivo. Esta institución integrará y articulará a las diferentes dependencias y actores que bajo su órbita ejerzan responsabilidades en la toma de decisiones respecto de las políticas y programas públicas.
Por ejemplo, una secretaría de evaluación, dentro de la estructura de un ministerio o secretaria general de planificación, dependiendo de la presidencia de la Nación (Senplades, Ecuador, 2012).
A su vez, esta instancia de evaluación de políticas y programas debiera integrar y articular otras áreas inscriptas en los ámbitos de las políticas sectoriales (ministerios, secretarias, organismos) y programas especiales.
¿Una agencia nacional de planificación y evaluación? ¿Una Secretaría de Estado dependiente de los Ministerios de planificación (poder ejecutivo)? ¿Una jefatura de gabinete que efectivamente ejerza la conducción de un sistema integrado de evaluación?
La discusión sobre la fisonomía no dispone de una respuesta única. Más bien entendemos que puede asumir diferentes formas y dependencias, pero que en todas ellas debe tenerse en cuenta la primera cuestión de relevancia constitutiva y determinante de un sistema de evaluación integral: la cercanía con la toma de decisiones estratégicas.
Esta perspectiva de la evaluación supone la existencia de otros sistemas y subsistemas, con los cuales interactúa, pero a la vez se diferencia: los procesos de rendición de cuentas, las evaluaciones de los organismos de control, las auditorías internas o externas si existieran y las evaluaciones puntuales que pueden estar pautadas por las fuentes de financiamiento de los programas si así correspondiere.
Uno de los desafíos más importantes que plantea la institucionalización de la evaluación en nuestro continente es el de una mejor articulación entre los diferentes tipos y actores que comparten competencias de evaluación de políticas y programas, aunque tengan diferentes perspectivas y objetivos, resulta necesario mejorar el diálogo y trabajo conjunto entre estas instituciones, para potenciar logros, evitar solapamientos y contribuir de forma conjunta a la mejora en los procesos de toma de decisiones.
Las diferencias entre esta forma o perspectiva de evaluación y los mecanismos de rendición de cuentas, por ejemplo, son varias.
En primer lugar, no se le asigna a la perspectiva integral un rol de control, y por lo tanto el énfasis no estará puesto en la “independencia” (pretensión altamente cuestionada en todo tipo de evaluación) ni en la escisión entre “la política” y “la evaluación”. Precisamente, la perspectiva integral de la evaluación se plantea como una intervención política, surgida de la responsabilidad que ciertos actores tienen no solo sobre el uso de los recursos públicos y el apego a las reglamentaciones, sino también sobre los resultados que efectivamente se alcanzan o no mediante el ejercicio de sus funciones, no en términos individuales, sino en relación a las políticas, programas u áreas que se encuentran bajo su liderazgo.
Otra diferencia tiene que ver con la centralidad del aprendizaje y la incidencia en la toma de decisiones de una perspectiva integral de la evaluación. Precisamente por eso se piensa y propone bajo la órbita y cercanía de los y las responsables de las políticas y programas. Son procesos centrados en la reflexión colectiva, la consideración y análisis de resultados, la comunicación certera de los mismos, y sobre todo la toma de decisiones sobre los cursos de acción futura.
La evaluación se sitúa frente al desafío de diseñar intervenciones que sean sinceras con sus posicionamientos de valores, confiables respecto de la información que producen y pertinentes en sus conclusiones de modo tal que la mejora de las políticas públicas, sea siempre el punto de llegada.
La evaluación, desde una perspectiva integral, puede resultar un aporte importante a la mejora de la acción estatal orientada a lograr la transformación social y el ejercicio pleno de derechos. Pero este propósito plantea una serie de desafíos a tener en cuenta a la hora de pensar, describir o proponer sistemas de evaluación integral.
Uno de ellos, es la necesaria articulación de la esfera política y la esfera “técnica” que conviven y habitualmente confrontan en la administración.
Las decisiones públicas se construyen a través de “lo posible”, en un marco de intereses individuales, grupales y sociales en continua negociación, alimentadas, entre otros elementos, tanto por posicionamientos ideológicos y estratégicos como por saberes.
El diálogo en un contexto de puja constante, entre la lógica de la política y la lógica de la administración es un desafío principal de las evaluaciones desde una perspectiva integral.
En tanto planificación, desarrollo, política, territorialidad, participación, resultados sociales y evaluación pueden ser palabras interesantes para pensar de forma articulada.
La formulación e implementación de políticas con resultados en materia de inclusión social, se vieron acompañadas del registro de significados de esas políticas. En Argentina, por ejemplo, existen diferentes y variadas evaluaciones de las principales políticas llevadas a cabo en los últimos años: Asignación universal, Conectar Igualdad, Procrear, entre otros.
Ahora, estas evaluaciones no han sido planteadas de manera sistemática, ni se han establecido en las instituciones como procesos constitutivos y permanentes de la gestión de las políticas.
La evaluación de las políticas y programas públicos es una estrategia importante a la hora de mejorar el proceso de toma de decisiones en el ámbito estatal. Este potencial de la evaluación integral se fundamenta en el reconocimiento de la fuerte relación de incidencia recíproca que la misma adquiere con el entorno político y estatal.
El desarrollo de prácticas de evaluación, en ciertos contextos y tipos, aporta a la mejora de la calidad de las instituciones públicas.
La evaluación integral, se focaliza en los resultados de las políticas, para tomar decisiones de mejora en la gestión de las mismas. Por lo tanto, se plantea como una estrategia de articulación y visión completa del concepto de calidad institucional, planteando la comprensión tanto de los procesos, como de los efectos de las decisiones y acciones del Estado.
En este sentido, la evaluación debe “sobrepasar” los límites de la administración. Las políticas implican a otros actores, grupos y colectivos sociales, por lo tanto, resulta importante tener en cuenta al sistema político en su conjunto. Si se acota el desarrollo de la evaluación al ámbito de la administración, esta no será un tema de interés en el ámbito de toma de decisiones sobre las políticas.
Las experiencias de evaluación que contienen elementos relacionados con una perspectiva integral, es decir que se orientan principalmente a la valoración social de las políticas, lo hacen desde una perspectiva de actores, retomando la pluralidad de aspectos que conforman una política.
¿Cuáles son las condiciones que debemos tener en cuenta para promover este tipo de evaluaciones?
A continuación, compartimos algunas ideas para la implementación de esta perspectiva de evaluación, en la construcción de Estados soberanos.
- La evaluación integral debe situarse cercana a la toma de decisiones estratégicas
Las experiencias recientes en diferentes países del continente nos impulsan a pensar que resulta deseable que la evaluación se desarrolle asociada tanto a los planes de desarrollo a nivel país (o región si hablamos de un nivel superior o inferior de gobierno), como a los planes sectoriales de las políticas (salud, educación, infancia, etc.). La evaluación integral debe abordarse asociada a las instancias de planificación de las políticas públicas.
El primer desafío de los equipos de evaluación puede ser mantener una cercanía crítica, reflexiva y propositiva con los ámbitos de toma de decisiones estratégicas en los cuales se desarrolla.
La tecnificación, aislación y supervivencia fronteras hacia adentro de los sistemas de evaluación, es un riesgo que debe controlarse antes de cualquier otra pretensión de la práctica evaluativa.
Frente a este desafío, es importante pensar en la necesidad de impulsar consensos políticos basados en las instituciones de evaluación existentes, en las trayectorias históricas recientes que el país – o la región- ha presentado en la temática. Las posibilidades de éxito en la construcción de perspectivas integrales de evaluación aumentan si estratégicamente se inician y desarrollan desde la articulación de los actores institucionales ya vinculados desde la formalidad o la práctica con la evaluación.
Otra cuestión central es poner en marcha estrategias de incidencia en la toma de decisiones, analizando las potencialidades y viabilidad para la incidencia de los resultados de la valoración en el proceso de toma de decisiones.
En el momento de diseño, en la construcción de acuerdos y en la implementación, es necesario tener presente “el después de la evaluación”. El análisis de “los usos” debe ser constitutivo del proceso desde el inicio. La reflexión y diálogo con los equipos de gestión de las políticas acerca del “para qué evaluar”, fortalece la relación de la evaluación con la toma de decisiones. Esta no es una cuestión que pueda dejarse para el final, o peor aún, que quede fuera de las estrategias mismas de la evaluación.
- La evaluación integral se nutre de diferentes tipos y metodologías de evaluación
La evaluación integral se plantea como perspectiva. No se define únicamente ni por el momento en el cual se realiza, ni por el tipo de evaluación que realice.
La pretensión de incidencia en la toma de decisiones estratégicas y valoración de la transformación social de las políticas y programas, nos indica que la evaluación integral debe – o puede ser- tanto de diseño, de procesos, de resultados y/o de impactos.
La pretensión ideal sería que un área de evaluación integral realice todo tipos de evaluaciones, exceptuando las obligaciones de control, transparencia y rendición de cuentas que debieran permanecer como competencias de los organismos creados específicamente para tal fin.
Una de las características principales de la perspectiva integral de la evaluación es la comprensión de la centralidad que la perspectiva de actores tiene a la hora de valorar los múltiples aspectos que constituyen una política o programa público.
Se entiende que la evaluación integral es una construcción colectiva, por lo tanto subjetiva, y que el equipo evaluador debe contar con las competencias adecuadas para liderar el proceso, proponiendo sobre el escenario a los protagonistas y equipos de la gestión de las políticas: responsables, equipos, equipos relacionados, sujetos de las políticas, expertos, entre otros.
No existe una única metodología propia de la perspectiva integral de la evaluación, las estrategias y selecciones metodológicas dependerán de las características de la cuestión a evaluar, los recursos, las competencias para hacerlo, entre otras cuestiones.
Por lo tanto, la cuestión radica en construir estrategias metodológicas pertinentes, centradas en las perspectivas de los actores, que cuiden sobre todo el respeto por los enfoques de derechos, entre otros, las identidades culturales y la igualdad de género.
Para esto, es necesario constituir equipos preparados y profesionalizados. Las competencias que estos equipos deben expresar con diversas, y puede ser este un tema de investigación en sí mismo. Pero, en términos generales, deben ser personas formadas en técnicas de investigación social, que comprendan el complejo entramado que se corresponde con las políticas públicas, que sean capaces de intervenir con empatía desde un rol de facilitador /a de un proceso de reflexión, más que de experto portador de verdades.
- La evaluación integral se basa en la promoción de la cultura de la evaluación
La punición no resulta un incentivo articulador de perspectivas integrales de evaluación, los diseños y prácticas de evaluación integral deben apostar al fortalecimiento de la cultura de la evaluación como estrategia eficaz para la valoración y comunicación política del curso de las políticas públicas. Para lo cual, será necesario profundizar en programas de mejoras de las competencias estratégicas y metodológicas para la evaluación, en ámbitos de formación en la temática, en redes de profesionales y otros ámbitos congregantes de evaluadores y evaluadoras.
Resulta necesaria la discusión sobre los saberes faltantes para encarar experiencias de evaluación con un lenguaje político, basado en la comprensión de la complejidad de las políticas públicas. Nociones sobre Estado, historia de las instituciones, sistema político, sociología política, administración, entre otros saberes, son necesarios para promover cultura de la evaluación, para luego concentrarse en las competencias necesarias para diseñar, liderar y llevar a cabo prácticas integrales de evaluación.
La práctica de la evaluación integral implica la construcción de capacidades de evaluación al tiempo que se implementa un ejercicio participativo y colectivo de reflexión social sobre los resultados de la acción estatal. Una práctica así definida, deja instalado necesariamente el sentido político y técnico de valorar a la evaluación como función de transformación social de largo plazo y la importancia de dirigir el proceso desde el Estado para nutrir su capacidad soberana.
- El proceso de evaluación integral debe tener como norte el conocer y valorar la incidencia social de las políticas y programas.
Por último, la cuarta cuestión constitutiva de la perspectiva integral de la evaluación: el foco en los resultados sociales de las políticas.
Hemos desarrollado que la evaluación integral no se acota a “un” momento ni tipo de evaluación, debido a que es, tal como se expresa, una perspectiva.
De todas formas, la centralidad del propósito de conocer y valorar los resultados sociales de las políticas y programas es una característica esencial de la perspectiva integral de la evaluación.
Esto significa que principalmente interesa a esta perspectiva visualizar la relación entre las acciones del Estado y los cambios en las condiciones de vida de la población sujeto.
La motivación de la perspectiva integral de la evaluación es su potencial como aporte al proceso de toma de decisiones públicas, en la valoración de un contexto donde el protagonismo de la intervención estatal promueva el desarrollo con inclusión.
El registro, análisis y valoración de las mejoras en la calidad de vida de la población (o ausencia de ellas), asociadas a la intervención estatal “guía” las intervenciones de una evaluación integral. La evaluación en el momento de diagnóstico, la calidad de los procesos, la identificación de resultados, debe estar orientadas a la promoción del registro y valoración de mejores resultados sociales de las políticas.
El objetivo es fortalecer la relación entre las acciones del Estado y la mejora efectiva de las condiciones de vida de la población, influyendo en el proceso de toma de decisiones. Por lo tanto, cada acción de la evaluación integral está orientada a registrar la incidencia de las políticas o programas en la población sujeto.
Reflexiones finales
Dentro del campo de la evaluación, la evidencia empírica y la literatura muestran que en América Latina se observa un progreso en la institucionalización de la evaluación, expresada en diversas iniciativas, especialmente la evaluación de programas que se incrementan progresivamente, lo que a su vez constituye una herramienta para la rendición de cuentas. Sin embargo, los estudios también muestran que el foco principal de las evaluaciones es de naturaleza económica, administrativa o gerencial, descuidando la inclusión de nuevos enfoques participativos o aprendizaje colaborativo basado en la experiencia.
Existe una relación de incidencia entre la evaluación de políticas y programas y el fortalecimiento de la democracia, aunque por supuesto este no es el único componente de la compleja situación social y política que atraviesa nuestro continente.
Resulta necesario entender a la administración como uno de los componentes del sistema político, directamente influenciado por los devenires históricos y complejas relaciones existentes entre los elementos que lo conforman. En este sentido, la falta de capacidad institucional del Estado para liderar el abordaje de las necesidades de los sectores más vulnerables de la sociedad (empleo, educación, salud, bienestar social, estabilidad económica, etc.) no es una mera consecuencia de la ineficacia de la administración, es el devenir histórico de un modelo de Estado que ha predominado en América Latina – salvo excepciones históricas- donde la agenda de las decisiones y acciones no se encontró sustentada en la política como medio de construcción de un Estado integrador de las necesidades sociales, sino en los objetivos de grupos minoritarios de poder dominante.
El diálogo en un contexto de puja constante entre la lógica de la política y la lógica de la administración es un desafío principal para construir organizaciones capaces de abordar la diversidad, complejidad y gravedad de problemas sociales que atentan contra los derechos humanos básicos como el acceso a la alimentación, la vivienda, la educación, la salud, el trabajo y la libertad de expresión.
Respecto de la evaluación resulta oportuno avanzar en la formulación, descripción y análisis en profundidad de una propuesta integral de evaluación de políticas públicas.
La temática de la evaluación se encuentra en pleno desarrollo, y el desafío de construir conocimiento sobre cómo lograr que efectivamente sus resultados tengan incidencia en la mejora de las políticas plantea mucho trabajo por delante.
Debemos lograr que se fortalezcan las tendencias a tratarla como una estrategia de gobierno, y no sólo como un mecanismo de rendición de cuentas. En este sentido es importante que se profundice la participación diferentes grupos de actores en los procesos de evaluación. Quienes mejor pueden valorar los resultados de una política son aquellas personas sujetos de la misma.
La discusión cobra sentido por un lado en el plano de las estrategias necesarias para promover instancias de evaluación con sentido político, quiere decir como aporte al proceso de toma de decisiones, con la participación de los grupos interesados, cuyos desempeños influyen en los resultados de las intervenciones públicas.
Por otro lado, también se discuten las metodologías y los diseños institucionales que resultan más apropiados a nuestras realidades, cultura, historia, idiosincrasia y al estado actual de las capacidades institucionales para generar información adecuada que alimente la práctica evaluativa.
Hay experiencias muy interesantes, aunque no son las más difundidas por los medios hegemónicos en la promoción de estrategias de gestión y evaluación de las políticas públicas. Experiencias basadas en la perspectiva de actores, en la trascendencia social de las decisiones públicas más que en la reducción de las mismas a una mirada procedimental o economicista.
La evaluación no resulta una panacea, ni un proceso libre de conflictos e intereses. Es una estrategia de intervención compleja, que puede resultar una potente herramienta para el fortalecimiento de Estados Soberanos.
Mejores decisiones públicas basadas en la aceptación del conflicto como constitutivo de la política. El reconocimiento de la importancia que adquiere la participación social como elemento central para fortalecer el liderazgo de un Estado soberano. Instituciones capaces, que aborden la construcción de su calidad respecto del fondo y las formas. Evaluaciones que pongan en valor la trascendencia social de las políticas públicas. Ideas que consideramos claves frente al propósito de lograr sólidas raíces de compromisos con la transformación social en América Latina.
Bibliografía
AQUILINO, Natalia y otros (2016) “Agencia Nacional de Evaluación: Un diseño posible” Documentos de políticas públicas. Área de Estado y Gobierno.
AQUILINO, Natalia; Ballescá, Mónica y otros (2017) “¿Todos los caminos conducen a Roma? Análisis comparado en la institucionalización de la evaluación” Documento de trabajo n°159. Programa de incidencia, monitoreo y evaluación, CIPPEC.
AQUILINO, Natalia y AMAYA, Paula (compiladoras) (2015) “Mapa diagnóstico de la evaluación en la Argentina” Red Argentina de evaluación – EvaluAR.
AMAYA, Paula (2016) “Evaluación de políticas y programas públicos: Un aporte al fortalecimiento del Estado”. Tesis doctoral Universidad Autónoma de Barcelona.
AMAYA, Paula (2014) “El proceso de evaluación del programa Conectar Igualdad en Argentina como referencia innovadora de una iniciativa interinstitucional y participativa” Centro Latinoamericano de Administración y Desarrollo (CLAD) Serie Documentos Debate No. 20- XXVII Concurso del CLAD sobre Reforma del Estado y Modernización de la Administración Pública. «La Innovación en la Gestión Pública». Ensayos Ganadores 2014 http://old.clad.org/portal/publicaciones-del-clad/series/serie-documentos-debate-1
BANCO MUNDIAL – BID (2007) “Hacia la institucionalización de los sistemas de monitoreo y evaluación en América Latina y el Caribe II Conferencia Regional de M&E” Editores Roberto García, López Heraldo y Laguzzi Waleska Guerrero Editores.
BLUTMAN, Gustavo y CAO, Horacio (2012) “Hoja de ruta sobre reforma y modernización del Estado” en “Aportes” Año 18 número 30, revista de la Asociación de Administradores Gubernamentales de Argentina. ISSN 0328-5855.
CEPAL (2013) “Evaluación de Programas Públicos en Latinoamérica en el contexto de la Gestión Pública para Resultados XIX Curso – Seminario Internacional “Gestión Pública para Resultados y Evaluación de Programas Públicos” México. Docente Eduardo Aldunate.
Consejo Nacional de Evaluación de la Política de Desarrollo Social CONEVAL (2015) La política de evaluación en México: 10 años del CONEVAL. México.
CUNILL, Nuria; OSPINA BOZZI, Sonia (2003) “Evaluación de resultados para una gestión pública moderna y democrática: experiencias latinoamericanas” Caracas: CLAD; AECI/MAP/FIIAPP, 2003.- 516 p.
CEJUDO, Guillermo y ABARCA, Francisco (2015) “¿Cómo se usan las evaluaciones? Análisis de cómo los programas reaccionan a lo que recomiendan las evaluaciones en México. Seminario de Estudios empíricos sobre la utilización de las evaluaciones en CLEAR – CIDE http://www.clear-la.org/home/wp-content/uploads/2015/11/C%C3%B3mo-se-usan-las-evaluaciones.pptx.pdf
Guía Metodológica para el Seguimiento al Plan Nacional de Desarrollo y la Evaluación de Políticas Estratégicas” (2012) Departamento Nacional de Planeación. Bogotá, Colombia www.dnp.gov.co
GRAU-SOLÉS, ÍÑIGUEZ-RUEDA y SUBIRATS (2011) ¿Cómo gobernar la complejidad? Invitación a una gobernanza urbana híbrida y relacional. Athenea Digital, 11(1), 63-84.
DENTE, BRUNO & SUBIRATS, JOAN (2014) Decisiones públicas: Análisis y estudio de los procesos de decisión en políticas públicas. Barcelona: Ariel; Colección Ariel Ciencias Sociales, 368 páginas (2014) ISBN: 978-84-344-0996-5
INAP México (2010) “La evaluación en el sector público” 121 Volumen XLV, Nº 1 (enero-abril 2010) ISSN: 0482-5209 Instituto Nacional de Administración Pública, A.C. www.inap.org.mx
Jefatura de Gabinete de Ministros (2011) “Lecturas sobre el Estado y las políticas públicas: Retomando el debate de ayer para fortalecer el actual” Compilación de Carlos Acuña. Capítulo: SKOCPOL, Theda “El Estado regresa al primer plano: estrategias de análisis en la investigación actual”.
LAZARO, Blanca (2015) “Estudio comparado sobre institucionalización de la evaluación en Europa y en América Latina” Eurosocial.
Ministerio de planificación nacional y política económica área de evaluación y seguimiento de Costa Rica (2012) “Manual gerencial para el diseño y ejecución de evaluaciones estratégicas de gobierno”
Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento Federal. Secretaria de Planejamento e Investimentos Estratégicos. “Guia de Monitoramento PPA 2012-2015.
MUÑOZ, Mauricio (2005) “Evaluación de Resultados en Chile: el Sistema de Seguimiento de la Programación Gubernamental” CLAD(http://www.clad.org)
OSPINA, Sonia (2002) “Construyendo capacidad institucional en América Latina: el papel de la evaluación como herramienta modernizadora” VII Congreso internacional del CLAD sobre la reforma del Estado y de la administración pública. LISBOA, PORTUGAL.
PICHARDO MUÑIZ, Arlette (1997) “Evaluación del impacto social, el valor de los humano ante la crisis y el ajuste” Lumen Humanitas, Buenos Aires.
RÍOS HESS, Salvador (2007) “Diagnóstico de los sistemas de monitoreo y evaluación en Chile” en Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina clad bm
SENPLADES (2017) “Lineamientos de seguimiento y evaluación a los planes de desarrollo y ordenamiento territorial”.
SENPLADES (2012) “Notas para discusión: Definiciones conceptuales del subsistema de seguimiento y evaluación”
SINERGIA (2012) “guía metodológica para el Seguimiento al Plan Nacional de Desarrollo y la evaluación de Políticas Estratégicas” (2012), PBX: 3815000 www.dnp.gov.co Bogotá D.C., Colombia
SINERGIA (2014) “Guía metodológica para el seguimiento y la evaluación a políticas públicas” Departamento Nacional de planeamiento. República de Colombia.
SUBIRATS, Joan; Knoepfel, Peter; Larrue, Corin y Varonne, Frederic (2008) Análisis y gestión de políticas públicas, Barcelona, Book Print Digital.
THWAITES REY, Mabel (2010) “Después de la globalización neoliberal: ¿Qué Estado en América Latina?” en OSAL (Buenos Aires: CLACSO) Año XI, Nº 27
UNZUÉ, Martín (2012) “El Estado Argentino (1973 – 2003) Ciclos de ajuste y cambios Publicaciones Imago Mundi. Buenos Aires. ISBN 978-950-793-138-3
VILAS, Carlos (2011) “Después del Neoliberalismo: Estado y procesos políticos en América Latina” Colección Planificación y Políticas Públicas Ediciones UNLa. Lanús.
VILAS, Carlos (2013) “El poder y la política, el contrapunto entre la razón y las pasiones” Editorial Biblos. Buenos Aires, Argentina
WEISS, Carol H. (1998) Evaluation, second edition, por Editorial: Prentice-Hall, Inc.
ZALTSMAN, Ariel (2004) “La evaluación de resultados en el sector público argentino: un análisis a la luz de otras experiencias en América Latina” Revista del CLAD Reforma y Democracia. No. 29. Caracas.
[1] Doctora en Políticas Públicas y Transformación Social, Universidad Autónoma de Barcelona. Master en Gobierno y Desarrollo (UNSAM). Licenciada en Ciencias de la Educación (UNLP). Docente e investigadora. Directora del Programa “Gobierno, políticas públicas y transformación social” de la Universidad Nacional Arturo Jauretche. Directora del posgrado Especialización en Evaluación de Políticas Públicas de la Universidad Nacional Arturo Jauretche y la Universidad Nacional de Lanús. Docente invitada en diferentes posgrados de Argentina y España.
[2] Directora de Monitoreo y Evaluación de CIPPEC.
[3] Asignación Universal por Hijo: Asignación universal mensual que le corresponde a los hijos de las personas desocupadas, que trabajan en el mercado informal o que ganan menos del salario mínimo, vital y móvil. Programa Conectar Igualdad: Política de inclusión digital de alcance federal, implicó la distribución de netbooks a estudiantes y docentes de las escuelas secundarias, de educación especial y de los institutos de formación docente de gestión estatal del país, acompañada de una fuerte política de fortalecimiento de inclusión de las nuevas tecnologías en la gestión educativa. PRO.CRE.AR BICENTENARIO Iniciativa del Gobierno Nacional que implicó la entrega de más de 400 mil créditos hipotecarios para la construcción, ampliación, terminación y refacción de viviendas, como así también la adquisición de aquellas que fueron construidas por el Programa a través de desarrollos urbanísticos.
[4] En Argentina, encontramos 3 propuestas de formación en posgrado específicas en evaluación, siendo una de ellas dictada en conjunto entre la Universidad Nacional Arturo Jauretche y la Universidad Nacional de Lanús.
[5] Destacamos la participación de Susana Ortale, Beatriz Horrac, Erika Roffler, María Laffaire, Romina Perez, y Gabriela Molina en la construcción de información en este estudio diagnóstico.