CEPAL Metodologías de Evaluación de Políticas Tecnológicas: Reseña de Prácticas Internacionales

Manual de Polticas Pblicas
etodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales
Ana Paula M. Avellar
Santiago de Chile, octubre de 2007
Este documento fue preparado por Ana Paula M. Avellar, en el marco del Programa CEPAL-GTZ Modernizacin del Estado, desarrollo productivo y uso sostenible de los recursos naturales. Las opiniones expresadas en este documento, que no ha sido sometido a revisin editorial, son de exclusiva responsabilidad de la autora y pueden no coincidir con las de la Organizacin.
CEPAL Desarrollo productivo y empresarial CyT-DES Ciencia y Tecnologa para el Desarrollo, Manual de Polticas Pblicas
ndice
I. Introduccin ...............................................................................5 II. Objetivos .....................................................................................7 III. Procedimientos metodolgicos 1. Fuentes de informacin ..........................................................9 IV. Marco conceptual y terico 1. Aspectos generales de la evaluacin ....................................11 2. Dificultades para la evaluacin de los efectos de las polticas tecnolgicas en el contexto de un sistema nacional de innovacin ............................................................................13 V. Resultados de la investigacin 1. Metodologas de evaluacin de polticas tecnolgicas.........17 2. Experiencias internacionales de evaluacin de polticas tecnolgicas..........................................................................19 2.1. Advanced technology programme (ATP) .....................20 2.2. Iniciativa EUREKA ......................................................22 2.3. Programa ALVEY ........................................................23 2.4. PROCAP 1000..............................................................25 VI. Consideraciones finales........................................................27 Primera etapa: formacin del equipo responsable de la evaluacin ............................................................................28 Segunda etapa: eleccin de los indicadores de innovacin y capacidad tecnolgica ..........................................................29 Tercera etapa: recoleccin de datos..............................................29 Cuarta etapa: anlisis de los efectos de la poltica tecnolgica en el corto, mediano y largo plazo .......................................29 Efectos de corto plazo: .........................................................29 Efectos de mediano plazo: ...................................................30 3
Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales
Efectos de largo plazo:...................................................................................................... 30 Quinta etapa: anlisis y divulgacin de los resultados .............................................................. 30 Referencias bibliogrficas ......................................................................................................... 31 Anexos .................................................................................................................................... 35 Anexo 1 .................................................................................................................................... 37
ndice de figuras
Figura 1 Figura 2 .................................................................................................................................... 11 Organizacin de los efectos segn el ciclo de vida de la tecnologa.......................... 37
ndice de tablas
Tabla 1 Tabla 2 Tabla 3 Evolucin del alcance del anlisis de los efectos de una Poltica Tecnolgica.......... 38 Uso adecuado de las metodologas de evaluacin de acuerdo con el tipo de impacto .................................................................................................................. 39 Ejemplo de sistematizacin de las metodologas Evaluacin de los efectos socioeconmicos de las polticas de investigacin y desarrollo tecnolgicos. Metodologas de evaluacin................................................ 40 Efectos y variables utilizadas en la cuantificacin del proceso.................................. 43
Tabla 4
I.
Introduccin
En este informe se presentan los resultados del proyecto de investigacin sobre las metodologas de evaluacin de polticas tecnolgicas. El objeto del estudio es mostrar, sobre la base de informacin disponible de fuentes secundarias, un panorama de los mtodos utilizados internacionalmente para evaluar los efectos econmicos de una poltica tecnolgica. El informe se divide en seis captulos, incluida esta breve introduccin. En el segundo captulo se indican los objetivos y las hiptesis de investigacin, mientras que en el tercero se detallan brevemente los procedimientos metodolgicos adoptados para la realizacin de este estudio. En el cuarto captulo se describe el marco terico y conceptual de la investigacin y se comenta la importancia y la complejidad de evaluar las polticas tecnolgicas. Se inicia con un breve examen de las formas de evaluacin y su importancia para determinar la eficacia de la poltica pblica, seguido de un anlisis de los problemas que plantea la dificultad de medir los efectos generados por una poltica tecnolgica en las distintas esferas de la economa. En el quinto captulo se presentan los resultados de la investigacin. En primer lugar se realiza un estudio de las metodologas ms utilizadas internacionalmente, mientras que en la segunda parte se describen cuatro casos de aplicacin de esas metodologas a la evaluacin de programas de desarrollo tecnolgico instrumentados en tres pases desarrollados y un pas en desarrollo.
Los primeros tres ejemplos seleccionados son el Advanced Technology Programme en Estados Unidos, el Programa EUREKA en diversos pases de Europa y el Programa Alvey en Inglaterra. En los tres casos existe una estructura de evaluacin sistemtica de los efectos econmicos al inicio, durante y despus de finalizado el programa. El cuarto programa de apoyo al desarrollo tecnolgico tratado en este informe es el de guas Profundas de Petrobrs, aplicado en Brasil a inicios de la dcada de 1990. A diferencia de los casos anteriores, no se realiz una evaluacin sistemtica, sino que se aplic la metodologa creada por el instituto de economa terica y aplicada (BETA) de la Universidad Luis Pasteur de Francia. A partir de este caso, se plantea la necesidad de que los pases en desarrollo tambin evalen los efectos de las polticas tecnolgicas implementadas. En el sexto y ltimo captulo se incluyen algunas consideraciones acerca de esa temtica y se trazan algunas tendencias y caminos futuros de investigacin para profundizar el debate.
II. Objetivos
En muchos pases en los que existe la preocupacin de medir los efectos econmicos derivados de las polticas tecnolgicas se han creado herramientas metodolgicas cada vez ms sofisticadas para intentar captar y comprender la complejidad de esos efectos en la esfera de la empresa, el sector y la economa en general. La dificultad para medir los efectos econmicos se debe en parte a que la innovacin es el resultado de un proceso dinmico, que supone tanto relaciones de corto como de largo plazo. Este proceso no solo se refiere a la creacin de nuevos productos y al aumento del nmero de patentes, sino tambin al establecimiento de un ambiente institucional adecuado a la innovacin, las polticas de regulacin y la capacitacin de los agentes econmicos. En ese contexto y sobre la base de informacin disponible en fuentes secundarias, el objeto de esta investigacin es examinar las herramientas metodolgicas de evaluacin de las polticas tecnolgicas descritas en la literatura internacional. La referencia a cuatro casos internacionales puede contribuir tambin a profundizar el debate, al plantearse temas importantes para los estudios de caso de polticas tecnolgicas aplicadas en pases en desarrollo, especialmente en Amrica Latina.
III. Procedimientos metodolgicos
Este trabajo se basa en un completo estudio apoyado en fuentes secundarias para la recoleccin de datos y la comprensin del debate internacional sobre la evaluacin de las polticas tecnolgicas. Para llevarlo a cabo, se examinaron la produccin cientfica y los informes de centros de investigacin y universidades que conducen investigaciones en el rea de evaluacin y realizan experiencias prcticas para diferentes gobiernos en forma sistemtica. Los cuatro casos presentados en este informe reflejan la importancia que el debate sobre la evaluacin ha alcanzado en el plano internacional. Los programas de incentivos al desarrollo tecnolgico de los pases desarrollados se evalan peridicamente y en la mayora de los casos dicha evaluacin abarca desde la elaboracin de la poltica y los proyectos hasta su conclusin.
1.
Fuentes de informacin
La investigacin se apoy en una resea de la literatura y las bases de datos disponibles, sobre todo en pginas de Internet y peridicos especializados. Las principales publicaciones consultadas en instituciones pblicas e internacionales de referencia que cabe sealar son las siguientes:
Conference on Policy Evaluation in Innovation and Technology, junio de 1997, disponible en www.oecd.org (Organizacin para la Cooperacin y el Desarrollo Econmicos); A Toolkit for Evaluating Public R&D Investment: models, methods and findings from ATPs first decade, julio de 2003, disponible en www.nist.gov (Instituto Nacional de Estndares y Tecnologa, Estados Unidos); Entre las universidades, centros de investigacin y rganos gubernamentales que realizan estudios especficos sobre evaluacin se destacan los siguientes: Instituto Nacional de Estndares y Tecnologa (NIST), Estados Unidos, www.nist.gov Ministerio de Finanzas, Canad. www.fin.gov.ca Centro Comn de Investigacin de la Comisin Europea, Espaa. www.jrc.es Instituto de Investigacin Poltica en Ingeniera, Ciencia y Tecnologa (PREST), Universidad de Manchester, Inglaterra. http://www.mbs.ac.uk Instituto de economa terica y aplicada (BETA), Universidad Luis Pasteur, Francia. http://cournot2.u-strasbg.fr/users/beta/index.php Instituto de Tecnologa de Georgia, Centro de polticas pblicas, Estados Unidos. http://www.gatech.edu/ Entre las publicaciones cientficas consultadas, se destacan dos libros y dos informes de investigacin sobre esta temtica: Hong, Heung Deug y Boden, Mark. R&D Programme Evaluation: theory and practice. Ashgate Publishing Limited, Inglaterra, 2003. Shapira, Philip y Kuhlmann, Stefan. Learning from Science and Technology Policy Evaluation: experiences from the United States and Europe. Edward Elgar, 2001. Hall, Bronwyn y Wosinska, Marta. Effectiveness of the California R&D Tax Credit. Informe preparado para el Consejo de Ciencia y Tecnologa de California, junio de 1999. Disponible en www.ccst.us/ccst/pubs/crest/pubs/pireports/html/hall.html Tassey, Gregory. Methods for Assessing the Economic Impacts of Government R&D. Informe de planificacin 03-1, Instituto Nacional de Estndares y Tecnologa, Estados Unidos. Departamento de Comercio, Administracin tecnolgica, septiembre de 2003.
10
IV. Marco conceptual y terico
1.
Aspectos generales de la evaluacin
El proceso de evaluacin supone un examen sistemtico del proyecto inicial de poltica (sus metas) y sus resultados, es decir, un anlisis de la distancia entre los resultados efectivos y los resultados esperados, en virtud de la intervencin de elementos aleatorios y el manejo del gobierno. La evaluacin se refiere al proceso que busca determinar la manera en que sistemtica y objetivamente se pueden comprender la relevancia, la eficiencia y los efectos de una actividad en trminos de sus objetivos, e incluye el anlisis de instrumentacin y gestin administrativa de cada actividad. (Papaconstantinou y Polt, 1997, p.10). Con esa finalidad, se pueden evaluar dos aspectos: la distancia entre la poltica instrumentada y el plan inicial (eje plan-poltica) y los efectos econmicos generados por la poltica efectivamente ejecutada (eje poltica-efectos econmicos).
Figura 1 Plan
Poltica
Efectos econmicos
11
El primer aspecto de la evaluacin se refiere al anlisis de las relaciones presentes en el eje que vincula el plan con la poltica. Peres (1997) afirma que la separacin entre lo planeado y lo realizado posee dos dimensiones. Por una parte, no siempre los organismos que deciden la poltica o los planificadores dentro de los gobiernos pertenecen a los ministerios que deben aplicar los instrumentos. (...) Deriva de ese hecho la ambigedad de muchas declaraciones de polticas que se parecen ms a enunciados de proyectos de investigacin. Problemas similares de falta de coordinacin y rivalidad burocrtica surgen tambin en otras reas, entre ellas ciencia y tecnologa, negociaciones econmicas internacionales y polticas de competencia (Peres, 1997, p.25). La otra dimensin consiste en la distancia entre objetivos y restricciones que solo aparecen ex post. Este problema se manifiesta claramente en el trazado de polticas que tienen muchos objetivos, pero carecen de metas (dem, p.26). Tampoco se debe perder de vista que el debilitamiento del aparato estatal y la reduccin de los recursos financieros disponibles impiden la plena instrumentacin de esas polticas. Debido a ese desfase entre el trazado (plan) y la instrumentacin (poltica), la evaluacin de las polticas tecnolgicas se vuelve una herramienta adicional para comprender las fallas ocurridas en el proceso, desde la elaboracin de la poltica industrial y tecnolgica hasta su aplicacin. Al evaluar una poltica tecnolgica y estudiar sus limitaciones posteriormente se puede tambin ayudar a la construccin de una nueva poltica ms adecuada a las necesidades del pas. En gran parte de los casos se verifica que las dificultades de implementacin se deben a la falta de coordinacin entre los agentes que actan en el sistema de innovacin, entre ellos las empresas, los centros de investigacin, las universidades y las instituciones de financiamiento. El segundo aspecto de la evaluacin se centra en el eje que vincula la poltica con sus efectos econmicos. En este caso, la evaluacin apunta a comprender la manera en que el programa de poltica implementado afect directa e indirectamente el desempeo de los agentes participantes y las otras esferas de la economa. Los primeros mtodos de evaluacin se crearon hace dcadas en pases desarrollados y se basaban, sobre todo, en el anlisis cuantitativo a partir de dos herramientas: la informacin administrativa de las empresas para captar el impacto de la poltica en las ventas y el anlisis del costo-beneficio, para comprender la relacin entre las ganancias y las prdidas financieras de las empresas favorecidas por el programa. No obstante, se considera que esas dos herramientas de evaluacin son limitadas porque resumen las repercusiones de la poltica en una variable de carcter nicamente financiero y no captan todas sus dimensiones como fenmeno socioeconmico. Para eso, es necesario aplicar mtodos de evaluacin cualitativa, entre ellos los cuestionarios y los estudios de caso. El objetivo de este tipo de instrumento metodolgico es comprender no solo las repercusiones dentro de las fronteras de la empresa participante, sino tambin los efectos en los agentes de la cadena productiva, el sector y la regin en que la poltica fue instrumentada. Subirats (1994) contribuye al debate al presentar tres diferentes tipos de evaluacin, clasificadas de acuerdo con los objetivos que procuran alcanzar. La evaluacin de determinacin de necesidades se realiza ex ante y sirve de referencia para la construccin de la poltica; la evaluacin de correccin tiene como objetivo comprobar si la poltica se est instrumentando con xito; y por ltimo la evaluacin conclusiva, que se concentra en los resultados obtenidos, y en algunos casos seala la diferencia de comportamiento entre los sectores o empresas contempladas por la poltica y los que quedaron excluidos.
12
Ante ese debate sobre los diferentes aspectos y tipos de evaluacin, en este trabajo se opt por no abordar ninguna de ellas exclusivamente, en virtud de la diversidad de los casos tratados ms adelante. Como se podr ver, en todos los programas mencionados se realizan evaluaciones complejas, que abarcan tanto los dos aspectos como los tres tipos de evaluacin descritos con anterioridad.
2.
Dificultades para la evaluacin de los efectos de las polticas tecnolgicas en el contexto de un sistema nacional de innovacin
Las polticas tecnolgicas forman parte de la agenda econmica tanto en pases de la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE) como en pases en desarrollo en los que se desea ampliar la capacidad tecnolgica. De manera general, el objetivo es incentivar no solo las inversiones privadas, sino tambin la mejora de la infraestructura disponible, la interaccin y la transferencia de tecnologa entre distintos agentes, entre ellos las universidades, los centros de investigacin (pblicos y privados) y las empresas. A partir del concepto de sistema nacional de innovacin, la poltica de incentivo al desarrollo tecnolgico debe contemplar la existencia de los tres niveles de actuacin, incluso aunque est dirigida solamente a uno de ellos. Cassiolato (1999) sostiene que la formulacin de una poltica tecnolgica debe seguir dos orientaciones. En primer lugar, se debe tener en cuenta que el proceso innovador y las polticas de incentivo no pueden tratarse como elementos aislados de su contexto nacional, sectorial, regional, organizacional e institucional. En segundo lugar, y como consecuencia del primer aspecto, se debe considerar tambin la importancia de concentrarse en la relevancia de cada subsistema involucrado, as como las articulaciones entre estos y entre los diferentes agentes (Cassiolato, 1999, p. 183). Ferraz et al (2002) afirman que la actuacin del gobierno mediante la poltica industrial y tecnolgica debe abarcar tanto la oferta como la demanda. Con respecto a la demanda, son tiles los subsidios para agentes interesados en la difusin de nuevas tecnologas, sobre todo las vinculadas con rentabilidad creciente, mientras que con respecto a la oferta, es necesario apoyar las iniciativas de construccin de la capacidad tecnolgica. Es an ms necesaria la combinacin de polticas horizontales y verticales. Las polticas industriales horizontales son las que tienen por objeto mejorar los resultados de la economa, sin especificar ninguna industria. Las polticas verticales (o selectivas) estn dirigidas a una industria especfica o a una cadena productiva. Cimoli y Primi (2003) tambin sealan la necesidad de combinar diferentes tipos de poltica tecnolgica. No obstante, presentan una clasificacin distinta de la anterior, en la que separan las polticas verticales de las selectivas. Mientras que las verticales estaran dirigidas a sectores y cadenas productivas, las polticas selectivas estaran orientadas especficamente a la red de empresas, con acciones concentradas en el desarrollo y la utilizacin de instrumentos que mejoren la relacin, la transformacin de la generacin y circulacin de conocimiento en ventajas comparativas dinmicas de la red y el desarrollo de funciones de comunicacin entre las articulaciones (p.42). De este modo, el gobierno puede actuar en forma diversificada para alcanzar un determinado objetivo de la poltica tecnolgica, valindose para ello de las distintas herramientas a su disposicin, entre ellas los instrumentos financieros (incentivos fiscales o fondos financieros), de regulacin y de creacin del ambiente institucional, de capacitacin de recursos humanos y de estmulo al establecimiento de acuerdos entre universidades y empresas. Ante esas posibilidades, cabe al gobierno definir claramente el objetivo de su poltica y los instrumentos que utilizar para promover el desarrollo tecnolgico del pas. 13
La complejidad de una poltica tecnolgica se puede observar en la variedad de objetivos, objetos e instrumentos que se ejemplifican a continuacin: Objetivos: estimular el gasto en investigacin y desarrollo, ampliar la capacidad productiva, extender la colaboracin entre industrias y universidades, incrementar la exportacin de productos con mayor componente tecnolgico, aumentar el nmero de registro de patentes; Objetos: empresas, sector, actividad econmica, pequeas y medianas empresas, infraestructura de investigacin, innovacin regional, universidades y centros de investigacin; Instrumentos: fiscales, fondos financieros, crdito (nacional e internacional) y capital de riesgo. La combinacin de todos estos elementos supone una gran dificultad para captar los efectos generados por una determinada poltica en las diferentes esferas de la economa y, como consecuencia, profundiza las limitaciones para realizar una evaluacin que abarque esa complejidad. Reconocer los beneficios socioeconmicos de una poltica tecnolgica significa realizar un anlisis de la dinmica de innovacin, considerando las repercusiones a corto y largo plazo. Por ese motivo, se relaciona considerablemente tanto con el desarrollo de nuevos productos y procesos como con la generacin de nuevas capacidades y el aprendizaje de los agentes econmicos. Como se puede observar en la figura 1, algunos efectos de las polticas se manifiestan solamente en un largo perodo de tiempo, por lo que conviene realizar, por ejemplo, una evaluacin de tipo conclusivo (Subirats, 1994), que respeta el plazo de maduracin de la propia tecnologa. Una de las principales dificultades para establecer criterios de evaluacin de polticas tecnolgicas consiste en medir sus repercusiones en el proceso de innovacin a lo largo del tiempo y en que tambin constituyen un fenmeno social. La evaluacin es en gran medida un proceso social, que supone la interaccin de individuos, mtodos organizacionales, prcticas y rutinas (Papaconstantinou y Polt, 1997, p.13). Desde inicios de la dcada de 1990 se estn realizando actividades para captar la complejidad del proceso de innovacin. El papel de los elementos que los evaluadores pasaron a considerar como efectos generados por una poltica econmica ha aumentado considerablemente. La progresiva ampliacin del alcance del anlisis de los efectos econmicos se puede apreciar en la tabla 1. Otra dificultad para captar todas las repercusiones consiste tambin en que los incentivos al desarrollo tecnolgico pueden causar segn el objeto y el objetivo de la poltica efectos directos e indirectos, entre ellos los procesos de generacin de nuevos productos y procesos, de difusin de una determinada tecnologa y de transferencia del conocimiento fuera de los lmites de la firma. Las evaluaciones han demostrado que los efectos socioeconmicos se manifiestan no solo por medio de la competencia y de los efectos en las relaciones de mercado (venta de productos, reduccin de costos y otros), sino tambin por medio de efectos en el aprendizaje individual y organizacional (inclusive sociedades y redes), que influyen sobre normas y patrones, generan externalidades y contribuyen a la habilidad y el desarrollo de la fuerza de trabajo (Georghiou, 1998, p.38). En muchos pases se estn creando mecanismos de evaluacin peridica de los programas de incentivo a la innovacin. Canad, por ejemplo, es uno de los pases mejor estructurados en cuanto a la evaluacin de polticas tecnolgicas, porque posee una estructura de evaluacin establecida por el propio gobierno desde los aos ochenta, fundamentalmente para evaluar los efectos de los 14
programas de incentivos fiscales para actividades de desarrollo cientfico y tecnolgico (Ministerio de Finanzas de Canad, 1997). Del mismo modo, en Estados Unidos tambin se desarrolla un proceso de evaluacin sistemtica de los principales programas de apoyo a la innovacin como el Advanced Technology Programme (ATPprograma de tecnologa avanzada) cuyo objetivo es acelerar el desarrollo de nuevas tecnologas en la industria de alta tecnologa y los programas Midwest Manufacturing Technology Center y Manufacturing Extension Partnership. En Europa, este tipo de evaluacin de impacto tambin se practica y realiza sobre todo en iniciativas como EUREKA y el Programa Marco de la Unin Europea. Por tratarse de un tema presente en el debate internacional, se encuentran en la literatura especializada algunos intentos de sistematizacin de esas metodologas. En la tabla 2 se observa un ejemplo de sistematizacin, cuyo objetivo es clasificar las metodologas de evaluacin como ms apropiada para cada esfera de impacto de la poltica. Las entrevistas y cuestionarios se consideran especialmente apropiados para el anlisis de los efectos econmicos generados en las empresas, en el plano microeconmico, mientras que las herramientas economtricas son ms adecuadas para captar los efectos macroeconmicos de la poltica tecnolgica. Se puede observar otro ejemplo en la tabla 3, realizada por el Instituto de Prospectiva Tecnolgica en 2002, en la que las metodologas se clasifican de acuerdo con su tipo cualitativa o cuantitativa y rea de aplicacin ms adecuada.
15
V. Resultados de la investigacin
Los resultados de este informe se dividen en dos partes. En la primera se enumeran y describen las metodologas aplicadas generalmente por instituciones internacionales en la evaluacin de polticas tecnolgicas, mientras que en la segunda se presentan algunos casos aplicados de esas metodologas, mediante ejemplos de evaluacin de los efectos econmicos de una poltica en diferentes pases.
1.
Metodologas de evaluacin de polticas tecnolgicas
Las medidas de evaluacin de una poltica tecnolgica utilizadas tradicionalmente se basan en el anlisis de los gastos en investigacin y desarrollo, los resultados bibliomtricos, el nmero de patentes y el aumento de la calificacin de los recursos humanos. Sin embargo, no es posible captar con esas herramientas los efectos socioeconmicos directos e indirectos de una poltica tecnolgica. Por esa razn, se deben buscar alternativas y proponer avances metodolgicos con referencia a ese tema. De este modo, la determinacin de los beneficios econmicos y sociales de esas polticas supone un anlisis complejo de la dinmica de innovacin, por estar relacionada no solo con el desarrollo de nuevos productos y procesos por las empresas, sino tambin con la creacin de infraestructura reguladora y de proteccin a la propiedad intelectual, la formacin de recursos humanos calificados para realizar esas actividades tecnolgicas y el estmulo al establecimiento de sociedades y acuerdos entre empresas y universidades. 17
Como se indic previamente, una de las dificultades para establecer criterios de evaluacin de una poltica tecnolgica consiste en la necesidad de considerar que el proceso de innovacin determina resultados de largo plazo, como por ejemplo el efecto de transferencia del conocimiento fuera de las fronteras de la empresa. Las herramientas utilizadas en general para evaluar una poltica son cuantitativas (costos de las empresas, volumen de impuestos pagados) y cualitativas (estudios de caso, entrevistas con empresas beneficiarias de la poltica), as como un anlisis comparativo del desempeo de las empresas (o sectores) que pudieran hacer uso de los recursos ofrecidos por los incentivos en materia de investigacin y desarrollo en comparacin con las empresas que no participan. En un primer anlisis de la literatura internacional sobre la evaluacin de las repercusiones de las polticas tecnolgicas se encontraron ocho herramientas metodolgicas, utilizadas con mayor frecuencia por los pases desarrollados, entre ellos Alemania, Canad, Estados Unidos y Francia, y por organismos internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial. Esos mtodos de evaluacin pueden clasificarse segn su naturaleza cuantitativa o cualitativa, de acuerdo con el propsito de la evaluacin. Las herramientas cuantitativas ms conocidas son las siguientes: evaluacin por funcionarios de igual nivel, bibliometra, informacin administrativa, anlisis de costo-beneficio, estudios economtricos, clculo del valor actual neto. Entre las metodologas cualitativas se destacan los cuestionarios y los estudios de caso. Todos estos mtodos se describen brevemente a continuacin: (i) Evaluacin por funcionarios de igual nivel: consiste en un estudio detallado de la validez cientfica de esa innovacin, por medio del juicio de un equipo de especialistas que enmarcar esa innovacin en el contexto cientfico internacional. Bibliometra: tiene como objetivo medir la relevancia cientfica de la referida innovacin y de ese modo, como el primer mtodo, procura evaluar los efectos de la poltica en el desarrollo cientfico.
(ii)
(iii) Informacin administrativa: se basa en el anlisis de datos administrativos, entre ellos datos contables, nmero de empleados, nmero de clientes y tipos de actividades realizadas por las empresas participantes. No obstante, el anlisis a partir de esa informacin es limitado, porque en algunos casos produce solamente datos contables y no muestra los resultados de una planificacin cuidadosa de la empresa sobre su estrategia tecnolgica. Por ese motivo, la mayor parte de las veces, una evaluacin de este tipo no logra captar los verdaderos efectos de la poltica tecnolgica en la economa. (iv) Costo-beneficio: se realiza un anlisis de los costos generados por la poltica y se compara con los beneficios obtenidos. No obstante, este mtodo resulta insuficiente en el caso de evaluacin de una poltica tecnolgica, pues se concentra exclusivamente en la informacin financiera y no tiene en cuenta la complejidad del proceso de innovacin. (v) Estudios economtricos: producen anlisis ms refinados en trminos de datos cuantitativos. Procuran medir la diferencia de resultados entre las empresas receptoras de crdito (o de incentivos fiscales) y un grupo de control de empresas que no tuvieron esos beneficios.
Esta metodologa tambin tiene como finalidad hacer un anlisis comparativo de los resultados de las empresas participantes y no participantes. Jarmin (1995), por ejemplo, crea un modelo de regresin relacionando la variable de la poltica medida segn el aumento del valor agregado por trabajador con un vector de caractersticas observables y uno de eventos no observables. Se sostiene que de esa forma se puede comparar el desempeo de las empresas que participan en el programa con el de las que no lo hacen. No obstante, el modelo presenta un 18
problema en lo que se refiere a la seleccin del grupo de control, sobre todo si ese grupo est formado solo por empresas que no captaron los recursos porque dejaron de ser consideradas competitivas. De acuerdo con Jarmin y Jensen (1996), esa informacin est disponible en organismos estadsticos norteamericanos, por lo que el costo de esta metodologa es bajo. Evidentemente, en pases donde no se dispone de esos datos su aplicabilidad es limitada. (vi) Clculo del valor actual neto: el Instituto Nacional de Estndares y Tecnologa (NIST) presenta algunas metodologas financieras para medir los efectos de las polticas, entre ellas el valor actual neto. Con ste se puede calcular el valor esperado de un proyecto de investigacin y desarrollo en trminos monetarios, restando el valor actual de los costos del valor actual de las ganancias, para obtener de ese modo el valor actual neto de la inversin. (vii) Cuestionario: realizacin de un estudio de campo mediante un cuestionario dirigido a los agentes participantes de la poltica. La mayora de las veces, los cuestionarios se aplican en forma sistemtica a todos los agentes, con la finalidad de formar una base de datos para realizar estudios estadsticos ms elaborados. El costo elevado es uno de los principales puntos negativos de este enfoque. (viii) Estudios de caso: se puede considerar una de las metodologas ms utilizadas internacionalmente. A partir de las acciones de un participante del programa se procura comprender cmo se modificaron sus caractersticas con el pasar del tiempo. Muchas veces esta metodologa es la etapa siguiente de la evaluacin basada en la aplicacin de cuestionarios, pues permite obtener informacin detallada de los participantes en forma individual y de la interaccin de estos con el programa. En este caso no es necesaria la evaluacin de todo el universo de los agentes, sino de una muestra, para combinar los datos con los obtenidos mediante la aplicacin del cuestionario. Se logra de ese modo reducir uno de los mayores problemas de las metodologas que exigen el seguimiento continuo de las interacciones entre los participantes y los responsables de elaborar polticas, que es el costo elevado. La principal desventaja consiste en que no es posible realizar una evaluacin comparada con quienes no participan en el programa. Con frecuencia, los estudios de caso se limitan solo a describir casos de xito, ocultando los efectos negativos del programa. Ante la diversidad de metodologas, en la mayora de los pases con experiencia en evaluacin de polticas tecnolgicas generalmente se recurre a ms de una de ellas y se utilizan en forma conjunta. Esto demuestra el cambio en el concepto de innovacin: se ha abandonado el modelo lineal por un modelo ms complejo, concatenado. De este modo, el proceso de evaluacin tambin se vuelve ms complejo, con la finalidad de dar cuenta de todas las corrientes de conocimiento y abarcar desde el comienzo de la innovacin hasta el proceso de difusin de la tecnologa.
2.
Experiencias internacionales de evaluacin de polticas tecnolgicas

19
En la mayora de los casos encontrados esas metodologas se refieren a la evaluacin de programas de incentivo al desarrollo tecnolgico realizados en pases desarrollados, que ya poseen un importante grado de adelanto tecnolgico y acelerado ritmo innovador, y que apuntan a situarse an ms prximos a la frontera tecnolgica. En contrapartida, se encontraron pocos casos de evaluacin de polticas tecnolgicas en pases en desarrollo. Entre los programas norteamericanos y europeos de incentivo al desarrollo tecnolgico estudiados se destacan los siguientes: Advanced Technology Programme (ATP) cuyo objetivo es acelerar el desarrollo de nuevas tecnologas en el sector de alta tecnologa, Industrial Modernization, Georgia Research Alliance, Midwest Manufacturing Technology Center, SEMATECH, Alvey Programme for Advanced Information Technology, EUREKA, Programa Marco de la Unin Europea y Manufacturing Extension Partnership (MEP), que en 1994 destin casi 3.000 millones de dlares a estimular la investigacin, el desarrollo y la adaptacin de tecnologas ms avanzadas. La mayora de esos programas internacionales no se limita solamente a la utilizacin de uno de los mtodos descritos anteriormente, sino que procuran combinar un conjunto de ellos. La justificacin para eso es comn a todos los casos, pues se considera que no existe una metodologa nica que abarque la complejidad de los efectos de la innovacin, si se consideran todas las esferas de actuacin de la poltica tecnolgica: micro, sectorial, actividad econmica y macro.
2.1. Advanced technology programme (ATP)

a) Descripcin del programa y del proceso de evaluacin El Advanced Technology Programme (ATP) del Instituto Nacional de Estndares y Tecnologa (NIST) es uno de los ms importantes programas de incentivo al desarrollo tecnolgico de Estados Unidos. Su objetivo es estimular el crecimiento econmico y acelerar las relaciones comerciales de ese pas. El primer fondo destinado al ATP que comenz en 1988 y contina en la actualidad se constituy en 1990 por un valor de 10 millones de dlares. Para comprender la magnitud de su crecimiento basta sealar que en 1999 el fondo financiero para su ejecucin lleg a unos 3.300 millones de dlares. Se puede considerar que el programa ha tenido xito en el auxilio de los esfuerzos de investigacin y desarrollo de acuerdo con algunos indicadores obtenidos por las propias evaluaciones de desempeo, entre ellos el aumento del nmero de patentes registradas y de nuevos productos y procesos. El aumento de entre 5 y 30 patentes por firma al ao son resultado de medidas incentivadas por el programa, mientras que un estudio de los 100 primeros proyectos del ATP finalizados muestra que de los 122 nuevos productos y procesos, 64 son resultado de ste. b) Criterios de evaluacin En forma peridica se realizan evaluaciones para comprender los efectos del ATP en el desempeo de las empresas y la economa. Hay cuatro tipos de evaluadores involucrados en el proceso de anlisis del programa. 1. Evaluadores internos: la oficina de evaluacin econmica realiza numerosas evaluaciones con el objetivo de medir el xito del programa, que desarrolla simultneamente una gran variedad de estudios sobre ese tema. Entre las mltiples actividades que realiza, dicha oficina es responsable de lo siguiente: i) estadsticas sobre los perfiles de los participantes, proyectos y tecnologas, ii) supervisin en tiempo real del desarrollo de los proyectos, iii) medidas de progreso derivadas de pericias e informes, iv) informes de situacin de los proyectos completos, v) estudios de caso profundizados para analizar 20
loes efectos micro y macroeconmicos, vi) desarrollo de herramientas de evaluacin y vii) anlisis estadstico y economtrico de los proyectos. 2. Evaluadores externos y consultoras: diversos tipos de organizaciones, entre ellas empresas privadas y centros de investigacin, han realizado varias evaluaciones del programa, como por ejemplo CONSAD Research Corporation y Solomon Associates. 3. Investigadores de universidades: la National Bureau of Economic Research (NBER oficina nacional de investigacin econmica) e importantes investigadores como Adam Jaffe, Albert Link y Edwin Mansfield han desempeado un importante papel en el desarrollo de nuevas herramientas para evaluar los efectos de este programan y participan peridicamente en evaluaciones de sus resultados. 4. Evaluacin oficial: el gobierno estadounidense publica anualmente los informes de evaluacin realizados por la Oficina General de Contabilidad (GAO). El estudio del programa ATP sugiere que las actividades de evaluacin inclusive aunque sean realizadas por agentes distintos deben identificar en forma prioritaria los siguientes elementos: efectos indirectos, relaciones de colaboracin en investigacin, mecanismos de difusin dentro de las industrias y entre stas, desarrollo y aplicacin de nuevos modelos cuantitativos y cualitativos de evaluacin para medir los impactos econmicos de esos fondos pblicos, repercusiones del programa en la productividad de la firma y efectos en la estructura organizacional de los participantes. La evaluacin del programa ATP incluye los siguientes cuatro criterios de medidas: Insumos: anlisis de los costos de la industria necesarios para la realizacin de los proyectos tecnolgicos, formacin de un conjunto de personas destinado a la investigacin, compra de equipos y otros costos directos. Productos: relaciones de colaboracin como resultado del programa, aumento de publicaciones, patentes, modelos y prototipos de productos y procesos. Resultados: ventas de nuevos productos, procesos y servicios relacionados, efectos en la productividad de las empresas, cambios en el tamao de la empresa y de la industria, cambios en la tendencia de las empresas y otras organizaciones a colaborar, propagacin de los resultados del conocimiento en publicaciones y patentes, y adopcin de la innovacin y sus adaptaciones por el mercado; Efectos de largo plazo: relacionados con los objetivos de mayor alcance del programa, como crecimiento del producto interno bruto, aumento del empleo, aumento de la competitividad internacional de la industria de Estados Unidos, mejora de la calidad de vida y nivel de salud del pas, seguridad y medio ambiente. c) Metodologa para la recoleccin y el anlisis de los datos La evaluacin del programa ATP realizada por la oficina de evaluacin econmica se vale de anlisis estadsticos, estudios de caso, anlisis de costo-beneficio, con el objetivo de medir la efectividad del programa, considerando los cuatro criterios presentados anteriormente (insumos, productos, resultados y efectos de largo plazo). La metodologa desarrollada por el centro de polticas pblicas del Instituto de Tecnologa de Georgia conocida como mtodo mltiple tambin se utiliza para evaluar los efectos de este programa. Esta metodologa, como indica su nombre, est constituida por un conjunto de mtodos, que incluyen la evaluacin por funcionarios de igual nivel, cuestionarios, estudios de caso y anlisis estadsticos.
21
La recoleccin y el anlisis de los datos se utilizan para determinar el avance del proyecto y contribuir a la medicin de los efectos de largo plazo. Estos datos se obtienen mediante estudios de caso y el suministro de informes internos (sistema de informes comerciales). Para la supervisin en tiempo real del programa se realizan encuentros entre los responsables del ATP y los participantes en forma peridica. La aplicacin de cuestionarios tambin forma parte del procedimiento de recoleccin de datos para captar los resultados de corto plazo. Para determinar los efectos del programa en el mbito de la empresa se realizan estudios de caso profundizados, que pueden proporcionar los datos necesarios para la creacin de modelos de proyeccin macroeconmica de las repercusiones. Los instrumentos economtricos y el anlisis estadstico se utilizan para ayudar a la comprensin de las relaciones de causa y efecto, entre ellas los mecanismos de efectos secundarios y las repercusiones de los proyectos de la empresa en la economa. Es importante destacar que dada su magnitud, especialmente en este caso, existe una numerosa cantidad de publicaciones y evaluaciones del programa. Los evaluadores, responsables del trazado de polticas y agentes-objeto de la poltica tambin publican y discuten los informes anuales de los resultados de este programa.
2.2. Iniciativa EUREKA

a) Descripcin del programa y del proceso de evaluacin El programa EUREKA comenz en 1985 y se mantiene en la actualidad en varios pases europeos. Su objetivo es estimular la colaboracin entre agentes de los pases miembros y ampliar la competitividad europea. En los primeros tres aos, el programa se concentr en la infraestructura y en la generacin de los primeros 100 proyectos. A partir de 1990, el programa se extendi a los pases del este europeo y Turqua. EUREKA involucra actualmente a empresas, universidades y centros de investigacin y ofrece un financiamiento de casi el 20% de los costos de los proyectos, con un presupuesto de alrededor de 340 millones de dlares por ao. Al inicio se concentraba en las grandes empresas, pero despus de 15 aos de su instrumentacin comenz a incrementarse la participacin de pequeas y medianas empresas. La evaluacin sistemtica del programa est a cargo del Instituto de Investigacin Poltica en Ingeniera, Ciencia y Tecnologa (PREST) de la Universidad de Manchester. Entre los mtodos utilizados se destaca la evaluacin continua y sistemtica. b) Criterios de evaluacin Los criterios de evaluacin de este programa se fueron modificando con el pasar de los aos. Entre 1991 y 1996, los primeros cinco aos del programa EUREKA, los criterios utilizados fueron los siguientes: i) la categora de los proyectos, en lo que respecta a motivacin, resultados tecnolgicos, contribucin a la competitividad, y ii) la calidad de los proyectos: contenido tcnico, orientacin del mercado, dimensin internacional y potencial estratgico. No obstante, cabe destacar los siguientes elementos, que corresponden a los aos 1993 y 1995. 1993: captar los efectos industriales y econmicos efectos directos resultados agregados, por pas y a nivel de la firma; efectos indirectos generacin de conocimiento, colaboracin; efectos en el entorno beneficios generales de bienestar. 22
1995: evaluacin de la calidad y los resultados en tres planos: participantes satisfaccin; proyecto resultados; iniciativa efectos econmicos. En 1996, comenz a utilizarse la metodologa de evaluacin continua y sistemtica para evaluar el programa EUREKA, con especial atencin a los efectos generados, entre ellos los resultados tcnicos y comerciales, los efectos en el conocimiento y la creacin de capacidad, en el empleo y la administracin. A partir de 1999 las evaluaciones pasaron a contemplar tambin el anlisis estratgico (mercado, redes) y de hiptesis para el futuro como elemento de anlisis. c) Metodologa para la recoleccin y el anlisis de los datos Las metodologas utilizadas se pueden dividir en dos fases: antes y despus de la introduccin del sistema de evaluacin continua y sistemtica. En la primera, bsicamente se utilizaba una metodologa combinada de cuestionarios y entrevistas. (Hong y Boden, 2003). No obstante, con la evaluacin continua y sistemtica se adopt una nueva metodologa. Este sistema propone tres instrumentos para la recoleccin de datos: 1. Informe final: cuatro pginas de cuestionario enviadas a los participantes al final de la fase del proyecto de investigacin y desarrollo; 2. Informe de impacto en el mercado: cuestionario de dos pginas a los participantes del proyecto sobre los efectos comerciales uno, tres y cinco aos despus del final del proyecto; 3. Entrevistas semiestructuradas: recoleccin de datos cualitativos, normalmente despus de tres aos de finalizado el proyecto. A partir de ese conjunto de datos confidenciales de los informes final y de impacto en el mercado, se hace un anlisis de tres tipos: a) Anlisis anual: tipo bsico de anlisis, a partir de datos de los informes final y de impacto en el mercado; b) Anlisis acumulativo de los datos: anlisis de las oportunidades y los efectos acumulativos del programa. Brinda informacin sobre la compleja relacin entre la investigacin y el desarrollo, los efectos comerciales y las repercusiones sobre el empleo. c) Anlisis histrico e interpretacin de los resultados: este anlisis agrega nuevas dimensiones, al incorporar datos socioeconmicos y el desarrollo de la poltica. Incorpora factores como el mercado nacional e internacional y los cambios en la poltica de ciencia y tecnologa, para realizar un anlisis ms complejo del desarrollo.
2.3. Programa ALVEY

a) Descripcin del programa y del proceso de evaluacin El programa Alvey se instrument en el perodo de 1983 a 1991, con el objetivo de aumentar la competitividad de la industria de tecnologa de la informacin de Inglaterra. Se puede considerar el primer programa de gran escala en sociedad con fondos del gobierno para coordinar las estrategias en el rea de tecnologa de la informacin de las empresas inglesas.
23
El proceso de evaluacin de este programa comenz en 1984, con la finalidad de medir su eficiencia administrativa y sus repercusiones econmicas y tecnolgicas. La evaluacin se realiz en tiempo real y se extendi hasta un ao despus del trmino del programa, para medir los efectos tanto durante como despus de su ejecucin. Se buscaba de ese modo realizar adaptaciones sobre la marcha del programa en caso de que fuera necesario. La principal desventaja de este tipo de evaluacin es su elevado costo. De un presupuesto de 350 millones de libras esterlinas para el programa, se destin aproximadamente un milln de libras esterlinas a la evaluacin. Los evaluadores eran profesionales acadmicos externos de organizaciones independientes. Al inicio, la evaluacin estuvo a cargo de tres grupos: el Instituto de Investigacin Poltica en Ingeniera, Ciencia y Tecnologa (PREST) de la Universidad de Manchester, la unidad de investigacin en polticas de ciencia y tecnologa (SPRU) de la Universidad de Sussex; y el Center for Business Strategy (CBS centro de estrategia empresarial) de la London Business School. La Oficina Nacional de Auditora tambin actu como evaluador externo y public un informe de evaluacin en 1988. Los objetivos de los dos primeros evaluadores eran distintos. Mientras que el papel del PREST era evaluar la estructura gerencial, la eficiencia organizacional, la velocidad de procesamiento de las propuestas y los mtodos para alcanzar un crecimiento en los derechos de propiedad intelectual, la evaluacin realizada por la SPRU tena la finalidad de comprender la efectividad del programa en el contexto de la economa inglesa. El trabajo se divida en dos partes. La primera consista en un anlisis de la poltica adoptada sobre la base de entrevistas a agentes relevantes, mientras que la segunda era una recopilacin y anlisis de los datos de los resultados tecnolgicos a partir de indicadores de insumos y produccin entre ellos los gastos en investigacin y desarrollo, el nmero de patentes y otros y de indicadores econmicos, como estadsticas de comercio internacional. La evaluacin del CBS por su parte tena por objeto evaluar los efectos del programa Alvey en diferentes sectores de tecnologa de la informacin de la industria inglesa, sobre todo el sector de software. b) Criterios de evaluacin Con respecto a los procedimientos de evaluacin, los criterios utilizados se agrupan en tres categoras: Eficiencia en la instrumentacin: funcionalidad administrativa, sistema de supervisin de los proyectos, patrn de distribucin del financiamiento del programa; Repercusiones y efectividad: repercusiones de la investigacin acadmica en el rea especfica del conocimiento, impacto en las estrategias de las empresas, efectos en la prctica de la investigacin; Apropiabilidad de los resultados: apropiabilidad de la tecnologa elegida, relevancia del apoyo del gobierno, niveles de apropiabilidad del apoyo del gobierno, contexto internacional del programa. c) Metodologa para la recoleccin y el anlisis de los datos Los datos para la evaluacin se recogieron fundamentalmente por medio de cuestionarios y entrevistas. Para realizar la evaluacin en el curso del programa se presentaron informes parciales y se finaliz en 1987 con un informe final de evaluacin del programa Alvey. Es importante destacar que la comunicacin entre los evaluadores y la comunidad de investigacin tena lugar mediante conferencias anuales, realizadas todos los aos de 1985 a 1988. 24
2.4. PROCAP 1000

a) Descripcin del programa y del proceso de evaluacin En Brasil, el Programa guas Profundas de Petrobrs (PROCAP 1000), instrumentado de 1986 a 1992, tena como objetivo desarrollar tecnologa de petrleo en aguas profundas (ms de 1.000 metros) mediante sociedades con centros de investigacin, universidades, proveedores y otras compaas petroleras. Este programa represent una inversin de 70 millones de dlares en seis aos y 116 proyectos. (Furtado et al, 1999). No obstante, solo en el ao 1999 investigadores del instituto de economa terica y aplicada (BETA) de la Universidad Luis Pasteur de Francia asociados con algunos investigadores brasileos evaluaron el programa sobre la base de la metodologa creada por ellos mismos y hasta entonces aplicada solamente en pases desarrollados. El proyecto difiere de los programas generalmente evaluados por ese instituto porque se concentra solo en una empresa Petrobrs, no est supervisado por ninguna institucin legal superior ni depende del apoyo financiero del gobierno brasileo, sino de recursos propios. b) Criterios de evaluacin Esta metodologa de evaluacin procura comprender los efectos directos del programa las variables venta, costo y otras y los efectos indirectos, en el aspecto tecnolgico, organizacional, comercial y el factor humano, entre ellos productos nuevos, formacin de redes, efectos derivados, patentes y calificacin de la mano de obra. En la tabla 3 se detallan los tipos de efectos y las variables utilizadas por esta metodologa para realizar una evaluacin. Efectos directos: son los efectos relacionados con los objetivos trazados al comienzo del proyecto, o sea, los resultados esperados desde el inicio y de la instrumentacin de la iniciativa. Este tipo de efecto se relaciona con el aumento del conocimiento tecnolgico generado por el proyecto. El desarrollo de nuevos productos o de un grupo de productos genera efectos que se pueden medir por el aumento en la venta de dichos productos. No obstante, si el objetivo inicial del proyecto es generar nuevos procesos, un efecto directo obtenido ser el aumento del valor agregado creado por la reduccin del costo del proceso productivo. Efectos indirectos: son los efectos ocasionados por el proyecto y que van ms all de los objetivos trazados inicialmente. Se relacionan con el proceso de aprendizaje que tiene lugar durante la ejecucin del proyecto. Efectos tecnolgicos: representan transferencia de tecnologa del proyecto original a otras actividades no planificadas inicialmente. De acuerdo con el tipo de tecnologa involucrada esos efectos pueden definirse como nuevos productos, nuevos procesos, nuevos servicios tecnolgicos y patentes; Efectos comerciales: representan un aumento de la actividad econmica que no se relaciona directamente con la incorporacin de nuevo conocimiento. Estos efectos son la formacin de redes (relaciones establecidas entre los miembros del programa despus de finalizado el proyecto) y las repercusiones en la reputacin (participantes del proyecto aumentan su credibilidad en el mercado generando nuevas oportunidades comerciales despus del proyecto); Efectos organizacionales: la ejecucin del proyecto ejerce importante influencia sobre la cultura y la estructura de las organizaciones participantes. Se trata de efectos sobre la administracin del proyecto durante su curso, repercusiones en la estructura organizacional de la empresa entre ellos la creacin de un nuevo departamento de 25
investigacin y desarrollo y efectos de mtodo, cuando se crean nuevos mtodos organizacionales en virtud del proyecto y se transfieren a otras reas de la empresa. Efectos en el trabajo: la ejecucin del proyecto altera el conjunto de conocimientos de los empleados de la firma. Se requieren nuevos recursos humanos que a su vez necesitan capacitacin especfica. De ese modo, muchos empleados pueden adquirir experiencia como resultado del proceso de aprendizaje y ampliar el nivel de activos intangibles de la empresa. Los dos principales efectos son: las repercusiones sobre la masa crtica que representan una calificacin del personal con conocimiento especializado en las tecnologas desarrolladas durante el proyecto y los efectos sobre la capacitacin. El nuevo conocimiento generado incentiva la transferencia a todo el grupo mediante actividades de capacitacin. El aspecto ms innovador de este modelo es la presentacin de una frmula para calcular los beneficios indirectos que surgen ya sea por la transferencia de tecnologa del proyecto a otras actividades de los participantes, como por la relacin obtenida mediante nuevos contratos o la reputacin ganada en virtud del proyecto (Georghiou y Roessner, 2000, p.667). c) Metodologa para la recoleccin y el anlisis de los datos Los datos se recogieron mediante la aplicacin de cuestionarios y entrevistas cinco aos despus de la ejecucin del proyecto. La evaluacin se bas en datos cuantitativos y cualitativos referentes a 27 de los 116 proyectos realizados, o sea, el 23% del universo de iniciativas del PROCAP 1000. Todos esos proyectos fueron coordinados por el departamento de operaciones de Petrobrs y dirigidos por el laboratorio central de la compaa (Cenpes). Los efectos considerados en esa evaluacin abarcan hasta 1997, cinco aos despus de finalizado el programa PROCAP 1000.
26
VI. Consideraciones finales
Sobre la base de la breve resea de estos casos de evaluacin de programas de desarrollo tecnolgico se puede concluir que la creciente importancia de las polticas tecnolgicas en la agenda econmica de los pases conduce a importantes avances en las metodologas para evaluar sus efectos. Dichos avances se orientan sobre todo a la bsqueda de nuevos modelos de evaluacin cuantitativos y cualitativos para medir con mayor precisin las repercusiones econmicas de los diferentes instrumentos aplicados. Gran parte del debate se concentra, por ejemplo, en los estudios de captacin de efectos indirectos y de las polticas de difusin tecnolgica. El objetivo principal de ese enfoque de anlisis es medir los efectos causados por la poltica tecnolgica tambin en las pequeas y medianas empresas, en el contexto de las empresas receptoras del financiamiento y en las relaciones de colaboracin en investigacin. Sobre la base del estudio de las herramientas metodolgicas de evaluacin de las polticas tecnolgicas descritas en la literatura internacional (evaluacin por funcionarios de igual nivel, bibliometra, informacin administrativa, anlisis de costo-beneficio, estudios economtricos, clculo del valor actual neto, cuestionarios y estudios de caso) se puede concluir que en todos los ejemplos presentados no se utiliza ninguna de ellas exclusivamente, sino un grupo de mtodos cuantitativos y cualitativos en forma combinada.
27
Cabe destacar tambin que las metodologas de evaluacin utilizadas en los tres programas de los pases desarrollados poseen aspectos comunes que deben resaltarse, a diferencia del proyecto realizado en el pas en desarrollo, que no se puede comparar en este momento con los otros porque su evaluacin no ha sido sistemtica sino ex post y aislada. En los tres primeros casos analizados, las actividades de evaluacin forman parte del cronograma y del proceso de construccin de la poltica tecnolgica. De ese modo, es posible evaluar aspectos de la poltica en todas sus etapas, desde el comienzo al final de su instrumentacin. Este factor merece destacarse por dos motivos: en primer lugar las instituciones participantes del programa se comprometieron a enviar informacin a los evaluadores (que servirn como insumo para la evaluacin cuantitativa futura) y en segundo lugar se cre una cultura de evaluacin en la ejecucin de las polticas pblicas. En los tres casos se cont con un amplio y capacitado cuerpo de evaluadores, especialistas tanto en la prctica de la evaluacin como en el tema de la innovacin. En general los evaluadores son formados por un grupo de estudiosos y acadmicos pero tambin por agentes pblicos responsables de la aplicacin prctica del proceso de evaluacin. Como ya se mencion, en los tres ejemplos se hace un uso combinado de diversas metodologas. Las evaluaciones comnmente parten del anlisis de los resultados de la poltica tecnolgica segn la importancia cientfica de la innovacin fruto de esa poltica (evaluacin por funcionarios de igual nivel) y la modificacin del desempeo de la empresa (anlisis costobeneficio, nmero de patentes) y avanzan hasta las repercusiones en el desempeo de la economa como un todo. Con este trabajo se procura contribuir a la discusin mediante la propuesta de una metodologa alternativa para evaluar las polticas tecnolgicas, que se basa en una combinacin de elementos exitosos presentes en los cuatro ejemplos discutidos, pero a los que se agregan tambin algunos comentarios sobre las especificidades de los pases en desarrollo. En forma general, la construccin de una metodologa de evaluacin de los efectos de una poltica tecnolgica debe recorrer algunas etapas, que se describen a continuacin.
Primera etapa: formacin del equipo responsable de la evaluacin

El equipo responsable de la evaluacin debe estar formado tanto por evaluadores externos investigadores de universidades y centros de investigacin especializados como por evaluadores internos miembros oficiales y participantes de la poltica. En los exitosos ejemplos analizados, el equipo evaluador comenz a trabajar en conjunto con el equipo que elabor la poltica tecnolgica antes de que sta fuera instrumentada. Al participar en el proceso de construccin de la poltica, los evaluadores podrn tener claridad en los objetivos, los instrumentos que se utilizarn y el resultado deseado de la poltica. De este modo se facilita la definicin de las metodologas que han de utilizarse para captar todos los efectos generados, tanto en el corto como en el largo plazo. En caso de que la evaluacin sea realizada ex post ser necesario que los evaluadores tengan acceso al grupo ejecutor y a los objetivos principales de la poltica, para que sea posible aplicar metodologas de evaluacin cualitativas.
28
Segunda etapa: eleccin de los indicadores de innovacin y capacidad tecnolgica

Se debe tener mucho cuidado en la eleccin de los indicadores, especialmente si se trata de casos de evaluacin de polticas tecnolgicas en pases en desarrollo. En ese momento, se debe hacer hincapi en la necesidad de adecuar algunos indicadores de innovacin de pases desarrollados al anlisis de casos en pases en desarrollo. Por ejemplo, mientras que el concepto de nuevos productos y procesos en los pases desarrollados se refiere a los nuevos productos y procesos para el mercado global, en el caso de los pases en desarrollo tal vez sera interesante considerar el criterio de nuevos productos y procesos para el mercado nacional, dado que muchos sectores de esos pases distan mucho de la frontera tecnolgica. Otro punto importante que ha de recordarse se refiere al indicador nmero de patentes. En casos como Brasil, donde existen problemas institucionales relativos al registro de patentes en comparacin con pases desarrollados como Estados Unidos y no hay cultura de registro de patentes, el uso de bases de datos como la de la Oficina de Patentes y Marcas de Estados Unidos puede no ser indicador suficiente para demostrar el desempeo de las actividades tecnolgicas del pas. Los evaluadores pueden utilizar algunos indicadores de capacidad tecnolgica recientes para construir su base de datos. Por ejemplo, el indicador ArCo permite un estudio comparativo entre el desempeo tecnolgico de diferentes pases e incluye tanto indicadores de uso de electricidad, telfono e Internet como otros relativos a la creacin de tecnologas y a la difusin.
Tercera etapa: recoleccin de datos

La recoleccin de datos es uno de los pasos elementales de la evaluacin. Los programas exitosos poseen una estructura formal y sistemtica de recoleccin de datos, de bajo costo y mediante la cual se aplican cuestionarios breves, va Internet, a las instituciones participantes. De ese modo, se puede construir un banco de datos fundamental para la realizacin de anlisis cuantitativos, como el uso de herramientas economtricas. En las evaluaciones ex post la recoleccin de datos se dificulta mucho, al contar solamente con registros oficiales y de algunos agentes directamente involucrados dispuestos a cooperar, lo que puede limitar en gran medida el proceso de evaluacin y la captacin de los efectos generados.
Cuarta etapa: anlisis de los efectos de la poltica tecnolgica en el corto, mediano y largo plazo
Efectos de corto plazo:
Formacin de un conjunto de recursos humanos destinado a la actividad tecnolgica. Aumento del gasto en investigacin y desarrollo, como compra de equipos. Reduccin del costo. Aumento en las ventas de nuevos productos.
29
Efectos de mediano plazo:

Aumento del nmero de publicaciones. Apropiabilidad de los resultados, patentes. Efectos de las ventas de nuevos productos, procesos y servicios en la productividad de las empresas. Aumento de colaboraciones entre empresas y otras instituciones. Cambios en el tamao de la empresa y de la industria.
Efectos de largo plazo:

Aumento del nivel de calificacin de los recursos humanos para actividades tecnolgicas. Aumento del empleo en el nivel ms calificado. Repercusiones en la balanza comercial: aumento de las exportaciones de mayor grado tecnolgico. Aumento de la competitividad internacional de la industria. Crecimiento del PIB.
Quinta etapa: anlisis y divulgacin de los resultados

En esta etapa, se presenta a la sociedad un balance de la poltica, que a su vez servir para orientar la construccin de una nueva poltica tecnolgica. Tomando como base la metodologa del Programa EUREKA, se puede sugerir la presentacin de los informes finales (cuatro pginas de cuestionario enviadas a los participantes al final de la fase del proyecto de investigacin y desarrollo) y de los informes de impacto en el mercado (cuestionario de dos pginas a los participantes sobre los efectos comerciales, uno, tres y cinco aos despus del final del proyecto). Por ltimo, la necesidad cada vez mayor de medir los efectos econmicos de una poltica tecnolgica estimula a los investigadores a desarrollar estudios empricos en diferentes pases sobre la existencia y la intensidad de las relaciones entre los diversos elementos que constituyen un sistema nacional de innovacin: empresa, sector, infraestructura, ambiente institucional, regulacin, capacitacin de recursos humanos, colaboracin universidad-empresa y aspectos macroeconmicos. Se puede concluir que el objetivo central de todos los estudios referentes a esta temtica es colaborar con los responsables de elaborar las polticas en el trazado de los objetivos, los instrumentos y el objeto principal de la poltica y contribuir con la definicin de los resultados que se desea obtener mediante la instrumentacin de polticas tecnolgicas, al considerar, sobre todo, los diferentes plazos de los efectos y las fragilidades tecnolgicas del pas que se deben superar.
30
Referencias bibliogrficas
Bach, Laurent & Georghiou, Luke (1998) The Nature and Scope of RTD Impact Measurement. Discussion Paper for International Workshop on Measurement of RTD Results/Impacts, Brussels. Capron, Henri & van Pottelsberghe de la Potterie, Bruno (1996) Public Support to Business R&D: a survey and some new quantitative evidence. Conference Policy Evaluation in Innovation and Technology, captulo 10. Science and Technology Policy Division, OECD, Paris, 1996. CANADIAN DEPARTMENT OF FINANCE (1997) The Federal System of Income Tax Incentives for Scientific Research and Experimental Development. Evaluation Report. Ottawa, Department of Finance. Cassiolato, Jos Eduardo (1999) A Economia do Conhecimento e as Novas Polticas Industriais e Tecnolgicas. In: Lastres, Helena M.M. & Albagli, Sarita. (orgs.) Informao e Globalizao na Era do Conhecimento. Rio de Janeiro, Campus. CEPAL (2004) Polticas para promover la innovacin e el desarrollo tecnolgico, Captulo 06. Relatrio Desarrollo Productivo en Economas Abiertas Cimoli, Mario & Della Giusta, Marina (2000) The Nature of Technological Change and its Main Implications on National and Local Systems of Innovation. In: Batten, P. & Martellato, D (eds). Innovation and Regional Development, Kluwer Academic, Boston/Dordrecht/London. Cimoli, Mario & Primi, Annalisa (2003) Las polticas para la creacin y difusin del conocimiento de Amrica Latina y el Caribe. CEPAL, mimeo. Dosi, Giovanni & Egidi, M. (1991) Substantive and procedural uncertainty: an exploration of economic behavior in changing environments. Economics, Springer-Verlag. Erber, Fbio (1999) Perspectivas da Amrica Latina em Cincia e Tecnologia. Trabalho apresentado no Seminrio Internacional Relaes internacionais da Amrica Latina no comeo do sculo XXI, Braslia, mimeo.
31
Ferraz, Joo C.; Paula, Germano M. & Kupfer, David. (2002) Poltica Industrial. In. Kupfer, David & Hasenclever, Lia. Economia Industrial. Rio de Janeiro: Campus. Freeman, Christopher & Soete, L. (1997) The Economics of Industrial Innovation. 3a. ed., Frances Pinter, London. Furtado, Andr; Suslick, Saul; Pereira, Newton; Freitas, Adriana; Bach, Laurent. (1999) Assessment of direct and indirect effects of large technological programmes: Petrobrs Deepwater Programme in Brazil. Research Evaluation, volume 8, n. 3, dezembro. Georghiou, Luke. (1998) Issues in the Evaluation of Innovation and Technology Policy. Evaluation, vol. 4. Georghiou, Luke & Roessner, David.(2000) Evaluating technology programs: tools and methods. Research Policy, n.29. Georghiou, Luke; Rigby, John & Cameron, Hugh (eds.) (2000) Assessing the Socio-Economic Impacts of the Framework Programme, june Hall, Bronwyn & Van Reenen, John. (2000) How effective are fiscal incentives for R&D? A review of the evidence. Research Policy, 29. Hall, Bronwyn & Wosinska, Marta. (1999) Effectiveness of the California R&D Tax Credit. Report Prepared for The California Council on Science and Technology, June, 1999. Disponvel em www.ccst.us/ccst/pubs/crest/pubs/pireports/html/hall.html Hong, Heung Deug & Boden, Mark. (2003) R&D Programme Evaluation: theory and practice. Ashgate Publishing Limited, England. Jarmin, Ronald S. & Jensen, J. Bradford. (1996) Evaluation Government Technology Programmes: The case of Manufacturing Extension. Conference Policy Evaluation in Innovation and Technology, captulo 14. Science and Technology Policy Division, OECD, Paris. Katz, Jorge (2000). Pasado y Presente del comportamiento tecnolgico de Amrica Latina. Serie Desarrollo Productivo, CEPAL, Chile. Kuhlmann, Stefan (1998) Moderation of Policy-Making? Science and Technology Policy Evaluation Beyond Impact Measurementthe Case of Germany. Evaluation, Vol 4(2). Leyden, Dennis P. & Link, Albert N. (1993) Tax policies affecting R&D: an international comparison. Technovation, n.13. Lipsey, Richard G. & Carlaw, Kenneth. (2001) The Conceptual Basis of Technology Policy. Disponvel em http://www.sfu.ca/~rlipsey/C1.pdf Luria, Dan & Wiarda, Edith. (1996) Performance benchmarking and measuring program impacts on customers: lessons from the Midwest Manufacturing Technology Center. Research Policy, n. 25. National Institute of Standards and Technology, Technology Administration, U.S. Department of Commerce. (2004) Measuring ATP Impact. Report on Economic Progress, ATP Economic Assessment Office. Nelson, R. & Winter, S. (1982) An Evolutionary Theory of Economic Change. Cambridge: Harvard University Press. OECD. (2004) Science and Innovation Policy: Key Challenges and Opportunities. Policy Brief, 2004. ___ (2003) Tax Incentives for Research and Development: Trends and Issues. Science Technology Industry, 2003. Disponvel em www.oecd.org/dataoecd/12/27/2498389.pdf OFFICE OF TECHNOLOGY ASSESSMENT (1995) Congress of the United States. The Effectiveness of Research and Experimentation Tax Credits. September. Papaconstantinou, George & Polt, Wolfgang (1996) Policy Evaluation in Innovation and Technology: an overview. Conference Policy Evaluation in Innovation and Technology, Captulo 01. Science and Technology Policy Division, OECD, Paris. Peres, Wilson (1997) Resurgimento de las Polticas de Competitividad Industrial. In: Peres, W. (coord.) Polticas de Competitividad Industrial: Amrica Latina y el Caribe em los aos noventa. Siglo Vientiuno editores. Polt, Wolfgang & Rojo, Jaime. (2002) Evaluation Methodologies. In : Fahrenkrog, Gustavo et alli (eds.) RTD Evaluation Toolbox:Assessing the Socio-Economic Impact of RTD Policies. European Comission, Joint Research Center, Institute for Prospective Technological Studies (IPTS), Espanha. Ruegg, Rosalie & Feller, Irwin. (2003) A Toolkit for Evaluating Public R&D Investment : Models, Methods, and Findings from ATPs Firts Decade. National Institute of Standards and Technology, Technology Administration, U.S. Department of Commerce, julio. Salles, Washington L.F. & Hasenclever, Lia. (1999) Avaliao da poltica pblica de desenvolvimento tecnolgico industrial e agropecurio PDTI /PDTA. Trabalho apresentado no Encontro da ANPAD Associao Nacional de Ps-Graduao e Pesquisa em Administrao.
32
Sanz-Menndez, Luis. Science and Technology Policy Evaluation in the Context of Advanced S&T Policy Planning. Working Paper 97-03, Instituto de Estudios Sociales Avanzados (CSIC). Disponvel em www.iesam.csic.es/doctrab1/dt-9703.htm Shapira, Philip; Youtie, Jan; Urmanbetova, Aselia. (2004) Advanced Technology and the Future of U.S. Manufacturing. Georgia Tech Policy Project on Industrial Modernization, may. Shapira, Philip & Kuhlmann, Stefan. (2001) Learning from Science and Technology Policy Evaluation: experiences from the United States and Europe. Edward Elgar. Shapira, Philip & Roessner, J. David. (1996) Evaluating industrial modernization: Introduction to the theme issue. Research Policy, 25. Subirats, Joan. (1994) Anlisis de Polticas Publicas Y Eficacia de la Administracin. Ministerio para las Administraciones Pblicas, Madrid. Tassey, Gregory. (2003) Methods for Assessing the Economic Impacts of Government R&D. Planning Report 03-1, National Institute of Standards and Technology, U.S. Department of Commerce, Technology Administration, September. UNCTAD. (2003) Investment and Technology Policies for Competitiveness: Review of successful country experiences. Division on Investment, Technology and Enterprise Development. United Nations, New York and Geneva.
33
Anexos
35
Anexo 1 Figuras y tablas

Figura 2
ORGANIZACIN DE LOS EFECTOS SEGN EL CICLO DE VIDA DE LA TECNOLOGA
Corto plazo
Mediano plazo
Largo plazo
Repercusiones econmicas
- Aumento del gasto en investigacin y desarrollo; -Colaboraciones en investigacin y desarrollo; -Desarrollo de innovaciones tecnolgicas: patentes, publicaciones, prototipo de productos y proceso; - Atraccin de capital de riesgo. ENTRADA PPRO
- Actividad comercial: nuevos productos y proceso, licencias; - Alianzas estratgicas; - Aumento en la lnea de productos de la empresa
-Beneficios para la economa nacional: crecimiento del PIB, aumento del empleo, rentabilidad de la inversin.
Ganancias econmicas Total
Ganancias para beneficiarios RESULTADOS REPERCUSIONES
PRODUCTO
-1
Competencia anunciada
10+
Tiempo de vida del proyecto
Perodo posterior al proyecto
Fuente: Tassey, 2003, p.24.
37
Tabla 1
EVOLUCIN DEL ALCANCE DEL ANLISIS DE LOS EFECTOS DE UNA POLTICA TECNOLGICA
1993 Gobierno Federal de Canad 1997 Melkers y Cozzens 1998 Bach y Georghiou Competitividad: ventas, participacin en el mercado, insercin en nuevos mercados, reduccin de costos. Econmico: nmero de proyectos financiados, resultados indirectos, patentes y solicitudes de licencias, nmero de pedidos de apoyo financiero, nuevos productos, aumento de las ventas, nmero de colaboraciones, ganancias, nmero de publicaciones, aumento del capital destinado a investigacin y desarrollo. Empleo: creacin de empleos, en especial en reas de alto desempleo. Organizacin: formacin de nuevas empresas, nuevas operaciones conjuntas, nuevas redes/contratos tecnolgicos y de mercado, aumento de la capacidad de absorber conocimiento, aumento de la capacidad principal, aumento de investigacin y desarrollo, cambio de estrategia, aumento de la capacidad de lucro.
Econmico: aumento de los ingresos por ventas, reduccin de costos.
Calidad de vida: seguridad, atencin sanitaria, desarrollo social y de servicios, aumento de la proteccin social. Social: reduccin de los riesgos de salud y seguridad, mejora del ambiente, mejora de la calidad de vida, mejora de la calidad y el acceso a la informacin. Social: creacin de nuevos empleos y mantenimiento de los existentes, aumento del salario medio de los empleos creados y existentes.
Control del ambiente: reduccin de la polucin, aumento de la informacin sobre la contaminacin y sus riesgos, reduccin del consumo de energa y de la emisin de elementos contaminantes.
Fuente: Georghiou, L; Rigby, J. & Cameron, H., 2002, p.199.
38
Tabla 2
USO ADECUADO DE LAS METODOLOGAS DE EVALUACIN DE ACUERDO CON EL TIPO DE IMPACTO

Metodologa Microeconoma Mesoeconoma Macroeconoma Aspecto social Calidad de vida
Entrevista Cuestionario Estudio de caso Estudio histrico Estadstica y mtodos matemticos Econometra Financiera
Fuente: Tabla elaborada sobre la base de datos presentados por Georghiou, L; Rigby, J. & Cameron, H., 2002, p. 215. Indica aplicabilidad total Indica que la tcnica es especialmente apropiada Indica aplicabilidad, pero poco uso
39
Tabla 3
EJEMPLO DE SISTEMATIZACIN DE LAS METODOLOGAS EVALUACIN DE LOS EFECTOS SOCIOECONMICOS DE LAS POLTICAS DE INVESTIGACIN Y DESARROLLO TECNOLGICOS. METODOLOGAS DE EVALUACIN
Metodologa Encuestas de innovacin Tipo/Uso Semicuantitativo Cuantitativo Seguimiento Ex post Datos necesarios Microdatos Gastos Ganancias Patentes Innovacin Ventajas Detecta las tendencias de innovacin y datos sobre el aspecto social de la innovacin. Los resultados de la muestra encuestada se pueden generalizar a la poblacin. Permite establecer la dimensin y la distribucin de los efectos. Permite la comparacin entre grupos y observar los cambios a lo largo del tiempo. Mtodos micro Datos categricos cuantitativos cualitativos Seguimiento Ex post Microdatos Gastos Ganancias Patentes Los resultados se basan en la formulacin explcita de relaciones causales tericas. Adicionalidad en investigacin y desarrollo. Control de distintos efectos: tamao de la empresa, gastos, capacidad de innovacin. Limitaciones Alto costo y requiere mucho tiempo. El procesamiento y anlisis de los datos requiere muchos recursos humanos. Es difcil obtener algunos tipos de informacin. Generalmente no se dispone de series de larga data. Calidad de los datos Persuadir a las entidades participantes y no participantes a revelar informacin. Solo tasa privada de rentabilidad de actividades de investigacin y desarrollo. Efectos de los subsidios pblicos a la investigacin y desarrollo en empresas de Alemania occidental. Evaluacin del Programa ITF FlexCIM Efectos de los subsidios a la investigacin y el desarrollo en Espaa. Promocin de tecnologas AMT basadas en microdatos suizos. Mtodos macro Metodologa de modelos cuantitativos Ex ante (simulacin) Seguimiento Ex post Investigaci ny desarrollo Gastos Produccin en investigacin y desarrollo Datos macroecon micos Tasa de rentabilidad social de la investigacin y desarrollo. Captacin de los efectos secundarios de la investigacin y desarrollo. Estimacin de las repercusiones de la poltica a largo plazo. Simulacin de hiptesis para reas geogrficas cubiertas por la poltica. Rentabilidad promedio. Solidez de los resultados. Desfase temporal para la observacin de los efectos. Enfoques basados en modelos: Interlink de la OCDE, Multimod del FMI, Quest de la Unin Europea. Estudios de los efectos secundarios de investigacin y desarrollo: Jaffe, Nadiri Efectos secundarios internacionales: Eaton y Kortum, Mohnen, Evenson Buenas prcticas Anlisis del proceso de innovacin mediante datos de la Encuesta comunitaria de innovacin de la Unin Europea.
40
CEPAL Desarrollo productivo y empresarial CyT-DES Ciencia y Tecnologa para el Desarrollo, Manual de Polticas Pblicas Estudios de productividad Metodologa de modelos cuantitativos Seguimiento Ex post Microdatos Gastos Ganancias Investigaci ny desarrollo Patentes Estimacin de los efectos de investigacin y desarrollo en la productividad. Estimacin de la tasa de rentabilidad de la investigacin y desarrollo. Calidad de datos. Deflacin de series. Hiptesis necesarias para la medicin de variables de stock Estudios de productividad (Van Ark) Anlisis del crecimiento (Griliches, Jorgenson) Microdatos: INSEE de Francia y censo de fabricantes de Estados Unidos Investigacin industrial conjunta entre Japn y Estados Unidos. Evaluacin de instrumentos de investigacin y desarrollo tecnolgico e innovacin en Irlanda. Participacin de Irlanda en la Agencia Espacial Europea. Anlisis costobeneficio Cuantitativo (con elementos cualitativos) Ex ante (especialment e) Seguimiento Ex post Microdatos Estimacione s de ganancias y costos Proporciona una estimacin del efecto socioeconmico de la intervencin. Buen enfoque para evaluar la eficiencia de una intervencin. Explicita todas las hiptesis econmicas de las repercusiones de la intervencin. Requiere gran capacidad tcnica. Cierto grado de criterio y subjetividad, depende en gran medida de hiptesis realizadas. No es fcil la comparacin de casos. Interpretacin cuidadosa de los resultados cuando las ganancias no son fcilmente cuantificables en trminos monetarios. Paneles de especialistas / evaluacin por funcionarios de igual nivel Cualitativo Semicuantitativo Ex ante Seguimiento Ex post Datos de programa del proyecto Evaluacin de los mritos cientficos. Flexibilidad. Aplicacin de gran alcance. Carcter equitativo. Independencia de los funcionarios de igual nivel. No se captan los beneficios econmicos. Evaluacin de grandes infraestructuras Evaluacin de programas de la Unin Europea. Advanced Technology Programme de Estados Unidos. National Institute of Standards Methodology de Estados Unidos
Enfoques mediante grupos de control
Cuantitativo Ex-post
Microdatos Gastos Ganancias Patentes
Capta los efectos de la poltica en la entidad participante en el programa.
Requiere gran capacidad tcnica. Alto costo de instrumentacin Necesita de muchos datos.
41
Estudios de campo/casos
Cualitativo Semicuantitativo Seguimiento Ex post
Datos de programa del proyecto
Observacin de los efectos socioeconmicos de la intervencin en condiciones naturales. Bueno como medio de investigacin exploratorio y descriptivo. Bueno para comprender la manera en que el contexto afecta y configura los efectos.
Los resultados no son generalizables.
Innovacin telemtica en el sector de atencin sanitaria. Evaluacin de casos de estudio analizados por Georghiou y Roessner (2000)
Anlisis de redes
Cualitativo Semicuantitativo Ex post
Datos de programa del proyecto
Material emprico general. Recopilacin para fines normativos. Vnculos de cooperacin.
Tiempo necesario para recoger los datos de la encuesta. Requisitos de persuasin. Imposibilidad de detectar avances decisivos en investigacin y desarrollo tecnolgicos.
Sistemas RTO Centros interdisciplinarios de investigacin mdica. Criterios de competencia comparativa de capacidades ISI/FhG con respecto a resultados previstos
Evaluacin de tecnologa/ previsin
Cualitativo Semicuantitativo Ex ante Seguimiento
Datos cualitativos Hiptesis
Construccin de consenso para reducir la incertidumbre en diferentes hiptesis. Combinacin de datos de dominio pblico y privado. Articulacin y planificacin del desarrollo de nuevas tecnologas.
Criterios de competencia comparativa
Semicuantitati vo Ex post Seguimiento
Indicadores de ciencia y tecnologa
Mtodo de comparacin de diferentes sectores. Apoyo a la evaluacin sistmica de instituciones y sistemas.
Requisitos de datos detallados. No transferible.
Polticas nacionales de criterios de competencia comparativa de la Unin Europea. Diagrama de tendencias de innovacin. Relacin entre la ciencia y la industria.
Fuente: Polt y Rojo, 2002, p.69
Tabla 4
42
EFECTOS Y VARIABLES UTILIZADAS EN LA CUANTIFICACIN DEL PROCESO

Tipo de efecto Efectos directos Efectos indirectos Tecnolgicos Transferencia de productos Transferencia de procesos Transferencia de servicios Patentes Ventas/nuevos contratos de investigacin Reduccin de costos/nuevos contratos de investigacin Ventas/nuevos contratos de investigacin Costo de establecer y mantener una patente (valores sustitutivos) Ventas/reduccin de costos/nuevos contratos de investigacin Cuantificacin Aumento/disminucin de ventas/costos
Comerciales
Efecto relativo a redes
Efecto relativo a reputacin Organizacionales Gestin de proyectos Reduccin de costos/ nuevos contratos de investigacin Reduccin de costos/ventas/presupuest o (valores sustitutivos) Reduccin de costos Equivalente monetario de horas-hombre (valores sustitutivos)
Organizacin
Mtodos Factor trabajo Masa crtica
Capacitacin
Fuente: Bach et al. 1994 en Furtado, 1999, p.157.
43

CEPAL Metodologías de Evaluación de Políticas Tecnológicas: Reseña de Prácticas Internacionales

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

CEPAL Metodologías de Evaluación de Políticas Tecnológicas: Reseña de Prácticas Internacionales

Enviado por

Direitos autorais:

Formatos disponíveis

Manual de Polticas Pblicas

etodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Ana Paula M. Avellar

Santiago de Chile, octubre de 2007

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

III. Procedimientos metodolgicos

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

IV. Marco conceptual y terico

Aspectos generales de la evaluacin

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Metodologas de evaluacin de polticas tecnolgicas

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Experiencias internacionales de evaluacin de polticas tecnolgicas

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

2.1. Advanced technology programme (ATP)

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

2.2. Iniciativa EUREKA

2.3. Programa ALVEY

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

2.4. PROCAP 1000

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

VI. Consideraciones finales

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Primera etapa: formacin del equipo responsable de la evaluacin

Segunda etapa: eleccin de los indicadores de innovacin y capacidad tecnolgica

Tercera etapa: recoleccin de datos

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Efectos de mediano plazo:

Efectos de largo plazo:

Quinta etapa: anlisis y divulgacin de los resultados

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Anexo 1 Figuras y tablas

ORGANIZACIN DE LOS EFECTOS SEGN EL CICLO DE VIDA DE LA TECNOLOGA

Ganancias econmicas Total

Ganancias para beneficiarios RESULTADOS REPERCUSIONES

Tiempo de vida del proyecto

Perodo posterior al proyecto

Fuente: Tassey, 2003, p.24.

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Econmico: aumento de los ingresos por ventas, reduccin de costos.

Fuente: Georghiou, L; Rigby, J. & Cameron, H., 2002, p.199.

USO ADECUADO DE LAS METODOLOGAS DE EVALUACIN DE ACUERDO CON EL TIPO DE IMPACTO

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Enfoques mediante grupos de control

Microdatos Gastos Ganancias Patentes

Capta los efectos de la poltica en la entidad participante en el programa.

Metodologas de evaluacin de polticas tecnolgicas: resea de prcticas internacionales

Cualitativo Semicuantitativo Seguimiento Ex post

Datos de programa del proyecto

Los resultados no son generalizables.

Cualitativo Semicuantitativo Ex post

Datos de programa del proyecto

Material emprico general. Recopilacin para fines normativos. Vnculos de cooperacin.

Evaluacin de tecnologa/ previsin

Cualitativo Semicuantitativo Ex ante Seguimiento

Datos cualitativos Hiptesis

Criterios de competencia comparativa

Semicuantitati vo Ex post Seguimiento

Indicadores de ciencia y tecnologa

Mtodo de comparacin de diferentes sectores. Apoyo a la evaluacin sistmica de instituciones y sistemas.

Requisitos de datos detallados. No transferible.