Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)*

ANA CLARA REBUFFI

SUMARIO
PRESENTACIN.1. PLANTEAMIENTO GENERAL. 1.1. Justificacin. 1.2. Formulacin del problema. 1.3. Objetivos. 1.3.1. Objetivo general. 1.3.2. Objetivo especfico. 1.4. Metodologa. 2.MARCO TERICO. 2.1. La evaluacin en el sector pblico. 2.1.1. Diferencias entre anlisis y evaluacin. 2.1.2. Alcance para este trabajo. 2.1.3. Tipos de evaluaciones. 2.1.4. La transparencia de la gestin. 2.1.5. Integracin de la evaluacin y el control financiero. 2.1.6. El nuevo modelo de control pblico en la provincia de Salta. 2.1.7. Mtodos de evaluacin. 2.1.8. Limitaciones. 2.2. La eficacia, la eficiencia, la economa y la calidad. 2.2.1. Los insumos y productos. 2.2.2. La eficacia, la eficiencia, la economa y la calidad. 2.3. La eficiencia de la Justicia. 2.3.1. Eficiencia y sistema judicial. 2.3.2. Ineficiencias objetivas. 2.3.3. Las caractersticas del producto judicial. 2.4. Gestin por objetivos de las polticas pblicas. 2.4.1. Sistema de planificacin. 2.4.2. Plan Estratgico 2007-2011 del Poder Judicial de Salta. 2.4.3. Sistemas de objetivos. 2.4.4. Los indicadores. 2.4.5. Tipos de indicadores. 2.4.6. Especial referencia a los indicadores de eficiencia en la auditora pblica. 2.4.7. Caractersticas individuales de los indicadores e integracin sistemtica. 2.4.8. Sistema de seguimiento. 2.5. Bases legales para el control de gestin en la provincia de Salta. 2.5.1. La administracin financiera. 2.5.2. Control previo y control posterior? o control posterior?3. MODELO DE AUDITORA DE GESTIN PARA LA EVALUACIN DE LA EFICIENCIA DEL PODER JUDICIAL DE LA PROVINCIA DE SALTA. 3.1. El anlisis de eficiencia desde la auditora interna. 3.2. Caractersticas del control de eficiencia. 3.3. Procedimientos de auditora. 3.4. Determinacin y anlisis de las reas significativas. 3.5. Principios generales. 3.6. Tcnicas y procedimientos. 3.6.1. Tcnicas de recogida de informacin. 3.6.2. Tcnicas de sistematizacin y evaluacin de los datos. 3.7. Elaboracin y anlisis de los indicadores relevantes. 3.7.1. Elaboracin. 3.7.2. Cuantificacin, anlisis e interpretacin. 3.8. Tratamiento de la informacin y de los resultados.4. CONCLUSIONES.ANEXOS.BIBLIOGRAFA.

PRESENTACIN
En las ltimas dcadas se produjeron cambios en torno al control pblico, pasando desde un control tradicional centrado en los medios-procedimientos a otro orientado hacia los resultados. Para esto, fue necesaria una transformacin de las tcnicas de revisin basadas en la legalidad de la ejecucin presupuestaria a tcnicas avanzadas de auditora y evaluacin del gasto pblico, donde se han importado sistemas de trabajo propios de la auditora privada. En el mbito de la provincia de Salta (Argentina), la Ley 7.103 publicada en el Boletn Oficial de Salta el 23/10/2010 de Sistemas, Funcin y Principios del Control No Jurisdiccional de la Gestin de la Hacienda Pblica, vino a definir las bases normativas de la auditora pblica, concibiendo un modelo de actuacin que permite a los rganos de Control conciliar las tcnicas clsicas de fiscalizacin, con las frmulas renovadoras de la evaluacin de las polticas de gasto. La evaluacin de programas pblicos se convierte as en eje y principio de actuacin del sistema de control, orientado en su esencia a asegurar que los objetivos estratgicos son alcanzados y que los impactos sociales y econmicos de los planes pblicos se cumplen efectivamente.
* Trabajo presentado a la Maestra Internacional en Hacienda Pblica y Administracin Financiera, IV edicin 2009-2011 organizada por la Escuela de la Hacienda Pblica del Instituto de Estudios Fiscales, la Agencia Espaola de Cooperacin Internacional para el Desarrollo, la Fundacin CEDDET y la Universidad Nacional de Educacin a Distancia.

183

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Particularmente, respecto del Control Interno sostiene el artculo 12 de la Ley 7.103 que este deber ser integral e integrado, abarcando los aspectos contables, presupuestarios, econmicos, financieros, patrimoniales, normativos y de gestin; la evaluacin de programas, proyectos y operaciones, debern basarse en criterios de legalidad, economa, eficiencia y eficacia, con estos parmetros: Integral: en tanto abarca aspectos relacionados con la legalidad, presupuestos, temas financieros, patrimoniales etc. Integrado: en tanto tambin se consideren los procedimientos que se lleven a cabo para la toma de las decisiones administrativas. Este ltimo aporte es de singular importancia, dado que nutre al sistema de control interno de una caracterstica fundamental: el control como instrumento que participa del procedimiento de conformacin de la voluntad administrativa, de tipo preventivo: ya no para rever la actuado, sino como elemento esencial del acto. Luce como particularidad importante, en la Ley 7.103 la creacin de la Sindicatura General de la Provincia, como organismo rector del Sistema de Control Interno de la Hacienda Pblica provincial, Centralizada y Descentralizada, Entidades Autrquicas, Entes Reguladores, Empresas Pblicas, cualquiera fuere su modalidad de organizacin y todo otro ente en el que el Estado Provincial, o sus organismos descentralizados tengan participacin, siendo sta un organismo dependiente del Poder Ejecutivo que actuar con autonoma funcional, administrativa y financiera. Por lo tanto, no forman parte del universo de control de la Sindicatura General de la Provincia el Poder Judicial, Ministerio Pblico y los Municipios pero si estn alcanzados por el sistema de control no jurisdiccional instituido por la ley referenciada. De acuerdo a esto y respecto al Poder Judicial que particularmente nos ocupa en este trabajo ser la Corte de Justicia la que dispondr sobre la modalidad y alcances de la puesta en prctica del sistema instituido en esta ley. As, mediante la Acordada 10.346 del da 27 de abril del ao dos mil nueve an vigente, sta cre un rea exclusiva denominada Sindicatura Interna del Poder Judicial, con el fin de que realice un control integral e integrado, abarcando aspectos contables, presupuestarios, patrimoniales, normativos y de gestin, que deber basarse en criterios de legalidad, economa, eficiencia y eficacia de manera que permita a la Corte de Justicia disponer de apoyo tcnico suficiente en las tomas de decisiones que realice. La propia Corte de Justicia en los considerandos de la Acordada de creacin de la Sindicatura Interna del Poder Judicial hace referencia a la reformulacin del modelo de control hacia otros, que permitan cumplir con principios bsicos del Estado democrtico como lo son la probidad, la promocin de los derechos individuales y colectivos y la transparencia en el funcionamiento del quehacer pblico. La evaluacin de programas pblicos ha sido objeto de especial atencin en muchos de los pases industrializados desde la dcada de los ochenta y, una dcada despus, en Amrica Latina, en el marco de los procesos de reforma de la gestin pblica conocidos como reformas de segunda generacin. La transicin entre generaciones de reformas obedece a un cambio de las concepciones ideolgicas y tericas que sustentaron las reformas iniciales, producto de las experiencias de fracaso y oposicin que han tenido los ajustes. Existi un giro conceptual, expresado por el paso del enfoque de las expectativas racionales, el cual sustent una poltica de choques externos mediante medidas de ajuste y de reduccin del Estado para disciplinar a los agentes econmicos, al enfoque neo institucional, que concibe las reformas como un proceso de creacin de instituciones acordes para el buen funcionamiento del mercado, reconocindose ahora al Estado como mecanismo bsico para reducir los costos de transaccin de dichos agentes en el mercado. Al igual que el resto de Latinoamrica, el sector pblico de Argentina se ha interesado en la incorporacin de mecanismos de evaluacin, con la finalidad de encontrar en ellos una herramienta de gran potencial, aunque no debe dejar de resaltarse que se carece de una cultura de control y mas precisamente, de una cultura evaluativa. Por lo tanto, existe por delante un importante desafo: que los modelos se interioricen suficientemente por las administraciones como elemento propio e incorporado a la secuencia de planificar, ejecutar, evaluar y actuar para as lograr una mayor racionalidad del accionar del sector pblico. La adopcin en Argentina de mecanismos de evaluacin, como herramientas de formulacin de polticas y gestin, no fue fruto de un mismo proyecto ni deriv en la creacin de un sistema internamente coherente y articulado.1 Por el contrario, se basa en iniciativas de los centros gestores de dar direccionalidad
1

ZALTSMAN, A. (2003): La evaluacin de resultados en el sector pblico argentino: un anlisis a la luz del debate sobre la Nueva Gestin Pblica y de otras experiencias de evaluacin en Amrica Latina, VIII Congreso Internacional del Centro Latinoamericano de Administracin para el Desarrollo (CLAD) sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28-31 oct. 2003.

184

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

estratgica a sus actividades, incrementar su productividad, mejorar la calidad de servicios que proveen y abrirse al control ciudadano. De acuerdo a esto, en el mbito del Poder Judicial se ha impulsado fuertemente la evaluacin de gestin, con el objetivo de mejorar el proceso de produccin y de ese modo poder dar respuesta a la gente con un sistema que se perfeccione a si mismo y pueda reconvertir sus procesos internos de funcionamiento. Ejemplo de esto es que el Plan Nacional de Reforma Judicial2 propone la creacin de un Centro de Poltica Judicial y Control de Gestin que deber tener a su cargo, al menos, las oficinas de Estadstica, Auditora, Sugerencias y Quejas. Es muy interesante la comparacin que se hace entre la similitud de la justicia y el oxgeno: cuando este disminuye paulatinamente el hombre, al principio, no se da cuenta de su ausencia y su importancia, y solo cuando llega a lmites mximos se produce la reaccin. Este trabajo propone disear un modelo de auditora de gestin para la evaluacin de la eficiencia del sistema judicial ordinario de la provincia de Salta que permita alertar sobre la marcha de sta. La eficiencia se relaciona directamente con el bienestar social, pues permite que los recursos del estado se asignen correctamente y, en consecuencia, se ve constreida por los valores impuestos en la sociedad y en definitiva por el bien comn. Para poder llevar adelante ese modelo de auditora, es necesario identificar las variables de relevancia en la evaluacin de la eficiencia judicial ya que su comportamiento fundamentar las opiniones y conclusiones del auditor, por lo que tambin esta cuestin ser un objetivo a desarrollar. En la primera parte del trabajo se efecta un planteamiento general , con la declaracin de los objetivos perseguidos y la metodologa a aplicarse. La segunda parte aborda aspectos tericos referidos a la evaluacin en el sector pblico, enfocando las particularidades de la eficiencia del Poder Judicial. Tambin se analiza como factor fundamental la gestin por objetivos de las polticas pblicas, haciendo especiales reflexiones respecto a los instrumentos estratgicos utilizados por el Poder Judicial de Salta. Un aspecto sustancial de este segundo apartado es el anlisis del estado actual de la Administracin Financiera y Sistemas de Control en la provincia de Salta y su alcance para el Poder Judicial. En la tercera parte del trabajo, se propone un modelo de auditora de gestin para la evaluacin de la eficiencia del Poder Judicial de la provincia de Salta desde el punto de vista del Control Interno, ofreciendo propuestas de los principales indicadores para la evaluacin de esta dimensin de la gestin. Por ltimo, se ofrecen resumidas conclusiones del trabajo efectuado.

1. PLANTEAMIENTO
1.1. Justificacin

GENERAL

Mediante Acordada nmero 8.473 del doce de abril de dos mil publicada en el Boletn Oficial de Salta el da 19 de abril de 2000 , se aprob el Plan Estratgico del Poder Judicial, con la finalidad de promover una serie de acciones tendentes al mejoramiento del servicio de justicia en la provincia de Salta. En el mismo, se plante la necesidad de orientar las acciones del Poder Judicial hacia una imprescindible transformacin del servicio de Administracin de Justicia. Luego, en el ao 2007, se implemento un nuevo Plan Estratgico, llamado Plan Estratgico II, aprobado mediante la Acordada nmero 9.701, publicada en el Boletn Oficial de Salta el da 5 de febrero de 2007. Este, pretende receptar los cambios en los requerimientos de la sociedad y contener una nueva perspectiva emergente de las sustanciales transformaciones operadas en el Poder Judicial. ste prev, entre otras cosas, el establecimiento de objetivos especficos y beneficios esperados, acciones, resultados e indicadores y metas de gestin, desempeo e impacto. Con el fin de abordar la temtica planteada en los prrafos precedentes, fue necesaria la creacin de un rea que permita a la Corte de Justicia evaluar el cumplimiento de lo dispuesto, tanto en la normativa vigente, como en los Planes Estratgicos I y II. A diciembre de 2010, se avanz en la designacin de un Sindico Interno del Poder Judicial, que asumir sus funciones de control interno a partir del ao 2011.
2

Ministerio de Justicia de la Nacin (1997): Plan Nacional de Reforma Judicial: propuestas para la reforma del sistema de justicia, Argentina.

185

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 El control de gestin es un proceso que pertenece a la esfera del control interno; segn la conceptualizacin dada por la Ley 7.103, que rige los Sistema, Funcin y Principios del Control no Jurisdiccional de la gestin de la Hacienda Pblica de Salta, por cuanto la Sindicatura Interna del Poder Judicial lo deber aplicar y coordinar, abarcando aspectos de gestin; la evaluacin de programas, proyectos y operaciones, debiendo fundarse en criterios de legalidad, economa, eficiencia y eficacia. En este marco, el trabajo tiene como propsito disear un modelo de auditora de gestin para la evaluacin de la eficiencia del sistema judicial ordinario de la provincia de Salta. Llevar adelante ese modelo de auditora, implica la necesidad de identificar las variables de relevancia en la evaluacin de la eficiencia judicial, ya que su comportamiento fundamentar las opiniones y conclusiones del auditor, por lo que tambin este tema ser un objetivo a desarrollar. El sistema judicial de un Estado juega un papel esencial en el desarrollo econmico del mismo, puesto que incide directamente en el proceso de aseguramiento y definicin de los derechos de propiedad as como en el grado de cumplimiento de los contratos. Un buen sistema judicial, generar confianza ante los agentes econmicos, promocionando as el intercambio y la actividad econmica.3 Por lo tanto, generar herramientas para lograr un Poder Judicial ms eficiente se traducir en menos consecuencias negativas para el crecimiento econmico y la estabilidad social. 1.2. Formulacin del problema Mediante cuatro interrogantes se intenta plantear con claridad la totalidad del objeto de investigacin: Las caractersticas del producto judicial y del sistema en que se dicta imponen restricciones para la medicin de la eficiencia?, la eficiencia judicial puede enfocarse exclusivamente desde el campo de la economa para abordar todos los aspectos del problema del Servicio de Justicia? La diversidad de productos y de unidades de produccin constituyen una limitante para la medicin de la eficiencia del Poder Judicial? Existe en el Poder Judicial de la provincia de Salta una gestin por objetivos que permita una mayor eficiencia judicial? Se realizan en el Poder Judicial de la provincia de Salta auditoras de gestin para analizar y recomendar aspectos de su eficiencia? 1.3. Objetivos 1.3.1. Objetivo general Apoyar al Poder Judicial de la provincia de Salta en el mejoramiento de la eficiencia y transparencia de los actos y procedimientos legales de la administracin pblica, a fin de mejorar las relaciones entre el Estado y la sociedad civil. 1.3.2. Objetivo especfico Diseo de un modelo de auditora de gestin para la evaluacin interna de la eficiencia del sistema judicial ordinario de la provincia de Salta. 1.4. Metodologa El diseo de la investigacin es de tipo descriptivo de las variables que deben tenerse en cuenta para medir la eficiencia del sistema judicial ordinario de la provincia de Salta y, en base a esto, se construy un modelo para hacer auditora de resultados con nfasis en la evaluacin de eficiencia. La metodologa aplicada para la recoleccin de la informacin se bas principalmente en entrevistas con los responsables de las distintas reas del Organismo, en el anlisis de la legislacin vigente, normas y reglamentacin interna existente, de los objetivos, de la informacin generada por las reas relevadas y de muestras de documentacin procesadas por las mismas.
3

IGLESIAS, P ., y ARIAS, X. (2005): Problemas de ineficiencia en el sistema judicial espaol. Una visin transaccional, VII Jornadas de Poltica Econmica, Vigo.

186

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

2. MARCO

TERICO

2.1. La evaluacin en el sector publico En el mbito acadmico existen distintos sentidos para entender la evaluacin por lo que seguidamente se efecta un recorrido por las definiciones ensayadas por distintos autores4:
Es el anlisis objetivo y cientfico de los efectos a corto y largo plazo de las polticas, tanto sobre los grupos sociales o situaciones para los cuales se dise la poltica como sobre la sociedad en general, y el anlisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados. [DYE, T. R. (1995): Unerstanding Public Policy, eight edition, Prentise Hall.] Consiste en la aplicacin de mtodos cientficos para medir la ejecucin y resultados de programas para ser utilizados en la toma de decisiones. [ALVIRA, F. (1991): Metodologa de la Evaluacin de Programas, Madrid, Centro de Investigaciones Sociolgicas, Coleccin Cuadernos Metodolgicos, nm. 2, captulos 1 y 2.] Consiste en la recopilacin sistemtica de informacin sobre actividades, caractersticas y resultados de un programa para su utilizacin por un grupo especfico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en funcin de qu se est haciendo con el programa y a quin est afectando. [PATTON, M. Q. (1987): Creative evaluation, Newbury Park: London, Sage Publications.] Es el proceso por el cual se analiza la eficacia y eficiencia de un programa. Esto implica la recogida, anlisis e interpretacin de la informacin sobre el logro de los objetivos del programa en relacin con las previsiones. [EPSTEIN, I., y TRIPODI, T. (1977): Research tecniques for program planning, monitoring and evaluation, New York: Columbia University Press.] La evaluacin es el proceso sistemtico de recoleccin y anlisis de la informacin, destinado a describir la realidad y emitir juicios de valor sobre su adecuacin a un patrn o criterio de referencia establecido como base para la toma de decisiones. Evaluar es participar en la construccin de un tipo de conocimiento axiolgico, interpretando la informacin obtenida, estableciendo visiones no simplificadas de la realidad y suministrando resultados basados en evidencias que sean crebles, fiables y tiles, facilitando la incorporacin oportuna de los hallazgos, recomendaciones y lecciones en los procesos de toma de decisiones. [ONU (2005).]

Por lo tanto, evaluacin se refiere a la actividad que puede tomar muchas formas y que puede ser llevada a cabo desde distintas perspectivas, no obstante lo cual es posible encontrar elementos destacables: Se basa en tcnicas de anlisis. Satisface los objetivos que la determinaron o motivaron. Sirve de instrumento til para algn grupo. Implica a todos los interesados. Recopila sistemticamente informacin. 2.1.1. Diferencias entre anlisis y evaluacin Es interesante citar el desarrollo que efecta la doctrina para explicar la diferencia entre anlisis y evaluacin:
ESQUEMA
Aspecto a considerar

Cuadro 1
GENERAL DE LIQUIDACIN DEL

IVA5
Evaluacin

Anlisis

Relacin temporal con la puesta en prctica de la poltica o programa Efectos Resultados

Ex ante. Anticipatorio. Dirigido a acciones por tomar. Probables (estimados o proyectados).

Ex post. Invoca una revisin. Examen retrospectivo de las operaciones de un programa, mira al pasado en busca de una gua para el futuro. Reales (lo que ha sido observado, lo que ya ha ocurrido o est ocurriendo).

Producir informacin que tenga cierta relevancia en la discusin sobre la poltica a seguir con respecto a un determinado problema.

4 Osuna, J. (2009): Introduccin a la Evaluacin de Polticas Pblicas, Curso de Evaluacin de Polticas Pblicas y Programas Presupuestarios, Instituto de Estudios Fiscales (en adelante IEF), Madrid. 5

Elaboracin propia en base a BALLART, Xavier (1992): Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y estudios de caso, Instituto Nacional de Administracin Pblica de Espaa (en adelante INAP). Madrid.

187

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Tanto el anlisis de los efectos probables para una poltica del futuro, como el de sus efectos reales y por lo tanto pasados, buscan producir el mismo resultado. Esto explica el carcter cclico del modelo terico: los resultados de la evaluacin proporcionan la base emprica necesaria para el estudio de alternativas polticas presentes, lo que convierte a la evaluacin en una herramienta de planificacin. Evaluacin y planificacin son entonces procesos ntimamente relacionados, puesto que la evaluacin debe analizar el diseo, los sistemas de gestin y seguimiento y los procesos de ejecucin, en tanto que todos estos elementos coordinados condicionan los resultados de las polticas o programas aplicados y son el insumo necesario para la elaboracin del nuevo plan. Una definicin global y comprensiva de los distintos tipos de actividades a los que debe responder la evaluacin es la siguiente:
Es el rea de investigacin aplicada, que mas all de dedicarse a verificar la aplicacin efectiva de los recursos previstos, tiene como funcin principal valorar la oportunidad y valor de una Poltica o Programa Pblico, siendo, por tanto, un instrumento dirigido a mejorar la eficiencia y eficacia de aquellos mediante el diseo de un sistema de indicadores adecuados. [OSUNA, J. L., y MRQUEZ, C. (dir.); CIRERA, A., y VLEZ, C.(2000): Gua para la evaluacin de polticas pblicas, Instituto de Desarrollo Regional, Sevilla.]

Comprende: El anlisis de la conceptualizacin y diseo. El anlisis de la ejecucin. La valoracin de la utilidad. 2.1.2. Alcance para este trabajo En este trabajo la palabra evaluacin tiene un sentido ms restrictivo al referirse a una especialidad dentro del anlisis de polticas o programas pblicos. A lo largo de este trabajo, como se ver, existe un sesgo hacia la evaluacin ms como concepto macro, como evaluacin de organizaciones, programas y proyectos, con una aproximacin lo ms detallada posible hacia los modelos y sistemas tericos en auditoras de tipo horizontal y comparativo entre organizaciones o corporaciones de igual naturaleza (por ejemplo, Poderes Judiciales de distintas provincias). 2.1.3. Tipos de evaluaciones6 Conviene advertir como primera medida que no hay uniformidad en el uso de las clasificaciones y terminologas, no obstante esto, las utilizaremos por su indudable utilidad para organizar el conocimiento. De acuerdo a la temtica y objeto la evaluacin: Puede tratarse de evaluar una poltica, un programa o proyecto, un servicio permanente, una accin o incluso una organizacin., es decir, cualquier tipo de plan. En principio, una poltica pblica tiene un alcance ms genrico que los restantes campos que pretendemos especificar. Se trata de una posicin bsica seleccionada por el gobierno para orientar las decisiones respecto a una necesidad o situacin de inters pblico. As, la evaluacin de polticas normalmente abarca un mbito de actuacin ms transversal, significando un juicio sobre la actividad de mltiples entes pblicos comprometidos en la satisfaccin del inters pblico que se pretende lograr. Un programa, en cambio, expresa la contribucin a una poltica, ya que la produccin terminal refleja un propsito esencial en la red de acciones presupuestarias que ejecuta una institucin, sector o regin. A menudo ser menos estable que una poltica. Finalmente, un proyecto abarca un conjunto de actividades ms acotadas que un programa y que contribuirn al logro de ste. Las evaluaciones de programas o proyectos se pueden reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizados para obtener ciertos objetivos, cuyos resultados tienen relevancia a nivel de gestin del programa o proyecto. Esta evaluacin intentara responder a cuestiones relacionadas con la direccin, el funcionamiento y el impacto de un programa/proyecto especfico en la poblacin a la que sirve.
6

Adaptacin propia de la clasificacin realizada por BALLART, Xavier (1992): Cmo evaluar programas y servicios pblicos? Aproximacin , Madrid. sistemtica y estudios de caso, INAP , Madrid, y SUAZ, A. (2009): Informacin contable y financiera en la evaluacin de polticas, IEF

188

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

La evaluacin entonces, podr abarcar toda una poltica, programa o servicio para valorar sus resultados, relacionndolos con su formulacin inicial, su administracin y sus costos, o tener una perspectiva ms acotada, por ejemplo apoyar la gestin de un programa durante su implementacin o proporcionar elementos de juicio para decidir sobre su continuidad. En cuanto al contenido de la evaluacin es necesario observar: a) Evaluacin de la conceptualizacin y del diseo de los programas: Este tipo de evaluaciones pretenden cubrir los siguientes aspectos:1) caractersticas del programa; 2) contribucin a los objetivos estratgicos; 3) matriz de indicadores; 4) poblacin potencial y objetivo; 5) vinculacin con las reglas de operacin, y 6) coincidencias, complementariedades y duplicidades. Es decir, el objetivo es proporcionar informacin sobre el problema del que se ocupa el programa (o se debera ocupar), el proceso de formulacin y diseo del programa y por ltimo hasta qu punto el diseo del programa sirve a sus objetivos. b) Evaluacin de la implementacin de los programas: en este caso se focalizar el grado de cobertura de una poblacin o un rea, cmo se utilizan los recursos y cmo se distribuyen los servicios. Esto, con la finalidad de determinar en qu medida el esfuerzo de intervencin se est llevando a cabo como se especific en el diseo del programa. Es importante destacar la utilidad para los gestores del programa que puede tener esta supervisin o control del funcionamiento, ya que les permite tomar acciones de tipo correctivo en relacin con los problema de gestin (distribucin, utilizacin de recursos humanos). c) Evaluacin de la eficacia o impacto de los programas: Se trata de conocer los efectos netos de la intervencin pblica, considerando efectos netos aqullos que no se hubieran producido sin el programa o accin de que se trata, en lo cual quedan comprendidos los resultados en sentido amplio. Implica determinar si se alcanzaron los objetivos y si ello no se debi a otras causas.7 Dentro de las evaluaciones de resultados resultar til la distincin entre la evaluacin de productos, outputs en la terminologa anglosajona, y la evaluacin de los resultados finales del programa (outcomes). Mientras los productos son las actuaciones concretas realizadas al amparo del programa, los resultados finales incorporan el impacto de los productos sobre la poblacin en unos determinados planos o variables de inters.8 d) Evaluacin de la eficiencia de los programas: Su objetivo es establecer cules son los costes y beneficios de distribuir los servicios a los participantes en el programa y si el programa o servicio implica un uso eficiente de los recursos en comparacin con otras alternativas factibles. Previo a la evaluacin de eficiencia se requiere una evaluacin de impacto, puesto que nicamente han de tenerse en cuenta los beneficios realmente causados por el programa. Por lo tanto, si abarcamos todas estas fases evaluativas tendremos lo que se denomina evaluacin comprensiva. e) Meta evaluacin: Se trata de la evaluacin realizada por rganos generalmente rectores o coordinadores, acerca de la evaluacin realizada por otras instituciones u organismos confrontando los resultados y apuntando a una comprensin de sntesis. La aproximacin ms clara es la que define a la meta evaluacin como evaluacin de evaluaciones; bien en sentido vertical: evaluacin realizada por un rgano superior sobre las evaluaciones realizadas por sus rganos subordinados, sea en un sentido ms horizontal o transversal: rganos evaluadores que estudian las evaluaciones realizadas por otros rganos de carcter sectorial. En la metaevaluacin normalmente se evala el diseo de una evaluacin (se podra considerar a la evaluacin del diseo como otro tipo de evaluacin, que sera parte integrante en este caso de la meta evaluacin), as como la metodologa seguida en los trabajos, el cumplimiento de plazos, y los efectos asociados a los resultados puestos de manifiesto en los informes de evaluacin realizados. De acuerdo al rol que asume la evaluacin: a) Formativa (de procesos): pretende ofrecer una informacin continua que sea til para la modificacin y reajuste del programa a medida que ste avanza.

7 8

CHUMBITA, H. (1997): Evaluacin en la gestin pblica: caso del sistema nacional de evaluacin educativa, INAP , Buenos Aires.

GARCS, M. (2008): De la auditora pblica a la evaluacin de polticas pblicas. Reflexiones prcticas en torno al nuevo marco de la auditora y de la evaluacin en el sector pblico espaol, Asociacin Instituto de Auditores Pblicos de Espaa, Barcelona.

189

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 b) Sumativa o Comprensiva (de resultado): valora los diferentes aspectos de un programa una vez finalizado. Pretende hacer recapitulacin de la actuacin realizada. De acuerdo al agente que efecta la evaluacin: Evaluacin interna vs. evaluacin externa: segn se haga la evaluacin desde la institucin o entidad que ejecuta el programa, o desde una agencia o entidad externa, respectivamente. La evaluacin interna tambin se denomina autoevaluacin: Los propios rganos gestores de la poltica/programa/proyecto pblico son los que la llevan adelante. El objetivo es que la propia organizacin asuma la autoevaluacin de sus servicios como una herramienta integrada en los procesos de toma de decisiones, de ejecucin e implementacin de sus polticas y actuaciones. Se trata de una actividad evaluadora que, si bien se suele realizar ex post, retroalimenta el sistema de funcionamiento de la entidad, ya que de sus resultados, si est bien implantada, dependern numerosas e importantes decisiones para los procesos futuros, por lo que abarca aspectos de anlisis ex ante. Esta es la caracterstica innovadora del control interno en el sistema de control de la provincia de Salta. Se trata de un control integrado, como instrumento que participa del procedimiento de conformacin de la voluntad de la administracin pblica. De acuerdo al momento temporal en que se efecten: Ex ante o ex post: La evaluacin ex post supone que la evaluacin se practica una vez que fue ejecutada una poltica o programa determinado, para comprobar con carcter posterior los impactos, la obtencin de resultados, la eficiencia, etc. La evaluacin ex ante es la que se realiza acerca de la implementacin de determinadas polticas antes de que estas se pongan en prctica. Generalmente se identifica con la llamada evaluacin de impacto normativo o regulatorio, pudiendo encontrar no obstante, algunas experiencias en evaluacin ex ante como la evaluacin previa de calidad de servicios pblicos, o algunas formas de evaluacin de diseo de polticas, mas all del impacto regulatorio.

2.1.4. La transparencia de la gestin Puede imaginarse un escenario en donde existe un decisor, que busca herramientas para tomar la direccin adecuada y encuentra en la evaluacin resultados que le permiten mejorar su accionar. Si avanzamos un poco ms, el decisor acta en un entorno determinado, tratando con grupos de personas con culturas diferentes, esto es, sistemas de valores e intereses diversos. Estos grupos de personas pueden tener posiciones divergentes en relacin con un programa o su evaluacin, por lo que se destaca la cultura organizacional como un desafo presente en las administraciones. Junto a lo anterior, se aade la debilidad de los sistemas de gestin del empleo pblico y los recursos humanos adscritos al servicio de las organizaciones pblicas, que limitan la delegacin de facultades e impiden alcanzar mayores niveles de responsabilizacin de los directivos pblicos. Por ltimo, se seala el dbil proceso de consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables, sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados. Algunos gestores, no solo no pueden no ver la necesidad de ser evaluados, e incluso temen un proceso de este tipo. La pregunta es: cmo convencer a los administradores para que recojan informacin que puede ayudar a otros pero que solo les puede perjudicar? La evaluacin se realiza para que sus resultados sean utilizados. Es fundamental para mitigar posibles resistencias a la implantacin de la evaluacin de sus resultados por parte de los rganos gestores, el que stos perciban claramente las ventajas que aqulla les puede reportar como fuente informativa para la gestin. La evaluacin no debe ser percibida por los evaluados como un mero elemento de control jerrquico extrao a la organizacin, sino como un sistema interno de informacin que, adems, puede ser utilizado por terceros como instrumento de control. Para esto es necesario encontrar la forma de evaluacin ms adecuada que estimule su uso como herramienta de motivacin, aprendizaje y mejora. Esta, debe generar en los gestores confianza en la utilidad, relevancia y pertinencia de la informacin proporcionada por los indicadores. Existen, por consiguiente, problemas generales para la utilizacin de indicadores de resultados en la Administracin que deben ser solventados por un marco institucional adecuado que fomente la actividad evaluadora, la sostenga a largo plazo y aumente sus estndares de calidad. Precisamente ste es un punto dbil en la actividad evaluadora en la provincia de Salta, que ser tratado ms adelante.

190

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

Ms all de la utilidad de esta herramienta para los gestores, la evaluacin en el contexto de la Administracin Pblica, es tambin un instrumento de legitimacin de las decisiones por ellos adoptadas ante aquellos que financian y reciben sus servicios, que reclaman mayor eficacia en la satisfaccin de sus demandas y mayor eficiencia en la gestin de fondos pblicos. En otro plano, la evaluacin debe ayudar a transmitir una imagen de responsabilidad de los decisores pblicos ante la sociedad que pone a su disposicin gran cantidad de recursos y a los que se exige, en consecuencia, rendicin de cuentas y transparencia en la gestin. Para ello, los interesados deben tener acceso a informacin referente a los procedimientos aplicados, la asignacin de recursos y los resultados de las intervenciones. 2.1.5. Integracin de la evaluacin y el control financiero Al igual que en los conceptos anteriores, en esta temtica tampoco existen lmites claros y definidos que separen con precisin los conceptos y mecanismos de la evaluacin y del control financiero. Esto se debe a que se trata de una estructura similar a la de un engranaje, en donde en muchos aspectos uno forma parte del otro. El siguiente cuadro, pretende marcar los aspectos sobresalientes de cada tipo.
INTEGRACIN
Tipo Control financiero
DE LA EVALUACIN EL CONTROL FINANCIERO9

Cuadro 2

Control de gestin/operativo

Evaluacin de polticas pblicas

Objetivo

Pretende emitir un juicio sobre la legalidad de una actividad con trascendencia econmica.

Examen sistmico y objetivo de las operaciones y procedimientos de una organizacin, programa, actividad o funcin pblica, con el objeto de proporcionar una valoracin independiente de su racionalidad econmico-financiera y su adecuacin a los principios de eficacia, eficiencia y economa Reducido.

La evaluacin debe emitir un juicio de valor, no ya sobre el cumplimiento de la normativa, sino sobre los impactos y la consecucin de objetivos. Incluso, valorando los impactos no deseados o motivados por factores exgenos. Ms amplio. Ms transversal, implicando un juicio sobre la actividad de mltiples entes pblicos

Horizonte Reducido. temporal

Campo de Una organizacin, programa, actividad o funcin pblica. actuacin

En la doctrina ms actual se considera que el evaluador es una figura similar a la de un auditor, con conocimientos tcnicos comunes en algunos casos y especficos en la materia concreta de evaluacin, con un sesgo menos dirigido a trabajos y conclusiones en el terreno econmico, y sobre todo, cuyo objetivo consiste no en emitir una opinin estrictamente tcnica, sino un juicio de valor, porque as se le exige, sobre el rumbo de las polticas, programas u organizaciones evaluados. Especficamente en el mbito de la auditora pblica, es importante destacar las definiciones que precisan las Normas de Auditora de la INTOSAI en la ISSAI 100, Postulados Bsicos de la Fiscalizacin Pblica (1.0.38 y 1.0.40) que afirman lo siguiente:
El mbito de actuacin de la fiscalizacin pblica abarca las auditoras de regularidad y las operacionales o de gestin, y la auditora o fiscalizacin operacional o de gestin significa auditora de economa, de eficiencia y de eficacia, y comprende: (a) el control de la economa de las actividades administrativas, de acuerdo con principios y prcticas administrativos razonables y con las directrices sealadas; (b) el control de la eficiencia en la utilizacin de los recursos humanos, financieros y de cualquier otro tipo, junto con el examen de los sistemas de informacin, de las medidas de rendimiento y control, y de los procedimientos seguidos por las entidades fiscalizadas para corregir las deficiencias encontradas, y (c) el control de la eficacia con que se han llevado a cabo los objetivos de la entidad fiscalizada y de los resultados alcanzados en relacin con los pretendidos.
9

Elaboracin propia en base SUAZ, A. (2009): Informacin contable y financiera en la evaluacin de polticas, IEF, Madrid.

191

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 2.1.6. El nuevo modelo de control pblico en la provincia de Salta En el mbito de la provincia de Salta, la Ley 7.103 publicada en el Boletn Oficial de Salta el 23/10/2010 de Sistema, Funcin y Principios del Control No Jurisdiccional de la Gestin de la Hacienda Pblica, vino a definir las bases normativas de la auditora pblica, concibiendo un modelo de actuacin que permite a los rganos de Control conciliar las tcnicas clsicas de fiscalizacin, con las frmulas renovadoras de la evaluacin de las polticas de gasto. La evaluacin de programas pblicos se convierte as en eje y principio de actuacin del sistema de control, orientado en su esencia a asegurar que los objetivos estratgicos se cumplen y que los impactos sociales y econmicos de los planes pblicos se cumplen efectivamente. Particularmente respecto del Control Interno, sostiene el artculo 12 de aquella Ley que ste deber ser integral e integrado y abarcar los aspectos contables, presupuestarios, econmicos, financieros, patrimoniales, normativos y de gestin; la evaluacin de programas, proyectos y operaciones, debern fundarse en criterios de legalidad, economa, eficiencia y eficacia. Integral en tanto abarca aspectos relacionados con su legalidad, presupuestos, temas financieros, patrimoniales etc. Ser integrado cuando tambin se consideren los procedimientos que se lleven a cabo para la toma de las decisiones administrativas. Este ltimo aporte es de singular importancia, dado que nutre al sistema de control interno de una caracterstica fundamental: el control como instrumento que participa del procedimiento de conformacin de la voluntad administrativa, de tipo preventivo: ya no para rever la actuado, sino como elemento esencial del acto. Una particularidad importante, es que la Ley 7.103 crea la Sindicatura General de la Provincia, como organismo rector del Sistema de Control Interno de la hacienda pblica provincial, Centralizada y Descentralizada, Entidades Autrquicas, Entes Reguladores, Empresas Pblicas, cualquiera fuere su modalidad de organizacin y todo otro ente en que el Estado Provincial, o sus organismos descentralizados tengan participacin, siendo sta un organismo dependiente del Poder Ejecutivo que actuar con autonoma funcional, administrativa y financiera. Por lo tanto, no forman parte del universo de control de la Sindicatura General de la Provincia el Poder Judicial, Ministerio Pblico, Poder Legislativo y los Municipios pero si estn alcanzados por el sistema de control no jurisdiccional instituido por la ley referenciada. De acuerdo a esto y respecto al Poder Judicial que particularmente nos ocupa en este trabajo ser la Corte de Justicia quien dispondr sobre la modalidad y alcances de la puesta en prctica del sistema instituido por esta ley. As, mediante la Acordada nmero 10.346 del 27 de abril de dos mil nueve, publicada en el Boletn Oficial de Salta el da 4 de mayo de 2009, el alto tribunal cre un rea exclusiva denominada Sindicatura Interna del Poder Judicial, con el fin de realizar un control integral e integrado, abarcando aspectos contables, presupuestarios, patrimoniales, normativos y de gestin, que deber basarse en criterios de legalidad, economa, eficiencia y eficacia, de manera que permita a la Corte de Justicia estar informada oportuna y fidedignamente y posibilitarle as la adopcin racional de las decisiones administrativas que le competen. La propia Corte de Justicia de Salta en los considerandos de su Acordada de creacin de la Sindicatura General del Poder Judicial hace referencia a la reformulacin de los modelos de control hacia otros, que permitan cumplir con principios bsicos del Estado democrtico como lo son la probidad, la promocin de los derechos individuales y colectivos y la transparencia en el funcionamiento del quehacer pblico. 2.1.7. Mtodos de evaluacin10 Como era previsible, al intentar describir las distintas aproximaciones o mtodos de evaluacin de medidas de poltica econmica encontramos que hay tantas clasificaciones de los mismos como estudiosos del tema. Por lo menos existen cinco maneras de evaluar un programa o poltica determinada. 1) Anlisis shift-share. Perodo de poltica activa y perodo de poltica pasiva

Esta tcnica alcanz gran difusin en los aos setenta, para medir el impacto de la poltica regional. El anlisis shift-share es una herramienta descriptiva que resume concisamente la informacin a travs de ndi10

Esta seccin se basa en, INSTITUTO DE DESARROLLO REGIONAL (1997): Gua para la Evaluacin de Polticas Pblicas, Sevilla, y ECHEBARRA, C.: La Evaluacin de Polticas Pblicas, Departamento de Economa Aplicada V, Facultad de Ciencias Econmicas y Empresariales, Bilbao.

192

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

ces. En su aplicacin se parte primero de la distincin entre perodos de poltica activa y pasiva y, posteriormente, se crea una serie hipottica en la que se supone no hubo intervencin. En los perodos de poltica pasiva no debe haber diferencias entre las dos series por lo que la divergencia existente en el perodo de poltica activa sera el efecto atribuble al programa. Inconvenientes de la tcnica: Es un anlisis esttico que compara slo dos momentos. Se concentra en el impacto de una nica variable. Como los instrumentos del programa no estn explicitados en el modelo no se puede concluir ninguna indicacin real para la mejora de su eficacia a partir de los efectos estimados. Este mtodo fue usado para comparar los valores alcanzados por las variables econmicas en las zonas asistidas y no asistidas en el Reino Unido, durante perodos de poltica activa y en perodos de ausencia de medidas polticas. 2) Anlisis costo-beneficio

A juicio de algunos autores11 el anlisis costo-beneficio es la principal tcnica o conjunto de tcnicas para llevar a cabo un anlisis de evaluacin econmica. En este sentido, opinan que una valoracin econmica de cualquier medida de poltica debera, idealmente, contemplar un completo anlisis coste-beneficio sobre su conveniencia y una comparacin con otras opciones polticas. La funcin del anlisis costo beneficio (en adelante ACB) es evaluar la eficiencia de la intervencin del sector pblico; mide la consecucin de los objetivos propuestos en funcin de los costos comprobando si se han minimizado los recursos necesarios para proporcionar el nivel ptimo de bienes o servicios pblicos, o si se han maximizado los beneficios sociales que se pueden obtener dados unos recursos determinados. Su principal utilidad radica en que posibilita comparar distintos proyectos sobre la base de criterios comunes para evaluar costes y beneficios. Antes de aplicar el anlisis coste-beneficio a un programa pblico o alguna de sus actuaciones hay que asegurar la viabilidad de este tipo de estudios mediante el cumplimiento de ciertos requisitos que no tienen por qu cumplirse simultneamente. No obstante, como regla general, se establece que el ACB es viable en los casos en los que se deben tomar decisiones sobre asignacin de recursos y slo cuando los resultados de su aplicacin sean mayores a los costes en los que se incurre. 3) Alcance de metas predeterminadas

Un cuarto mtodo consiste en evaluar la poltica pblica en trminos del alcance con que cumple unos objetivos predeterminadas. De este modo, se miden las repercusiones producidas por un programa o medida de poltica concreta en contraste con sus objetivos. Sin embargo, este mtodo no est exento, asimismo, de limitaciones. Buena prueba de ello, es que en el caso de objetivos fijados, es siempre tentador para los polticos intentar garantizar el xito de sus programas reduciendo los objetivos de forma que stos sean fcilmente alcanzables. 4) Mtodos estadsticos y economtricos

Basados en el anlisis de varianza, anlisis de regresin, las tcnicas multivariantes y los modelos de control ptimo. El anlisis frontera es una de las tcnicas de anlisis ms utilizadas para medir el nivel de eficiencia de las intervenciones pblicas. Compara distintas unidades de gestin que desarrollan servicios anlogos, mostrando la eficiencia relativa de dichas unidades en relacin a la frontera eficiente sea en forma individual para cada unidad evaluada, o sea a travs de una medida del nivel medio de eficiencia. 5) La encuesta y la entrevista

El uso de los mtodos de encuesta y entrevista responden a la tcnica cualitativa por excelencia. Las entrevistas en profundidad, los cuestionarios y la observacin directa, proporcionan una oportunidad de
11

BALLART, Xavier (1992): Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y estudios de caso, Madrid, INAP .

193

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 conocer las causas y efectos de una poltica mejor que los mtodos que estn orientados al establecimiento de una relacin causal entre las variables, puesto que permiten extraer de la poblacin encuestada o entrevistada valoraciones cualitativas y cuantitativas de gran inters para el estudio que de otra forma no seran recogidas. Ahora bien, hay que tener extremo cuidado en el diseo del cuestionario de forma que ste no influya en las respuestas dando con ello lugar a conclusiones falsas y tampoco es conveniente renunciar al uso de tcnicas estadsticas que en numerosas ocasiones ayudan a clarificar los resultados. Finalmente, no hay que olvidar tampoco que las encuestas no estn libres de ofrecer opiniones subjetivas. 2.1.8. Limitaciones La complejidad que encierra todo proceso de evaluacin de programas y polticas pblicas es evidente y son considerables las dificultades que acarrea una completa consideracin de todos los efectos. En este sentido, es importante destacar algunos de los problemas principales que aparecen en todo estudio de evaluacin. En primer lugar, la disponibilidad de datos o informacin sobre el programa o poltica a analizar, puesto que no siempre se posee una base contrastable de informacin y en ocasiones esta tiende a ser excesivamente fragmentaria o puntual. En segundo lugar, hay muchas debilidades en la metodologa puesto que algunos de los mtodos presentan problemas de subjetividad y simpleza mientras que otros adolecen de excesivo rigor y escasa utilidad prctica. En este aspecto, hay una tendencia evidente a la reduccin de los estudios de evaluacin cuantitativos e igualmente un claro avance hacia estudios de tipo cualitativo aunque la prctica habitual est conduciendo a posiciones intermedias en las que predomina una combinacin de ambos mtodos de evaluacin Una tercera limitacin, es la que hace referencia al contexto macroeconmico en que se desarrolla la poltica o programa objeto de anlisis, a menudo ignorado en muchos estudios de evaluacin. La respuesta a la pregunta sobre cul es el resultado de un programa supone enfrentarse esencialmente con el problema de la atribucin. Para ello, hay que evaluar qu parte de las variaciones en las condiciones socioeconmicas de los ciudadanos que son el objetivo de un determinado programa se derivan, de forma efectiva, de las actuaciones realizadas dentro del mismo. Cuando sobre una misma realidad inciden mltiples variables de forma simultnea en el tiempo, es muy complejo y puede resultar artificial valorar el papel que cada una de ellas ha tenido sobre esa realidad. No toda variacin observada en el conjunto de variables socioeconmicas puede atribuirse a la actuacin pblica dada la fuerte influencia directa de factores y procesos externos ajenos al control pblico (como la globalizacin, el entorno econmico internacional, las actuaciones de los agentes privados, etc.). Un cuarto problema general que se plantea en torno a los anlisis de evaluacin es el del tiempo y recursos necesarios para llevarlos a cabo. Es desalentador el hecho de que una completa y precisa evaluacin del impacto conseguido por una determinada actuacin o programa requiere un tiempo y unos recursos muy considerables sin que adems haya certeza de llegar a resultados suficientemente significativos por lo que como siempre, no se debe perder de vista el costo y beneficio que reportan. Otro inconveniente, de tipo general en las evaluaciones, es la denominada pseudoevaluacion12 y constituye un verdadero peligro para la implantacin de una sana cultura evaluativa desde el mbito poltico. sta implica la utilidad que puede drseles a las evaluaciones por los polticos y gestores como elemento sistemtico de justificacin de decisiones ya adoptadas, mediante la realizacin de evaluaciones sesgadas, incorrectas o de baja calidad. En estos casos, la evaluacin pierde todo su potencial como instrumento de mejora de la eficiencia pblica para convertirse en un costoso, intil y desacreditado procedimiento formal condenado al fracaso y a ser abandonado. La forma de combatir estos riesgos es mediante un adecuado marco institucional, una tica de la evaluacin tanto en los organismos pblicos evaluados como en los agentes evaluadores, sean stos externos o internos. Es aqu donde juegan un papel destacado los rganos tradicionales de control de la actividad administrativa que deben velar por el cumplimiento de los requisitos y procedimientos que garanticen la mencionada tica evaluativa.
12 GARCS, M. (2008): De la auditora pblica a la evaluacin de polticas pblicas. Reflexiones prcticas en torno al nuevo marco de la auditora y de la evaluacin en el sector pblico espaol, Barcelona, Asociacin-Instituto de Auditores Pblicos de Espaa.

194

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

Estos son slo unos pocos de los problemas que se encuentran al proceder al estudio de la evaluacin de programas o polticas pblicas. El desafo consiste en la superacin de las limitaciones apuntadas que determinar, en principio, el mayor o menor xito de la evaluacin acomedida. 2.2. La eficacia, la eficiencia, la economa y la calidad 2.2.1. Los insumos y productos Ciertas nociones elementales que provienen del modelo de organizacin empresaria son extensibles a los organismos pblicos. As, en el sector pblico podemos construir una cadena de valor, que es una herramienta de anlisis del proceso productivo de la organizacin diseada por MICHAEL PORTER. sta, permite realizar un anlisis interno de la organizacin, a travs de la desagregacin de sus principales actividades generadoras de valor.
CADENA Objetivos
DE VALOR EN EL SECTOR PBLICO13

Cuadro 3

Instrumentos (inputs o recursos)

Productos (outputs)

Resultados (outcomes) Impactos

Procesos

En el sector pblico tendremos una serie de recursos inputs que tiene a disposicin la Administracin que son transformados mediante procesos internos o externos en productos o servicios pblicos outputs que, mediante su impacto sobre determinadas variables socioeconmicas de inters, generan un resultado final en la sociedad outcomes. Los insumos, entradas input o recursos es todo aquello que utiliza la organizacin para lograr el producto. Pueden ser los bienes, durables o no, materiales, financieros, humanos y de cualquier otro tipo, incluyendo el tiempo y tambin medios como la planificacin, el control, etc. Los insumos pueden cuantificarse tanto fsica como monetariamente, lo que nos permitir determinar los costos de cada uno (precio y amortizacin de edificios, muebles y mquinas, remuneraciones de los jueces, porcentaje del PBI dedicado a la justicia, sueldos de los empleados judiciales, etc.), cuya suma permite calcular un costo total del servicio. Los productos outputs son los resultados inmediatos generados por los insumos. Son cosas o acciones tangibles, mensurables como unidades fsicas y/o susceptibles de tener un valor expresado en dinero, son las unidades de bienes y servicios que provee una organizacin (por ejemplo: los decretos, autos y las sentencias dictadas en un Juzgado de Familia). Los resultados outcomes son los efectos de un proyecto, programa o medida en distintos beneficiarios, por ejemplo el porcentaje de reduccin de la criminalidad que hayan conseguido con el programa, aplicado al fuero penal. Esto exige comprobar si se verifica la teora o la relacin causal implcita. La verificacin se relaciona con la indagacin del impacto o los efectos sobrevinientes, que es posible percibir a travs de indicadores adecuados. Y los efectos pueden ser, adems, consecuencias no deseadas o inesperadas. 2.2.2. La eficacia, la eficiencia, la economa y la calidad Por eficacia se entiende a la capacidad de la entidad para lograr los objetivos preestablecidos, como puede ser el nivel de demanda satisfecho o el logro de las metas econmicas. La utilidad de medir la eficacia depende directamente de una apropiada planificacin de las metas materiales o fsicas. Si stas constituyen un objetivo significativo que plantea exigencias razonables al organismo, la medicin de la eficacia puede ser una herramienta gerencial til y relevante. No obstante lo anterior, los modernos sistemas de gestin pblica reclaman una mayor atencin hacia el eslabn final de la cadena de generacin de valor. En tal caso, estaramos ante otra dimensin de la eficacia y como resultado final (outcomes) se entender el efecto final o impacto que las acciones de una entidad tienen sobre la realidad en la que est interviniendo.
13

Elaboracin propia en base OSUNA y GARCS, M., op. cit.

195

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 El trmino eficiencia se refiere a la relacin existente entre los bienes y servicios consumidos (inputs) y los bienes o servicios producidos (outputs). Una actuacin eficiente sera aquella que trata de aprovechar lo mejor posible los recursos disponibles, es decir, que obtiene el mximo output para un conjunto dado de inputs, o que minimiza los inputs para una cantidad y calidad dada de output. A sensu contrario, ineficiente ser la produccin de excedentes o dficits de bienes o servicios, cuando un aumento de recursos no obtiene mayor produccin. Dicho de otro modo, eficiente es aquella accin o conjunto de acciones que con unos recursos determinados obtienen un resultado mximo que con unos recursos mnimos mantiene la calidad y cantidad de un servicio determinado. Las mediciones de productividad tambin enfocan los productos y se relacionan estrechamente con las mediciones de eficiencia gerencial. La medicin de productividad ms habitual relaciona un factor de insumo singular, el trabajo, con el producto, estableciendo por ejemplo cuntas horas-persona (o meses, das, etc.) insume fabricar una unidad o efectuar una tarea determinada. Algunas mediciones de eficiencia estudian todos los aspectos relacionados con la productividad de un sector, su evolucin, la escala en la que opera y los objetivos de reduccin de inputs o de aumento de outputs de cara a alcanzarla.14 El trmino economa se refiere a las condiciones en que una determinada entidad adquiere sus recursos financieros, humanos y materiales. Una operacin se califica de econmica si se adquieren los recursos ms adecuados (en cantidad y calidad) en el momento oportuno y al coste mnimo. La calidad implica cun oportunos y accesibles a los usuarios son los bienes y servicios entregados. Es una dimensin especfica del desempeo que se refiere a la capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus usuarios. Son extensiones de la calidad factores tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega de bienes y servicios, comodidad y cortesa en la atencin.15 Con los conceptos hasta aqu expresados, podemos comprender los distintos actores, acciones, evaluaciones y responsabilidades incluidas en el siguiente esquema16:

2.3. La eficiencia de la Justicia17 El concepto de eficiencia referido a una organizacin no es fcil de puntualizar y contina en constante evolucin. Como se dijo, este concepto proviene del sector privado, por lo que la dificultad para precisar14 15

SANTN, D. (2009): La Medicin de la Eficiencia en el Sector Pblico. Tcnicas Cuantitativas, IEF, Madrid.

BONNEFOY, J., y AMIJO, M. (2005): Indicadores de desempeo en el sector pblico, Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES), Santiago de Chile.

16 OSUNA, J. (2009): Introduccin a la Evaluacin de Polticas Pblicas, Curso de Evaluacin de Polticas Pblicas y Programas Presupuestarios, IEF, Madrid. 17 Este captulo est desarrollado en base al trabajo del FORO DE ESTUDIOS SOBRE LA ADMINISTRACIN DE JUSTICIA (en adelante FORES) (1998): Justicia & Desarrollo Econmico, Captulo 1: La Eficiencia de la Justicia, Buenos Aires.

196

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

lo se vuelve aun mas difcil cuando nos referimos a organizaciones que no tienen un propsito de lucro, mxime cuando los valores de bienes o servicios que se producen no estn en el mercado, como es el caso precisamente de la Justicia como institucin pblica o de orden pblico. Los criterios ideolgicos que pueden utilizarse para realizar una valoracin de la actuacin del Estado es la primera dificultad que se enfrenta cuando se quiere medir la eficiencia del Estado, ya que para evaluar si ste es eficiente la primera delimitacin es la de buscar cuales son los fines que justifican su existencia. No tendr la misma valoracin un liberal que un socialista, no obstante lo cual, hay campos en donde es posible conciliar posiciones diversas y buscar criterios objetivos para la medicin de eficiencia. Sin embargo, hay funciones que indudablemente corresponden al Estado cualquiera fuese la idea poltica que se tenga. Seguridad, Defensa y Justicia son objetivos mnimos que indudablemente son asignados al Estado y justifican su existencia. Limitada por bienes escasos, la Administracin Pblica y especficamente la Justicia, deben procurar satisfacer el bien comn con los recursos estrictamente necesarios para ello. El gasto innecesario implica que la sociedad est destinando al Poder Judicial fondos que podran ser utilizados en otras reas. Ms all de tratarse de conceptos diferentes, la eficiencia comprende o al menos presupone la eficacia. No podemos hablar de una ley eficiente si no es acatada y cumple su objetivo.18 El sistema jurdico no comprende solamente al Poder Judicial, sino que existen otras condiciones y mecanismos que pueden solucionar conflictos, tales como el mercado y los medios alternativos de resolucin de disputas. Estos elementos quedan fuera del aparato judicial pero integran el sistema jurdico de un pas y ser el marco de referencia para actuar judicialmente. En su totalidad, el sistema jurdico debe ser tenido en cuenta para tratar de definir la eficiencia del conjunto, sin embargo a los fines de este trabajo est centrado en la actividad jurisdiccional y se intentaran marcar los ndices que nos permitan verificar su eficiencia. Al igual que la produccin en la empresa privada, la del sector pblico puede ser considerada como un proceso en el que se combinan determinados inputs, como el trabajo de los funcionarios y el capital fsico, para obtener determinados outputs que pueden aproximarse a partir de indicadores como la tasa de mortalidad infantil, la tasa de alfabetizacin o la tasa de crmenes violentos, entre otros. En el caso de la Justicia, podemos considerar que los juzgados son unidades de produccin, cuyo producto principal puede ser medido a partir del nmero de resoluciones (para simplificar, digamos sentencias y autos) dictadas por ao; de esta manera, como en cualquier otro proceso productivo, la produccin de sentencias o autos requiere una combinacin de factores como trabajo (jueces, secretarios, oficiales, auxiliares y agentes), capital (edificios, despachos...) y tecnologa (ordenadores, aplicaciones informticas...).19 2.3.1. Eficiencia y sistema judicial La mayora de los autores al referirse al tema citan a PASTOR20 quien afirma que la eficiencia de la Administracin de Justicia se da en aquellas situaciones en que no es posible aumentar la tutela judicial de los derechos y dems productos de esta organizacin con los medios de que dispone o, alternativamente, aquella situacin en que no es posible reducir el coste de la Justicia sin afectar al nivel de tutela disponible, ya que el objetivo de la poltica judicial consistir en la maximizacin del acceso a la Justicia, dados unos recursos, o en la minimizacin de los costos sociales del proceso (derivados de errores judiciales y costos directos), dado un nivel de tutela judicial. Para el anlisis de eficiencia productiva, la teora econmica establece una distincin entre: eficiencia tcnica y eficiencia asignativa. Una unidad de produccin es tcnicamente eficiente cuando produce el nivel de output mximo posible a partir de una determinada combinacin de inputs, o lo que es lo mismo, es imposible reducir el volumen de algn input sin reducir el volumen de output. Por otro lado, una unidad de produccin es eficiente desde el punto de vista asignativo cuando se utiliza la combinacin de inputs de mnimo costo para producir un determinado nivel de output, de tal manera que un input no puede ser sustituido por otro sin aumentar el costo total.
18 19

GARAVANO, G. (1997): Justicia Argentina: Crisis y Soluciones, Universidad Carlos III, Departamento de Derecho y Economa, Madrid.

GARCA, M. A., y ROSALES, V. (2010): Justicia y Economa: Evaluando la Eficiencia Judicial en Andaluca, Revista para el anlisis del Derecho, InDret, (4/2010), 1-26.
20

PASTOR, S. (1993): Ah de la justicia!, poltica judicial y economa, Centro de Publicaciones del Ministerio de Justicia, Madrid.

197

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 2.3.2. Ineficiencias objetivas El Plan Nacional de Reforma Judicial del Ministerio de Justicia21 de la Nacin, siguiendo a PASTOR22, seala algunas situaciones calificadas como causas objetivas de ineficiencia. Esto implica que en caso de no verificarse permitiran afirmar la existencia de ineficiencia en el sistema23. 11. Sistema de sanciones y recompensas. 12.. Flexibilidad del sistema para brindar respuestas adecuadas a cada situacin tanto externa (proceso-rgimen procesal) como interna (relacin administrativa-rgimen orgnico). 13. Recepcin y subsanacin de quejas de los usuarios del sistema. 14. Intercambio de informacin constante entre las distintas unidades del sistema. 15. Competencia de las unidades entre si y del sistema frente a otras alternativas. 16. Aplicacin efectiva de sanciones por incumplimiento de responsabilidades, tanto a los infractores como a aquellos obligada a advertir o verificar el cumplimiento de la funcin pero lo omiten. 17. Actuacin de profesionales de gestin y capacitacin al personal ocupado en la parte administrativa. 18. Existencia de objetivos precisos en cada unidad y fijacin de programas que contemplen los medios necesarios para su cumplimiento. 19. Presupuesto de medios y control adecuado de su ejecucin. 10. Verificacin de un sistema adecuado de asistencia jurdica gratuita en todos los rdenes de acceso sin costo a la justicia para la gestin de bajos recursos. 11. Existencia de un sistema de informacin, que incluya indicadores de eficiencia y calidad adecuados para la evaluacin de los resultados. 2.3.3. Las caractersticas del producto judicial El producto judicial constituye todo aquello generado por el sistema judicial (Poder Judicial) en su funcin especfica jurisdiccional, o bien por cada una de las unidades que lo componen. En el caso de la provincia de Salta (Argentina), las unidades que lo componen seran los Juzgados, Cmaras y Corte de Justicia. El Poder Judicial de la provincia est compuesto por la Corte de Justicia, la Cmara de Apelacin en lo Civil y Comercial; la Cmara de Apelacin del Trabajo; la Cmara de Acusacin; las Cmaras del Crimen y los juzgados de primera instancia en lo Civil y Comercial; de Personas y Familia; de Minas y Comercial de Registro; de Concursos, Quiebras y Sociedades; en lo Civil y Comercial de Procesos Ejecutivos; del Trabajo; Correccionales y Garantas; de Instruccin Formal; de Detenidos y Garantas; de Ejecucin; de Menores y en lo Contencioso Administrativo. Cada una de ellas puede constituirse en unidades de anlisis en si mismas. Cada una de las unidades produce decisiones diferentes. No es lo mismo una sentencia que un decreto, que una elevacin a juicio, o que un auto de falta de mrito, etc. y todas importan, sin embargo, el final de la actuacin del rgano (unidad) que la dict. Por otra parte, dentro de cada especie puede haber errores que importen la anulacin por el superior, por lo que esas decisiones no deberan ser contabilizadas, al igual que las revocadas, pues tales fallos van en contra de la eficiencia del sistema. De igual modo, la complejidad del producto debe ser tenida en cuenta, pues de otra forma la medicin contendra distorsiones severas y determinara inequidades a la hora de sealar que unidades son eficientes
21

Se trata del diseo terico de un plan maestro para colaborar con los proyectos de reformas en materia de Justicia, tanto en el mbito nacional como provincial. PASTOR, S. (1993): Ah de la justicia!, poltica judicial y economa, Centro de Publicaciones del Ministerio de Justicia, Madrid.

22 23

PASTOR, S.: Ah de la justicia..., op. cit., sostuvo que: las mejoras de la eficiencia en la administracin de justicia pueden conseguirse a travs de diversas medidas que, actuando sobre el entorno de incentivos que subyace en las mencionadas causas de ineficiencia, consigan aumentar la cantidad o calidad de la oferta por unidad de input (personal) o disminuir los costes por unidad de ouput (asuntos resueltos o sentencias). A ttulo ilustrativo mencionamos aqu la reforma de la oficina judicial, la adopcin de sistemas retributivos, de condiciones de trabajo y promocin ms flexibles, un mayor eco e importancia a los canales de queja social, la potenciacin de mecanismos alternativos (que suponen competencia para la adjudicacin judicial), la acogida de las acciones de grupo y colectivas, la aplicacin efectiva del sistema sancionador, la incorporacin de profesionales de la gestin (administradores judiciales y otros), la adopcin de marcos de gestin ms flexibles, con un mayor peso relativo del control sobre el resultado y menor formalismo previo, la fijacin de objetivos precisos de cada organizacin, y el estricto cumplimiento de la obligada dacin de cuentas a la sociedad, lo cual requiere disponer de un adecuado sistema de informacin y de unos indicadores de actuacin apropiados para realizar la evaluacin de los resultados.

198

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

y cules no, aqu radica la cuestin. Por lo tanto, el concepto de eficiencia debe comprender el de de calidad, y en definitiva, debemos aceptar que el criterio se vuelve ms general o amplio, porque ya se incluyen otras dimensiones. De este modo, en el caso judicial el concepto de eficiencia y sus indicadores deben ser completados con otros que nos indiquen las cualidades del producto judicial. Esas caractersticas del producto y del sistema en que se dicta, imponen restricciones para la medicin de la eficiencia, en donde el anlisis del problema no puede enfocarse exclusivamente desde el campo de la economa, ya que es incapaz por si sola de abarcar todos los aspectos del problema del Servicio de Justicia. Debe cuidarse de no caer en este extremo, ya que esta ciencia nos puede dar elementos importantes que giran fundamentalmente en la relacin costo/beneficio, lo cual se encuentra su esencia ya que estudia precisamente la adaptacin de los medios escasos a las mltiples necesidades, pero es incapaz de abarcar todos los aspectos de la justicia.24 En este aspecto se tornan sumamente importantes los recursos humanos que se apliquen a la auditora de gestin u operacional. Deber cuidarse que los equipos estn integrados por auditores con conocimientos interdisciplinarios, para que sus especialidades y oportunidades de accin se correlacionen con las necesidades del ente en donde se est llevando a cabo el control. 2.4. Gestin por objetivos de las polticas publicas25 La teora neoclsica fue desplazando progresivamente la atencin puesta en las llamadas actividadesmedio hacia los objetivos de la organizacin. Los enfoques que se basaban en el proceso y los medios fueron sustituidos por un enfoque centrado en los resultados (fines) por lo que la preocupacin acerca de cmo administrar pas a ser preocupacin de por qu o para qu administrar. Actualmente, la direccin por objetivos puede definirse como un proceso administrativo por medio del cual el jefe y el subordinado, parten de una definicin clara de las metas y prioridades de la organizacin establecidas en grupo por la alta administracin, identifican en conjunto los resultados claves que estn dispuestos a alcanzar as como los correspondientes indicadores de xito, acuerdan una estrategia para alcanzar esos resultados, trabajan tratando de lograrlos, se da seguimiento a los esfuerzos y los resultados alcanzados y se evala el rendimiento del personal de direccin en funcin de los mismos. 2.4.1. Sistema de planificacin En esta lnea, cualquier sistema de gestin pblico o privado que haya de orientarse a la gestin por objetivos, y por lo tanto a la gestin en funcin de los resultados a obtener, se basa en un sistema de planificacin, tanto desde el punto de vista estratgico (un gobierno, una administracin, una entidad pblica concreta), como desde nivel mas micro de planificacin por departamentos o unidades de accin. Dentro de las funciones de la administracin en el mbito pblico, la planificacin es la primera en el tiempo y adems prioritaria, ya que determinar el curso de accin posterior a seguir. El proceso planificador comprender un anlisis metdico y una eleccin racional de los objetivos y metas que intenta alcanzar, as como una seleccin de programas y de lneas alternativas de actuacin, con un horizonte temporal determinado. Dentro de los objetivos del sistema presupuestario es menester considerar: Un cmulo de previsiones de calidad para la toma de decisiones. Asignar los recursos pblicos de manera eficaz y eficiente de acuerdo con las prioridades estratgicas. Instrumento eficaz para el control agregado del gasto pblico, la rendicin de cuentas y la exigencia de responsabilidades. La distincin bsica que suelen realizar en materia de planificacin y en funcin del esquema de niveles de la planificacin de las organizaciones, es la que define la planificacin estratgica y la planificacin operativa. La primera: se dirige a los resultados globales a largo plazo de la organizacin, mientras que la segunda: est enfocada ms a los resultados operativos que deben producirse en las distintas unidades para que se obtengan los resultados globales, y suelen ser a corto plazo.
24 25

FORES (1998): Justicia & Desarrollo Econmico, Captulo 1: La Eficiencia de la Justicia, Buenos Aires.

BALBS, C., y TAMARIT DE CASTO, C. (2010): Planificacin estratgica e indicadores de Gestin. Sistemas de informacin para la direccin y Evaluacin de polticas pblicas, IEF-Centro de Educacin a Distancia para el Desarrollo Econmico y Tecnolgico (en adelante CEDDET), Madrid.

199

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Los objetivos operativos o funcionales, por tanto, deben ayudar a los objetivos estratgicos o generales y ambos deben converger hacia la misin de la organizacin, que representa y define todo lo que es fundamental, constante e inalterable para ella. A efectos de planificacin en una Administracin Financiera, consideraremos los Planes Estratgicos con una duracin de tres o cuatro aos, y a los planes operativos con una duracin de un ao (en concordancia con el presupuesto anual). Es importante sealar que un plan, es decir, el resultado de un proceso de planeamiento, no es esttico, sino que se debe ir flexibilizando y actualizando segn vayan cambiando las circunstancias internas y externas. La Planificacin Estratgica pretende, mediante un anlisis sistemtico de la situacin de la organizacin y su entorno, replantear la trayectoria de la organizacin, concentrar los recursos en las actividades ms rentables, calcular los riesgos entre varias alternativas y preparar planes de accin. A modo de resumen, los pasos a seguir en la preparacin del Planeamiento Estratgica de una organizacin seran los siguientes: Redactar una declaracin de misin de la organizacin (si ya existe, verificar si se puede mejorar). Identificar las oportunidades y amenazas externas (anlisis externo). Identificar fortalezas y debilidades internas (anlisis interno). Formular estrategias y fijar objetivos. Fijar metas y polticas. Asignar recursos (presupuestos anuales). Los Planes operativos son la unin directa entre las metas a largo plazo, establecida en el plan estratgico, y las fijadas en el presupuesto que constituyen la referencia para medir el grado de ejecucin anual. El contenido bsico del plan operativo, en general, es el siguiente: Los objetivos operativos para definir el nivel de ejecucin a alcanzar por la actividad del programa. Descripcin de cmo las metas anuales u objetivos operativos se relacionan con las metas generales del plan estratgico Los indicadores a utilizar en la medida o en la valoracin de los productos resultantes, niveles de servicios y resultados de cada actividad del programa. Las bases para comparar los resultados alcanzados por el programa con las metas de ejecucin establecidas. Los mtodos de verificacin y validacin de las medidas obtenidas. Los objetivos operativos deben ser tan especficos como sea posible, viables, y han de expresarse de una manera clara, concisa y medible, de modo que sea posible determinar el grado en que se estn alcanzando. Por ltimo, los objetivos operativos deben ser consecuentes con los recursos aprobados en el presupuesto, de forma que si se aprueban modificaciones presupuestarias o reasignaciones de recursos se debe proceder a ajustar el plan anual originario. 2.4.2. Plan Estratgico 2007-2011 del Poder Judicial de Salta La Corte de Justicia de la Provincia emiti el 28/12/06 la Acordada 9.701 que contiene la segunda fase del Plan Estratgico del Poder Judicial de Salta, diseado para el quinquenio 2007-2011, cuya primera fase se haba lanzado en abril del ao 2000. En aquella oportunidad la Corte haba dictado, por primera vez, un instrumento programtico sobre la base de la misin y funciones del Poder Judicial definidas en las normas constitucionales y legales, con una proyeccin de seis a ocho aos. El 12/4/2000 la Corte de Justicia de la provincia de Salta dict la Acordada nmero 8.473 que constituye la primera expresin de un instrumento programtico sobre la base de la misin y funciones del Poder Judicial definidas en las normas constitucionales y legales, con una proyeccin de seis a ocho aos. La Acordada nmero 9.701 de aquel alto tribunal, contiene la segunda fase del Plan Estratgico del Poder Judicial de Salta, diseado para el quinquenio 2007-2011. En esta etapa, la Corte de Justicia mantiene para el perodo 2007-2011 el mismo enfoque de la primera en cuanto a eficiencia, eficacia y seguridad jurdica, en un marco de ejercicio de su jurisdiccin que es independiente de cualquier injerencia externa. Enfatiza

200

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

la necesidad de preservar la tica en la administracin de justicia, los derechos humanos de justiciables y operadores del sistema y, sobre todo, el compromiso del Poder Judicial con la sociedad. El nuevo Plan expresa que se trata de abandonar una concepcin institucional que fija sus objetivos de crecimiento y mejora a partir de lo vigente, para reemplazarla por otra que fije sus objetivos tratando de cerrar la brecha existente entre la demanda de la sociedad y el servicio que realmente presta la justicia. No obstante el avance en la utilizacin de instrumentos estratgicos tendientes al desarrollo de un sistema basado la administracin por objetivos, como lo son los Planes Estratgicos I y II del Poder Judicial de Salta, estos aun adolecen de serias falencias para considerarlos eficaces. Principalmente algunas de las deficiencias de los objetivos y estrategias son: No son concretos, ya que no se encuentran definidos de forma adecuada para verificar su nivel de realizacin, ni se dispone de un conjunto de indicadores asociados aptos para el control. La observacin, no significa incurrir en exceso de casustica, sino que requiere ms nitidez en el perfil que los enuncia. No se identificaron responsables encargados de su consecucin, ni existe un procedimiento de rendicin de cuentas en relacin al resultado del objetivo, que permita ser valorado por la propia Corte de Justicia en su carcter de mxima autoridad judicial provincial. Lo recomendable es que, para reducir la incertidumbre en el financiamiento, las autoridades diseen planes estratgicos y acuerden su financiamiento por perodos de por lo menos dos aos. Tambin sera recomendable para la presentacin anual del presupuesto al Poder Legislativo, que se incluya una explicacin o motivacin de los requerimientos de financiamiento para el plan de reforma hasta la conclusin del mismo. Estas medidas daran cierto nivel de seguridad al Poder Judicial en la ejecucin de sus planes de reforma. 2.4.3. Sistemas de objetivos Una adecuada planificacin consiste en establecer un sistema de objetivos que permitan el seguimiento y la evaluacin sobre su grado de cumplimiento (resultados), y dicho seguimiento y valoracin no podr hacerse sino mediante un conjunto de indicadores asociados a los objetivos en sus distintos niveles de desarrollo. Dentro del concepto genrico de objetivo es necesario diferenciar entre diversos tipos, en funcin de su horizonte temporal y grado de concrecin. As, dentro de la planificacin estratgica por objetivos, se deben distinguir tres niveles bsicos de metas a alcanzar aplicables a cualquier organizacin pblica, como son: Misin.Propsito ltimo de un organizacin, por lo que tiene carcter de permanencia, y se le sita en un horizonte temporal de largo plazo. Objetivos estratgicos.Aquellos que desarrollan y concretan el contenido de la misin, identificando los resultados que la entidad pretende alcanzar a medio plazo, debiendo expresarse, en la medida de lo posible, de manera cuantitativa. Objetivos operativos.Constituyen la concrecin anual de los objetivos estratgicos, es decir, el nivel concreto de resultado fijado para alcanzar en el plazo de un ejercicio. Los objetivos son la proyeccin de los resultados que la organizacin pretende conseguir en un lapso determinado, constituyndose en el elemento esencial de los programas: identifican los resultados deseados, orientan la asignacin de recursos y guan la gestin. No deben confundirse nunca con las actividades, mientras que los objetivos se identifican con los efectos esperados, las actividades son la actuacin a desarrollar para su consecucin. La elaboracin de objetivos en el mbito pblico no est exenta de complejidades, por un lado, debido a que a diferencia del sector privado, en el mbito pblico no se persigue un beneficio o lucro, y por otro lado, porque una misma situacin puede ser abordada de maneras diferentes de acuerdo a la percepcin que se tenga del problema y de las soluciones a aplicar. Estas dificultades reclaman de los objetivos un conjunto de caractersticas, tanto individuales como de conjunto, para que puedan servir de elemento de referencia en la gestin y asignacin de recursos, as como para permitir valorar los resultados alcanzados. Seguidamente se describen las caractersticas individuales y de conjunto de los objetivos.26
26 INTERVENCIN GENERAL DEL ESTADO (en adelante IGAE) (1997): El establecimiento de objetivos y la medicin de resultados en el mbito pblico, Madrid, IGAE.

201

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Caractersticas individuales: Adecuacin a la realidad: El objetivo debe adaptarse a la normativa aplicable y a la actividad desarrollada por el gestor. Lo que implica que cada uno de los objetivos est vinculado con la normativa aplicable, y simultneamente, las actividades desarrolladas por el gestor se deben corresponder con los objetivos establecidos. Claridad: El objetivo debe definirse con un lenguaje claro y simple, que facilite su lectura, comprensin y asuncin. Viabilidad: Todo objetivo debe ser viable, es decir, posible de realizar, de lo contrario no sera un elemento de referencia para la gestin. A su vez, debe ser ambicioso, no fijarse por debajo de la capacidad disponible de la organizacin que conduzca a la ineficiencia del uso de los recursos. Flexibilidad: La planificacin estratgica tiene un carcter dinmico, es decir, que los objetivos sean susceptibles de modificacin cuando las circunstancias del entorno o de la organizacin as lo aconsejen. De ah la necesidad de procedimientos flexibles que faciliten su revisin peridica. Concrecin: Los objetivos deben definirse en trminos lo suficientemente precisos para lograr y graduar su nivel de realizacin en el plazo de cumplimiento previsto. La concrecin del objetivo puede realizarse de forma directa: mediante una cuantificacin del mismo, o bien de forma indirecta, mediante la asociacin al objetivo de un conjunto de indicadores. (Ej.: Lograr reducir la duracin media de juicios civiles un 10 por 100.) La duracin media se calcular como el promedio de das de duracin de juicios. Responsabilidad: Cada objetivo, con independencia del nivel en que se encuadre, requiere la identificacin del responsable encargado de su consecucin. Especificidad: Los objetivos asignados deben ser exclusivos, se deben evitar duplicidades. No deben existir alternativas o diferentes organizaciones encargadas de la obtencin del mismo objetivo mbito: El objetivo debe definir su mbito subjetivo, temporal y territorial al que se dirige. Los objetivos deben formar un conjunto integrado o sistema, guardando entre ellos las relaciones adecuadas para aumentar su efectividad y evitar duplicidades en los esfuerzos e interferencias entre los distintos sectores de actividades. El anlisis del sistema deber efectuarse en los diferentes niveles de objetivos considerados, abarcando al sistema de objetivos estratgicos, operativos y, en su caso, a los subobjetivos en que puedan desagregarse. Caractersticas del sistema de objetivos: Adecuada estructuracin Debe existir una adecuada vertebracin entre misin, objetivos estratgicos, operativos, y, en su caso, subobjetivos. Generalizacin en la organizacin: Los diferentes niveles de la organizacin deben conocer la misin y el conjunto de objetivos estratgicos y operativos en que sta se concreta, as como su participacin prevista en la gestin de los mismos. Es necesario que lo anterior est documentado Unidad: Dentro de un mismo nivel de objetivos y en relacin a un mismo perodo de tiempo, el conjunto de objetivos considerado debe presentar singular formulacin a efectos de presupuestacin, gestin y seguimiento. Suficiencia: Todas las actividades, proyectos o tareas que se desarrollan deben identificarse con uno o varios objetivos, sin que quede ninguna actividad al margen de la estructura de objetivos. No redundancia: No deben producirse solapamientos entre los distintos objetivos. Un mismo resultado no debe ser cubierto simultneamente por ms de un objetivo. No contradiccin: Los resultados de los distintos objetivos no deben anularse entre s, sin perjuicio de que existan condicionamientos entre ellos. Prioridad: Los objetivos deben priorizarse para que sean tenidos en cuenta en la toma de decisiones. 2.4.4. Los indicadores Parece adecuado el comentario que sostienen en la obra Cifrar y descifrar27 respecto a la sensacin que uno tiene cuando aborda el tema de los indicadores, parece que prcticamente todo est dicho, y ocurre a
27 PASTOR, S. (2005): Cifrar y descifrar, vol. II, Indicadores Judiciales para las Amricas, Centro de Estudios de Justicia de las Amricas (en adelante CEJA), Madrid.

202

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

menudo que su lectura muestra recomposiciones que unos hacen de otros acerca de la misma sustancia, sin un mnimo apenas de valor aadido. Se tratar de superar esa sensacin, sobre todo dirigiendo el desarrollo al mbito del Poder Judicial de la provincia de Salta (Argentina), que no cuenta con un sistema de indicadores para medir el desempeo. Poca gente aunque todava hay sostiene ya que la justicia no es un servicio pblico y que como tal, tambin su papel ha de ser evaluado. En este proceso, los sistemas de informacin y, en particular, los indicadores han ido adquiriendo importancia creciente. Sin embargo, ste es todava un papel ms doctrinario que prctico; son pocos los sistemas judiciales que se evalan interna o externamente con arreglo al men de indicadores sobre cuya utilidad existe un amplio consenso. En efecto, contar con una batera de indicadores de desempeo vinculados a la gestin estratgica de las instituciones, apoya la toma de decisiones de los directivos sobre bases ms ciertas, permite mejorar el desempeo y formular el presupuesto sobre criterios ms racionales, ello, por posibilitar la rendicin de cuentas a los diferentes grupos de inters. La utilidad de contar con indicadores de desempeo para los gobiernos es indiscutible. No obstante, su incorporacin eficaz en el mbito pblico conlleva una serie de desafos que es preciso tener en cuenta tanto en la fase de diseo como en la de implementacin. Una aproximacin a la definicin de indicador la tomaremos de la documentacin elaborada al respecto por la Intervencin General de la Administracin del Estado de Espaa (IGAE)28. La definicin establece que un indicador es un instrumento de medicin elegido como variable relevante. Se habla de un instrumento de medicin, es decir, no hace referencia a un concepto cualquiera, sino a un factor mensurable, e, implcitamente, a un factor que pueda ser objeto de comparacin. Esta cualidad de medible, no implica que no puedan existir aspectos cualitativos. Aspectos relativos a la calidad son considerados como indicadores de tipo cualitativo, si bien, aun en esos casos, para hablar de indicadores como herramienta de planificacin estratgica, siempre debe existir un factor de medicin, explicito o implcito en ese clculo de factores cualitativos. Por lo tanto, lo que no se pueda medir, sea directamente, o sea indirectamente, no ser un indicador desde el punto de vista de estos principios. El trmino elegido hace referencia a la posibilidad de que existan diversas opciones para determinar de un indicador en relacin con lo que se quiere medir, y adems, pueden existir diversas maneras de medir un mismo hecho, distintos enfoques que permitan diversos acercamientos a la realidad. Ante esto, se har preciso emitir los correspondientes juicios de valor con el objetivo de determinar cual o cuales de esas posibilidades son las relevantes en cada caso. Debe tenerse en cuenta, que en la mayora de los casos, y sobre todo en el mbito de la administracin de justicia, no bastara con un solo indicador, sino que ser necesario definir un conjunto de ellos para ofrecer una visin total y no sesgada del objeto de medicin. Una buena prctica es que toda informacin cuantitativa debe acompaarse de la correspondiente informacin cualitativa que permita a los diferentes grupos de usuarios su correcta comprensin y la consecuente toma de decisiones. El tercer componente de la definicin habla de variable relevante. Relevante, desde el punto de vista contable, haciendo referencia a su importancia desde una perspectiva tanto cualitativa como cuantitativa y temporal. Desde una perspectiva cuantitativa, como factor significativo que guarda el suficiente grado de inmediatez con la realidad que se trata de evaluar. Cualitativamente, en funcin de la importancia relativa que su medicin representa respecto de otros posibles indicadores referentes a la realidad en estudio. Temporal, en el sentido de que para un momento o intervalo el indicador elegido es significativo en relacin con otros posibles y presenta un grado de conexin suficiente con el hecho que referencia. Bsicamente, la finalidad de los indicadores es proveer informacin sobre reas fundamentales de la accin de los entes pblicos tales como la eficiencia, eficacia, calidad, y economa de los recursos, aportan al logro de un mejoramiento de la gestin y a una mayor transparencia de la accin pblica. En esto es fundamental la referencia del indicador a un tiempo determinado. 2.4.5. Tipos de indicadores En este apartado no trataremos los indicadores de tipo estadstico o elaborados por mtodos economtricos que se utilizan en anlisis de eficiencia de tipo genrico (por lo general en el mundo acadmico), pues28

IGAE (1997): El establecimiento de objetivos y la medicin de resultados en el mbito pblico, Madrid, IGAE.

203

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 to que el objeto de este trabajo es la auditora pblica especfica y directa aplicada a un mbito propio y concreto: la eficiencia del Poder Judicial de la provincia de Salta. El uso de indicadores como instrumentos de apoyo a la actividad planificadora y gerencial conforma un corpus doctrinal ya bastante amplio, con tcnicas muy elaboradas, entre las que destaca la que actualmente es objeto de mayor atencin: el Balanced Score Card (Cuadro de Mando Integral). Los indicadores ms comnmente utilizados son los siguientes: Indicadores de producto o de output: proporcionan informacin sobre los bienes producidos y servicios prestados, con lo que permiten medir el nivel o el grado de realizacin alcanzado. El problema est en que no es fcil encontrar una medida nica de logros en las entidades pblicas, pues sus metas son ms difciles de concretar y medir, y, de hecho, a pesar de la importancia de tener buenas medidas de output para el control de gestin, las administraciones pblicas suelen carecer de ellas, por ejemplo, cuntas sentencias dictan los juzgados comerciales o mercantiles. Una vez evaluado el output, podemos compararlo con los objetivos preestablecidos y analizar el grado de eficacia en su cumplimiento, y tambin relacionarlo con los inputs para determinar la eficiencia. Indicadores de impacto deseado o de outcomes: miden el impacto social de un programa o servicio pblico, en trminos no monetarios. Tambin se conocen como indicadores de eficacia social, ya que miden logros en el cumplimiento de objetivos pblicos, as como la percepcin que tienen los ciudadanos de las mejoras en su calidad de vida, tras la implantacin de un programa. Esto determina el modo de obtencin de estos indicadores, ya que se obtienen de los resultados de estadsticas o encuestas que reflejan el incremento en el bienestar social y la satisfaccin personal de los ciudadanos, en trminos, por ejemplo, del porcentaje de reduccin de la criminalidad que hayan conseguido. Estos indicadores son especialmente tiles para realizar comparaciones interanuales, o con respecto a los obtenidos de otros organismos pblicos similares. A su vez, se ven influenciados por factores externos que pueden incidir en el resultado o por actuaciones realizadas en ejecucin de otro programa. As, el programa de reduccin de criminalidad puede verse afectado por factores externos como desastres naturales, o desocupacin, analfabetismo, hambre, etc. Indicadores de eficiencia: miden la produccin de la mxima cantidad de outputs (productos) para un conjunto dado de recursos o el uso de mnima cantidad de recursos para la provisin de servicios en cantidad y calidad requerida. Un indicador clsico de eficiencia es el costo unitario de produccin o costo promedio, el cual relaciona la productividad fsica y el costo de los factores e insumos utilizados en la generacin de un bien o servicio. En el mbito de las instituciones pblicas existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad fsica, relacionando nivel de actividad, expresado por ejemplo como nmero de sentencias o resoluciones de un juzgado y nivel de recursos utilizados (gasto en bienes y servicios, dotacin de personal, horas extraordinarias, etc.). Otro grupo importante de indicadores de eficiencia son los orientados a medir la productividad media de los factores: cuantas unidades de producto se obtienen en promedio por cada unidad de factor. Una vez determinado el valor del indicador de eficiencia, ya sea de producto medio o costo medio, es necesario aplicar un anlisis respecto de los resultados logrados. La idea es detectar cuales son los factores ineficientes que pueden estar generando un valor de indicador que escape a la media de los estndares comparativos, o de las metas que estime razonables de ser obtenidas. Verbigracia: en un juzgado se dictan 170 sentencias por ao y en otro la exigua cifra de 20. Estos factores generadores de ineficiencias pueden ser el personal no idneo en la tarea especfica, o sin capacitacin suficiente que retarda el tiempo de respuesta de un proceso, o la dotacin excesiva de personal en la tarea que hace por ejemplo que el promedio de sentencias por juez sea ms bajo que los estndares aconsejados.29 2.4.6. Especial referencia a los indicadores de eficiencia en la auditora pblica30 Teniendo en cuenta el objetivo de este trabajo se har especial referencia a aspectos puramente prcticos referidos a los indicadores de eficiencia, como instrumento de apoyo al ejercicio de la auditora,
29 30

BONNEFOY, J., y AMIJO, M. (2005): Indicadores de desempeo en el sector pblico, ILPES, Santiago de Chile.

RUBIO DELGADO, F. (2008): Fiscalizacin Operativa: El anlisis de eficiencia y el anlisis de economa, CEDDET-Tribunal de Cuentas de Espaa, Madrid.

204

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

y ms en concreto del anlisis de eficiencia, en donde el uso de indicadores resulta tambin enormemente til. En primer lugar, podemos clasificar a los indicadores en dos categoras: indicadores expresados en trminos absolutos e indicadores expresados en trminos relativos. En el control de eficiencia no nos encontraremos habitualmente con indicadores expresados en trminos absolutos, dada la propia naturaleza de este tipo de anlisis; por lo que se utilizarn indicadores en trminos relativos. Al contrario, en el control de eficacia, s se encuentran indicadores en trminos absolutos con frecuencia. Por lo general estos indicadores deben ponerse luego en relacin con los objetivos planificados, al objeto de calcular el grado o porcentaje de ejecucin o cumplimiento. Una segunda forma de clasificar los indicadores que nos interesan en la auditora de eficiencia, podra ser por su origen o autora. Tendramos as indicadores elaborados por los responsables de la entidad auditada (que, previsiblemente, les habrn servido de apoyo en su gestin), indicadores de uso general (o, al menos, habitual) en el sector de actividad correspondiente e indicadores elaborados por el propio auditor. Cada uno de estos indicadores puede tener un importante papel en la auditora: Los elaborados por el rgano gestor sern, si existen, los que preferimos en primer lugar para el anlisis, ya que habr que presumir que reflejan mejor que otros las verdaderas variables que se tienen en cuenta en la gestin de la entidad. Ahora bien, el auditor debe validar dicha presuncin, analizando debidamente las bases conceptuales en que se fundamentan dichos indicadores y la adaptacin a la realidad de los supuestos implcitos en los mismos (sobre los procedimientos y factores productivos, entorno legal e institucional, condicionamientos internos y externos, etc.). Los de uso general en el sector de actividad en el que sita la entidad fiscalizada pueden ser de mucha utilidad. Algunos de ellos estn generalmente aceptados para la interpretacin analtica de la solvencia o situacin de los integrantes de un tipo de negocio determinado, como sera el caso, por ejemplo, de numerosas ratios que son la base de comparacin de empresas de seguros, bancos, etc. Otros, han sido elaborados doctrinalmente o son habitualmente utilizados en memorias de gestin y presentacin pblica de resultados. Algunos de ellos, si resultan aplicables por identidad y homogeneidad, nos pueden servir para comparar los datos de la organizacin que auditamos y tener un marco de referencia sectorial muy interesante. Los que manejaremos con mayor asiduidad, sin embargo, sern sin duda los que tendremos que definir y elaborar nosotros mismos, bien porque no existan otros o como simple complemento. En tercer lugar, podramos clasificar los indicadores por la finalidad del anlisis al que se destinan. Tendramos as, aprovechables para la auditora, indicadores de tipo financiero, de eficacia, de eficiencia y de economa; si bien no debemos pensar en trminos excluyentes, tratando de concretar indicadores especficos e impermeables de cada uno de estos enfoques analticos, puesto que un indicador, como ya se ha mencionado, es nicamente una unidad de medida y, como tal, puede aplicarse a diversos objetos y fines. La diferenciacin de los indicadores, por tanto, proceder ms de la finalidad que se persiga que de su propia naturaleza. El rol de los departamentos de control y auditora, sin perjuicio de la funcin primordial de fiscalizacin para prevenir fraudes, tiende a incorporar pautas ms amplias de evaluacin y se plantea actualmente como un servicio de apoyo a los organismos, para organizar el aprendizaje, asesorar en la bsqueda de mejoras, ayudar a los gerentes pblicos a enunciar los resultados esperados y disear indicadores apropiados, asistirlos con un criterio de prevencin y sugerir alternativas de accin. 2.4.7. Caractersticas individuales de los indicadores e integracin sistemtica Seguidamente se exponen las caractersticas o requisitos de validez que debe presentar un indicador para su aceptacin. Llegados a este punto, sabemos que el anlisis de eficiencia que vayamos a realizar incluye irremediablemente el manejo de indicadores. Si ya existen, tendremos que validarlos y, si no, elaborarlos por nosotros mismos. Adecuada relacin con el objetivo: El indicador debe estar directamente relacionado con la cualidad del objetivo eficacia, eficiencia, economa, calidad u otras que pretende medir y, preferiblemente, slo a una de ellas. La informacin aportada en cualquier caso debe ser significativa de la cualidad considerada. Relacin con las actividades del ejercicio: El valor del resultado alcanzado durante un determinado perodo, expresado a travs del correspondiente indicador, debe ser consecuencia de las actividades realizadas durante ese mismo lapso.

205

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Claridad: El indicador debe estar definido mediante la utilizacin de un lenguaje tan claro y simple como la materia que representa lo permita, de modo que se facilite su lectura y compresin. Medible: Debe determinar el valor para el mbito subjetivo, temporal y territorial de referencia, lo que requiere que se cumplan las siguientes caractersticas: Factible: definido de forma que sea posible obtener datos sobre el mismo. Costo aceptable: el procedimiento de obtencin de datos y el mtodo de medida de los mismos debe ser lo ms sencillo posible. Criterios de cmputo: cada indicador debe llevar asociada una clara definicin de los criterios aplicables para la determinacin de su valor. Fiable: Un indicador es fiable cuando la probabilidad de que su valor razonablemente se corresponda con la realidad es elevada. Oportuno: La informacin que suministra el indicador ha de estar disponible en funcin de las necesidades del proceso de toma de decisiones. Comparable: El valor obtenido para el indicador debe ser, en la medida de lo posible, comparable en el tiempo y/o en el espacio, ya sea dentro del mismo rgano gestor en distintos momentos, o bien entre organismos con funciones similares. Los indicadores diseados en relacin a un determinado objetivo no pueden considerarse en forma aislada, sino que deben formar un conjunto integrado o sistema de indicadores, guardando entre ellos las relaciones lgicas y adecuadas para aumentar su efectividad. Las caractersticas del sistema son las que se describen a continuacin. Completo: El sistema ser completo si la totalidad de los aspectos relevantes del objetivo estn reflejados por el conjunto de indicadores, debiendo especificar cada uno de ellos del grado de informacin que contiene sobre el resultado. Configurado con indicadores independientes: La informacin de cada indicador debe ser diferente, es decir, deben ser independientes, no siendo admisible, dentro de un mismo tipo, la existencia de indicadores obtenidos a partir de los datos contenidos en los restantes. Es aconsejable que no se produzcan solapamientos entre los indicadores, que no se produzcan duplicidades entre la informacin proporcionada por stos. Adecuada estructuracin: Los indicadores asociados a un objetivo deben estar adecuadamente estructurados, con el objeto de permitir el anlisis del resultado obtenido en relacin con los aspectos del mismo que se consideren relevantes (eficacia, eficiencia, economa, calidad...). 2.4.8. Sistema de seguimiento El carcter dinmico que supone una gestin pblica orientada a los resultados propuestos, requiere establecer algn tipo de mecanismo de control de la ejecucin realizada y los efectos surtidos, con el fin de utilizar la informacin que proporcione en un proceso de feed-back o realimentacin que permita mejorar las decisiones futuras e introducir las correcciones precisas. La aplicacin de este sistema requiere disponer de una estructura definida de objetivos e indicadores, realizando un seguimiento efectivo de actividades, haciendo posible la deteccin en tiempo oportuno de las desviaciones producidas. Los programas presupuestarios, tanto desde su perspectiva esttica (previa, en un momento determinado o como resultado final) como desde un punto de vista dinmico, deben ser un referente fundamental en toda organizacin para la correcta evaluacin de su gestin tanto en un anlisis a corto plazo como desde una perspectiva estratgica. Este sistema de control, deber informar no solo sobre los resultados que se han conseguido, sino tambin sobre las desviaciones observadas para un determinado perodo, las posibles perturbaciones y variaciones no previstas que puedan afectar al adecuado funcionamiento de la organizacin. El sistema implantado debe ser preventivo, detector y corrector. Es decir, debe actuar lo antes posible en el proceso de gestin, identificando las desviaciones producidas, reduciendo su incidencia en el resultado y, finalmente, asegurando que son adoptadas las medidas correctoras necesarias. El sistema de seguimiento de objetivos, en las administraciones pblicas dotadas con una presupuestacin por programas, normalmente se estructura en dos niveles:

206

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

1.er nivel.Sistema de seguimiento de programas o planes de actuacin establecido por el rgano encargado de la gestin del programa o del plan, adaptado a las necesidades propias de su gestin. 2.o nivel.Control de esos programas o planes ejercido por un rgano de control especializado con competencias sobre la totalidad del sector pblico. El primer nivel de sistema de seguimiento, a establecer por el propio rgano gestor del programa o plan de actuacin, debe permitir conocer permanentemente el estado de realizacin de sus previsiones tanto en lo referente a los objetivos perseguidos como a los recursos empleados. El segundo nivel del sistema de seguimiento se manifiesta a travs del control de programas cuyo objeto ser el examen, anlisis y evaluacin de los sistemas y procedimientos aplicados por los rganos gestores, as como de cuantos documentos y antecedentes resulten necesarios para determinar el grado de fiabilidad de los datos contenidos en los informes rendidos por los responsables de la ejecucin de los programas. Este control debe ser ejercido por un rgano tcnico e independiente del rgano de gestin directo y sus resultados deben plasmarse en un informe de control de programas. Por ltimo, es indispensable para normalizar los sistemas de seguimiento de los distintos rganos gestores, garantizar su operatividad y mejorar el proceso de asignacin de recursos. 2.5. Bases legales para el control de gestin en la provincia de Salta El respaldo legal y la conveniencia jurdica de una evaluacin y control de las actuaciones de las entidades pblicas se encuentran en los siguientes principios generales contenidos en la legislacin de la provincia de Salta: a) Principio de eficacia, eficiencia y economa: La Administracin Pblica debe ser gestionada de manera que pueda utilizar los recursos pblicos de la mejor forma posible. Este principio se corresponde con el artculo 6131 de la Constitucin Provincial. b) Principio de responsabilidad: Se trata de una derivacin directa del vnculo agente-estado que es la existencia de deberes, derechos y responsabilidades. Por lo tanto, la razn de ser de la responsabilidad del funcionario pblico se encuentra en el contenido mismo de la funcin pblica. Los autores han tratado de encontrar el fundamento jurdico de la responsabilidad en el principio representativo basado en la representatividad de la soberana del pueblo (BIELSA), en los principios generales del derecho (RUIZ y GMEZ) y en los principios propios del estado de derecho (MARIENHOFF). El control de gestin es un proceso que pertenece a la esfera del control interno; de acuerdo a la conceptualizacin dada por la Ley nmero 7.103 y recordemos que, en el mbito del Poder Judicial, ser la Corte de Justicia la que dispondr sobre la modalidad y alcances de la puesta en prctica del sistema instituido en esta Ley. As, en el articulado de la Ley nmero 7.10332 encontramos que la Sindicatura General de la Provincia tiene funciones de evaluacin y recomendacin sobre la gestin que ejecutan los rganos comprendidos en su competencia, como igualmente lo establece la Acordada nmero 10.346 de la Corte de Justicia para la Sindicatura Interna del Poder Judicial.33
31

Constitucin Provincial. Artculo 61. Principios generales: La administracin pblica, sus funcionarios y agentes sirven exclusivamente a los intereses del Pueblo. Acta de acuerdo a los principios de eficacia, jerarqua, desconcentracin, coordinacin, imparcialidad, sujecin al orden jurdico y publicidad de normas y actos...

32

Ley nmero 7.103, artculo 12: Crase la Sindicatura General de la Provincia, como organismo rector del Sistema de Control Interno de la hacienda pblica provincial, Centralizada y Descentralizada, Entidades Autrquicas, Entes Reguladores, Empresas Pblicas, cualquiera fuere su modalidad de organizacin y todo otro ente en el que el Estado Provincial, o sus organismos descentralizados tengan participacin. 32 El modelo de control de la hacienda pblica que aplique y coordine la Sindicatura General, deber ser integral e integrado y abarcar los aspectos contables, presupuestarios, econmicos, financieros, patrimoniales, normativos y de gestin; la evaluacin de programas, proyectos y operaciones, debern fundarse en criterios de legalidad, economa, eficiencia y eficacia.
33

Acordada nmero 10.346. I. Crear la Sindicatura Interna del Poder Judicial, dependiente de la Corte de Justicia, con competencia para ejercer el control interno previo dentro del mbito del Poder Judicial, mediante auditoras contables, financieras, de gestin y de legalidad. 32 IV. Fijar como funciones de la Sindicatura del Poder Judicial las que se consignan en el presente apartado: 32 5. Formular a las dependencias comprendidas en el mbito de su competencia recomendaciones tendientes a asegurar el adecuado cumplimiento normativo, la correcta aplicacin de las directrices de Auditora Interna y los criterios de economa eficiencia y eficacia.

207

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Por lo tanto, en el sistema de control tendremos: Una primera etapa que sera responsabilidad primaria de los entes controlados, en cuanto a la recopilacin cuantitativa y cualitativa en las distintas reas operacionales y su comparacin con las metas y parmetros operativos, marcando los desvos producidos (Informe de Situacin). En estos documentos no se pronuncian juicios de valor, salvo poner de manifiesto los datos cuantitativos y cualitativos de las distintas reas funcionales y los desvos producidos respecto de lo presupuestado y la comparacin con lo ejecutado en el mismo perodo del ejercicio anterior. En este orden de ideas, a partir del ao 2008, el Ministerio de Finanzas y Obras Publicas dicta anualmente una resolucin estableciendo la periodicidad con que deben remitir cada Jurisdiccin o Entidad a la Oficina Provincial de Presupuesto un informe donde consten los avances respecto a la ejecucin de Metas e Indicadores de Gestin definidos por Anexo de la Ley de Presupuesto. Tambin, la Contadura General de la Provincia establece en las Circulares de Cierre de Ejercicio la registracin de la ejecucin de Metas e Indicadores de Eficiencia y Eficacia, referido al grado de cumplimiento de las mismas. La segunda etapa, consiste en realizar un Informe de Gestin, responsabilidad tambin de los entes controlados pero de un estado administrativo superior al anterior, la Sindicatura Interna. Calificar la gestin, tomando como base los Informes de Situacin que apoyen fundamentalmente las opiniones o juicios de valor emitidos sobre la Gestin del Ente Controlado y sus responsables operativos. Podemos agregar otra etapa ms, si consideramos la actuacin del rgano de control externo Auditora General de la provincia de Salta que desempear un rol de auditor de los informes de gestin producidos por los rganos de Control Interno Sindicatura General de la Provincia o Sindicatura del Poder Judicial, segn el caso. 2.5.1. La Administracin Financiera 2.5.1.1. Situacin a nivel nacional34 En abril de 1991, irrumpe en el Congreso Nacional de la Repblica Argentina el proyecto de Ley de Administracin Financiera y Control del Sector Pblico, remitido por el Poder Ejecutivo, que reconoce su origen en el Proyecto Regional para el Mejoramiento de la Administracin Financiera en Latinoamrica y el Caribe SIMAFAL, preparado por la Agencia para el Desarrollo Internacional de los Estados Unidos. Este proyecto propuso la derogacin de la Ley de Contabilidad y la supresin de los rganos y organismos de Control existentes. De esa forma se hizo presente como una invasin innovadora en el tratamiento de lo que denominaron Sector Pblico en Amrica Latina. El Proyecto de Ley de Administracin Financiera y Control de Gestin del Sector Pblico Nacional, remitido por el Poder Ejecutivo Nacional y elaborado con la asistencia de algunos organismos internacionales, se encontraba a consideracin de las comisiones respectivas de la Honorable Cmara de Diputados, y que contena las siguientes innovaciones: a) La creacin de la Sindicatura General de la Nacin (arts. 96 a 115)35 y la Auditora General de la Nacin (arts. 116 a 127), como rganos rectores del sistema de control interno y externo respectivamente (art. 7.o). b) La supresin de los juicios de cuentas y de responsabilidad. c) Modificaciones del sistema y reglas de confeccin del presupuesto. d) La extensin del rgimen propuesto a todo el sector pblico nacional, incluyendo a las llamadas personas privadas del Estado. Los principales acadmicos de la materia, como los doctores BIANCHI y ATCHABAHIAN calificaron al proyecto, luego convertido en ley como un aflojamiento del sistema de control y como un retroceso institucional.
34 WIERNA, G. (2004): Una Profeca Cumplida, Decimoquinto Congreso Nacional de Profesionales en Ciencias Econmicas, Salta, Argentina. 35 35

Ttulo VI: Del sistema de control interno (arts. 96 a 115). Ttulo VII: Del control externo. Captulo I: Auditora General de la Nacin (arts. 116 a 127). 35 Artculo 7.o: La Sindicatura General de la Nacin y la Auditoria General de la Nacin sern los rganos rectores de los sistemas de control interno y externo, respectivamente.

208

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

Los objetivos del Programa de Reforma de la Administracin Financiera Gubernamental se resumen en cuatro puntos: 1. Lograr que la gestin del rea se realice con economicidad, eficiencia y efectividad. 2. Generar informacin oportuna y confiable para la toma de decisiones. 3. Interrelacionar los sistemas de administracin financiera con los de control interno y externo con la finalidad de facilitar la eficacia de stos. 4. Realizar la gestin de los recursos pblicos en un marco de absoluta transparencia. Algunos de estos resultados se alcanzaron. Se produjeron cambios impensados en dcadas anteriores, como contar con un presupuesto aprobado en fecha, pero en otros aun no se ha logrado avanzar. Herramientas como el Presupuesto por Programas, el Presupuesto Preliminar, el Presupuesto Plurianual, aun no son efectivas a la hora de dar respuesta a las demandas de: equilibrio fiscal, incremento de la calidad del gasto y control de los resultados de la gestin de gobierno. Se establece el criterio del control posterior como principio que cambia la lgica vigente hasta el dictado de esta Ley, que orientaba al control como un proceso previo o simultaneo al de la gestin. Se trata de superar, adems, el criterio del control de legalidad como criterio nico y de adoptar los criterios de control de economa, eficiencia y eficacia de la gestin. La calidad del control no es un tema menor, por el contrario, sin control no existen posibilidades de tener xito en un proceso de reforma de la gestin pblica. La calidad de la gestin ser verificada por la calidad del control. Un sistema que opera bajo condiciones de control de baja calidad, no tiene ningn aliciente para elevar sus estndares de calidad. La rutina y la repeticin se imponen a la creatividad y a la innovacin. 2.5.1.2. La situacin en la provincia de Salta La provincia de Salta no fue ajena a la ola reformista, pero sus efectos llegaron con muchas singularidades. Al igual que en el mbito nacional, se pretendi reemplazar la antigua Ley de Contabilidad Decreto Ley nmero 705/57 y mod. por una legislacin similar a la nacional, pero el proyecto no prosper en las Cmaras Legislativas (Diputados y Senadores). Por el contrario, si se sancionaron los sistemas de control y de contrataciones que estaban comprendidos en el Decreto Ley nmero 705/57. En el siguiente cuadro se detalla cual es el estado de la normativa relacionada con la administracin financiera de la provincia de Salta post reforma.
NORMATIVA
DE LA

Cuadro 4 ADMINISTRACIN FINANCIERA

DE LA PROVINCIA DE

SALTA
Norma aplicable

Ley de Contabilidad (Decreto-Ley nmero 705/57 y ss. modificaciones)

Estado

Captulo VII. Del Presupuesto General Captulo VII. De la ejecucin del Presupuesto Ttulo III. De las autorizaciones a gastar Captulo VII. De la ejecucin del Presupuesto Ttulo III. De las contrataciones

Vigente Vigente Derogado por Decreto 59/95 a partir del 01/07/96-Ley nmero 6.838. Artculos 25 a 41.

Decreto Ley nmero 705/57 y sus modificatorios

Ley nmero 6.838

Captulo IIIII. Del registro de las operaciones Captulo IIV. De las cuentas generales del ejercicio CaptuloIVV. De la gestin de los bienes de la provincia Captulo IVI. Del Servicio del Tesoro Captulo VII. Del Servicio del Contabilidad
(Sigue.)

Vigente

Decreto Ley nmero 705/57 y sus modificatorios

209

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

(Continuacin.)

Captulo IVIII. Del Tribunal de Cuentas de la provincia Captulo IIiIX. De los responsables

Artculos 77 a 88 derogados por Ley nmero 6.511 y su modificatoria Ley nmero 6.758 Artculos 89 a 96 derogados por Ley nmero 6.511 y su modificatoria Ley nmero 6.758 Artculos 97 a 101 derogados por Ley nmero 6.511 y su modificatoria Ley nmero 6.758 Ley nmero 7.103: Sistema, Funcin y Principios del Control no Artculos 102 a 104 derogados por Jurisdiccional de la Gestin Ley nmero 6.511 y su modificatoria de la Hacienda Pblica Ley nmero 6.758 Artculos 115 a 128 derogados por Ley nmero 6.511 y su modificatoria Ley nmero 6.758 Artculos 129 a 134 derogados por Ley nmero 6.511 y su modificatoria Ley nmero 6.758 Decreto Ley nmero 705/57 y sus modificatorios

Captulo iIIIX. De las cuentas de los responsables

Captulo iIIXI. De Juicio de cuentas

Captulo iIXII. De Juicio administrativo de responsabilidad Captulo iXIII. De la ejecucin de las resoluciones condenatorias de Tribunal de Cuentas Captulo XIV. De las entidades descentralizadas y hacienda para estatales Captulo iXV. Disposiciones complementarias y transitorias

Vigente

Como puede advertirse del cuadro anterior, las normas que rigen las generalidades del presupuesto y su ejecucin datan del ao 1957 y como es de suponer, no contienen previsiones respecto del mtodo de gestin por objetivos. No obstante, son muchos los esfuerzos realizados por la Oficina Provincial de Presupuesto intentando implementar las nuevas tcnicas presupuestarias. As, se logr la inclusin de un artculo en las Leyes de Presupuesto aprobadas los ltimos diez aos que obliga a la programacin, para cada ejercicio, en forma mensual, de la ejecucin fsica y financiera de los presupuestos de las jurisdicciones y entidades dependientes del Poder Ejecutivo. Adems, se estableci por Resolucin del Ministerio de Finanzas y Obras Pblicas la periodicidad para la remisin a la oficina Provincial de Presupuesto de un informe donde consten los avances respecto a la ejecucin de Metas e Indicadores de Gestin definidos en la Ley de Presupuesto. Debemos advertir que esta normativa no obliga al Poder Judicial que nos ocupa en este trabajo. Independientemente de esto, el Poder Judicial no aplica un presupuesto por resultados. Ocurre que no todas las jurisdicciones efectan una presupuestacin por objetivos y las que lo realizan lo hacen como un formalismo. Ante situaciones de esa ndole, cabe preguntarse cmo se le puede pedir al sistema de control que opere bajo una lgica del control de la gestin, cuando esta no est fundamentada, cuando las organizaciones pblicas no establecen sus resultados, cuando el Presupuesto por Programas es utilizado de una forma ritual y formal; cuando las estructuras programticas no se fundamentan en los procesos productivos y a su vez se encuentra divorciada de la estructura organizativa? Las omisiones obstaculizan la vigencia real de un rgimen republicano de gobierno, consecuentemente la cosa pblica exige rendir cuentas precisamente por ser pblica. 2.5.2. Control previo y control posterior? o control posterior? La Ley 7.103 que sigue el mismo lineamiento en cuanto a sistemas de control se trate de la Ley 24.156, adopta tambin al control posterior como principio de actuacin de los rganos de control. La Ley 24.156 de Administracin Financiera se reconoce como el antecedente inmediato de la Ley 7.103 reformando los sistemas de control Nacional y de la provincia de Salta respectivamente. Ambas Leyes articulan la actuacin de un rgano de control interno y otro de control externo, cuya accin es slo posterior.

210

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

Por su parte, la Acordada nmero 10.346 de la Corte de Justicia al crear la Sindicatura del Poder Judicial fija competencias para ejercer el control interno previo dentro del mbito del Poder Judicial y menciona seguidamente a la auditora como tcnica de control mediante la cual el control se har efectivo. Parecera que las facultades de control que tiene la Sindicatura del Poder Judicial alcanzan al control previo, pero esto no sera acorde con la Ley 7.103 que fija los principios del Control no Jurisdiccional de la gestin de la Hacienda Pblica de la provincia de Salta, en donde est incluido el Poder Judicial. Pese a lo expuesto en el prrafo anterior, la tcnica de control seleccionada es la auditoria, cuya caracterstica es que se realiza con posterioridad a la ejecucin de las operaciones ejecutadas, lo que la diferencias de otras formas de control con carcter previo.

3. MODELO DE AUDITORA DE GESTIN PARA LA PODER JUDICIAL DE LA PROVINCIA DE SALTA

EVALUACIN DE LA EFICIENCIA DEL

El control de las organizaciones se puede ejercer mediante diversas modalidades, una de ellas es la auditora. Por su origen, el trmino auditora se identific hasta hace poco tiempo con la auditora financiera o contable. Recientemente, sin embargo, se comenz a dar al trmino un sentido ms amplio. As, a la ya consolidada auditora de cuentas o auditora financiera, se han unido otras actividades de verificacin o evaluacin que bajo esa misma denominacin se especializan en otros mbitos de las organizaciones: auditoras de sistemas, auditoras medioambientales, auditoras de calidad, auditoras laborales, etc. En consecuencia, el trmino auditora hace referencia cada vez ms a una tcnica general de anlisis, verificacin y control aplicable a los diversos mbitos de las organizaciones. Esta tcnica es la seleccionada por la Ley 7.103 para ejecutar el control posterior por parte de los rganos de Evaluacin del Control Interno. De acuerdo a esto, la Sindicatura del Poder Judicial aplicar esta tcnica de control para la evaluacin de eficiencia que realice. 3.1. El anlisis de eficiencia desde la Auditora Interna Como hemos visto, la relativamente reciente preocupacin por la medicin de eficiencia en la gestin pblica est dando lugar a muy interesantes aportaciones en mbitos diversos, entre los que cabe destacar un abultado conjunto de publicaciones como artculos doctrinales y trabajos acadmicos centrados principalmente en la comparacin de indicadores generales o sintticos, construidos sobre tcnicas e informacin primordialmente estadsticas, entre las que destacan las denominadas tcnicas frontera, por ejemplo, la conocida como DEA (Data Envelopment Analysis Anlisis Envolvente de Datos). Por lo general, estos estudios y aportaciones no nos van a servir de mucho, por su generalidad, para la realizacin de auditoras concretas e individualizadas en el Poder Judicial, que tendrn unas exigencias de contenido ms acotadas y especficas. Por el contrario, acuden en auxilio auditoras de tipo horizontal y comparativo entre organizaciones o corporaciones de igual naturaleza, por ejemplo, Poderes Judiciales de distintas provincias. Dejamos aqu, sin embargo, este posible mbito de la medicin de eficiencia, por depender ms de tcnicas estadsticas que de las propiamente de auditora, y nos centraremos en el control de eficiencia personificado en auditoras pblicas concretas y especficas. En esta lnea, y desde el punto de vista de la auditora pblica que a nosotros nos interesa, obsrvese: La Norma 1. 0. 40. b) de las Normas de Auditora de INTOSAI, ISSAI 100, presenta la siguiente definicin:
La auditora o fiscalizacin operacionales o de gestin significa auditora de economa, de eficiencia y de eficacia, y comprende: b) El control de la eficiencia en la utilizacin de los recursos humanos, financieros y de cualquier otro tipo, junto con el examen de los sistemas de informacin, de las medidas de rendimiento y control, y de los procedimientos seguidos por las entidades fiscalizadas para corregir las deficiencias encontradas.

Por otro lado, la Resolucin nmero 61/2001 del Colegio de Auditores Generales de la provincia de Salta, expresa:

211

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

B. IV. a) Clases de Auditoras de Gestin. B. IV. a.1) Auditora de Economa y Eficiencia. Est orientada al anlisis y evaluacin de las funciones, procedimientos y operaciones realizadas por el ente con el objeto de formarse una opinin respecto del grado en que las mismas se llevaron a cabo con criterios de economa y eficiencia; al igual que si los recursos que fueron asignados son administrados o empleados sobre la base de dichos criterios.

De acuerdo a estas definiciones, podemos afirmar que el contenido del control de eficiencia es el anlisis cuantitativo y cualitativo del modo en que se han utilizado los recursos (humanos, financieros y de cualquier tipo) puestos a disposicin de la organizacin auditada para alcanzar sus objetivos, as como de sus sistemas de gestin, control y procedimientos. 3.2. Caractersticas del control de eficiencia36 Una de las principales caractersticas del control de eficiencia es la imposibilidad de delimitar un mbito de actuacin de validez general para cualquier tipo de organizacin auditada. Esto se produce por la multitud y variedad de los recursos que se pueden utilizar en cada caso. Si bien es cierto que, si no de un modo general, al menos muy frecuentemente resultar necesario analizar determinados recursos de un modo habitual y recurrente. As, por ejemplo, los recursos humanos y los recursos financieros deben ser generalmente objeto de consideracin para un control de eficiencia, puesto que ambos estarn presentes siempre en los esfuerzos encaminados a la consecucin de cualquier objetivo (es manifiestamente imposible que una organizacin funcione sin personal o sin financiacin). Su relevancia o importancia relativa son las caractersticas que nos inducirn a una mayor o menor intensidad en su anlisis. Particularmente en la gestin del Poder Judicial, la complejidad de los casos que entran en un juzgado afecta al tiempo necesario del juez y juzgado para resolverlos y a la forma de resolucin (sentencia, auto, u otra va). Es preciso entonces, disponer de un desglose de procedimientos y materias homogneos para discernir su complejidad. En la gestin del Poder Judicial la dimensin de eficiencia tiene al menos dos facetas: (1) Eficiencia en la produccin, que indica que los recursos se aprovechan al mximo, es decir, con los medios disponibles se produce todo lo que se puede. (2) Eficiencia en costos, implica que el producto se obtiene al menor costo posible. Las dos dimensiones estn ntimamente relacionadas, pero la primera suele ser ms fcil de abordar que la segunda, en parte, porque siendo los presupuestos algo aprobado por una instancia externa, la reduccin de costos no se ve como un objetivo por los responsables de la justicia (y tampoco tienen mucho margen de maniobra porque gran parte de los costos, como las retribuciones, estn fijados), mientras que el aumento de la cantidad y calidad son aspectos sobre los cuales los responsables pueden hacer algo y obtener recompensa por ello (por ejemplo, reduciendo as la carga de trabajo de algunos rganos o la duracin de los procedimientos).37 Otra de las principales caractersticas en el control de eficiencia salteo, es la inexistencia de patrones de referencia preestablecidos con los que podamos comparar la gestin auditada. Este anlisis tiene por objeto el examen de aspectos parciales de la actividad ms especfica de direccin y gestin del organismo auditado, actividad que no cuenta con reglas de conducta preestablecidas, sino que est encaminada en general a la optimizacin del empleo de unos recursos generalmente escasos, con los condicionantes derivados de la variabilidad, de las limitaciones, y de los estmulos del ambiente social y econmico en el que funciona la organizacin. Es decir, se juzga el acierto por sus consecuencias, de decisiones discrecionales tomadas tiempo atrs, en un ambiente de incertidumbre, en condiciones seguramente distintas de las que ahora es capaz de observar el auditor y sin un patrn de conducta ejemplar para comparar. Una tercera caracterstica del control de eficiencia, es la dificultad (o imposibilidad la mayora de las veces) de aplicar procedimientos normalizados, por lo que se requerir un mayor nivel de capacitacin del equipo auditor.
RUBIO DELGADO, F. (2008): Fiscalizacin Operativa: El anlisis de eficiencia y el anlisis de economa, CEDDET-Tribunal de Cuentas de Espaa, Madrid.
37 36

PASTOR, S. (2005): Cifrar y descifrar, vol. II, Indicadores Judiciales para las Amricas, CEJA, Madrid.

212

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

3.3. Procedimientos de auditoria Los rganos de control, tanto interno como externo, deben dictar sus pautas y procedimientos tcnicos sugeridos para la ejecucin de los trabajos de fiscalizacin. El propsito de estas normas ser establecer los criterios o sistemas generales que el auditor debe seguir para lograr que sus actuaciones sean objetivas, sistemticas y equilibradas. Dichas actuaciones representan las reglas de investigacin que el auditor aplica para alcanzar un resultado concreto. En el caso de la Sindicatura Interna del Poder Judicial, por su reciente creacin no se han dictado aun dichas pautas. No haremos referencia a las normas tcnicas y profesionales relativas a los requisitos subjetivos y objetivos del auditor, entorno de trabajo y relaciones con los responsables del organismo auditado, tipos y caractersticas de las pruebas de auditora, etc.; aspectos todos ellos que se dan por suficientemente conocidos. 3.4. Determinacin y anlisis de las reas significativas Este apartado es concerniente a la fase de planificacin del control de eficiencia: primera fase y primordial que debemos considerar en este anlisis, al igual que en los dems tipos de control y, dentro de sta, los pasos que generalmente se entienden pertinentes realizar en este proceso. Adems, se har una especial mencin a uno de los ms importantes aspectos en el control de eficiencia: la determinacin de las reas significativas que abarcar la auditora a practicar (es decir, la concrecin de las actividades y de los recursos utilizados por el sujeto auditado que sern el objeto de este tipo de anlisis). 3.5. Principios generales La planificacin del control de eficiencia, al igual que la relativa a otros tipos de control, es una actividad esencial para el buen fin de la auditora. Al planificar el trabajo de auditora, deber tenerse en cuenta la finalidad del examen, el informe a emitir, las caractersticas del ente sujeto a control y las circunstancias particulares del caso. Proceder as, permite un adecuado acceso a cada una de las etapas de la auditoria, facilitando la administracin del trabajo, el control del tiempo en ella empleado y una mejor utilizacin de los recursos humanos y materiales. Cuando se utilicen equipos multidisciplinarios, su participacin en este nivel es particularmente importante para asegurar que las diferentes perspectivas, experiencias y especialidades sean apropiadamente utilizadas en el trabajo de auditora. En sntesis, incluye los siguientes pasos y decisiones: a) Estudio del ente a auditar. Un conocimiento previo lo ms amplio posible del organismo a auditar y del entorno en el que funciona (legal, econmico, comercial, tecnolgico, etc.). Debe procurarse obtener un conocimiento apropiado del ente en cuanto a su estructura, sus operaciones y sistemas: identificando la legislacin y reglamentacin que le son aplicables, como as tambin los mtodos de procesamiento de informacin, de control interno y de otros procedimientos sustantivos, de manera que el auditor pueda identificar claramente las actividades del ente auditado. a) Adems es necesario conocer los factores externos que incidan en el ente auditado, como as tambin el nivel de capacidad y de competencia de la administracin. a) Para obtener este conocimiento resulta indispensable la realizacin de unos trabajos preliminares que pueden consistir, entre otras actividades, en las siguientes: a) Recopilacin, evaluacin, anlisis y asimilacin de la informacin y documentacin directamente relacionada con la organizacin a auditar, que se solicitar directamente a la misma: normativa, directrices internas, datos econmicos, memorias de gestin, planes estratgicos y empresariales, actas de los rganos directivos, organigramas, etc. a) Las mismas actividades sobre informacin y documentacin de tipo general o sectorial que tenga relacin significativa con el objeto de la auditora, incluyendo otras auditoras, publicaciones, estudios, normas, informaciones en medios de comunicacin, etc. a) Un primer contacto personal con el organismo a auditar, con los objetivos de preparar un ambiente adecuado para el inicio de los trabajos de campo y de proceder a un reconocimiento preliminar in situ, mediante la realizacin de algunas entrevistas y la inspeccin ocular superficial del sistema de produccin (instalaciones, procedimientos, etc.).

213

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 b) Anlisis y evaluacin del grado de fiabilidad del control interno: que comprender, por una parte, el examen del propio sistema (estructura, organizacin, funciones, recursos, mtodos, procedimientos, etc.), en los aspectos ms directamente relacionados con el tipo de auditora a practicar; y, por otra parte, la realizacin de pruebas de cumplimiento, con el objetivo de verificar el efectivo funcionamiento de dicho sistema. Recordemos que los principales objetivos o finalidades del sistema de control interno de cualquier entidad son: la seguridad de los activos (medidas fsicas, plizas de seguro, etc.); la fiabilidad de la informacin (sistema de registro, autorizaciones, etc.); y el establecimiento y buen funcionamiento de un sistema adecuado de planificacin, direccin y control. La determinacin del mbito y de los objetivos de la auditora a desarrollar, depender de las posibilidades que hayamos deducido de los trabajos preliminares realizados. Es muy importante sopesar bien en esta fase el alcance de la auditora, con el fin de impedir limitaciones previsibles, que de otro modo podran generar expectativas infundadas, que se vieran frustradas en el transcurso de los trabajos posteriores, con el consiguiente efecto desalentador para los auditores y de viabilidad para la propia auditora. En todo caso, dados los especiales condicionamientos del control de eficiencia, la delimitacin del mbito y objetivos de un anlisis de este tipo en el plan de auditora debera incorporar siempre alguna cautela en este sentido. En sentido distinto, ocurre con los controles financieros o de legalidad, pues en el control de eficiencia no vamos a poder disponer con antelacin de una definicin precisa del mbito concreto a considerar en la auditora. Por el contrario, en cada trabajo el primer paso ser, precisamente, fijar dicho mbito a examinar, que puede responder a mltiples posibilidades: en unos casos el mbito estar referido a un organismo, en otros, a un programa, o hacia una determinada poltica, o a un conjunto de entidades (por ejemplo, una auditora de tipo horizontal sobre distintos juzgados de un mismo fuero), o a un solo proyecto de gran relevancia, etc. Adems, podemos referir la auditora a la totalidad del mbito objetivo que constituye la gestin del sujeto o sujetos seleccionados, o bien solamente a una parte significativa del mismo. Adems, el alcance material de la auditora puede definirse con mayor o menor intensidad, as como la extensin tambin requiere su previa cuantificacin, etc. Con la misma diversidad tambin se proyectar, como es lgico, a los objetivos parciales de cada rea que se establezcan en la auditora y al contenido e intensidad del anlisis en cada una de ellas. La determinacin de las reas significativas de la auditora. Este paso requiere tambin una gran prudencia, puesto que ya se estn perfilando los aspectos esenciales de la auditora, pudiendo ocasionar un sesgo de percepcin que minusvalore todos los resultados. Se evaluar la significacin del objeto en examen teniendo en cuenta la naturaleza, la importancia de los posibles errores o irregularidades, como as tambin el riesgo de auditora probable, que es el grado de error en que puede haberse incurrido por haber adoptado una evidencia suficiente y no absoluta. En la mayora de los casos, para el anlisis de eficiencia definiremos en primer lugar dos reas clsicas: anlisis de los costos y anlisis de los recursos humanos. En segundo lugar, atenderemos al sistema de produccin, lo que por su propia naturaleza nos impulsar razonablemente a atender a alguna otra rea significativa (tiempo de respuesta judicial, calidad de respuesta) y, por ltimo, de los trabajos preliminares realizados surgir, posiblemente, alguna otra rea de inters en base a su importancia para la organizacin o a los riesgos que puedan presumirse. La utilidad del anlisis de eficiencia no reside en la cantidad de reas significativas analizadas, sino en el acierto del diagnstico y en el aprovechamiento de las medidas recomendadas como pronstico, aunque se refieran a las ineficiencias detectadas en un nmero reducido de reas de inters o incluso en una sola, siempre, eso s, que dichas ineficiencias tengan una importancia relevante para el funcionamiento de la organizacin en su conjunto. La determinacin de los procedimientos a aplicar. Esta decisin debe ser propuesta por el auditor una vez culminado el estudio pormenorizado de todos los puntos anteriormente citados, y aprobada por la autoridad correspondiente. En esta etapa se proceder a la elaboracin de los programas de trabajo concretos de cada rea de auditora.

c)

c)

c)

c)

d)

d)

d)

d)

e)

e)

214

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

e)

e) e) e) e) e) e)

e)

e)

El programa de trabajo es el compendio ordenado y clasificado de los procedimientos de auditora que se utilizarn, la extensin y oportunidad para los trabajos de auditora establecidos en la planificacin especfica.38 Como objetivos del programa de trabajo, se pueden resumir los siguientes: Proveer a los auditores gubernamentales las herramientas tcnicas que les permitan. Desarrollar el trabajo basado en procedimientos especficos para alcanzar los objetivos pre establecidos. Guiar la aplicacin de las tcnicas y los procedimientos de auditora hacia la obtencin de evidencia suficiente, competente y pertinente. Asegurar la aplicacin de los procedimientos mnimos, para alcanzar el grado requerido de calidad de la auditora Dentro de esta actividad adquiere especial relevancia la determinacin de los procedimientos de auditora y tcnicas a emplear, as como la inicial elaboracin de indicadores, en su caso, cuando resulte posible utilizarlos. Es necesaria una programacin suficiente, con el fin de encauzar productivamente el trabajo de equipo y evitar situaciones de desconcierto por improvisaciones que puedan generar una imagen muy negativa en el sujeto de la auditora, adems de afectar la eficacia de ella. Sin embargo, no es conveniente intentar una previsin exhaustiva y una programacin excesivamente detallada de todas y cada una de las posibles alternativas de actuacin, porque adems de resultar farragoso e intil puede perjudicar, incluso, el desarrollo de la auditora. Este tipo de control requiere una especial adaptabilidad a las circunstancias, lo que demanda cierta libertad de actuacin, o prudencial flexibilidad. Las propias Directrices de aplicacin de las normas de auditora del rendimiento elaboradas por INTOSAI, bajo el nmero ISSAI 3000, ofrecen una reflexin interesante al respecto:
"La auditora del rendimiento no debe racionalizarse excesivamente. Una auditora del rendimiento avanzada consiste en un complejo trabajo investigador que exige flexibilidad, imaginacin y una elevada competencia analtica. Los procedimientos, mtodos y normas excesivamente racionalizados pueden entorpecer de hecho el funcionamiento y el desarrollo de la auditora del rendimiento. Por consiguiente, es preciso evitar un exceso de detalle en las normas, al igual que en los sistemas de aseguramiento de calidad. El progreso y las prcticas deben basarse en el aprendizaje que procede de la experiencia."

3.6. Tcnicas y procedimientos En los programas de trabajo especficos para cada una de las reas de auditora delimitadas debemos especificar, por un lado, los objetivos que se conseguir en su mbito, por otro, los procedimientos y tcnicas que se aplicarn para obtener las evidencias o pruebas que sustenten las conclusiones del auditor. Los procedimientos y tcnicas sern el medio fundamental a travs del cual se planifica la obtencin de evidencia suficiente, competente y pertinente como base para emitir el informe de auditora, constituyndose as en la parte medular del programa. El glosario de las Normas de Auditora de INTOSAI define que:
Los procedimientos de auditora son las comprobaciones, instrucciones y detalles incluidos en el programa de auditora que han de llevarse a cabo sistemtica y razonablemente.39

En cuanto a las tcnicas, el texto de consulta del Sistema de Control Gubernamental General de Bolivia las define como:
Las tcnicas de auditora se refieren a los mtodos usados por el auditor para recolectar evidencia. Los ejemplos incluyen, entre otras, la revisin de la documentacin, entrevistas, cuestionarios, anlisis de datos y la observacin fsica.

De modo que, los procedimientos son el modo en el que debe realizarse el trabajo encomendado al equipo auditor (contenido del trabajo, secuencia de ejecucin, finalidad, etc.), mientras que las tcnicas son las herramientas de las que se sirven los auditores para efectuar dicho trabajo.
38 39

CONTRALORA GENERAL DE CUENTAS (2005): Manual de Auditora Gubernamental, Guatemala.

INTERNATIONAL STANDARDS OF SUPREME AUDIT INSTITUTIONS (en adelante ISSAI): Cdigo de tica y Normas de Auditora de la Organizacin Internacional de Entidades Fiscalizadoras Superiores (INTOSAI), glosario, 1998.

215

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Las tcnicas de auditora pueden dividirse en dos grandes categoras: tcnicas de recogida de informacin y tcnicas de sistematizacin y evaluacin de los datos. 3.6.1. Tcnicas de recogida de informacin La calidad en la recogida de datos y documentacin es decisiva, porque la auditora de gestin est sometida a un enjuiciamiento basado en la registracin obtenida. Las Normas de Procedimiento para la Fiscalizacin Pblica-ISSAI 300 establecen respecto a la Prueba de Auditora.
Para fundamentar las opiniones y las conclusiones del auditor relativas a la organizacin, al programa, a la actividad o a la funcin fiscalizada, deben aportarse pruebas adecuadas, pertinentes y razonables.

Si bien en las auditoras financieras la prueba tiende a ser concluyente (s/no o "correcto/equivocado), rara vez sucede lo mismo en las auditoras del rendimiento. Lo ms frecuente es que la prueba en la auditora de gestin tenga un carcter convincente (apunta hacia la conclusin segn la cual...). Los auditores deben ser creativos, flexibles y cuidadosos en la bsqueda de pruebas. Con frecuencia ser necesario recoger datos tanto cuantitativos como cualitativos. Los tipos de datos que vayan a obtenerse tienen que poderse explicar y justificar en lo concerniente a su suficiencia, validez, fiabilidad, pertinencia y razonabilidad. En el control de eficiencia, las tcnicas encaminadas a la recogida de informacin no se diferencian sustancialmente de las aplicadas en cualquier otro tipo de control, habida cuenta que pueden ser: Verbales (indagacin, encuestas, cuestionarios...). Oculares (observacin, comparacin, revisin selectiva, rastreo...). Documentales (comprobacin, computacin, revisin analtica, estudio...). Fsicas (inspeccin). Escritas (anlisis, conciliacin, confirmacin, clculo, tabulacin...). Informticas (tratamiento de datos, seleccin, anlisis...). Es de importancia decisiva que los auditores adopten un enfoque crtico y mantengan una distancia objetiva con respecto a la informacin aportada en el transcurso de una auditora. Al mismo tiempo, deben ser receptivos de las opiniones y argumentos. Las propias Directrices de Aplicacin de las Normas de Auditora del Rendimiento sugieren lo siguiente:
Es mejor ser vagamente correcto que estar equivocado con exactitud.

Por otro lado, es necesario documentar, archivar y efectuar referencias cruzadas sobre los resultados del trabajo de campo y del anlisis, junto con la documentacin de planificacin de la auditora, para que los responsables de la fiscalizacin puedan revisar el trabajo efectuado y validar las conclusiones alcanzadas. Es preciso conservar un registro de la labor en forma de documentos de trabajo. Hay que obtener pruebas cualificadas por su pertinencia y relevancia, para evitar arbitrariedades. 3.6.2. Tcnicas de sistematizacin y evaluacin de los datos Entre las tcnicas encaminadas a la sistematizacin y evaluacin de los datos, para el control de eficiencia adquiere una importancia trascendente su elaboracin y anlisis de indicadores, por el enorme potencial que incorporan al sintetizar los datos esenciales de la gestin auditada mediante relaciones del tipo producto/recursos, nico modo de analizar rigurosamente la eficiencia de una organizacin en trminos cuantitativos. 3.7. Elaboracin y anlisis de los indicadores relevantes El anlisis de eficiencia que se realice incluye irremediablemente el manejo de indicadores. Si ya existen, el auditor deber validarlos y, si no, elaborarlos por el mismo. Previo a esto, verificar el real cumplimiento de las caractersticas de los objetivos para ser considerados vlidos. Para la validacin de objetivos se propone, en Anexos I y II, la utilizacin de los cuestionarios elaborados por la IGAE40, ya que no se encuentra una referencia de esta especie en los documentos elaborados por los rganos de control de Argentina ni de Salta.
40

IGAE (1997): El establecimiento de objetivos y la medicin de resultados en el mbito pblico, Madrid.

216

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

3.7.1. Elaboracin Con motivo de los distintos programas de reforma judicial impulsados en Latinoamrica, abundan los estudiosos del tema que proponiendo conjuntos de indicadores tiles para distintos cometidos, desde la rendicin de cuentas hasta la gestin interna de cualquier unidad del sector justicia. Por ello, es que se sugiere la adaptacin y utilizacin de estos en los estudios de eficiencia judicial. No obstante, se puede abordar la elaboracin por parte de los auditores de gestin de indicadores para el anlisis de eficiencia, como un proceso puramente deductivo (desde lo general a lo particular), diferente en cada caso, pues resulta dificultoso establecer reglas generales sustantivas y apriorsticas. Es de enorme utilidad para los auditores de gestin del Poder Judicial el documento elaborado para el Centro de Estudios de Justicia de las Amricas (CEJA) de Preparacin de un sistema integral de recoleccin y procesamiento de datos para la generacin de estadsticas e indicadores del sistema judicial. En el anlisis de eficiencia, como se dijo, generalmente sern objeto de consideracin los recursos humanos y financieros. La falta de estos suele ser aducida como justificacin de la escasa productividad o la demora en la tramitacin procesal de las causas o en cada pronunciamiento, sean decretos, autos, o sentencias. Sin embargo, cabe destacar como antecedente el trabajo de FIEL, donde alerta sobre el hecho de que los problemas de la Justicia Argentina no son principalmente presupuestarios o de un mayor trabajo, ya que demuestra que en comparacin con Estados Unidos y Espaa el ndice de litigiosidad (causas cada 100.00 habitantes) de Argentina es el mas bajo, y que el Presupuesto judicial tiene una mayor incidencia sobre el producto bruto en Argentina que en los otros dos pases analizados.41 Es importante que las apreciaciones se realicen sobre bases objetivas. Para ello, es preciso recoger informacin detallada sobre la dotacin efectiva de los rganos judiciales, fiscalas, defensoras, servicios de ayuda a las vctimas, etc., y adoptar un conjunto de indicadores que permitan valorar si los medios son suficientes para garantizar la tutela judicial, si su distribucin es equilibrada entre los diferentes rganos, si guardan relacin con la demanda de tutela judicial, si la dotacin es similar a la de otras provincias, etc. Sobre la base de la informacin que proporcionan estos datos e indicadores, se puede valorar la eficiencia y el costo pblico de la tutela judicial. En general, los datos e indicadores relacionados con los recursos financieros, materiales y humanos de la administracin de justicia se presentan peridicamente en los anuarios de estadsticas judiciales o en los informes y memorias de los rganos de gobierno del poder judicial42. En el trabajo mencionado anteriormente del Centro de Estudios de Justicia de las Amricas CEJA se proponen tres grupos de indicadores: a) unos permiten valorar los ingresos y gastos del sector justicia en comparacin con los de otros sectores, regiones o pases; b) otros se relacionan con los recursos humanos, su distribucin y la retribucin por sus tareas, y c) los restantes permiten valorar la adecuacin y suficiencia de la dotacin de medios materiales, sobre todo cuando se comparan con la distribucin de la demanda, dilacin o congestin. Estos parmetros coinciden con los expresadas en el Plan Nacional de Reforma Judicial del Ministerio de Justicia de la Nacin, donde se asume la complejidad que encierra la medicin de la eficiencia judicial y sin pretender dar solucin al tema, se basa en trabajos anteriores43 para proponer alternativas prcticas que necesariamente, dice, debe pasar por la combinacin de los siguientes factores:
41

FUNDACIN Buenos Aires.

DE INVESTIGACIONES

ECONMICAS LATINOAMERICANAS (FIEL) (1996): La Reforma del Poder Judicial en la Argentina, FIEL,

42 42 42 42 42 42 42 42 42 42 43

En la Memoria Anual del Poder Judicial de Salta (2009), se presentan datos de los siguientes indicadores: 1. Causas ingresadas: Total por distribucin geogrfica y por fuero. 2. Casos de violencia familiar en los distritos judiciales. 2. 2.1. Total por fuero. 2. 2.2. VIF en relacin a la edad de las vctimas en el Distrito Judicial Centro. 2. 2.3. Edad y sexo de los denunciados. 2. 2.4. Vinculo con los denunciados. 2. 2.5. Zonas de las victimas de la ciudad de Salta. 3. Causas ingresadas por Distrito Judicial, fuero y especialidad. Relaciones habitantes y presupuesto ejecutado. GARAVANO, G. (1997): La Justicia Argentina: Crisis y Soluciones, Madrid, Universidad Carlos III.

217

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 Mediciones de ndole econmica tendientes a comparar la produccin y el costo de la unidad y del sistema. b) Mediciones tendientes a determinar la calidad de respuesta. c) Mediciones tendentes a determinar el tiempo de respuesta. d) Verificacin de la existencia o no de causas de ineficiencias objetivas; que pueden reconocer como causas, por ejemplo: la falta de un sistema de sanciones y recompensas o de recepcin y subsanacin de quejas de los usuarios del sistema. e) Sometimientos a controles de calidad. En el Anexo III se especifica una seleccin de los indicadores propuestos por CEJA para la medicin de la eficiencia, sus fuentes y explicacin de los principales indicadores. Como dos ltimas cuestiones a tener en cuenta: Cualquier dimensin relevante del sistema judicial exige cruzar unos indicadores con otros. Por s solos dicen poco e incluso pueden dar lugar a ms de un sinsentido. El papel del intrprete es imprescindible, como lo es tambin su buen juicio. Lo mejor, como siempre, es disponer de un marco analtico del funcionamiento de la justicia y ver en qu medida ayudan los distintos indicadores a conocer mejor su situacin verdadera. Ser cautelosos en el uso de los indicadores y los incentivos que generan: ya que usar muchos indicadores provoca alteraciones en el sistema de incentivos de las personas y organizaciones. Es muy importante anticipar los efectos previsibles, y, en todo caso, realizar un seguimiento de los cambios. 3.7.2. Cuantificacin, anlisis e interpretacin Una vez validados los indicadores existentes y elaborados por el auditor los que resulten necesarios, se proceder a su cuantificacin mediante los trabajos de campo, es decir: recopilacin y tratamiento de datos, sistematizacin de los valores de cada indicador a lo largo del perodo fijado para el anlisis, elaboracin de cuadros y grficos ilustrativos, etc. Por ltimo, al culminar el trabajo con los indicadores, se proceder a su anlisis e interpretacin, obteniendo las conclusiones procedentes. Normalmente, la evaluacin de los resultados se apoyar en la comparacin de los valores alcanzados por los indicadores durante un perodo determinado, analizando su variacin, o bien mediante su comparacin con indicadores de referencia del sector, si existen, o con los de otras organizaciones similares. En algunos casos, incluso, el propio valor reflejado por el indicador ya resulta significativo. En definitiva, retornamos al campo de la razn y del criterio, con la profesionalidad, la experiencia del auditor. 3.8. Tratamiento de la informacin y de los resultados Recordando que los indicadores no son ms que unidad de medida, en algunos casos su aplicacin producir resultados directamente significativos, y en otros simplemente nos sealar unas magnitudes que habr que interpretar, muchas veces en colaboracin con otras magnitudes, hechos o circunstancias, que habremos de obtener por otros medios. Las conclusiones del anlisis de eficiencia descansarn sobre la interpretacin total, conjunta y sistemtica de las pruebas de auditora que hayamos obtenido por cualquier medio vlido. Las Directrices de Aplicacin de las Normas de Auditora del Rendimiento ya citadas, prescriben una serie de cautelas en el modo de actuar del auditor en fiscalizaciones operativas que, en definitiva, se sintetizan en los principios de rigor, lgica, prudencia, lealtad e imparcialidad. a)

4. CONCLUSIONES
La eficiencia se ha convertido hoy en legitimante de la actuacin de los poderes pblicos. No se concibe el derroche de recursos por parte del Estado, con las carencias y urgencias existentes. Si bien no se discute el papel trascendental que ocupa y debe ocupar la justicia y el destino de los recursos que le son asignados, no se puede permitir tampoco que se malgasten los fondos. A su vez existe la sensacin de que las reformas a los sistemas de justicia en la regin, que con tanto vigor se han intentado en los ltimos aos, no han dado hasta la fecha todos los frutos esperados. Se trata

218

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

nada ms que de una sensacin, pues realmente carecemos de evaluaciones sistemticas que nos permitan medir con precisin qu ha pasado realmente con esos cambios. Conforme a esto, es importante el avance que esta transitando el Poder Judicial de Salta, mediante la introduccin de mtodos estratgicos y la creacin de un rea de control de gestin. Es evidente que el camino que queda por recorrer parece largo, pero eso no debe desalentarnos. Es necesario construir, crear estructuras perdurables de trabajo por medio de las cuales puedan ser canalizados los esfuerzos individuales y el nimo de trabajar para el futuro de mucha gente que trabaja en la Justicia o en relacin a ella, convencida de que la justicia es un derecho humano y como tal, debe ser consolidado por el Estado. Es oportuno recordar al dr. VCTOR REN MARTNEZ y sus conclusiones vertidas en el III Encuentro Latinoamericano de Postgrado en Derecho Procesal44: El sistema Republicano de gobierno exige la publicidad de los actos del Estado, sin restricciones, obligando a los jueces a rendir cuentas de su funcin en la trascendente tarea de administrar justicia. Para finalizar, una frase: Para el navegante sin rumbo, nunca hay viento favorable, LUCIO SNECA (4 a. C.65 d. C.). Anexo I Validacin de caractersticas individuales de los objetivos
Caractersticas individuales de los objetivos Descripcin Cuestionario para analizar las caractersticas individuales de los objetivos

1. Adecuacin a la realidad

El objetivo debe adaptarse a la normativa aplicable y a la actividad desarrollada por el gestor. Lo que implica que cada uno de los objetivos este vinculado con la normativa aplicable y a su vez todas las actividades desarrolladas por el gestor se deben corresponder con alguno de los objetivos establecidos.

1.1. Son los objetivos contradictorios con la normativa aplicable? En su caso, a que se debe? 1.2. Las funciones que asigna la normativa al gestor, afectan negativamente a la consecucin de los objetivos? 1.3. Sera necesario modificar la normativa, en que aspectos? 1.4. Se ha producido alguna modificacin en ejercicios anteriores de los objetivos por cambios en la normativa? 1.5. Elaborar una lista completa de las actividades desarrolladas por el gestor Cul es la relacin entre las actividades y los objetivos? 1.6. Existen actividades no incluidas en los objetivos?

2. Claridad

El objetivo debe definirse con un len- 2.1. Tiene el enunciado del objetivo correccin guaje claro y simple, que facilite su leclgica? tura, comprensin y asuncin. 2.2. Tiene el enunciado del objetivo correccin gramatical? 2.3. Si se emplean palabras tcnicas son estrictamente necesarias? 2.4. Puede ser interpretado dicho objetivo de igual forma por diferentes personas? Todo objetivo de ser viable, es decir, 3.1. Se considera verosmil conseguir el objetivo posible de realizar, sino no sera un elecon los recursos disponibles? mento de referencia para la gestin. 3.2. Aceptaron los responsables cada objetivo como de posible realizacin? A su vez debe ser ambicioso, no fijarse por debajo de la capacidad disponible 3.3. Es posible obtener informacin de otras orgade la organizacin que conduzca a la nizaciones con objetivos similares? En caso ineficiencia del uso de los recursos. afirmativo se asemejan los niveles de realizacin y los recursos asignados a los objetivos?
(Sigue.)

3. Viabilidad

44

MARTNEZ, Vctor R. (2009): El Proceso por Audiencia y Oralidad, III Encuentro Latinoamericano de Postgrado en Derecho Procesal, Facultad de Ciencias Jurdicas y Polticas de la Universidad Central de Venezuela, Venezuela

219

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

(Continuacin.)

Caractersticas individuales de los objetivos

Descripcin

Cuestionario para analizar las caractersticas individuales de los objetivos

4. Flexibilidad

La planificacin estratgica tiene un 4.1. Dentro del proceso de planificacin, Se ha precarcter dinmico que requiere que los visto la posibilidad de modificar los objetivos? objetivos sean susceptibles de ser 4.2. Existen procedimientos que permitan variar modificados cuando las circunstancias los objetivos segn los cambios en el entorno o del entorno o de la organizacin as lo la organizacin? aconsejen. De ah que se establezcan 4.3. Se revisan los objetivos en funcin del nivel de procedimientos que faciliten su revisin ejecucin y las variaciones del entorno? peridica. 4.4. Algn objetivo ha experimentado cambios respecto de ejercicios anteriores? Si ha sido as cul fue la causa del cambio? Los objetivos deben definirse en trmi- 5.1. Se encuentra claramente establecido el plazo nos lo suficientemente precisos para durante el que deber alcanzarse el objetivo? poder determinar su nivel de realizacin 5.2. Est definido el objetivo de forma adecuada en el plazo de cumplimiento previsto. para verificar su nivel de realizacin? 5.3. Si el objetivo es cualitativo y no est cuantificado de forma directa dispone de un conjunto de indicadores asociados para determinar su grado de realizacin?

5. Concrecin

6. Responsabilidad

Cada objetivo, con independencia del 6.1. Existe algn miembro de la organizacin resnivel en que se encuadre, requiere la ponsable expresamente de la consecucin del identificacin del responsable encargaobjetivo? do de su consecucin. 6.2. En caso afirmativo existe adecuada relacin entre el nivel del objetivo considerado y el nivel jerrquico del responsable de su consecucin? 6.3. Ese responsable tiene capacidad de decisin adecuada para alcanzar el objetivo analizado? 6.4. Hay algn procedimiento de rendicin de cuentas en relacin al resultado del objetivo? 6.5. En caso afirmativo es valorado el resultado obtenido por una autoridad superior? 6.6. Existe un sistema de incentivos vinculado a la consecucin de los objetivos?

7. Especificidad

Los objetivos asignados deben ser exclu- 7.1. Se ha detectado alguna otra organizacin o sivos, se deben evitar duplicidades. No programa que pueda tener algn objetivo que deben existir diferentes organizaciones confluya con el objetivo examinado o con eleencargadas de la obtencin del mismo mentos contradictorios? objetivo. 7.2. En caso afirmativo Es posible obtener informacin sobre posibles objetivos anlogos o contradictorios? El objetivo debe definir su mbito sub- 8.1. Tiene el objetivo definido su mbito subjetivo? jetivo, temporal y territorial al que se 8.2. Tiene el objetivo definido su mbito temporal? dirige. 8.3. Tiene el objetivo definido su mbito territorial?

8. mbito

220

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

Anexo II Validacin de la integracin sistemtica de objetivos

SISTEMA DE OBJETIVOS

1. Adecuada estructuracin

Debe existir una adecuada verte- 1.1. La estructura de objetivos refleja la realidad bracin entre misin, objetivos estratactual y por tanto es para la gestin? gicos, operativos, y en su caso, subob- 1.2. Se producen frecuentes modificaciones en la jetivos. estructura de objetivos? En su caso a que obedecen? 1.3. Define la misin establecida el propsito ultimo de la organizacin? Tienen carcter de permanencia? 1.4. Suponen los objetivos estratgicos una concrecin de la misin? Concretan un resultado a alcanzar a medio plazo? 1.5. Suponen los objetivos operativos una concrecin del objetivo estratgico con el que se relacionan? Concretan un resultado a alcanzar en un ao? 1.6. Si el objetivo comprende un conjunto de subobjetivos son estos complementarios entre si para el logro del objetivo correspondiente? 2.1. Se ha distribuido de forma jerarquizada los objetivos en toda la organizacin responsable del programa o plan? 2.2. Estn documentadas las metas a alcanzar en los distintos niveles? 2.3. Conoce todo el personal dichas metas? 2.4. Existe correspondencia entre el conjunto de objetivos analizado y la estructura organizativa de la entidad, de forma que toda la organizacin este orientada a la obtencin de los objetivos establecidos?

2. Generalizacin de la Los diferentes niveles de la organizacin organizacin deben conocer la misin y el conjunto de objetivos estratgicos y operativos en que esta se concreta, as como cual debe ser su participacin en la gestin de los mismos. Es necesario que lo anterior este documentado.

3. Unidad

Dentro de un mismo nivel de objetivos 3.1. Existe un nico sistema de objetivos? y en relacin a un mismo perodo de 3.2. En caso afirmativo constituye este sistema una tiempo, el conjunto de objetivos consireferencia adecuada para la elaboracin del derado debe presentar una nica forpresupuesto? Se cuantifican los recursos premulacin a efectos de presupuestacin, supuestarios en base a los objetivos a alcanzar? gestin y seguimiento. 3.3. En caso negativo se estn adoptando medidas para la integracin de los distintos sistemas? Todas las actividades, proyectos o tare- 4.1. Permite el conjunto de objetivos estratgicos as que se desarrollan deben identificarel cumplimiento de la misin? se con uno o varios objetivos, sin que 4.2. Permite el conjunto de objetivos operativos el quede ninguna actividad al margen de la cumplimiento del objetivos estratgico al que estructura de objetivos. se encuentra asociado? 4.3. Permiten los subobjetivos alcanzar en su totalidad el objetivo al que estn asociados? No deben producirse solapamientos 5.1. Existe algn resultado a alcanzar cubierto por entre los distintos objetivos. Un mismo ms de un objetivo? resultado no debe ser cubierto simult- 5.2. En caso afirmativo cul es el solapamiento que neamente por ms de un objetivo ese produce entre los objetivos considerados? 5.3. Consideran los responsables de cada uno de los objetivos que se producen solapamientos entre el objetivo que deben alcanzar y los restantes?
(Sigue.)

4. Suficiencia

5. No redundancia

221

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

(Continuacin.)

SISTEMA DE OBJETIVOS

6. No contradiccin

Los resultados de los distintos objetivos 6.1. Existen aspectos de distintos objetivos que pueno deben anularse entre si, sin perjuicio dan anular entre s los efectos deseados? de que existan condicionamientos entre 6.2. Consideran los responsables que existen ellos. aspectos contradictorios entre el objetivo que tiene encomendado y algn otro? 6.3. Existen objetivos cuyo cumplimiento requiera la realizacin previa de otros? Los objetivos deben priorizarse para que 7.1. Contribuyen en igual medida todos los objetisean tenidos en cuenta en la toma de vos establecidos a la consecucin del resultado decisiones que se pretende conseguir? 7.2. Si no es as se ha establecido una clasificacin por prioridades de los objetivos considerados? 7.3. Consideran los responsables que el objetivo que tienen asignado es prioritario sobre algn otro?

7. Prioridad

Anexo II Principales indicadores de la eficiencia judicial Recursos

RGANOS JUDICIALES: MEDIOS PRESUPUESTARIOS Indicadores Fuentes

Porcentaje del gasto en justicia sobre el PIB. Porcentaje del gasto en justicia sobre el Gasto Pblico Total. Porcentaje del presupuesto dedicado a Gastos en Personal. Porcentaje del presupuesto destinado a Compras de Bienes y Servicios. Porcentaje del gasto dedicado a inversiones. Gasto por habitante. Porcentaje de los ingresos por tasas sobre el presupuesto de justicia. Datos administrativos. Estadsticas Judiciales. Estadsticas de Poblacin. Datos administrativos. Estadsticas Judiciales. Datos administrativos. Estadsticas Judiciales. Ley de Presupuesto e informes sobre su ejecucin.

RGANOS JUDICIALES: MEDIOS PERSONALES Indicadores Fuentes

Jueces por 100.000 habitantes. Distribucin del nmero de jueces por tipo de rgano, materia y regin, evolucin. Porcentaje de jueces mujeres. Personal auxiliar judicial por 100.000 habitantes. Porcentaje del personal auxiliar judicial que son mujeres. Personal auxiliar por juez. Porcentaje de los ingresos por tasas sobre el presupuesto de justicia.

Datos administrativos. Estadsticas Judiciales. Estadsticas de Poblacin

Datos administrativos. Estadsticas Judiciales.

222

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI RGANOS JUDICIALES: RETRIBUCIONES Indicadores Fuentes

Retribucin media de un juez de entrada (juez de corte de apelacin, de un juez de corte de justicia). Ratio entre retribucin media de un juez de corte de apelacin y el ingreso per cpita.

Datos administrativos. Estadsticas Judiciales.

RGANOS JUDICIALES: MEDIOS EDILICIOS Indicadores Fuentes

Superficie media por juzgado. Ratio entre superficie media y personal judicial.

Datos administrativos. Estadsticas Judiciales.

RGANOS JUDICIALES: TECNOLOGA Indicadores Fuentes

Porcentaje de rganos con sistema informtico para la gestin procesal. Cuentas de Correo electrnico por juzgado. Porcentaje de rganos con plena dotacin de computadoras.

Datos administrativos. Estadsticas Judiciales.

RGANOS JUDICIALES: APROVECHAMIENTO DE LOS MEDIOS PERSONALES Indicadores Fuentes

Das en que el juez estuvo ausente del juzgado y porcentaje sobre su jornada anual. Das en que el personal administrativo estuvo ausente del juzgado y porcentaje sobre su jornada anual.

Datos administrativos. Estadsticas Judiciales.

Carga de trabajo Los rganos judiciales deben soportar una carga de trabajo razonable. Una de las tareas consiste en definir qu es una carga razonable. El juicio de los expertos independientes contrastado con el de jueces expertos es una va para dilucidar esa cuestin. Otra es examinar lo que se est resolviendo (cantidad y calidad) y los medios de que dispone cada rgano, e inferir de ello lo que es factible o razonable. Otra es el anlisis comparado de provincias de caractersticas similares.
Indicadores Fuentes

Casos ingresados por juez. Valor y tasa de variacin. Casos registrados ms pendientes al inicio del perodo, por juez. Valor y tasa de variacin. Tasa de congestin. Valor y tasa de variacin; distribucin por materias, tipo de rgano, distrito, etc. Porcentaje de sentencias sin oposicin. Valor y tasa de variacin, distribucin por materias, tipo de rgano y distrito. Carga de trabajo ponderada por la complejidad (la ponderacin se realiza con arreglo al ndice de ponderacin por tipo de materia, distribucin por materias, tipo de rgano, regin, etc. Porcentaje de jueces que sienten la carga de trabajo como elevada o muy elevada. Valor y variacin. Porcentaje de funcionarios que sienten la carga de trabajo como elevada o muy elevada. Valor y variacin.

Estadsticas Judiciales.

Encuestas a jueces. Encuestas a funcionarios.

223

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012 La tasa de congestin es el cociente entre el nmero de casos registrados en el ao ms los pendientes al inicio del perodo, dividido por el nmero de asuntos resueltos durante el ao. Si un juzgado tena pendientes al inicio del perodo 60 asuntos, ingresaron 40 casos y el juzgado resolvi en ese tiempo 20 casos, la tasa de congestin sera de (60+40)/20=5. Cuanto mayor sea esa tasa ms congestionado estar el juzgado. La tasa de resolucin es el cociente entre los asuntos resueltos y los ingresados, ambos referidos al mismo ao. Si su valor es superior a 1 quiere decir que el rgano judicial est dando salida a ms asuntos de los que entraron y, por tanto, reduciendo la carga de trabajo atrasada; lo contrario sucede si el valor fuera inferior a 1. Litigiosidad excesiva: No todos los casos que se plantean ante los tribunales deberan tramitarse por va judicial. Existen varios indicadores que nos dan ideas o sntomas de este problema. El monto o cuanta es un indicador aproximado de ello; si es muy pequeo en relacin al coste social de resolver la disputa por la va judicial, habra que buscar un mecanismo ms barato y un procedimiento ms sencillo. Otro indicador aproximado es la frecuencia con que los tribunales dan la razn a los demandantes o demandados, lo que estara dando idea de un posible uso estratgico de los tribunales por parte de algunos litigantes, sea para demorar el pago o forzar una negociacin. Otro indicio es el uso de los tribunales para cometidos administrativos (por ejemplo, la denuncia de la prdida de un carn o pasaporte) o para funciones que podran resolverse por la va administrativa (por ejemplo, las infracciones de trfico). Estos casos y otros similares reflejan situaciones de ineficiencia de la demanda de tutela judicial, una dimensin poco considerada en los procesos de reforma judicial (vase ROSALES y PASTOR, 2004). Se trata de que a los tribunales lleguen asuntos que slo stos pueden resolver, y no otros. Muchas de estas dimensiones se captan mejor mediante el juicio de los expertos independientes, va panel o entrevistas.
Indicadores Fuentes

Casos ingresados por 100.00 habitantes, por juez, variacin anual; distribucin por materias, tipo de rgano, regin, etc. Tasa anual de crecimiento de los casos registrados. Porcentaje de casos o sentencias sin oposicin, desglose por jurisdiccin. Tasa de apelacin (porcentaje de asuntos ingresado en los tribunales de apelacin, sobre total de sentencias dictadas por rganos de primera instancia. Tasa de casacin (porcentaje de asuntos ingresados en los tribunales superiores o supremos, sobre total de sentencias dictadas por los rganos de segunda instancia. Porcentaje de asuntos de resolucin sencilla, desglosados por jurisdiccin. Porcentaje de funcionarios que sienten la carga de trabajo como elevada o muy elevada. Valor y variacin. Anlisis de muestras de casos registrados y resueltos. Estadsticas Judiciales.

Produccin. Costo pblico. Eficiencia de la oferta La complejidad de los casos que entran en un juzgado afecta al tiempo necesario del juez y juzgado para resolverlos y a la forma de resolucin (sentencia, auto, u otra va). Es preciso disponer de un desglose de procedimientos y materias homogneos para discernir su complejidad. Las formas de ponderacin provienen de informacin estructurada por grupos de jueces expertos en cada tipo de rgano y muestras de la propia actividad de los rganos judiciales. El uso de indicadores relacionados con la produccin de los rganos judiciales est muy difundido, lo mismo que el de indicadores que reflejan la demanda de tutela judicial y pendencia (tratados anteriormente). A modo de ejemplo, podemos mencionar el informe La Justicia Argentina en cifras y el Plan Nacional de Reforma Judicial del Ministerio de Justicia de Argentina.

224

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI INDICADORES SOBRE PRODUCCIN Y CARGA DE TRABAJO PONDERADOS Indicadores Fuentes

Asuntos resueltos por juez. Asuntos resueltos por juez ponderados por la complejidad. Sentencias por juez. Sentencias por juez ponderadas por complejidad. Sentencias ponderadas por personal administrativos. Tasa de sentencia (porcentaje de sentencias sobre asuntos resueltos). Tasa de conciliacin (porcentaje de casos resueltos por conciliacin sobre el total de asuntos resueltos). Porcentaje de sentencias sin oposicin del demandado Porcentaje de sentencias en las que hubo conformidad del acusado. Porcentaje de asuntos resueltos por acuerdo o conciliacin en juzgado. Porcentaje de sentencias estimatorias sobre el total. Porcentaje de vistas suspendidas. Estadsticas Judiciales.

COSTO PBLICO. EFICIENCIA EN COSTOS Indicadores Fuentes

Costo publico por tipo de caso resuelto (civil, familia, menores, penal, administrativo, laboral, etc.). Porcentaje de ingresos por tasas y multas sobre el gasto en justicia (total y desglosado por jurisdicciones). Tasa de variacin anual del costo publico por tipo de caso (civil, familia, menores, penal, etc.). Costo publico por sentencia dictada (en materia civil, familia, menores, penal, administrativo, laboral, etc.). Tasa de variacin anual del costo publico por sentencia dictada segn la materia (civil, familia, menores, penal, etc.). Estadsticas Judiciales.

Duracin y dilacin Existen diferentes tipos de indicadores de duracin. Unos se construyen sobre la base de la duracin real de los procesos (desde el ingreso de la causa hasta su resolucin) o de sus diferentes etapas. Las fuentes de informacin pueden ser tanto los registros de los sistemas informticos de gestin procesal como el estudio de muestras de sentencias o de casos. Otros indicadores permiten estimar la duracin en forma indirecta a partir de los datos que reflejan el movimiento de asuntos en un ao (ingresados, resueltos y pendientes). La valoracin de la duracin calculada mediante estos indicadores objetivos se realiza tomando como referencia un parmetro externo, como el juicio de expertos, la comparacin regional, nacional o internacional, o los plazos previstos en la legislacin procesal. Por otra parte, se emplean indicadores subjetivos, cuya finalidad es captar las percepciones de ciudadanos, usuarios, jueces, etc. sobre la duracin de los procesos (lentitud/celeridad de la justicia) y las causas de los retrasos o dilacin. Desde luego, las percepciones sobre la agilidad de la justicia no siempre coinciden con la realidad, por lo cual, es importante contrastarlas con datos e indicadores objetivos de duracin.

225

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

Indicadores Fuentes

Cambios en la duracin media y mediana de los procedimientos mas importantes, desagregados por jurisdiccin e instancia. Pendencia. Informacin sobre el conjunto. Distribucin para casa uno de los procedimientos principales. Variacin de la pendencia entre el principio y el final del perodo. Tasa de Pendencia. Distribucin para cada uno de los cuatro procedimientos principales de cada jurisdiccin e instancia. Tasa de Resolucin. Distribucin para cada uno de los cuatro procedimientos principales de cada jurisdiccin e instancia. Asuntos pendientes al final del perodo por juez. Porcentaje de casos pendientes durante mas de 12 meses. Duracin (desde el inicio hasta la sentencia). Todos los procedimientos. Estadsticos bsicos. Estadsticas Judiciales.

Tasa de pendencia Es el cociente entre los asuntos pendientes al final de un perodo y el nmero de asuntos resueltos en ese tiempo. Si un juzgado tena 100 asuntos pendientes al final y resolvi 50, la tasa sera de 100/5=2. La idea intuitiva que traslada esta ratio es que si el juzgado en cuestin dejase de ingresar asuntos nuevos y se limitase a finalizar la carga pendiente, le llevara dos aos terminar esa pendencia, suponiendo que trabajase a un ritmo similar al del ao en cuestin. De ah que, a falta de mejor dato, se suela tomar como referencia aproximada de la duracin, algo que era comprensible hace treinta o cuarenta aos, pero no lo es a estas alturas. Recientemente algunas organizaciones han denominado a este trmino eufemsticamente tiempo de respuesta; ste sin embargo, tiene un significado bien distinto en ingeniera de procesos, por lo que aconsejamos no fomentar la confusin terminolgica. Como hemos indicado antes, la tasa de resolucin es el cociente entre los asuntos resueltos y los ingresados en un ao, e indica el grado en que el juzgado est dando salida a un nmero equivalente a los asuntos que entraron. Si en un juzgado ingresaron 60 asuntos y se resolvieron 40, la tasa de resolucin sera 40/60=2/3 o, en valores porcentuales, del 66,7 por 100, lo cual indicara que en ese perodo se estara aumentando la carga a soportar en el futuro. Calidad de los procesos El anlisis de la calidad de los procesos muestra si existe reiteracin de documentos y trmites sin sentido, o citaciones u otras actuaciones que podran realizarse con mayor eficacia (tasa de respuesta), celeridad y menor coste. Tambin indica si hay una adecuada programacin para evitar costes a los ciudadanos que tienen que asistir a los juzgados para realizar trmites a veces ociosos o suspendidos sin previo aviso, ocasionndoles prdidas que afectan a su trabajo u ocio.
CALIDAD DE LAS RESOLUCIONES JUDICIALES Indicadores Fuentes

Tasa de anulacin en la apelacin. Tasa de revocacin en la apelacin. Tasa de anulacin en la casacin. Tasa de revocacin en la casacin.
(Sigue.)

Estadsticas Judiciales, muestras de casos.

226

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI
(Continuacin.)

CALIDAD DE LAS RESOLUCIONES JUDICIALES Indicadores Fuentes

Porcentaje de sentencias consideradas pobremente fundamentadas, o sentencias formulario, o excesivas en cortar y pegar. Sentencias de formulario. Porcentaje de personas que dicen que les resulta compleja o no inteligible la jerga empleada por los jueces, abogados, fiscales u otros funcionarios..

Anlisis muestra de casos y sentencias. Anlisis de muestras de sentencias. Encuestas a usuarios no expertos.

Tasa de anulacin Es el cociente entre el nmero de sentencias en las que el rgano de apelacin califica la sentencia de primera instancia como nula (porque no se sigui el procedimiento u otros errores graves similares) y el nmero de sentencias dictadas por el rgano de apelacin. Esta ratio indica que no se siguieron las reglas bsicas o fundamentales del proceso, lo cual refleja una grave deficiencia de la calidad. Tasa de revocacin Es el cociente entre el nmero de sentencias en las que el rgano de apelacin califica la sentencia de primera instancia como inadecuada y la cifra de sentencias dictadas por el rgano de apelacin. Un efecto positivo de tasa de revocacin estriba en que estimula la congruencia en la aplicacin de la ley, lo que est en relacin con la demanda a menudo formulada sobre la necesidad de reducir la aleatoriedad de las decisiones judiciales. Sin embargo, prcticamente en todas las presentaciones que se hacen de indicadores, los jueces advierten que este indicador genera incentivos inadecuados porque supone una presin para que los jueces se alineen con las decisiones de los rganos jurisdiccionales superiores, adems de sentir que esta presin compromete la independencia judicial. Esta ratio debe usarse ms que nada para identificar casos atpicos. Por ejemplo, si la frecuencia con que se revocan las sentencias fuera del 10 por 100 de media para el conjunto de rganos, mientras que en un juzgado o tribunal o un grupo de ellos fuera del 40 por 100 y ello no fuera ocasional, debiera interpretarse como una seal para examinar qu est pasando en ese rgano o conjunto de rganos. Grado en que las sentencias estn bien motivadas y fundamentadas y estructuradas Este es un indicador importante, pero su medicin es costosa porque requiere anlisis de expertos independientes (personas que se supone son capaces de identificar estos problemas de forma adecuada) y ha de basarse en muestras de casos. Calidad de los procesos El anlisis de la calidad de los procesos muestra si existe reiteracin de documentos y trmites sin sentido, o citaciones u otras actuaciones que podran realizarse con mayor eficacia (tasa de respuesta), celeridad y menor coste. Tambin indica si hay una adecuada programacin para evitar costes a los ciudadanos que tienen que asistir a los juzgados para realizar trmites a veces ociosos o suspendidos sin previo aviso, ocasionndoles prdidas que afectan a su trabajo u ocio.
CALIDAD EN LA TRAMITACIN PROCESAL Indicadores Fuentes

Porcentaje de jueces y abogados que consideran que la configuracin de los procesos genera demasiados tramites ociosos.

Entrevistas a jueces y abogados.

(Sigue.)

227

Cuadernos de Formacin. Colaboracin 4/12. Volumen 14/2012

(Continuacin.)

CALIDAD EN LA TRAMITACIN PROCESAL Indicadores Fuentes

Porcentaje de testigos del proceso que fueron citados y no se requiri su participacin. Porcentaje de notificaciones intentadas sin conseguir su efecto. Porcentaje de casos en que la notificacin fue recibida a tiempo y correctamente.

Datos de expedientes, encuestas de salida. Archivos judiciales. Expedientes. Estadsticas judiciales. Datos de archivos. Encuesta a usuarios.

Tasa de anulacin Es el cociente entre el nmero de sentencias en las que el rgano de apelacin califica la sentencia de primera instancia como nula (porque no se sigui el procedimiento u otros errores graves similares) y el nmero de sentencias dictadas por el rgano de apelacin. Esta ratio indica que no se siguieron las reglas bsicas o fundamentales del proceso, lo cual refleja una grave deficiencia de la calidad. Tasa de revocacin Es el cociente entre el nmero de sentencias en las que el rgano de apelacin califica la sentencia de primera instancia como inadecuada y la cifra de sentencias dictadas por el rgano de apelacin. Un efecto positivo de tasa de revocacin estriba en que estimula la congruencia en la aplicacin de la ley, lo que est en relacin con la demanda a menudo formulada sobre la necesidad de reducir la aleatoriedad de las decisiones judiciales. Sin embargo, prcticamente en todas las presentaciones que se hacen de indicadores, los jueces advierten que este indicador genera incentivos inadecuados porque supone una presin para que los jueces se alineen con las decisiones de los rganos jurisdiccionales superiores, adems de sentir que esta presin compromete la independencia judicial. Esta ratio debe usarse ms que nada para identificar casos atpicos. Por ejemplo, si la frecuencia con que se revocan las sentencias fuera del 10 por 100 de media para el conjunto de rganos, mientras que en un juzgado o tribunal o un grupo de ellos fuera del 40 por 100 y ello no fuera ocasional, debiera interpretarse como una seal para examinar qu est pasando en ese rgano o conjunto de rganos. Grado en que las sentencias estn bien motivadas y fundamentadas y estructuradas Este es un indicador importante, pero su medicin es costosa porque requiere anlisis de expertos independientes (personas que se supone son capaces de identificar estos problemas de forma adecuada) y ha de basarse en muestras de casos.

BIBLIOGRAFA
BALBS R., C., y TAMARIT DE CASTRO, C. (2010): Planificacin estratgica e indicadores de Gestin. Sistemas de informacin para la direccin y Evaluacin de polticas pblicas, IEF-CEDDET, Madrid. BALLART, X. (1992): Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y estudios de caso, Madrid, INAP . BONNEFOY, J., y AMIJO, M. (2005): Indicadores de desempeo en el sector pblico, Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social, ILPES, Santiago de Chile. CHUMBITA, H. (1997): Evaluacin en la gestin pblica: caso del sistema nacional de evaluacin educativa, INAP , Buenos Aires. CONTRALORA GENERAL DE CUENTAS (2005): Manual de Auditora Gubernamental, Guatemala. CORTE DE JUSTICIA DE LA PROVINCIA DE SALTA: Acordada 10346, 26/04/2009. Creacin de la Sindicatura del Poder Judicial de la provincia de Salta. Medidas de organizacin y funcionamiento.

228

Herramientas para evaluar la eficiencia judicial en la provincia de Salta (Argentina)

A NA C LARA R EBUFFI

CORTE DE JUSTICIA DE LA PROVINCIA DE SALTA: Acordada 8473, 12/04/2000. Aprueba el Plan Estratgico para el Poder Judicial de la provincia de Salta. Acordada 9701, 28/12/2006. Aprueba el Plan Estratgico II para el Poder Judicial de la Provincia de Salta. FORES (1998): Justicia & Desarrollo Econmico, Captulo 1: La Eficiencia de la Justicia, Buenos Aires. FUNDACIN DE INVESTIGACIONES ECONMICAS LATINOAMERICANAS (FIEL) (1996): La Reforma del Poder Judicial en la Argentina, FIEL, Buenos Aires. GARAVANO, G. (1997): La Justicia Argentina: Crisis y Soluciones, Madrid, Universidad Carlos III. GARCS, M. (2008): De la auditora pblica a la evaluacin de polticas pblicas. Reflexiones prcticas en torno al nuevo marco de la auditora y de la evaluacin en el sector pblico espaol, Barcelona, Asociacin-Instituto de Auditores Pblicos de Espaa. GARCA, M. A., y ROSALES, V. (2010): Justicia y Economa: Evaluando la Eficiencia Judicial en Andaluca, Revista para el anlisis del derecho-InDret, (4/2010), 1-26. IGLESIAS, P , y. ARIAS, X. (2005): Problemas de ineficiencia en el sistema judicial espaol. Una visin transaccional, VII Jornadas de Poltica Econmica, Vigo. IGAE (1997): El establecimiento de objetivos y la medicin de resultados en el mbito pblico, Madrid, IGAE. INTOSAI (2004): Directrices de aplicacin de las normas de auditora del rendimiento. ISSAI: Cdigo de tica y Normas de Auditora de la Organizacin Internacional de Entidades Fiscalizadoras Superiores (INTOSAI), Glosario, 1998. MINISTERIO DE JUSTICIA justicia, Argentina.
DE LA

NACIN (1997): Plan nacional de reforma judicial: propuestas para la reforma del sistema de

MARTNEZ, Vctor R. (2009): El Proceso por Audiencia y Oralidad, III Encuentro Latinoamericano de Postgrado en Derecho Procesal, Facultad de Ciencias Jurdicas y Polticas de la Universidad Central de Venezuela, Venezuela. OSUNA, J. (2009): Introduccin a la Evaluacin de Polticas Pblicas, Curso de Evaluacin de Polticas Pblicas y Programas Presupuestarios, IEF, Madrid. PASTOR, S. (1993): Ah de la justicia!, poltica judicial y economa, Centro de Publicaciones del Ministerio de Justicia, Madrid (2005): Cifrar y descifrar, vol. II, Indicadores Judiciales para las Amricas, CEJA, Madrid. RUBIO DELGADO, F. (2008): Fiscalizacin Operativa: El anlisis de eficiencia y el anlisis de economa, CEDDET-Tribunal de Cuentas de Espaa, Madrid. SANTN G., D. (2009): La Medicin de la Eficiencia en el Sector Pblico. Tcnicas Cuantitativas, IEF, Madrid. SUAZ, A. (2009): Informacin contable y financiera en la evaluacin de polticas, Madrid, IEF. WIERNA, G. (2004): Una Profeca Cumplida, Decimoquinto Congreso Nacional de Profesionales en Ciencias Econmicas, Salta, Argentina. ZALTSMAN, A. (2003): La evaluacin de resultados en el sector pblico argentino: un anlisis a la luz del debate sobre la Nueva Gestin Pblica y de otras experiencias de evaluacin en Amrica Latina, VIII Congreso Internacional del Centro Latinoamericano de Administracin para el Desarrollo (CLAD) sobre la Reforma del Estado y de la Administracin Pblica, Panam, 28 a 31 de octubre de 2003.

229