Bibl. Univ., Vol. IV, No. 2,abril-junio de 1989

Evaluación del trabajo: principios y prácticas

Geoffrey Ford

*Traducción de Elda Mónica Guerrero

Es necesario evaluar el trabajo de las bibliotecas primero, porque una biblioteca casi siempre obtiene su financiamiento de fuentes externas; segundo, porque en las bibliotecas pueden tener lugar muchas actividades y es necesario asignar recursos para reflejar las prioridades; tercero, porque puede haber diversas formas de hacer el trabajo en una biblioteca. Las bibliotecas son organizaciones económicas a las que hay que asignar recursos con el objeto de acrecentar al máximo los beneficios que se derivan de las actividades de la organización.  Esta declaración tan simple oculta un número de pasos lógicos que pueden expresarse como una serie de preguntas:

• ¿Para qué es la biblioteca?

• ¿Cómo pueden asignarse los recursos para ayudar a la biblioteca a lograr su objetivo?

• ¿Qué tan bien está logrando su objetivo la biblioteca?

• ¿Cómo podemos medir lo bien que la biblioteca está logrando su objetivo?

• ¿Qué actividades ayudan a la biblioteca a lograr su objetivo?

• ¿Qué tan bien está haciendo la biblioteca estas actividades?

• ¿Cómo puede medirse la ejecución de cada actividad?

El marco para la evaluación

El análisis de los problemas de evaluación del trabajo de Richard Orr nos da el marco esencial para juzgar el trabajo de una biblioteca.  Orr (l) ha sugerido que los dos aspectos del servicio bibliotecario que necesitan evaluarse son su calidad y su valor.  La calidad debe medirse en términos de la capacidad de la biblioteca para satisfacer las necesidades de los usuarios a los que intenta servir; y el valor se mide en términos de los beneficios derivados de su uso, considerados por los que proporcionan el servicio.

Orr distingue también entre medidas directas y medidas indirectas,  las cuales se basan en otros juicios que se supone relacionados con los juicios principales.  En ausencia de un conocimiento claro sobre los vínculos entre suministro y demanda de los servicios bibliotecarios (2,3) se requieren medidas directas obtenidas mediante la observación de las acciones de los usuarios (4).  Podemos identificar una serie de indicadores de ejecución: y estos indicadores cambiarán en cada biblioteca a lo largo del tiempo, según varíe la demanda, los recursos y los objetivos. Orr ha sugerido un número de criterios para juzgar los indicadores de ejecución.

• ¿Es pertinente para el problema que estamos tratando de resolver?

• ¿Es útil para señalar fuentes de dificultad y soluciones potenciales a los problemas?

• ¿Es válido para medir lo que se supone que mide?

• ¿Es confiable, o bien el procedimiento está sujeto a grandes errores incontrolables?

• ¿Puede utilizarse con fines comparativos, es decir para controlar cambios de tiempo suplementario dentro de una biblioteca o para comparar bibliotecas?

• ¿Es práctico en términos de costo, de tiempo de bibliotecarios y usuarios, o tiene posible interferencia con las actividades de éstos?

Evaluación de la ejecución en la práctica

En esta sección consideraré algunos indicadores a la luz de lo antes expuesto concentrándome en dos aspectos básicos del servicio bibliotecario: el suministro de documentos (incluyendo libros, informes, y artículos de publicaciones seriadas en formato convencional, microficha o medios electrónicos) y el suministro de información en forma de respuesta a preguntas directas.  En la práctica se pueden distinguir diversos tipos de necesidades de los usuarios, al evaluar el trabajo de la biblioteca (5).

Suministro de documentos. La disponibilidad se define como la proporción de la demanda de documentos satisfecha en un periodo de tiempo determinado.  En una biblioteca con estantería cerrada, esto puede medirse continuamente, pero en una biblioteca con estantería abierta será necesario utilizar una muestra de algún tipo de encuesta: durante un período de tiempo determinado, algunos o todos los usuarios de la biblioteca serán encuestados para registrar la identidad de todos los documentos que están buscando, y de su éxito en encontrarlos.

	No. total de documentos encontrados
Disponibilidad =		X 100
	No. total de documentos buscados

Utilizando este planteamiento varias bibliotecas han reportado disponibilidades que van de 36% a 72% (6).  Este solo indicador puede utilizarse a nivel político, mientras está asociado con algún indicador de la demanda total.  Como herramienta administrativa los componentes del indicador pueden analizarse para identificar las razones de la no disponibilidad de los documentos solicitados.  Esto requiere que el personal de la biblioteca busque los materiales que los usuarios han reportado como no disponibles.  Esta técnica fue utilizada por primera vez en 1967 (7) en una encuesta realizada en la Biblioteca de la Universidad de Birmingham y desde entonces en muchas otras partes.

No es común que las bibliotecas que han usado esta técnica la repitan, tal vez por razones prácticas (ver más adelante).  Esto quiere decir que existe poca evidencia de confiabilidad en la técnica en si misma.  La medición de la disponibilidad en un solo día no presenta una estimación confiable del nivel normal a lo largo del año.  Si se dan cambios en las políticas, y se vuelve a medir la disponibilidad un año, o más tiempo después, no tenemos forma de saber si cualquier diferencia observada en el indicador está relacionada con el cambio de la política o con las variaciones del azar.  La demanda cíclica puede tener un efecto manifiesto en uno de los componentes del indicador (8). ¿Cómo hacer corresponder la disponibilidad a nuestras preguntas?

Pertinencia: es ciertamente el tipo de indicador que puede utilizarse para establecer objetivos; no es seguro que una sola evaluación sea adecuada para juzgar la ejecución.

Utilidad: los componentes del indicador ilustran fuentes de dificultad y sugieren soluciones prácticas.

Validez: es probable que los usuarios y los que proporcionan el servicio puedan entender el indicador y aceptarlo.

Confiabilidad: la técnica de evaluación es una encuesta social que utiliza cuestionarios para ser completados.  El índice de respuesta necesita ser de cuando menos un 65% para que tengamos confianza en los datos.

Aspecto comparativo: si la medición se hace con frecuencia el indicador puede utilizarse para controlar cambios de tiempo, y para comparar bibliotecas de tipos similares.

Aspecto práctico: en una base ocasional, la técnica es relativamente fácil de aplicar y no desorganiza demasiado el tiempo de los usuarios.  Esto requiere el compromiso del personal de la biblioteca para identificar las causas de la no disponibilidad en el momento de la encuesta, y la provisión de suficientes recursos en personal para hacer esto, puede interrumpir las actividades de rutina. Las encuestas de este tipo repetidas con frecuencia requieren un cuidadoso muestreo. Resumiendo, la Disponibilidad tiene ciertos atractivos como indicador de calidad, aunque para ser utilizado con confianza la técnica necesita repetirse frecuentemente, lo que crea problemas prácticos.

Exposición de documentos. Esta se define como la cantidad de tiempo que ocupa un individuo buscando, o escuchando un documento (como se define antes).

Aunque primero fue formulado por Hamburg y otros (9), este indicador se deriva de una sugerencia de Meier (10), y dice que una medida de valor puede basarse en la cantidad de tiempo que ocuparon los usuarios en un servicio.

Este tiempo de exposición no se ha medido con frecuencia.  Hamburg y otros, realizaron una encuesta en una muestra de usuarios de una biblioteca pública. En el momento en que los usuarios devolvían los libros les preguntaban sobre el tiempo de exposición, es decir algo así como una muestra retrospectiva que dependía de la memoria de los usuarios.  La Unidad Lancaster de Bibliotecas de Investigación intentó un planteamiento diferente: dio una tarjeta a los usuarios en el momento en que tomaban un libro en préstamo, y les pidió que anotaran en la tarjeta el tiempo que empleaban utilizando el libro y que entregaran esta tarjeta con el libro al efectuar su devolución.  Hamburg señala un promedio de 2.25 horas por libro (pero no indica si éste es el promedio de distribución normal); nos parece que aparentemente la exposición aumentaba exponencialmente con el tiempo de retención, con un tiempo promedio de 2.5 horas.

¿Cómo hacer corresponder este indicador a nuestros criterios?

Pertinencia: el tiempo es una medida adecuada de valor y se pueden utilizar las mismas unidades al medir el valor de otros servicios bibliotecarios, por lo que pueden compararse valores relativos de diferentes servicios.

Utilidad: el análisis de la exposición de documentos en relación al tiempo que los usuarios retienen los libros en préstamo, puede ser de ayuda cuando se establezcan periodos de préstamo.

Validez: los que proporcionan el servicio pueden no estar muy seguros de que el tiempo es una medida de valor, en este caso requerirán mayor capacitación.

Confiabilidad: existe poca evidencia para juzgar que tan honestos son los usuarios al anotar la exposición de los documentos, aunque por las cifras anotadas antes se deduce que los usuarios en su conjunto no falsifican sus registros, es más probable que ellos olviden registrar los tiempos, por lo que este indicador subestimará el valor real.

Aspecto comparativo: es posible usar este indicador con fines comparativos para mostrar los efectos de las diferentes políticas.

Aspecto práctico: la compilación de datos puede ser relativamente simple, aunque requiere la cooperación del usuario y la atención por parte del personal de la biblioteca cuando se devuelvan los libros.

En resumen, la Exposición de los documentos parece ser un buen indicador de valor, aunque su validez en el contexto de la asignación de fondos a la biblioteca todavía está por considerarse.

Suministro de información. La habilidad de una biblioteca para proporcionar información por contacto directo entre personal de la biblioteca y usuarios (posiblemente en un escritorio de información), puede evaluarse por medio del Índice de éxito al responder una pregunta.  Para esto puede usarse la técnica de prueba discreta.  Para este método, se prepara una muestra de preguntas y se dan de manera anónima al personal de la biblioteca. Williams (11) realizó este tipo de prueba en un cierto número de bibliotecas y reexaminó las primeras pruebas.

Utilizando nuestros criterios para juzgar las evaluaciones encontramos:

Pertinencia: el indicador nos da una cifra del porcentaje del índice de éxito al responder preguntas actuales y combina tres elementos: los conocimientos del personal, la disponibilidad de fuentes de referencia y la habilidad del personal para encontrar las respuestas correctas.  Esto es una medida de la calidad del servicio.

Utilidad: al juzgar la precisión de las respuestas puede ser posible identificar la fuente de error y con ello identificar las áreas donde pueden hacerse mejoras.

Validez: si los usuarios de una biblioteca obtienen respuestas a preguntas que subsecuentemente prueban ser incorrectas, la reputación de la biblioteca se verá afectada, y su calidad de servicio será considerado como malo.  Esta es una medida válida.

Confiabilidad: ésta depende de la forma como estén planteadas las preguntas, por lo que es necesaria alguna forma de control.  Durante un período suficiente de tiempo deben plantearse un buen número de preguntas para garantizar que las variaciones debidas a los horarios, etcétera, se cubren adecuadamente.

Aspecto comparativo: parece que este indicador puede utilizarse en la forma comparativa usual.

Aspecto práctico: parece que este indicador, si se mide en un cierto número de bibliotecas al mismo tiempo, es relativamente económico. En resumen, el indicador Índice de éxito al responder una pregunta, parece ser un indicador útil de la calidad del servicio.

Indicadores generales de calidad y de valor. Ciertos tipos de indicador son aplicables a más de un aspecto del servicio bibliotecario.  Un indicador general de calidad es la Puntualidad, que podemos definir como la proporción de demandas que son realizadas a tiempo para satisfacer una necesidad original.  Este debe distinguirse del tiempo de entrega que es una medida indirecta, posiblemente relacionada con la puntualidad: los componentes del tiempo de entrega pueden estar sujetos a una alteración de tiempo por causas administrativas.  Un indicador general de valor es la satisfacción del usuario, definida como la proporción de usuarios cuyas necesidades fueron satisfechas por el uso de un determinado servicio. Ambos indicadores pueden deducirse sólo como resultado de una encuesta a los usuarios, y conozco muy pocos ejemplos de su uso en la práctica.  Ciertos aspectos del suministro de documentos y de la provisión de información se han examinado utilizando estos dos indicadores generales (12,13).

Referencias

Orr, R.H. "Measuring Goodness of Library Services: A General Framework for Considering Quantitative Measures". Journal of Documentation 29:315-322 (1973)

Buckland, M.K. Book Availability and the Library User.  New York: Pergamon, 1975, pp. 109-131.

Hindle, A. "A Theoretical Note Concerning the Adaptivity of Demand for Library Documents”. Journal of Documentation 33:305-308 (1977).

Orr, R.H. "The Scientist as Information Processor: A Conceptual Model illustrated with Data on Variables Related to Library Utilization.  In Nelson, C.E. and D.K. Pollock.  Communication among Scientist and Engineers.  Lexington, Mass.: D.C. Heath, 1970, pp. 143-189.

Ford, G. User Studies: An Introductory Guide and Bibliography.  Sheffield: Centre for Research on user Studies. 1977.  Ver pp.38-40.

Revill, D.H. "Availability" As a Performance Measure for Academic Libraries". Journal   of Librarianship 19 : 14-30 (1987).

Vickery, B.C. et al.  "Report on surveys carried out in 1964 on the use of the library”.  In: University Grants Committee.  Report of the Commission on Libraries. London:  H.M.S.O.,1967, pp. 213-228.

Llinas, J. and E.T. O'Neill. "The Effect of Cyclic Demand on Book Availability" Proceedings of the ASIS 10: 123-124 (1973).

Hamburg, M. et al. "Library Objectives and Performance Measures and Use in Decision Making".  Library Quarterly 42: 107-128 (1972).

Meier, R.L. "Efficiency Criteria for the Operation of Large Libraries".  Library Quarterly 42: 107-128 (1972).

Williams, R. “An Unobstrusive Survey of Academic Library References Services". Library and Information Research News 10 (37/38): 12-40.

Stone, S. "Quality Control in Interlibrary Loan Services: Some User Perspective". Ford, G. Interlibrary Lending: Practice. Politics and Prospects. London : Rosendale, 1984, pp. 53-73.

Blagden, J. Do We Really Need Libraries? New York: Saur, 1980, pp. 11-140

Sobre el autor. Geoffrey Ford es Subdirector de la Biblioteca de la Universidad de Southampton, Highfield, Southampton SO9 5 NH, Gran Bretaña.

IFLA Journal Vol. 15 (1989) 1

  Inicio

UNAM. Dirección General de Bibliotecas

Ciudad Universitaria

México, D. F.