Artículos

 

Análise de eficiência e desempenho no longo prazo: ilustração empírica de um modelo para avaliação de bibliotecas públicas

 

Long–term efficiency and performance analysis: empirical model for evaluating public libraries

 

Frederico A. de Carvalho*, Marcelino José Jorge**, Marina Filgueiras Jorge***, Renata de Oliveira Medeiros**

 

*FACC/UFRJ, Brasil. fdecarv@msn.com

**Ambos autores pertenecen a SEMOC/IPEC/FIOCRUZ, Brasil. (marcelino.jorge@ipec.fiocruz.br), (renata.medeiros@ipec.fiocruz.br)

***Pesquisador em Propriedade Industrial INPI/MCT, Brasil. marina_filgueiras@yahoo.com.br

 

Artículo recibido: 20 de septiembre de 2012.
Artículo aceptado: 30 de enero de 2013.

 

RESUMEN

Este trabajo propone un modelo para la evaluación organizacional que se comprueba empíricamente con una muestra de 37 bibliotecas integradas a la universidad pública en la ciudad de Río de Janeiro, muestra que representa más del 80 % de la población y cuyos datos corresponden al periodo 2000–2007. El enfoque propuesto consta de tres pasos. En primer lugar, sobre la base de un modelo DEA (Data Envelopment Analysis), se calculan y se comparan las puntuaciones de eficiencia para cada una de las bibliotecas en el periodo 2000–2007; estos resultados permiten obtener una clasificación de las bibliotecas en función de su eficiencia relativa. El segundo paso consiste en identificar las acciones cuantitativas "óptimas" que permitan conducir a una biblioteca clasificada como "ineficiente" hacia el conjunto de las unidades eficientes. Esta cuantificación también sirve para evaluar los movimientos efectivos observados de un año a otro. En el tercer paso se recurre a la hipótesis Markoviana para establecer el desempeño esperado en el largo plazo en términos de la distribución del sistema entre los estados de "eficiencia" o "ineficiencia". Mediante pruebas no paramétricas se examina la asociación entre la eficiencia (cuantificada en calificaciones anuales) y el perfil demográfico. En la mayoría de las pruebas no se encontraron diferencias significativas entre las puntuaciones obtenidas en el periodo analizado.

Palabras clave: Organizaciones; Evaluación organizacional; Análisis de eficiencia; Análisis envoltório de datos; Hipótesis Markoviano.

 

ABSTRACT

This paper presents a stepwise approach to organizational assessment from an efficiency standpoint. The empirical illustration originates from data referring to the period 2000–2007 and collected from a sample of 37 libraries affiliated to a federal university in Rio de Janeiro; this sample covers more than 80% of this affiliated universe. Employing efficiency scores computed from estimated DEA (Data Envelopment Analysis) models, the stepwise approach ranks libraries and provides pro–efficiency allocative corrections. In the third step, long run evaluation is accomplished by Markovian analysis. Nonparametric tests are applied to investigate whether efficiency might be associated to demographic attributes. Findings generally indicated that efficiency scores were undistinguishable in the period. Although public libraries were the object of this study, the researchers argue that the approach is generally valid; as such the model can be applied to private organizations as well.

Keywords: Organizations; Organizational Assessment; Efficiency Analysis; Data Envelopment Analysis; Markovian Hypothesis.

 

INTRODUÇÃO

Quando se considera o modelo da administração pública gerencial, pode–se concluir que a variação da eficácia do chamado modelo de gestão para resultados pode servir como indicador da adaptação de uma organização às prescrições desse modelo. Essa adaptação pode ser medida em termos da evolução dos escores de eficiência da organização ao longo do tempo (Schwartzman, 1994). Assim, a avaliação sistemática do desempenho organizacional contribui para melhorar a gestão ao produzir, entre outras coisas, a informação necessária para identificar e entender as causas do sucesso ou dos insucessos.

O objetivo deste trabalho é propor um modelo seqüencial para avaliação da gestão em um sistema de organizações públicas. O modelo é ilustrado empiricamente com apoio em uma amostra de 37 bibliotecas universitárias integradas a uma universidade pública no Rio de Janeiro. A abordagem sequencial proposta procede em três etapas. Primeiramente, com base em um modelo DEA, são calculados e comparados escores de eficiência para cada biblioteca no período 2000–2007; estes escores permitem obter um ranking (Marinho, 2001) das bibliotecas segundo sua eficiência relativa. O segundo passo consiste em identificar ações quantitativas "ótimas" que poderiam ser propostas aos gestores no sentido de levar uma biblioteca eventualmente classificada como "ineficiente" em direção ao conjunto das unidades eficientes; esta quantificação também pode servir para avaliar os movimentos alocativos efetivamente observados de um ano para o outro. O terceiro passo recorre à hipótese Markoviana para estabelecer o desempenho esperado no longo prazo em termos da distribuição do sistema entre os estados de "eficiência / ineficiência".

Para completar a análise de eficiência, testes estatísticos examinaram a existência de associação entre eficiência (tal como quantificada nos escores anuais) e perfil demográfico.

O texto está organizado em cinco seções, incluindo esta introdução. Na segunda seção aparecem os elementos que compõem o referencial analítico em que se apóia a pesquisa, seguidos da metodologia empregada, na terceira seção. Os resultados são apresentados na quarta seção. Na quinta e última seção estão reunidos alguns comentários conclusivos.

 

REFERENCIAL TEÓRICO

Nesta seção aparecem os fundamentos analíticos da pesquisa. Primeiro são revistos autores que trataram da gestão do desempenho em bibliotecas públicas. A seguir resenha–se sucintamente a literatura sobre análise da eficiência organizacional, destacando a ilustração gráfica e os modelos de análise envoltória. Finalmente expõe–se brevemente como se pode aplicar a abordagem Markoviana para avaliar o desempenho organizacional no longo prazo.

 

Gestão do desempenho na biblioteca pública

As bibliotecas públicas em sentido amplo –quer dizer, incluindo as bibliotecas gerais, as universitárias e as escolares, nos três níveis de governo– compartilham com as organizações públicas certos traços que tornam complexa sua avaliação, tais como:

1. utilizam múltiplos insumos –tais como funcionários, acervos de impressos ou audiovisuais, e uma área física– e funcionam sob limitação orçamentária;

2. para alguns dos muitos produtos e serviços que produzem não existem, em geral, "preços de mercado", não obstante o enorme desenvolvimento no setor de "serviços informacionais"; e

3. são organizações multi–propósito, incluindo–se em sua missão, ao lado das questões microorganizacionais típicas, temas de alto significado social, tais como o conhecimento, a educação, a cultura e a inclusão social.

Incluem–se dentre esses múltiplos propósitos a visão da biblioteca como espaço privilegiado de convivência e conscientização social, bem como de envolvimento comunitário. Em países como o Brasil este papel social é inegável, dadas as características predominantemente elitistas do acesso ao ensino e à informação, e até mesmo aos livros como produto comercial. A despeito de todo o conteúdo social da biblioteca, nem sempre seu elevado papel conseguiu justificar uma alocação de recursos adequada. Segundo Suaiden (2000), não havia, até aquela época, indicadores que comprovassem a eficiência das bibliotecas públicas na realidade brasileira.

Nas bibliotecas universitárias, os serviços, produtos e acervos têm características bastante específicas dentre as chamadas bibliotecas públicas. Devido a estas características específicas e à circunscrição ao ambiente universitário, deveria ser mais simples a gestão de bibliotecas públicas universitárias, objeto deste trabalho. No entanto, apesar de suas dimensões muito mais limitadas, as bibliotecas públicas universitárias também se defrontam com aquelas três dificuldades gerenciais já assinaladas. De fato, persistem tanto questões microorganizacionais –do tipo "como alocar os recursos orçamentários entre os objetivos de ensino, pesquisa e extensão? devemos substituir pessoas por recursos tecnológicos? devemos alocar mais espaço a salas de leitura ou às estantes?", entre outros –quanto questões macroorganizacionais– do tipo, "qual tem sido nossa contribuição ao desenvolvimento acadêmico nesta universidade? qual poderia ser nosso papel em relação à comunidade que nos cerca?" e assim por diante.

Seguindo tendências internacionais, no Brasil o foco avaliativo tem–se dirigido mais comumente à eficácia, especialmente no que se refere a estudos sobre qualidade (Amboni, 2002; Rebello, 2004; Valls e Vergueiro, 2006; Vergueiro e Carvalho, 2001). Em contraste, mas à semelhança do que ocorreu na área de saúde (Silva e Formigli, 1994), os trabalhos sobre avaliação da eficiência de bibliotecas brasileiras são poucos, e esses poucos são geralmente tanto descrentes, quanto negativos (Jorge et al., 2009).

Em muitos países existe longa tradição de utilização de medidas de avaliação do desempenho de bibliotecas públicas (Favret, 2000; Miidla e Kikas, 2009). No Brasil esta questão foi tratada recentemente, segundo a abordagem de benchmarking, por Maciel Filho e outros (2004), ou com apoio na chamada contingent valuation (Maciel Filho et al., 2007).

Filiados à ótica avaliativa proporcionada pela análise de eficiência –em especial a DEA (Data Envelopment Analysis)– Chen (1997a, 1997b) e Vitaliano (1998) podem ser considerados os precursores da aplicação de DEA à avaliação do desempenho de bibliotecas públicas. Desde então a literatura internacional tem crescido consideravelmente (Stancheva e Angelova, 2004; Chen, Morita e Zhu, 2005; Reichmann e Sommersguter–Reichmann, 2006; Miidla e Kikas, 2009), incluindo as bibliotecas universitárias. No caso brasileiro podem ser mencionados, além do artigo pioneiro de Pereira e Bueno (2005), os estudos de Carvalho e outros (2009) e de Jorge e outros (2009).

 

Produtividade e eficiência: a biblioteca como unidade produtiva

Nesta subseção o ponto de partida conceitual é muito simples, mas muito geral, focalizando a organização em sua atividade básica de utilizar recursos para produzir bens ou serviços. Neste contexto aceita–se como igualmente básica a virtude de qualquer processo organizacional que permita produzir mais com os mesmos recursos ou que permita produzir o mesmo com menos recursos. Este é o princípio básico da eficiência, inegavelmente atraente para qualquer organização que precise utilizar recursos limitados, incluindo as bibliotecas e outras organizações públicas.

De acordo com Coelli, Rao e Battese (1998), os aumentos de produtividade podem ser decompostos em três tipos: ganhos de eficiência técnica; ganhos de escala; e mudança técnica. A propósito, o conceito de "fronteira eficiente" serve para caracterizar as possíveis formas de mudança de produtividade em uma organização:

• Primeiro, a organização ineficiente pode aumentar sua habilidade de obter o máximo de produto a partir de um conjunto de insumos e, desta maneira, ao aumentar sua eficiência técnica na utilização dos insumos, alcançando ganhos de produtividade e atingindo a fronteira eficiente;

• Segundo, estando em uma posição já eficiente a organização explora economias de escala e se desloca ao longo da sua fronteira de produção eficiente, aumentando ainda sua produtividade e atingindo o nível ótimo; e

• Terceiro, ao longo do tempo podem ocorrer conquistas e avanços tecnológicos que vão provocar o deslocamento da fronteira de produção a um nível mais elevado, de modo que a mudança técnica configura outra fonte de aumento de produtividade.

Em qualquer caso, fica aparente a importância da "posição na fronteira" para a avaliação simultânea de uma ou mais bibliotecas em termos de sua eficiência "relativa", quer dizer, a posição de umas em relação às outras dentro ou sobre uma mesma fronteira. Ademais, utilizando–se a modelagem adequada, é possível quantificar tanto estas posições relativas –por meio dos chamados escores de eficiência– quanto as ações (re)alocativas necessárias para deslocar, no curto prazo, uma biblioteca "ineficiente" em direção à fronteira. Um caminho para operacionalizar esta modelagem é exatamente o objetivo da Análise Envoltória de Dados, descrita adiante.

 

Abordagem Markoviana e desempenho no longo prazo

Se o imperativo estratégico primordial é ajudar a organização a melhorar seu desempenho, a avaliação da estratégia no longo prazo é igualmente necessária e deve ser praticada de modo tão abrangente que forneça antecipações de curso no tempo devido. Ademais, além de formular e implementar estratégias continuamente, a organização deve ser capaz de monitorar antecipadamente os resultados futuros. Será que se trata de uma contradição de termos? Como seria possível monitorar hoje os resultados futuros?

Nesta seção propõe–se uma forma de tratar a questão que se baseia em informações extraídas da análise de eficiência, em particular nos escores produzidos pela DEA. Embora a ilustração empírica aqui obtida diga respeito a bibliotecas, um tipo bem específico de organizações públicas, vai ficar claro que o argumento é suficientemente geral para ser aplicável, também, ao caso de organizações privadas, com ou sem fins lucrativos.

Considerando que, em cada ano do período, cada biblioteca pode estar em um dos dois estados –"eficiente" ou "ineficiente"– o caminho consiste simplesmente em tratar os escores de eficiência (gerados como resultado da aplicação do modelo DEA) como indicadores confiáveis do estado de cada unidade produtiva (as bibliotecas) e, a partir deles, observar então, ao longo dos anos, o comportamento de transição entre aqueles estados. Sempre que se dispuser de mais de um ano de observação (como é o caso aqui), será possível investigar a evolução temporal do processo evolutivo que vai separando as bibliotecas eficientes das ineficientes. Para ter informação sobre o comportamento no longo prazo do sistema de bibliotecas recorremos à hipótese Markoviana, uma das maneiras mais simples de representar um sistema dinâmico.

A hipótese Markoviana (Kemeny e Snell, 1972) postula que o estado de eficiência (ou de ineficiência) do sistema produtivo, em cada período, depende apenas do estado em que se encontrava no período anterior. A partir dessa hipótese podemos construir a matriz de probabilidades de transição entre os estados de "eficiência" e "ineficiência" para o sistema constituído pelas bibliotecas ao longo do período. Na literatura, um procedimento indicado para obter essa matriz se baseia na simples contagem (transition count; ver Billingsley, 1961 ou Anderson e Goodman, 1957) do número de passagens de um estado a outro no período 2000–2007.

De posse da matriz de transições e utilizando o conceito de distribuição de equilíbrio (Kemeny e Snell, 1972), pode–se determinar a distribuição percentual no longo prazo do conjunto das bibliotecas entre aqueles dois estados, que representa o equilíbrio dinâmico do sistema, desde que não haja uma intervenção –gerencial ou não– sobre o processo que pudesse, entre outras coisas, comprometer a aceitação da hipótese Markoviana. De acordo com aqueles autores (Kemeny e Snell, 1972: 130–131), a distribuição de equilíbrio pode ser obtida como um vetor–linha π cujos elementos somam 1 e que satisfaz a equação matricial π P = π, onde P é a matriz de transição (quadrada, de ordem igual ao número de estados).

Lembrando o resultado meramente matricial de que o elemento genérico [ P_ij ⁽ⁿ⁾ ] da matriz potência Pⁿ é a probabilidade de que o sistema passe do estado i ao estado j em n passos (aqui, anos), a idéia de longo prazo decorre de que, quando o número n de passos cresce indefinidamente, então (1972: 131):

lim (1/n)(P + P² + . . . + Pⁿ) = (1 1 1 1)'π (2.1)

Vale observar que o resultado do produto matricial no lado direito de (2.1) é uma matriz quadrada de mesma ordem que P e com todas as linhas iguais a π. Este resultado sugere utilizar a expressão "equilíbrio de longo prazo" uma vez que o vetor–linha π fornece uma "distribuição esperada", a longo prazo, do sistema (entre os estados possíveis) que não se altera com as transições expressas em P (pois, por definição, π P = π) e que é independente do estado inicial.

A "média" finita que aparece no lado esquerdo de (2.1) indica um caminho para calcular π quando estiverem disponíveis duas ou mais matrizes de transições observadas, mas este caminho não será explorado neste trabalho.

Na medida em que as bibliotecas são classificadas em um dos dois estados pelo valor do escore calculado no periodo e que as "transições" se referem a cada estado, o método proposto é agregado no sentido de que se trabalha apenas com dados "sistêmicos".

 

METODOLOGIA

Aceitos o princípio da eficiência como diretriz da avaliação organizacional do sistema de bibliotecas e a DEA como modelo quantitativo dele decorrente para determinar (a) a posição relativa das bibliotecas e (b) as opções alocativas disponíveis aos gestores de um dado conjunto de bibliotecas amostradas, o dimensionamento do ajuste ótimo necessário para assegurar seu desenvolvimento é aqui formulado como um problema de cálculo das fronteiras eficientes de possibilidades de produção dessas bibliotecas e do seu desempenho relativo, bem como dos planos de operação –ou seja, das mudanças em suas combinações de recursos e resultados– que serão necessários para proporcionar ganhos de eficiência técnica.

 

Análise Envoltória de Dados (Data Envelopment Analysis)

A eficiência de quaisquer unidades produtivas pode ser calculada por meio de uma fronteira de produção determinística, cujo processo de construção é implementado com apoio na formulação e solução de um problema de programação linear. Esse procedimento, conhecido como Data Envelopment Analysis (DEA), foi inicialmente introduzido na literatura por Charnes, Cooper e Rhodes (1978, 1981) e posteriormente modificado por Banker, Charnes e Cooper (1984). A diferença mais importante entre esses dois modelos é a possibilidade de tratamento das economias de escala. O modelo Banker, Charnes e Cooper (modelo BCC), utilizado neste estudo, permite calcular uma fronteira de produção determinística com rendimentos variáveis de escala, ao contrário do modelo Charnes, Cooper e Rhodes (modelo CCR), que pressupõe que todas as unidades produtivas estudadas operam com rendimentos constantes de escala.

A DEA é sempre utilizada para avaliar a eficiência de unidades produtivas (Decision Making Units – DMUs) que usam múltiplos insumos para obter múltiplos produtos (De Negri, 2003). A DEA tem sido usada para avaliar diversos tipos de organizações públicas, tais como escolas públicas, hospitais e unidades ou sistemas militares, todos devidamente entendidos como tipos de "organizações complexas" (Emrouznejad, Parker e Tavares, 2008). Esta flexibilidade no uso desse instrumental reside no fato de não requerer a pré–definição de uma forma funcional para a função de produção, tal como é exigido nas abordagens econométricas de regressão, também de há muito aplicadas ao caso de bibliotecas públicas (por exemplo, Vitaliano, 1997).

Entre as características de interesse da DEA para a análise de bibliotecas afiliadas a organizações públicas –sujeitas a operar sob a restrição de um orçamento limitado a prori– destaca–se a flexibilidade do método para estimar uma fronteira de produção que maximiza o produto, sujeito à quantidade de insumos que é possível utilizar sob aquela limitação orçamentária. Esse procedimento implica resultados alocativos eficientes no sentido de Pareto. Além disso, a DEA permite a incorporação, na análise, de insumos e de produtos mensurados em diferentes unidades de medida –dispensando, portanto, o uso de "valores" de qualquer natureza– e possibilita a verificação de valores ótimos de produção e de consumo respeitando restrições de factibilidade (feasibility) definidas segundo a conveniência de quem usa. Vale destacar que a utilização direta de inputs e outputs também dispensa a necessidade de definir ou redefinir "indicadores" de desempenho de vários tipos, que aparecem com freqüência na literatura.

A DEA parte da premissa de que existe uma fronteira de produção que envolve as bibliotecas observadas (ou "amostradas"). Algebricamente essa fronteira é construída através da combinação linear que conecta as unidades que apresentam as melhores práticas. O valor calculado da eficiência, portanto, não é absoluto, dado que leva em conta as situações relativas entre as diversas DMUs. Assim, DMUs que estiverem localizadas na fronteira serão "mais eficientes relativamente às demais" e o desvio de uma unidade produtiva ineficiente em relação a essa fronteira empiricamente observada será, por sua vez, sua medida de ineficiência. Além disso, a DEA permite localizar unidades eficientes de referência para cada uma daquelas que for assinalada como ineficiente (Marinho, 2001).

Com apoio na formalização de Coelli, Rao e Battese (1998) e de Estellita Lins e Angulo–Meza (2000), pode–se descrever o método partindo da definição do conjunto das N bibliotecas que utilizam K insumos e produzem M produtos. A matriz de insumos X é uma matriz retangular KxN que representa os recursos utilizados pelas bibliotecas. A matriz Y é uma matriz MxN que representa os "produtos" (serviços) produzidos por elas. Cada biblioteca é representada nessas matrizes por um vetor de produto, y_i, e de insumos, x_i. Para cada biblioteca, é obtida a razão entre os produtos e insumos utilizados, u'y_i/v'x_i , em que u é um vetor Mx1 contendo os pesos dos produtos e v é um vetor Kx1 com o peso dos insumos encontrados pela resolução de um problema de maximização utilizando Programação Linear.

Nesta pesquisa foi usado o programa DEAP® versão 2.1 –Data Envelopment Analysis (Computer) Program– para calcular a fronteira de produção através da técnica DEA. Através da aplicação de diferentes modelos, dependendo da hipótese sobre a natureza dos rendimentos de escala, é possível calcular os escores de eficiência técnica, para cada biblioteca. Os resultados também oferecem metas quantitativas a serem alcançadas pelas bibliotecas classificadas como (relativamente) ineficientes, e que constituem os chamados "planos de operação".

 

Análise Markoviana

Como se dispõe de mais do que dois anos de observação, foi possível investigar a evolução temporal do processo evolutivo que vai separando as bibliotecas eficientes das ineficientes. Aceitando a hipótese Markoviana, expressa na matriz de transição entre os estados de "eficiência" e "ineficiência" ao longo dos dois anos, e utilizando o conceito de distribuição de equilíbrio, pode–se determinar a distribuição percentual no longo prazo das bibliotecas entre aqueles dois estados, que representa o equilíbrio dinâmico do sistema (Kemeny e Snell, 1972: 131).

Quando se dispõe de uma série histórica de escores, a distribuição de equilíbrio pode, em princípio, ser determinada de várias formas. Por exemplo, calcular o equilíbrio usando apenas a transição entre estados correspondente aos anos de 2000 (inicial) para 2007 (final). A despeito de que este procedimento despreza todas as informações referentes aos anos intermediários, a força de exemplificação do método proposto não se perderá.

Outra forma seria usar a analogia sugerida pela equação (2.1), mostrada na seção anterior, ou seja, calcular a média aritmética das sete matrizes geradas pelos oito anos para então utilizá–la no cálculo do vetor de equilíbrio. Para simplificar os cálculos, neste trabalho usaremos apenas o primeiro caminho.

 

Universo, amostra e coleta de dados

O universo da pesquisa é formado pelo conjunto de unidades que compõem o sistema integrado de bibliotecas em uma IES pública localizada no Rio de Janeiro. Questões de acesso e de tempo para o levantamento de dados levaram a considerar uma amostra de 37 bibliotecas, representando pouco mais de 90 % do total do universo.

Os dados foram coletados no banco de dados gerenciais criado e mantido pelo sistema integrado com a finalidade de acompanhar e monitorar o desempenho das unidades componentes. A partir do exemplo fornecido em Pereira e Bueno (2005), e diante dos dados disponíveis, para aplicar o modelo DEA foi escolhido o período 2000–2007, considerando–se três recursos produtivos (ou inputs) –a saber, Número de Funcionários/ano; Área (em metros quadrados); e Acervo (em volumes)– e quatro "produtos" (ou outputs) –Consultas, Empréstimos, Inscrições de leitores, e Fluxo de usuários.

 

Testes de hipóteses

Além de poder classificar, pela aplicação da DEA , as bibliotecas segundo sua eficiência, seria igualmente relevante entender, ainda que tentativamente, a distinção entre bibliotecas "eficientes" e "ineficientes". Um caminho seria procurar critérios de comparação –de preferência com respaldo ou conteúdo gerencial– que permitissem, primeiro, determinar se existem diferenças estatisticamente significativas entre bibliotecas eficientes e ineficientes para depois entender tais diferenças.

Partindo de critérios de comparação eventualmente "ingênuos", mas empiricamente disponíveis e interpretáveis –por exemplo, dados demográficos, tais como a idade da biblioteca ou sua localização– e considerando que as características de unidades organizacionais obtidas pro amostragem geralmente têm distribuições de probabilidade desconhecidas, a análise comparativa da eficiência técnica relativa pode justamente utilizar os escores de eficiência calculados para realizar testes estatísticos com vistas a investigar aquelas diferenças.

Pode–se então formular uma hipótese composta de pesquisa do seguinte tipo:

os padrões (escores calculados) de eficiência relativa diferem segundo características demográficas das bibliotecas

Por conveniência, neste trabalho recorre–se a apenas duas variáveis demográficas: a Idade, que é o tempo decorrido desde a fundação, e a Localização, uma variável dicotômica que indica se a biblioteca está situada dentro ou fora do campus principal. Para a primeira variável a justificativa se refere às facilidades trazidas por métodos, pessoas ou equipamentos novos e sua influência já foi constatada no contexto bibliotecário (Pereira e Bueno, 2005). Quanto à localização no campus, o que se espera é a ocorrência de sinergias e economias de escopo para bibliotecas funcionando dentro do mesmo espaço geográfico, a despeito da influência crescente das tecnologias não presenciais de comunicação.

Dependendo da característica utilizada, aquela hipótese composta dá origem a sub–hipóteses simples, tal como se pode ver no seguinte exemplo:

os padrões (escores calculados) de eficiência relativa diferem segundo a idade das bibliotecas

Devido à natureza e ao tamanho da amostra, e por conseguinte dos dados assim obtidos, o teste das hipóteses não deveria utilizar abordagens estatísticas que requeiram grandes amostras ou conhecimento prévio sobre as distribuições de probabilidade envolvidas.

A aplicação das técnicas não–paramétricas não exige hipóteses quanto à distribuição da população da qual se tenha retirado amostras; em geral, tais hipóteses são restritivas e raramente se verificam para aqueles dados. Além disso, a estatística não–paramétrica pode ser aplicada a dados que estejam medidos apenas como ordenações. De acordo com Siegel (1975: 35–36), as principais vantagens dos testes não–paramétricos são que: (a) não é necessário especificar condições sobre os parâmetros da população da qual se extrai a amostra; (b) não se exigem mensurações tão restritas quanto o que ocorre no caso paramétrico; e (c) as hipóteses, no caso não–paramétrico, ocorrem em menor número e são menos restritivas do que no caso paramétrico.

Dependendo, então, da natureza das variáveis demográficas usadas para teste foi escolhido o teste não–paramétrico apropriado. Assim, nesta pesquisa, para comparar os escores foram utilizados os testes de correlação ordinal (Spearman) para a influência da Idade, de Mann–Whitney para a influência da presença no campus, e de Friedman para o teste conjunto entre os diferentes anos (Siegel, 1975).

 

RESULTADOS

Os resultados aparecem nesta seção. Depois de traçar um breve perfil da amostra utilizada, no ano mais recente da amostra, descreve–se, com base nos escores calculados, a discriminação das bibliotecas em grupos de unidades relativamente "eficientes" e "ineficientes", ao longo do período. A seguir, sob a denominação de "planos de operação anuais", apresentam–se, para cada insumo definido no exercício, as alterações alocativas médias calculadas a partir dos planos de operação anual fornecidos pela estimação do modelo DEA completo. Na próxima subseção apresentam–se os resultados da versão mais simples da análise Markoviana para a distribuição percentual das unidades em cada "estado de eficiência", no longo prazo. Finalmente, expõem–se e comentam–se os resultados dos testes de hipóteses.

 

Perfil da amostra em 2007

Na Tabela 1 aparece um resumo descritivo sobre alguns atributos das bibliotecas amostradas no ano mais recente do período estudado, que sugere certa heterogeneidade na amostra, especialmente quando se considera os valores do coeficiente de variação.

Em termos absolutos, pode–se constatar que a amostra incluiu unidades pequenas e grandes, seja qual for a característica operacional considerada (número de funcionários, área, acervo e diversificação). Vale destacar que algumas unidades, tais como as bibliotecas de pesquisa ou de obras raras, não prestam serviços usuais, tais como empréstimo e consultas, o que é compreensível no ambiente universitário. No entanto, manter este tipo de unidade produtiva na amostra pode dar ensejo a que qualquer unidade produzindo uma quantidade pequena, mas positiva, desses serviços venha a ser candidata a eficiente. Futuramente será interessante excluí–las da amostra a ser analisada.

 

Classificação das bibliotecas segundo sua eficiência

O principal resultado empírico da pesquisa, que alimenta todos os demais, aparece na Tabela 2. Trata–se dos escores de eficiência calculados, para cada biblioteca amostrada e cada ano, pelo modelo DEA –versão orientada para produto e com rendimentos variáveis de escala (equação 1, seção "Análise Envoltória de Dados"). Já que os escores eficientes são todos iguais a 1, na tabela aparecem apenas os escores das unidades ineficientes em algum dos anos da análise, decrescentemente ordenados em 2006. Conforme a interpretação já explicada, os escores iguais a 1 representam as unidades (relativamente) eficientes. As unidades (relativamente) ineficientes receberam escores menores que 1. Este é precisamente o sentido da eficiência técnica, a saber, do ponto de vista alocativo não há como melhorar a situação das unidades que já operam na fronteira.

A Tabela 2 evidencia um dos tipos de informação fornecidos pela análise envoltória, ilustrado com apoio na evolução do desempenho segundo a eficiência calculada. Vale destacar desde logo que oito bibliotecas permaneceram na fronteira eficiente ao longo do período, o que sugere a robustez de seu desempenho e poderia justificar sua percepção como benchmarks para o grupo amostrado. Ao mesmo tempo, algumas bibliotecas jamais visitaram a fronteira ou nem mesmo se aproximaram dela, o que também pode ser entendido como alerta à atenção gerencial.

As demais unidades tiveram comportamento variável, que também pode merecer atenção. Por exemplo, a unidade 5 foi eficiente em cada ano, exceto um. Por que? Em termos de apoio gerencial, os indícios numéricos devem ser acompanhados do monitoramento das características individuais.

 

Planos de operação eficientes–realocações médias no período

Considerando as alterações alocativas que permitem levar, em cada ano do período, as unidades ineficientes a uma posição de eficiência e resumindo–as pelos valores médios chega–se à Tabela 3.

 

Vale destacar que, nas matrizes individuais contendo as alterações por biblioteca e por ano, todas as alterações nos insumos apontam para a possibilidade de reduzi–los e ainda assim aumentar a eficiência na produção; ao mesmo tempo, todas as alterações correspondentes na produção indicam aumento quantitativo. Esta é uma das informações de apoio gerencial fornecidas pela DEA e que poderiam, a princípio, intrigar alguém que desconheça o modelo.

Na Tabela 3 há indicações para reduções em torno de um funcionário, em média, mas o significado da mudança vai depender do tamanho da unidade.

No serviço público, talvez tais reduções devam ser alcançadas por remanejamento interno ou externo, dado que nem sempre uma atividade interna está relacionada à produção dos quatro serviços aqui definidos como outputs.

Outra característica da Tabela 3 é a possibilidade de combinar de várias formas as ações, já que a uma redução de acervo pode estar associada uma redução de espaço, ou seja, existem muitas variações que permitem aumento no produto.

Ainda na mesma Tabela 3, as indicações de diminuição no acervo, tecnicamente chamada descarte, também são significativas. No entanto, elas merecem especial atenção porque, por exemplo, existem coleções que não podem ser desfeitas ou mesmo obras individuais, de interesse histórico, que não devem ser descartadas.

De todo modo, todos estes indícios de que é possível reduzir o uso dos recursos presentes sem perder nem produto, nem eficiência, chamam atenção para a necessidade de os gestores estarem alerta e talvez mais proativos quanto à busca da alocação eficiente dos recursos.

Ações alocativas tais como as potencialmente fornecidas na Tabela 3 (ou, melhor ainda, aquelas que constituem as planilhas individuais) podem servir para comparar ações recomendadas com ações observadas, verificando então se as indicações quantitativas contidas nos planos de operação eficientes foram implementadas pelas unidades estudadas.

Um exemplo de tais comparações aparece na Tabela 4, em que são apresentados os hiatos alocativos correspondentes à diferença percentual entre o valor observado no uso de cada insumo e o valor ótimo prescrito pelo modelo.

Em outras palavras, essa comparação com os dados observados permite verificar se as alterações efetivamente ocorridas nos insumos foram consistentes com a sinalização ótima contida nos planos calculados. Uma vez que no setor público a execução orçamentária geralmente leva a pressões sazonais por aumentos nos gastos correntes, podem ocorrer casos de aumentos freqüentes ao longo do tempo, distanciando a unidade da fronteira eficiente.

Esses resultados chamam atenção para a vantagem de os gestores disporem de resultados alternativos aos valores orçados, que serão capazes de sustentar ou orientar a busca pela eficiência.

 

Desempenho no longo prazo

Considerando "eficiente" e "ineficiente" como dois estados possíveis para qualquer biblioteca e usando os dados de transição de 2000 para 2007 (escores na Tabela 1), podemos escrever a matriz P de probabilidades de transição entre estados no período. Por exemplo, a probabilidade de passar, no período, de "eficiente" para "ineficiente" é aproximadamente igual a 0,3529 (6 que passaram dentre 17 eficientes).

Adotando a hipótese Markoviana de que, ao longo do tempo, as probabilidades de transição entre estados só dependem do estado anterior, podemos calcular a distribuição percentual das bibliotecas nos dois estados em termos de equilíbrio dinâmico (Kemeny e Snell, 1972: 131). Esta distribuição pode ser escrita como um vetor–linha π cujos elementos somam 1 e que satisfaz a equação matricial π P = π. Resolvendo esta equação obtém–se:

π_E (percentual das Eficientes) = 53,13%

π_NE (percentual das Ineficientes) = 46,88

Em comparação com a última linha da Tabela 1, esses percentuais confirmam a tendência, sugerida naquela linha, em direção ao aumento da eficiência do sistema, no longo prazo. Vale notar que o percentual das eficientes no equilíbrio é maior que a média das médias no período (que é igual a 48,65 % e igual à mediana) e menor que o maior escore médio, corrigindo duplamente a informação anual e indicando que a informação trazida pela análise Markoviana é diferente daquela que se obtém aplicando medidas usuais oriundas da estatística descritiva para os anos tomados individualmente.

 

Resultados dos testes estatísticos

Foram utilizadas as seguintes variáveis demográficas para testar eventuais diferenças entre as unidades eficientes e ineficientes: Idade (anos decorridos desde a criação) e Localização (no campus principal ou fora dele).

Os testes não–paramétricos utilizados foram o teste do coeficiente de correlação ordinal (Spearman e Kendall), o de Mann–Whitney e o de Friedman. Em quase todos os testes foi aceita a hipótese de ausência de diferença significativa entre os escores anuais, sugerindo que o comportamento dos escores é praticamente o mesmo nos dois anos, independentemente da característica demográfica de discriminação.

A única correlação ordinal significativa (ρ = – 0.361; p < 0,05) indicou associação negativa entre Idade e Eficiência apenas para o ano de 2005 – quer dizer, naquele ano as bibliotecas mais novas foram mais eficientes. Em termos da influência da Localização no campus principal sobre a eficiência, o teste de Mann–Whitney mostrou que apenas nos anos de 2004 e 2005 as 24 unidades localizadas no campus principal foram mais eficientes em comparação às demais. Estes resultados assinalam um ponto de atenção gerencial caso se queira obter alguma interpretação ou conseqüência que faça sentido em termos do contexto organizacional.

Finalmente, pelo teste de Friedman, não existe diferença conjunta entre os escores anuais em todo o período de 2000 a 2007.

Esta subseção sugere então que o foco em diferenças individuais dos escores e sua análise estatística pouco pode revelar em relação ao que se desejaria em termos de avaliação do desempenho no período. Assim, outro caminho para avaliação seria recorrer à análise via grupos "eficientes" versus "ineficientes", tal como fizeram Jorge e outros (2009) e tal como ocorre, em certo sentido, na abordagem sistêmica representada pela análise Markoviana. De todo modo as tabelas 2, 3 e 4 permitem analisar, pelo menos descritivamente, diferenças individuais para efeito de avaliação entre unidades.

 

CONCLUSÕES

Em primeiro lugar pode–se destacar que os resultados para os escores calculados foram relativamente "benevolentes", no sentido de que o número de unidades eficientes não foi muito diferente do alcançado pelas unidades ineficientes, sendo, às vezes, até mesmo superior. Como foi dito antes, a presença, entre as unidades amostradas, de algumas que não realizam empréstimos, nem permitem consultas, pode fazer com que qualquer unidade que pratique alguma daquelas atividades, ainda que minimamente, seja candidata a "eficiente". No entanto, a exclusão de quaisquer unidades em uma amostra de DMUs não deve ocorrer sem a chancela dos gestores envolvidos, dado seu conhecimento sobre as características e especificidades das unidades produtivas.

Oito bibliotecas permaneceram na fronteira eficiente ao longo de todo o período, indicando a robustez de seu desempenho, que poderia justificar seu papel como benchmarks para o grupo amostrado. Utilizando seu conhecimento factual, os gestores podem usar este fato para desenvolver ações práticas de aprendizado e parcerias internas entre as unidades. Em contraste, algumas bibliotecas jamais visitaram a fronteira ou nem mesmo se aproximaram dela, o que também pode ser entendido como alerta à atenção gerencial.

O exame atento do comportamento dos escores pode, ainda, despertar atenção sobre outras unidades cujos escores despencaram de um ano para outro. Compreender as causas desses movimentos "perversos" pode servir para melhorar o desempenho de todo o grupo.

Além disso, valores do escore que ficam próximos da unidade (ou seja, da fronteira) precisam ser olhados com cautela, pois podem ser atribuídos simplesmente a erros de medida, em vez de representarem queda "real" no desempenho. Empiricamente, então, pode ser interessante trabalhar com "faixas de variação" capazes de ilustrar aquela proximidade; a presença nessas "faixas" passa a requerer o monitoramento das unidades individuais.

Adotada a hipótese Markoviana e calculada a distribuição percentual de equilíbrio de longo prazo das bibliotecas, nos dois estados de eficiência, pode–se concluir que existe um ligeiro movimento em direção ao aumento da eficiência sistêmica, ou seja, se os gestores se dedicaram a uma busca incessante e infinita pela eficiência técnica, simplesmente alocando e realocando os recursos segundo aponte aquela busca, o sistema ganhará eficiência no longo prazo.

Ademais, o percentual das eficientes no equilíbrio foi maior do que a média das médias no período (que é igual a 48,65 % e igual à mediana) e menor que o escore médio máximo, corrigindo duplamente tanto a subestimação, quanto a superestimação resultantes da informação anual. Isto permite concluir que a informação trazida pela análise Markoviana é como que exclusiva, e por isso diferente daquela que se obtém aplicando medidas usuais oriundas da estatística descritiva para os anos tomados individualmente.

Os resultados aqui obtidos revelaram grande potencial de aumento na produção dos serviços prestados – consultas, empréstimos, matrículas e freqüência – pela simples realocação (em geral, uma redução) dos recursos. A viabilidade "prática" das alterações prescritas nos planos de operação para o melhor desempenho das unidades amostradas, incluindo os aumentos na produção, está garantida porque tais alterações resultaram da aplicação do modelo a dados historicamente observados, em contraste a dados simulados ou obtidos em relação a metas desejadas (Pereira e Bueno, 2005). Cabe reconhecer que aquelas alterações hão de requerer atenção a aspectos da gestão dos recursos tais como a motivação das pessoas ou o desperdício de investimentos em modernização tecnológica.

Os testes realizados mostraram–se incapazes de distinguir as bibliotecas quanto à evolução observada de seus escores, sugerindo que o foco em valores individuais dos escores e sua análise pela abordagem estatística parecem revelar muito pouco em relação ao que se desejaria em termos de avaliação do desempenho no tempo. Este resultado merece ser olhado como outra forma de valorizar a análise dos grupos "eficientes" versus "ineficientes", tal como fizeram Jorge, Jorge e outros (2009) e tal como ocorre, em certo sentido, na abordagem sistêmica representada pela análise Markoviana. Persistirá sempre, é verdade, a tarefa gerencial de olhar para dentro dos grupos à procura de indícios eficazes para a avaliação do desempenho organizacional.

Como sempre ocorre, este trabalho apresenta diversas limitações. Primeiro, seria desejável experimentar diferentes formas de definir as matrizes de transição quando há mais de dois períodos e muitas unidades de produção (Jorge, Carvalho et al., 2009), de modo a robustecer as conclusões da análise de longo prazo. Segundo, seria interessante verificar a sensibilidade do modelo tanto à inclusão/exclusão de unidades com características especiais, quanto à utilização de "faixas de valores" para definir eficiência a partir dos escores calculados, amenizando ou simplesmente compreendendo a dependência dos resultados em relação a aspectos ora substantivos, ora meramente "numéricos". Terceiro, uma vez que a utilidade "prática" do modelo depende da definição de insumos e produtos, será instrutivo procurar validar a atual lista de variáveis junto a profissionais efetivamente envolvidos em gestão de bibliotecas (Jorge, Jorge et al., 2009).

A utilização da DEA permitiu conceber um procedimento sistemático seqüencial para auxiliar os gestores que, além de identificar as unidades produtivas segundo seu desempenho, fornece, ao mesmo tempo, diretrizes quantitativas de melhoria em cada unidade e calcula percentuais de classificação do sistema, no longo prazo, segundo a eficiência técnica.

Finalmente, cabe destacar que, uma vez aceito o preceito da eficiência, a aplicação empírica aqui elaborada pode ser considerada como mero pretexto empírico e ilustra, sem perda de generalidade, a utilização e replicação do modelo de avaliação proposto em outros sistemas organizacionais do setor público ou privado (Smith e Street; 2005; Vakkuri, 2003), sejam ou não bibliotecas.

 

REFERÊNCIAS

Amboni, N. F. (2002), Qualidade em serviços: dimensões para orientação e avaliação das bibliotecas universitárias federais brasileiras, 227 f. 2002, Tese (Doutorado), Programa de Pós–graduação em Engenharia de Produção–UFSC, Florianópolis.         [ Links ]

Anderson, T. W.; Goodman, L. (1957), "Statistical inference about Markov chains", The Annals of Mathematical Statistics, v. 28, n. 1, pp. 89–110.         [ Links ]

Banker, R.; Charnes, A.; Cooper, W. W. (1984), "Some models for estimating technical and scale inefficiencies in Data Envelopment Analysis", Management Science, 30, pp. 1078–1092.         [ Links ]

Billingsley, P. (1961), "Statistical methods in Markov chains", The Annals of Mathematical Statistics, v. 32, n. 1, pp. 12–40.         [ Links ]

Carvalho, F. A. de; Jorge, M. J.; Jorge, M. F.; Avelar, C. M.; Flach, E. (2009), "Análise envoltória de dados na gestão do desempenho de bibliotecas universitárias: o caso de uma IFES no Rio de Janeiro", SPOLM, Simpósio de Pesquisa Operacional e Logística da Marinha, XII, 2009, Rio de Janeiro, Anais... Rio de Janeiro: CASNAV, CD–ROM.         [ Links ]

Charnes, A. (1981), "Evaluating program and managerial efficiency: an application of Data Envelopment Analysis to program Follow Through", Management Science, v. 27, n. 6, pp. 688–697.         [ Links ]

Charnes, A.; Cooper, W.; Rohdes, E. (1978), "Measuring the efficiency of decision making units", en European Journal of Operational Research, v. 2, n. 3, pp. 429–444.         [ Links ]

Chen, T. (1997a), "A measurement of the resource utilization efficiency of university libraries", International Journal of Production Economics, v. 53, n. 1, pp. 71–80.         [ Links ]

–––––––––– (1997b), "An evaluation of the relative performance of university libraries in Taipei", Library Review, v. 46, n. 3, pp. 190–201.         [ Links ]

Chen, T.; Morita, H.; Zhu. J. (2005), "Context–dependent DEA with an application to Tokyo public libraries", International Journal of Information Technology & Decision Making, v. 4, n. 3, pp. 385–394.         [ Links ]

Coelli, T.; Rao, D. S. P.; Battese, G. E. (1998), An introduction to efficiency and productivity analysis, Boston: Kluwer.         [ Links ]

De Negri, J. A. (2003), Desempenho exportador das firmas industriais no Brasil: a influência da eficiência de escala e dos rendimentos crescentes de escala, Brasília, DF: IPEA (Texto para Discussão, n. 997).         [ Links ]

Emrouznejad, A.; Parker, B.; Tavares, G. (2000), "Evaluation of research in efficiency and productivity: a survey and analysis of the first 30 years of scholarly literature in DEA", Socio–Economic Planning Sciences, v. 42, n. 3, pp. 151–157.         [ Links ]

Estellita Lins, M. P.; Angulo–Meza, L. (2000) (Orgs.), Análise envoltória de dados, Rio de Janeiro: COPPE / UFRJ.         [ Links ]

Favret, L. (2000), "Benchmarking, annual library plans and best value: the implications for public libraries", Library Management, v. 21, n. 7, pp. 340–348.         [ Links ]

Jorge, M. F.; Jorge, M. J.; Carvalho, F. A. De; Russo, M.; Sá, N. O. De; Horta, R. A. M. (2009), "Gestão do desempenho de organizações públicas: um estudo empírico sobre bibliotecas universitárias em uma IFES no Rio de Janeiro", ENANPAD Encontro da ANPAD, XXXIII, 2009, São Paulo. Anais... São Paulo, ANPAD, # APS – 2230, CD–ROM.         [ Links ]

Jorge, M. F.; Carvalho, F. A. de; Jorge, M. J.; Santiago, R. P.; Medeiros, R. O. (2009), "Análise de eficiência de estruturas organizacionais: o caso da unificação dos núcleos hospitalares de Patologia Clínica do SAP / INCA", SEGET – Simpósio de Excelência em Gestão Tecnológica, VI, 2009, Resende–RJ, Anais... Resende: AEDB.         [ Links ]

Kemeny, J. G.; Snell, J. L. (1972), Mathematical Models in the Social Sciences, Cambridge, Mass., The MIT Press.         [ Links ]

Maciel Filho, A. R.; Aquino, M. C. de; Soares, A. P.; Lyra, C. S. (2004), "As melhores práticas administrativas: uma investigação empírica do Sistema das Bibliotecas Públicas Municipais do Estado de Pernambuco", Informação e Sociedade: Estudos, v. 14, n. 1, pp.129–144.         [ Links ]

Maciel Filho, A. R.; Aquino, M. C. de; Farias, E. R.; Candido, P. M.; Moraes, A. P. (2007), "Avaliação de bibliotecas: uma discussão de experiências empíricas recentes", Informação e Sociedade: Estudos, v. 17, n. 1, pp. 53–62.         [ Links ]

Marinho, A. (2001), Estudo de eficiência em alguns hospitais públicos e privados com a geração de rankings, Rio de Janeiro: IPEA (Texto para Discussão, n. 794).         [ Links ]

Miidla, P.; Kikas, K. (2009), "The efficiency of Estonian central public libraries", Performance Measurement and Metrics, v. 10, n. 1, pp. 49–58.         [ Links ]

Pereira, M.; Bueno, R. (2005), "Estudo da eficiência produtiva das bibliotecas públicas de São Paulo no ano de 2002", Asamblea Anual del CLADEA, 38., 2005, Santiago de Chile. Anales... Santiago: CLADEA y Universidad de Chile, CD–ROM.         [ Links ]

Rebello, M. A. F. R. (2004), "Avaliação da qualidade dos produtos/serviços de informação: uma experiência da biblioteca do Hospital Universitário da Universidade de São Paulo", Revista Digital de Biblioteconomia e Ciência da Informação, v. 2, n. 1, pp. 80–100.         [ Links ]

Reichmann, G.; Sommersguter–Reichmann, M. (2006), "University library benchmarking: an international comparison using DEA", International Journal of Production Economics, v. 100, n. 1, pp. 131–147.         [ Links ]

Schwartzman, J. (1994), Um sistema de indicadores para as universidades brasileiras, NUPES/USP, São Paulo: USP (Documento de Trabalho, n. 5 / 94).         [ Links ]

Siegel, S. (1975), Estatística não–paramétrica para as ciências do comportamento, São Paulo, McGraw–Hill do Brasil.         [ Links ]

Silva, L. M. V.; Formigli, L. A. (1994), "Avaliação em saúde: limites e perspectivas", Cadernos de Saúde Pública, v. 10, n. 1, pp. 80–91.         [ Links ]

Smith, P. C.; Street, A. (2005), "Measuring the efficiency of public services: the limits of analysis", Journal of the Royal Statistical Society, Series A, v. 168, n. 2, pp. 401–417.         [ Links ]

Stancheva, N.; Angelova, V. (2004), "Measuring the efficiency of university libraries using Data Envelopment Analysis", Inforum 2004 – Conference on Professional Information Resources, 10, Praga, 25 a 27 de maio, 2004, Proceedings.         [ Links ]

Suaiden, E. J. (2000), "A biblioteca pública no contexto da sociedade de informação", Ciência da Informação, v. 20, n. 2, pp. 52–60.         [ Links ]

Vakkuri, J. (2003), "Research techniques and their use in managing non–profit organizations: an illustration of DEA analysis in NPO environments", Financial Accountability and Management, v. 19, n. 3, pp. 243–263.         [ Links ]

Valls, V. M.; Vergueiro, W. C. S. (2006), "A gestão da qualidade em serviços de informação no Brasil: uma nova revisão de literatura, de 1997 a 2006", Perspectivas em Ciência da Informação, v. 11, n. 1, pp. 118–137.         [ Links ]

Vergueiro, W. C. S.; Carvalho, T. (2001), "Definição de indicadores de qualidade: a visão dos administradores e clientes de bibliotecas universitárias", Perspectivas em Ciência da Informação, v. 6, n. 1, pp. 27–40.         [ Links ]

Vitaliano, D. F. (1997), "X–inefficiency in the public sector: the case of libraries", Public Finance Review, v. 25, n. 6, pp. 629–643.         [ Links ]

–––––––––– (1998), "Assessing public library efficiency using Data Envelopment Analysis", Annals of Public and Cooperative Economics, v. 69, n. 1, pp. 107–122.         [ Links ]