Proposta de Metodologia Para Avaliao de Software para
Construo e Gesto de Bibliotecas Digitais
Mrcio K. Oikawa Doutor em Cincia da Computao, Universidade Federal do ABC - UFABC e-mail: marcio.oikawa@ufabc.edu.br
Renato F. Correa Doutor em Cincia da Computao, Universidade Federal de Pernambuco - UFPE e-mail: renato.correa@ufpe.br
Rodrigo R. Barbieri Graduando em Cincia da Computao, Universidade Federal de So Carlos- UFSCar e-mail: rodrigo.barbieri2010@gmail.com
Resumo: A escolha do software mais adequado um passo importante para o sucesso de construo e gesto de uma biblioteca digital. Os softwares devem ser confiveis, eficientes e eficazes em suas atividades e recursos; porm, no devem deixar de lado os aspectos humanos, que contribuem decisivamente para o seu sucesso dentro das organizaes, tais como facilidade de uso, interface amigvel e simplicidade. A escolha do melhor software para bibliotecas digitais deve levar em conta aspectos humanos que dependem dos perfis de usurios que faro uso do software. Nesse contexto, este trabalho prope uma metodologia para avaliao de softwares para bibliotecas digitais. O objetivo deste trabalho propor uma metodologia de avaliao pautada em indicadores tcnicos e humanos que pode auxiliar grupos de usurios na escolha de softwares mais adequados para a construo e gesto de suas prprias bibliotecas digitais. Os indicadores foram elaborados a partir da percepo emprica das funcionalidades mais marcantes exigidas dos softwares para bibliotecas digitais, permitindo avali-los comparando a disponibilidade, ou ausncia, de cada funcionalidade em relao a um ou mais sistemas em anlise. A metodologia de avaliao consiste em uma dinmica de pontuao, permitindo destacar cada indicador a partir de pontuao parcial e total. A partir dos indicadores e da metodologia de avaliao proposta, este trabalho tambm apresenta um estudo de caso comparativo entre alguns sistemas de software livre para bibliotecas digitais na construo de uma biblioteca digital temtica. Fazem parte dessa avaliao os sistemas: Greenstone 2; Greenstone 3; Koha; Harvest; EPrints; CDS/ISIS e DSpace. O estudo comparativo foi capaz de destacar pontos fortes e fracos de cada um, podendo ser utilizado como referncia na escolha adequada do software a ser usado em outros contextos. Tambm foram considerados fatores
humanos, tais como o desempenho inadequado das funcionalidades desejadas pelo usurio, a dificuldade na instalao e a escassa documentao, que apresentam grande impacto na implantao do sistema.
Palavras-chave: Avaliao de software. Software para bibliotecas digitais. Software livre.
1 Introduo
A escolha do software mais adequado um passo importante para o sucesso de construo e gesto de uma biblioteca digital. Os softwares devem ser confiveis, eficientes e eficazes em suas atividades e recursos; porm, no devem deixar de lado os aspectos humanos, que contribuem decisivamente para o seu sucesso dentro das organizaes, tais como facilidade de uso, interface amigvel e simplicidade. A escolha do melhor software para bibliotecas digitais deve levar em conta aspectos humanos que dependem dos perfis de usurios. Um software para biblioteca digital pode ser considerado um sistema de amplo domnio de aplicao, podendo apresentar grupos usurios muito heterogneos. Vrios grupos de trabalho tm interesse na construo de bibliotecas digitais, tais como institutos e grupos de pesquisa, rgos governamentais, universidades e grandes empresas. Para cada uma dessas entidades, a organizao e gerenciamento de documentos digitais constituem-se num fator relevante para tomada de deciso, organizao de aes estratgicas ou preservao da memria coletiva. Cada diferente perfil institucional caracteriza rotinas de trabalho e objetivos especficos, vinculados direta ou indiretamente sua rea de atuao e ao uso mais adequado de seu acervo bibliogrfico (Blandford, et al., 2004; Crane e Wulfman, 2003) . Se forem considerados, ainda, diferentes perfis de usurios, encontraremos diferentes interesses e expectativas relacionadas ao uso do software para biblioteca digital. A escolha do software um fator decisivo de sucesso ou fracasso para uma biblioteca digital. Por atender a um pblico heterogneo, o software para biblioteca digital deve apresentar, alm de qualidade tcnica, qualidade na interao humano-sistema, levando em conta fatores humanos na sua implantao, utilizao e manuteno. Atualmente, possvel encontrar boas solues de software para implantao de uma biblioteca digital. H uma variedade considervel de softwares capazes de construir e gerenciar
bibliotecas digitais, desde iniciativas comerciais at acadmicas, com contribuies de vrias comunidades interessadas no assunto. Muitos so baseados em plataformas de software livre, o que diminui custos de aquisio e permite fazer experincias com sistemas de diferentes caractersticas antes da escolha definitiva de uma soluo. Nesse contexto, este trabalho prope uma metodologia para avaliao de softwares para bibliotecas digitais, pautada em indicadores tcnicos e humanos que podem auxiliar grupos de usurios na escolha de softwares mais adequados para a construo e gesto de suas prprias bibliotecas digitais. Os indicadores foram elaborados a partir da percepo emprica das funcionalidades mais marcantes exigidas dos softwares para bibliotecas digitais, permitindo avali-los comparando a disponibilidade, ou ausncia, de cada funcionalidade em relao a um ou mais sistemas em anlise. Alguns indicadores foram baseados em fatores humanos, tais como o desempenho inadequado das funcionalidades desejadas pelo usurio, a dificuldade na instalao e a escassa documentao, que apresentam grande impacto na implantao do sistema. A metodologia de avaliao consiste em uma dinmica de pontuao, permitindo destacar cada indicador a partir de pontuao parcial e total. A partir dos indicadores e da metodologia de avaliao proposta, este trabalho tambm apresenta um estudo de caso comparativo entre alguns softwares livres para bibliotecas digitais na construo de uma biblioteca digital temtica. O estudo comparativo destaca pontos fortes e fracos de cada um, podendo ser utilizado como referncia na escolha adequada do software a ser usado em outros contextos. As prximas sees exploram, na sequncia, uma breve descrio de alguns software livres para bibliotecas digitais disponveis na internet, a metodologia de avaliao proposta, o estudo de caso, e concluso.
2 Software Livre Para Bibliotecas Digitais
Esta seo apresenta brevemente alguns softwares livres genricos para bibliotecas digitais. Segundo (Kuramoto, 2006), softwares para bibliotecas digitais de carter genrico so softwares que podem ser utilizados na construo de qualquer tipo de biblioteca digital, sendo esses capazes de tratar, organizar, registrar e disseminar qualquer tipo de documento.
Este trabalho apresenta uma avaliao de alguns softwares livres, privilegiando aqueles com verses disponveis para sistemas operacionais livres, tais como Koha, CDS/ISIS, Greenstone, E-Prints e Dspace, descritos a seguir. O software Koha (Bissels, 2008; Koha, 2010) considerado o primeiro software livre e de cdigo aberto para automao de bibliotecas. Desenvolvido na Nova Zelndia por Horowhenua Library Trust and Katipo Communications, um software que permite a construo de catalogo, opac, controle da aquisio e circulao, entre outras funes. O software CDS/ISIS (CDS/ISIS database software, 2010) um software criado pela UNESCO (United Nations Educational, Scientific and Cultural Organization) especificamente para gerenciamento de dados bibliogrficos. Permite a criao de catlogos e a aplicao deles a qualquer tipo de documento. Possui recursos avanados de indexao e recuperao de informaes textuais, aliados sua velocidade. Trata-se de um software clssico na automao de bibliotecas tradicionais que tem sido substitudo por softwares de gerenciamento de bibliotecas. O software Greenstone (Witen, et al., 2000; Greestone Digital Library Software, 2010) um software desenvolvido pelo Projeto de Biblioteca Digital da Nova Zelndia na Universidade de Waikato. um software multiplataforma, projetado para funcionar nos ambientes Unix/Linux, Windows e MacOs. Este software tem integrado em si um servidor web (Apache) e um software gerenciador de banco de dados (GNU Database Manager - GDBM). Oferece trs modalidades de funcionamento (ambiente local, rede de computadores, e CD- ROM), permitindo que uma biblioteca criada no Greenstone seja distribuda e acessada de diferentes formas. Faz uso do padro de metadados Dublin Core, podendo ser configurado para uma extenso deste padro. Permite configurar estruturas para a navegao e recuperao de informao na coleo de documentos como listas alfabticas e hierrquicas e campos de busca. Gerencia diversos tipos de documentos atravs de plugins, suportando principalmente os formatos DOC, PDF, HTML, XML, RTF, texto e PostScript. O software E-Prints (Warner, 2003; EPrints, 2010) um software desenvolvido pela University of Southampton, projetado para ambientes operacionais Unix/Linux. Faz uso de um servidor web (Apache) e um software gerenciador de banco de dados integrado (MySQL). Utiliza o Dublin Core como padro de metadados e permite os seguintes tipos de documentos: DOC, PDF, HTML, TXT, MP3 e J EPG.
O software Dspace foi inicialmente desenvolvido por bibliotecas do Massachusetts Institute of Technology (MIT) e pelos laboratrios da Hewlett-Packard (HP) em 2002. Foi projetado para ambientes operacionais Unix/Linux, e faz uso de um servidor web (integrao Apache/Tomcat) e um software gerenciador de banco de dados (PostgreSQL). Possui facilidades de importao e exportao de dados. No apresenta restries de formatos de arquivos.
3 Metodologia Proposta
Em (Kuramoto, 2006), so apresentados alguns requisitos desejveis dos sofwares para bibliotecas digitais: portabilidade; flexibilidade (quanto ao padro de metadados); uso de padres de interoperabilidade; uso de linguagem de marcao (XML); capacidade de tratamento de mltiplos formatos de documentos; interfaces ergonmicas e adaptativas; facilidade para estruturao ou organizao do acesso a documentos; configurao dos procedimentos de indexao; e mdulos de formatao de relatrios gerenciais. Apesar da relevante contribuio desse trabalho, esse no contempla a proposio de uma metodologia para avaliao de softwares para bibliotecas digitais, se limitando a descrev-los e caracteriz-los quanto ao ambiente operacional, tecnologias utilizadas, software de banco de dados, padres de interoperabilidade, metadados, facilidades de importao/exportao, documentao, aplicaes, e tipos de formatos de documentos aceitos. Em (Caf, et al., 2001), os autores apresentam uma proposta de metodologia de avaliao de softwares para automao de bibliotecas. Essa metodologia de avaliao foi concebida para a escolha de softwares de gerenciamento de bibliotecas tradicionais, e prope indicadores com pesos diferenciados dentro das seguintes categorias: caractersticas gerais do software; ergonomia; tecnologia; seleo e aquisio; processamento tcnico; circulao; recuperao da informao; disseminao da informao; processo gerencial; e caractersticas da empresa fornecedora. Percebe-se que muitos dos indicadores no se aplicam avaliao de softwares livres para bibliotecas digitais como informaes contratuais (garantias de fornecedores, prazos de entrega, custos, demonstraes de produto, etc.) e caractersticas de controle de circulao do acervo (emprstimo, cobranas por atraso, inventrio, etc.). No contexto digital, muitas operaes vlidas para bibliotecas tradicionais deixam de ser
necessrias, ou adquirem novas caractersticas, atendendo aos usurios de maneira diferente. Apesar disso, a proposta de uma metodologia de avaliao baseada em indicadores com diferentes pesos visando a seleo do software mais adequado a um contexto pode ser estendida para o contexto digital. Alm dos fatores tcnicos, fatores humanos so tambm importantes na avaliao de softwares. H situaes em que muitos softwares, apesar de eficientes, eficazes e baratos, no so bem-sucedidos. Isso normalmente se deve a dificuldades de instalao e manuteno, ocasionados, na maioria das vezes, pela necessidade de profissionais muito especializados. Para pequenos grupos, a manuteno de equipes de informtica especializadas um fator limitante. Em alguns casos, esses grupos encontram maior satisfao em softwares amigveis e auto- explicativos, mesmo que apresentem ndices menos vantajosos de eficincia, eficcia e preo. Isso ilustra, de forma simples, a necessidade de avaliao de fatores humanos, que produzem satisfao e potencializam o rendimento de atividades de usurios da biblioteca digital. Sendo assim, a presena de interfaces de usurio amigveis, rotinas de importao/exportao de dados para outros formatos e de gerao automtica de metadados so exemplos de fatores que podem influenciar relevantemente na aceitao e consequente sucesso de um software. A metodologia de avaliao que este trabalho adota tambm considera indicadores com pesos diferenciados, a exemplo de (Caf, et al., 2001), porm voltados somente para caractersticas internas do software. Considerando apenas aspectos tcnicos e humanos, apontaremos inicialmente o conjunto mnimo de indicadores necessrios para uma avaliao inicial de um software para biblioteca digital. Os indicadores selecionados foram levantados a partir de experincias empricas, desde a instalao do software em sua plataforma at a visualizao do documento recuperado na base de dados. A seguir so descritos cada um dos indicadores levantados:
Documentao: documentao fornecida pelos desenvolvedores para auxiliar o usurio desde a instalao at a utilizao do software. Instalao: processo de instalao do software e dos componentes necessrios para execut-lo, baseado nas dificuldades e obstculos encontrados. Interface Grfica do Gerenciador: usabilidade e experincias decorrentes de quanto apresentvel, intuitiva, organizada e complexa a interface do gerenciador para dispor de suas funcionalidades.
Personalizao da Interface para o Usurio: capacidade de personalizao das telas e sees do programa que sero apresentadas aos visitantes da biblioteca digital. Personalizao dos Campos: capacidade de adicionar ou remover atributos dos registros da biblioteca digital alm do padro. Automatizao da Anexao: funcionalidade do gerenciador em anexar registros biblioteca digital individualmente ou em lote. Extrao de Metadados: funcionalidade do gerenciador em extrair metadados dos documentos para preenchimento de campos dos registros e a taxa de acerto dos mesmos. Servios de Busca e Recuperao de Informao: funcionalidades de busca providas pelo software para a recuperao dos registros da biblioteca digital e eficincia da mesma. Software de Armazenamento: modo de armazenamento (arquivos, banco de dados) para guardar a base de dados da biblioteca digital. Software de Apresentao da Interface para o Usurio: modo de apresentao da interface para o usurio (navegador, programa). Gerenciamento: anlise das funcionalidades providas para gerenciamento dos registros. Suporte a Formatos de Arquivos: capacidade de suporte a diferentes formatos de arquivos para anexo biblioteca digital. Integrao: grau de integrao das funcionalidades do software como gerenciador e interface para usurio no ambiente grfico e necessidade de desempenhar tarefas adicionais externas ao programa para funcionamento do mesmo. Acesso Remoto: capacidade de acessar o software e gerenciar a biblioteca digital remotamente atravs de recursos do prprio software. Atualizao em Tempo Real: capacidade de atualizar a biblioteca digital em tempo real conforme so feitas alteraes nos registros. Contas de Usurio: funcionalidade que permite o gerenciamento de diversos usurios da biblioteca digital com nveis de privilgio diferenciados. Importao e Exportao da Base de Dados: capacidade de importar ou exportar a base de dados para backup ou para outra instalao do software para biblioteca digital, por meios manuais ou automticos.
Uma vez definidos os indicadores, a avaliao tambm considera o peso de cada um deles na avaliao. Esse procedimento se justifica na medida em que um indicador pode assumir um papel de importncia maior ou menor dentro das necessidades, dos objetivos e do contexto dos usurios da biblioteca. Para cada um dos itens acima, tambm necessrio atribuir seu nvel de importncia (peso) dentro da avaliao. A sugesto de possveis valores para pesos dos indicadores indicada na Tabela 1.
Peso Valor Descrio Indispensvel 3 Critrio essencial para a biblioteca digital. Importante 2 Diferencial significativo para a biblioteca digital. Dispensvel 1 Importante, porm no significativo. Indiferente 0 Pode ser ignorado.
Na avaliao dos softwares, deve-se atribuir valores aos indicadores levando em conta a qualidade do software no indicador em questo. A Tabela 2 sugere os possveis valores ou notas atribudos aos indicadores na avaliao dos softwares.
Classificao do Indicador Valor Descrio Excelente 5 Indicador de destaque, apresentando melhorias significativas em relao ao necessrio para a biblioteca. Bom 4 Indicador com caractersticas favorveis, alm do mnimo necessrio, porm sem grande destaque. Regular 3 Indicador que apresenta os recursos mnimos para uso da biblioteca. Ruim 2 Indicador ineficaz ou de difcil uso, podendo comprometer o uso da aplicao. Muito ruim 1 Indicador no oferecido de forma desejvel, ou obtido por meio de adequaes no-convencionais. Inexistente 0 No apresenta o indicador e no h maneiras de corrigir a ausncia. O valor mnimo (zero) deve ser aplicado na ausncia de um dado indicador. Para fins de comparao, tambm foi atribudo o valor mnimo para situaes em que no foi possvel identificar, por questes tcnicas, a presena/ausncia do indicador. Tabela 1: Descrio de pesos para os indicadores Tabela 2: Descrio dos valores dos indicadores
Dados o peso e nota atribudos para um indicador, pode-se calcular a pontuao parcial do software para aquele indicador por meio de uma potenciao de sua nota ao seu peso (ver equao (I)). A pontuao final dada pela soma de todas as pontuaes parciais obtidas (ver equao (II)).
O processo de escolha do software para construo e gerenciamento da biblioteca digital ser guiado pela comparao da pontuao final recebida por cada um. A potenciao foi escolhida como funo de clculo por potencializar a influncia dos pesos no clculo do valor final. Dessa maneira, a influncia de um indicador de peso maior superior de um peso menor, privilegiando caractersticas positivas encontradas nos softwares.
4 Estudo De Caso
Neste estudo de caso, aplicamos os critrios de avaliao propostos na seo anterior a um conjunto de softwares livres de bibliotecas digitais, referenciados como parte dos mais usados por muitos grupos de pesquisa (Buchanan, et al., 2005; Bainbridge, et al., 2003). Para esta avaliao, foram considerados os seguintes: Greenstone 2, Greenstone 3, Koha, Harvest, EPrints, CDS/ISIS e Dspace. Para tornar a avaliao mais prxima de um caso real, os softwares foram avaliados quanto construo e gerenciamento de uma biblioteca digital sobre um conjunto de documentos que foram extrados da internet, por meio de um rob de busca. O rob rastreou os links de documentos digitais em formato PDF obtidos atravs do Google Scholar, produzindo uma base de documentos de teste com 1375 documentos, obtidos aps rastreamento de 9487 endereos relacionados ao tema Bibliotecas Digitais. Para cada software eleito para anlise, o procedimento foi a busca de documentao, instalao, configurao bsica de servios e manipulao de documentos da base documentos criada. A plataforma utilizada para instalao e avaliao dos softwares foi a distribuio Linux Ubuntu. Os softwares Koha, Harvest e Dspace apresentaram problemas durante a instalao, de modo que no puderam ser includos no estudo comparativo. Para os softwares acima, as verses mais recentes disponveis no eram compatveis com os compiladores distribudos pelas verses mais recentes do software operacional. Mesmo quando compilados, alguns erros
durante a construo do software comprometiam a estabilidade do software, de modo que no foi possvel fazer uma anlise tcnica confivel a respeito desses programas. Para os demais softwares, foi aplicada a metodologia, produzindo a tabela comparativa exposta na Tabela 3, a seguir. A indicao de asteriscos (*) indica que o indicador est presente no software, mas sua interface de usurio apresentou problemas durante o teste. A tabela ilustra uma caracterizao de soluo de software livre para um ambiente de pequena biblioteca local, a ttulo de organizao de documentos para pequenos grupos de pesquisa, formados por pesquisadores de diferentes reas e situados no mesmo ambiente fsico, com possibilidade de comunicao presencial ou virtual, usando recursos de internet. Nesse contexto, embora o uso de recursos de rede seja interessante, no considerado um fator limitante para a biblioteca. Por outro lado, levando-se em conta os aspectos de multidisciplinaridade, ganham muita importncia os indicadores de integrao de documentos e personalizao de servios, tais como servios de definio de metadados, busca, armazenamento e importao/exportao de bases de dados. Integrao com outras bases, gerenciamento de vrios usurios, acesso remoto e servios correlatos ganham menos importncia devido s caractersticas de grupos pequenos. Os demais fatores, com importncia intermediria, no so considerados limitantes, embora tambm influenciem decisivamente na escolha do software.
Tabela 3: Funcionalidades e avaliao prvia de software para biblioteca digital.
Indicador Peso Notas Greenstone 2 Greenstone 3 EPrints CDS/ Isis Documentao 2 5 3 2 3 Instalao 2 5 5 2 5 Interface grfica do gerenciador 2 2 2 5 3 Personalizao da interface para o usurio 2 3 4 4 1 Personalizao dos campos de metadados 3 4 4 4 3 Automatizao de produo de anexos 2 4 4 0 0 Extrao de metadados 1 4 4 * 0 Servios de busca 3 4 4 4 2 Software de armazenamento 3 3 3 * 3 Software de apresentao de interface para usurio 2 4 4 4 1 Interface de gerenciamento 2 2 2 5 3
Apoio manipulao de diversos formatos de arquivos 1 4 4 0 Integrao 1 3 3 5 2 Acesso remoto 1 2 1 5 1 Atualizao em tempo real 2 0 0 5 3 Contas de usurios 1 1 1 5 0 Importao e exportao de bases de dados 3 4 1 * 4
Pontuao Geral 324 259 2 58+ 19 2
Com os resultados propostos na Tabela 3, verifica-se que, dos softwares analisados, o Greenstone 2 obteve o melhor desempenho frente aos demais, inclusive sua verso posterior. Essa diferena de avaliao entre as duas verses fruto da comparao entre uma verso estvel (Greenstone 2) e uma verso mais recente, porm incompleta e no estvel (Greenstone 3), conforme informaes do prprio fabricante. A comparao sofreu influncia negativa da falta de compatibilidade entre distribuies mais recentes da plataforma Linux/Unix e as distribuies dos softwares de bibliotecas digitais. Isso dificultou a construo de um quadro comparativo mais amplo e rico em termos de anlise de indicadores entre software. Apesar disso, o trabalho ilustra como pode ser vantajoso explorar anlises comparativas e refletir sobre as principais funcionalidades de uma biblioteca digital, objetivando potencializar seus objetivos e caractersticas de seus usurios, extrapolando uma anlise puramente tcnica. A adoo desse procedimento como uma das fases de planejamento de implantao da biblioteca digital pode ser decisiva para influenciar a escolha do software mais adequado para cada contexto.
5 Concluso A escolha de um software para implantao de uma biblioteca digital representa uma das decises de maior importncia no planejamento da mesma. Uma escolha equivocada ou inadequada pode comprometer decisivamente uma implantao, na medida em que sujeita o projeto insatisfao dos usurios, a dificuldades de manuteno de acervo, a limitaes de expanso tecnolgica e, at mesmo, descrena funcional. Este trabalho apresentou uma forma de avaliao de softwares livres para bibliotecas digitais baseada em indicadores tcnicos e humanos, aplicando-o a um conjunto de softwares como estudo de caso. Os resultados do estudo comparativo apontam diferenas significativas
entre os softwares testados, evidenciando que os desenvolvedores destes softwares tm diferentes percepes de objetivos e de pblico alvo para cada aplicao. Uma das contribuies deste trabalho uma metodologia de avaliao, que pode auxiliar na escolha de um software para biblioteca digital por parte de grupos de trabalho e instituies, de modo que possam responder adequadamente s suas necessidades de gesto de acervo e suas particularidades e prioridades como usurios. Existe um conjunto amplo de ferramentas que podem ser usadas como bibliotecas digitais, que transcende aqueles abordados neste trabalho. Muitas vezes, bibliotecas digitais podem ser implementadas por softwares cuja proposta inicial no as envolve diretamente, como softwares de bancos de dados convencionais ou repositrios genricos de informao. Uma iniciativa que pode ser continuada a partir deste trabalho a complementao do conjunto de indicadores e do conjunto de softwares, oferecendo maior capacidade comparativa entre diferentes softwares. Alm disso, deve-se considerar tambm a utilizao de softwares alternativos, que cobrem parcialmente alguns objetivos das bibliotecas digitais, mas que podem ser usados para aplicaes com finalidades especficas, tais como gerenciadores automticos de contedo e softwares de bancos de dados multimdia.
Referncias
BAINBRIDGE, D.; THOMPSON, J .; WITTEN, I. Assembling and Enriching Digital Library Collections. Proc. 3rd. ACM/IEEE-CS Joint Conf. On Digital Libraries (JCDL03), 2003. p. 323-334. BISSELS, G. Implementation of an open source library management system: Experiences with Koha 3.0 at the Royal London Homeopathic Hospital. Program: electronic library and information systems. v. 42. n. 3. p. 303-314. BLANDFORD, A.; KEITH, S.; CONNELL, I.; et al. Analytical Usability for Digital Libraries: A Case Study. Proc. 4th. ACM/IEEE-CS Joint Conf. On Digital Libraries (JCDL04), 2004. p.27-36. BUCHANAN, G.; BAINBRIDGE, D.; et al. A New Framework for Building Digital Libraries Collections. Proc. 5th. ACM/IEEE-CS Joint Conf. On Digital Libraries (JCDL05), 2005. p. 23-31. CDS/ISIS database software: UNESCO and Information processing tools. Disponvel em <http://portal.uneco.org/ci/ev.php?URL_ID=2071&URL_DO=DO_TOPIC&URL_SECTION= 201&reload=1035195531>. Acesso em: 20 ago. 2010.
CAF, L.; SANTOS, C.; MACEDO, F. Proposta de um mtodo para escolha de software de automao de bibliotecas. CI. Inf. Braslia, v. 30, n.2, 2001. p. 70-79. CRANE, G.; WULFMAN, C. Towards a Cultural Heritage Digital Library. Proc. 3rd. ACM/IEEE-CS Joint Conf. on Digital Libraries (JCDL03), 2003. p. 75-86. DSPACE. Disponvel em <http://www.dspace.org>. Acesso em 16 ago. 2010. EPrints: Digital Repository Software. Disponvel em <http://www.eprints.org>. Acesso em: 13 set. 2010. Greenstone Digital Library Software. Disponvel em <http://www.greenstone.org>. Acesso em: 20 set. 2010. Koha: Open Source ILS (Integrated Library System). Disponvel em <http://www.koha.org>. Acesso em 13 set. 2010. KURAMOTO, H. Ferramentas de software livre para bibliotecas digitais. In: MARCONDES, C.; KURAMOTO, H.; TOUTAIN, L.; SAYO, L. (Org.). Bibliotecas digitais: saberes e prticas - 2 ed. Salvador: EDUFBA, Braslia: IBICT, 2006. p. 147-164. WARNER, S. E-Prints and the Open Archives Initiative. Library Hi Tech. v. 21. n. 2. p. 151- 158. 2003. WITEN, I.H.; BODDIE, S.J .; BRAINBRIDGE, D.; MCNAB, R.J . Greenstone: a comprehensive open-source digital library system. Proc. of 5 th ACM Conf. on Digital Libraries (DL00). 2000.