HOME | ÍNDICE POR TÍTULO | NORMAS PUBLICACIÓN

Espacios. Vol. 37 (Nº 31) Año 2016. Pág. 31

Avaliação da usabilidade segundo as heurísticas de Nielsen: teste de usuários do Portal de Periódicos da CAPES

Usability evaluation according to Nielsen´s heuristics: test of usability through CAPES´ Portal users

Juliane Medeiros de LIMA 1; Simone de Queiroz MENDONÇA 2; Max Leandro de Araújo BRITO 3; Gessica Fabiely FONSECA 4

Recibido: 09/06/16 • Aprobado: 08/07/2016

Conteúdo

1. Introdução

2. Usabilidade em Sistemas de Informação

3. As heurísticas de Nielsen

4. Metodologia

5. Descrição e análise de dados

6. Conclusão

Referências

1. Introdução

A informação é elemento fundamental para o desenvolvimento da sociedade humana, na medida em que propicia o seu crescimento e, consequentemente, traz progresso para a coletividade.

O uso e produção da informação tornou-se uma complexa rede personalizada, resultando no que se chama de “Sociedade da Informação” ou “Sociedade do Conhecimento”. Essa sociedade é caracterizada pela grande quantidade de informação disponível, de maneira global, que acabam gerando alguns problemas de gestão e controle da informação. A informação passou a ser o insumo básico para as atividades humanas. O poder de possuir, existente na Sociedade Industrial, está sendo substituído pelo conhecimento, ofertado na Sociedade da Informação (Silva, 2008).

Diante das preocupações em gerar informação de qualidade ao cidadão que a busca, surgiram os sistemas de informação que, apoiados nas tecnologias de informação e comunicação emergentes, dinamizaram o processo de recuperação da informação. Concomitante ao surgimento dos sistemas de informação apoiados nas tecnologias de informação e comunicação (TICs) nasce o cuidado com o elemento fundamental da relação homem e máquina: o homem (Swiech, Francisco, e Lima, 2016). A Interação Homem-Computador, também conhecida por IHC, torna-se alvo de pesquisas que buscam melhores condições de interação para o principal sujeito dessa relação, dando origem à usabilidade de sistemas de informação (Calazans, Paldes, e Masson, 2016).

O objetivo desse estudo é avaliar a usabilidade do portal de periódicos da CAPES, através de teste de usuário com alunos do Programa de Pós-Graduação em Turismo da UFRN, em número de cinco, com base nas regras heurísticas de Nielsen, buscando compreender e identificar melhor as barreiras de usabilidade que leva a não interação entre o usuário e o portal. Dessa forma, avaliamos a usabilidade do Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES, através da realização de “testes de usuário”, com cinco mestrandos do Programa de Pós-Graduação em Turismo da UFRN, com base nas 10 heurísticas de usabilidade propostas por Nielsen (2016a). O estudo foi embasado em bibliografias sobre sistemas de informação, métodos e métricas de usabilidade, bem como em normas nacionais e internacionais sobre usabilidade.

2. Usabilidade em Sistemas de Informação

O uso das Tecnologias da Informação e Comunicação, em conformidade com o que se propõe a Sociedade da Informação, é um aparato forte para estudos no campo da Ciência da Informação, tendo em vista que sua aplicabilidade em ambientes digitais e virtuais (sistemas de informação computacionais) pode ser considerada um fator relevante na recuperação e transferência da informação (Arraes, Camargo, Carvalho, e Castro, 2007).

Os sistemas de informação constituem-se em um aparato de recuperação de informação, bastante valioso para seus usuários. De acordo com Lancaster e Warner (1993), os sistemas de informação são ferramentas que surgiram para facilitar a busca pela informação, na medida em que satisfazem uma determinada necessidade de informação do usuário. Segundo Unger e Freire (2008, p. 95), “os sistemas de informação são tidos como uma tecnologia social que pode auxiliar aos seres humanos na busca na melhoria da qualidade de vida”.

Em 1950 ocorre a origem dos sistemas, com a chamada Teoria Geral dos Sistemas apresentada pelo biólogo alemão Ludwig von Bertalanffy, que pesquisava o comportamento dos organismos vivos e constatou que, independente de formas e características, eles possuíam pontos em comum (Silva, 2008).

Com base nos estudos desenvolvidos por Von Bertalanffy, a Teoria Geral dos Sistemas foi fundamentada em três premissas básicas: os sistemas existem dentro dos sistemas; os sistemas são abertos; as funções de um sistema dependem de sua estrutura (Silva, 2008). A composição dos sistemas é tida por: objetivos (razão de existir dos sistemas) – entradas (material para a operação que gerarão saídas) – transformações (maneira pela qual os componentes interagem) – saídas (resultados do processo de transformação) – feedback (sinalizador e regulador dos mecanismos de entrada, transformação e saída do sistema) (Hollveg, Flores, e Rosa, 2015).

Dessa forma, o sistema de informação se apresenta como um sistema que tem na informação sua matéria prima. Silva (2008, p.11) define tecnicamente os sistemas de informação como “um conjunto de componentes inter-relacionados que coleciona ou recupera, processa e distribui informação”, podendo ser manual ou computadorizado. Entretanto, ambos os casos apontam como elemento indispensável para sua existência as pessoas que, conforme Silva (2008, p.11) “concebem, programam, gerenciam, executam e mantêm o sistema, sendo a partir daí que existirá a seleção e a organização das informações para a sua efetiva utilização”. Para tanto, as pessoas são importantes no contexto organizacional também por todo o conhecimento que agregam (Reis e Brito, 2015).

Fazer o filtro da informação, para que o conhecimento seja gerado, é uma das principais funções dos sistemas de informação, que objetiva rapidez e dinamismo no processo de interação usuário e sistema, a fim de retornar informações de qualidade. “Quando as informações estão organizadas e planejadas nos sistemas de informação, estes geram informações eficientes e eficazes [...] desencadeando um processo de conhecimento (Silva, 2008, p. 11). Silva (2008) ressalva, ainda, que os sistemas de informação devem ser de fácil manipulação, flexíveis nos ajustes e confiáveis nas informações geradas a seus usuários, permitindo a comunicação entre emissor e receptor.

Como já foi dito, as pessoas são o elemento mais importante dos sistemas de informação. É imprescindível que as pessoas estejam envolvidas, engajadas em suas atividades (Coelho, Brito, Carvalho, e Araújo, 2016). Faz-se necessário levar em consideração que todo sistema de informação será usado por seres humanos, devendo possibilitar a interação entre ambos (homem e máquina), na qual o sistema não perca sua função e aplicabilidade. O homem interage com sistemas de informação para atingir um objetivo específico e, nessa Interação Homem-Computador (IHC), pretende alcançar sua meta de maneira rápida, eficaz, eficiente e satisfatória. Para que os sistemas de informação venham a desempenhar suas funções, seja dando bases para as tomadas de decisões em uma organização (Silva Junior e Silva, 2014), seja facilitando a busca de informações primárias que virão a dar suporte para outro tipo de pesquisa, gerando conhecimento, ele precisa ter usabilidade (Calazans e outros, 2016).

Usabilidade, segundo Silva (2008, p. 15) “é uma característica que determina se o manuseio de um produto é fácil e rapidamente aprendido, com quantidade pequena de erros operacionais e oferecimento de um alto grau de satisfação, atingindo seus objetivos”.

A definição do termo “usabilidade”, segundo Santos (2008), foi introduzida por Miller (1971) através do estudo de métricas relacionadas à facilidade do uso, como por exemplo, o tempo de aprendizado, número de erros e tolerância às falhas.

Em 1979, foram iniciados os estudos que inseriram a usabilidade no contexto da Interação Humano-Computador - IHC (Santos, 2008). A realização de pesquisas sobre IHC resultaram em procedimentos que devem ser seguidos, para que se garanta uma ótima comunicação e interação entre usuários e sistemas de informação computacionais. Esta interação ocorre através das interfaces gráficas dos sistemas, que devem ser atraentes aos usuários, pois são responsáveis pelo desempenho e satisfação do usuário, bem como pelo uso ou não do sistema. Na década de 1980, o termo começou a ser utilizado nas áreas da Psicologia e Ergonomia (Costa e Ramalho, 2010).

Em 1991, foi publicada a primeira norma internacional que definiu o termo usabilidade: a ISO 9126. A International Organization for Standardization é uma organização internacional para definição de normas técnicas, que define normas em 148 países (Santos, 2008). Na ISO 9126, parte 1, são apresentadas características de qualidade de software, a saber: funcionalidade, confiabilidade, usabilidade, eficiência, possibilidade de manutenção e portabilidade (Costa e Ramalho, 2010).

Após a publicação de diversos trabalhos no assunto, no ano de 1998 a ISO criou a norma 9241, “que trata de qualidades de pacotes de softwares e também considera questões sobre usabilidade tratada sobre a visão do usuário e seu contexto bem como características ergonômicas do produto” (Santos, 2008, p. 2).

No Brasil, há uma norma específica que se segue da ISO 9241, editada por um organismo de normatização nacional associado à ISO. A NBR 9241-11, norma da Associação Brasileira de Normas Técnicas (ABNT), baseada e equivalente à norma internacional ISO 9241-11:1998, apresenta orientações sobre usabilidade, definindo o termo por “medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso” (Abnt, 2002, p. 3).

A maioria dos estudos sobre usabilidade de sistemas baseia-se em uma técnica ou conjunto de métricas estipuladas por um único autor. No presente estudo, utilizamos o modelo de avaliação proposto por Nielsen (2016b).

3. As heurísticas de Nielsen

Jakob Nielsen, Ph.D. em Interação Humano-Computador pela Techinical University of Denmark e fundador do movimento “engenharia de usabilidade a baixo custo” é tido como “o principal especialista em usabilidade na Web” pelo U.S. News e World Report. (Nielsen e Loranger, 2007). 

As heurísticas, segundo Nielsen (2016a), são “regras de ouro” que servem como diretrizes para guiar a avaliação de usabilidade dos sistemas. São elas: 1) Visibilidade do estado atual do sistema: o sistema deve manter os usuários sempre informados sobre o que está acontecendo, através de feedback apropriado em tempo razoável; 2) Correlação entre o sistema e o mundo real: o sistema deve falar a linguagem dos usuários, com palavras, frases e conceitos familiares ao usuário, ao invés de termos orientados pelo sistema, seguir as convenções do mundo real, fazendo com que as informações apareçam em uma ordem natural e lógica; 3) Controle e liberdade do usuário: usuários frequentemente escolhem funções do sistema por engano e precisam de uma "saída de emergência" claramente marcada, para sair do estado indesejado sem ter que passar por um diálogo prolongado, ou seja, é o suporte desfazer e refazer; 4) Consistência e padrões: os usuários não devem ter que pensar se palavras, situações ou ações diferentes significam a mesma coisa, assim, as convenções e padrões devem ser seguidos; 5) Prevenção de erros: ainda melhor do que boas mensagens de erro é um design cuidadoso que evite que um problema ocorra; 6) Reconhecimento em vez de memorização: minimizar a carga de memória do usuário por objetos que fazem ações e opções visíveis, dessa forma, o usuário não deve ter que lembrar informações de uma parte do diálogo para outra; 7) Flexibilidade e eficiência de uso: aceleradores - invisível para o usuário iniciante - muitas vezes podem acelerar a interação para o usuário experiente de tal forma que o sistema pode atender a ambos os usuários inexperientes e experientes; 8) Projeto estético e minimalista: os diálogos não devem conter informações irrelevantes ou raramente necessárias, pois cada unidade extra de informação em um diálogo compete com as unidades relevantes de informação e diminui sua visibilidade relativa; 9) Ajudar os usuários a reconhecer, diagnosticar e recuperar erros: as mensagens de erro devem ser expressas em linguagem simples (sem códigos), indicar com precisão o problema e, construtivamente, sugerir uma solução; 10) Ajuda e documentação: qualquer informação deve ser fácil de pesquisar, focada na tarefa do usuário, medidas concretas de lista a ser realizada, e não ser muito grande.

A avaliação heurística é um método tradicional de avaliação de usabilidade que consiste na inspeção sistemática da interface do usuário, com relação a sua usabilidade. O avaliador interage com a interface e julga sua adequação, comparando-a com os princípios de usabilidade reconhecidos: as heurísticas (Nielsen, 2016b).

Nielsen (2016b) recomenda que a avaliação seja feita com o número de 3 a 5 avaliadores, pois um único indivíduo não será capaz de encontrar todos os problemas de usabilidade em uma interface, bem como um número superior ao recomendado também não traria maiores informações a respeito.

Na avaliação, os avaliadores inspecionam a interface sozinhos, para que não haja influência de um para o outro e, só ao final da avaliação, podem interagir e ter seus resultados agregados. Os resultados podem ser registrados em relatórios pelo próprio avaliador ou verbalizados durante a avaliação a um observador, que fará o relato escrito (Nielsen, 2016b).

Por meio do “teste de usuário” o observador, normalmente chamado de experimentador, interpreta as ações dos usuários que realizam o teste de determinada interface gráfica, com o propósito de inferir de que maneira essas ações se relacionam com as questões de usabilidade de sistemas. Desse modo, Nielsen (2016b) chama atenção para o fato de que o avaliador do sistema, nesse caso o próprio usuário, não tem necessidade de ter conhecimento mais aprofundado na área de design de interface.

Mesmo realizando a avaliação heurística por meio de teste de usuário, Nielsen (2016b) ressalta que não é suficiente para os avaliadores apenas dizer que não gostam de determinada coisa, eles precisam explicar o porquê de não gostarem, com base nas heurísticas de usabilidade.

Nielsen (2016b) conclui que os benefícios da avaliação heurística são, principalmente, devido à constatação de problemas de usabilidade, apesar de alguns benefícios de educação continuada também possam ser alcançados, na medida em que os avaliadores aumentam sua compreensão de usabilidade, comparando seus próprios relatórios de avaliação com os de outros avaliadores.

4. Metodologia

As diretrizes de usabilidade devem estar baseadas em três níveis de pesquisa: “comportamento geral dos usuários pela maioria dos websites; descobertas especializadas sobre gêneros específicos de sites ou áreas de sites; descobertas detalhadas sobre um site específico e seus clientes. ” (Nielsen e Loranger, 2007, p. 17). Com base em tais diretrizes, conduzimos este estudo para a avaliação do terceiro ponto: descobertas detalhadas de um site específico, no caso, o Portal de Periódicos da CAPES (http://www.periodicos.capes.gov.br/).

A presente pesquisa, quanto à forma de abordagem, é qualitativa (Oliveira, 1997) e quantitativa (Godoy, 1995), revisando conhecimentos apresentados pela literatura técnica científica, quanto estatístico, baseando a análise dos dados na escala de Likert. Dessa forma, elegeram-se alguns artigos e livros relacionados ao tema para que houvesse uma visão plural.

O objeto de estudo é o portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). A CAPES foi criada no ano de 1951 pelo governo federal, “com a finalidade de assegurar a existência de pessoal especializado de nível superior em quantidade e qualidade suficientes para atender as necessidades dos empreendimentos públicos e privados que visam ao desenvolvimento do país” (Costa, 2008, p.92). O Portal de periódicos da CAPES foi criado em novembro de 2000, por ser bastante oneroso para o Estado manter bibliotecas para assuntos científicos em todas as Universidades Federais do país. O portal de periódicos da CAPES permite o acesso eletrônico a artigos completos em base de dados de praticamente todas as áreas do conhecimento. No portal estão disponíveis tanto os periódicos científicos, como as bases de dados.

Em um primeiro momento foram feitas leituras e fichamentos dos respectivos textos, assim como discussões acerca dos principais pontos e catalogação de informações relevantes. Em seguida, com base nas regras heurísticas de Nielsen sobre usabilidade solicitou-se a cinco estudantes de pós-graduação do curso de Mestrado em Turismo da Universidade Federal do Rio Grande do Norte (UFRN) que avaliassem o portal em questão. O questionário que foi aplicado concatenou as heurísticas de Nielsen (2016a) com o método de avaliação da escala de Likert. Essa fusão deu-se através de perguntas em que o objetivo foi obter informações acerca da opinião usuários a respeito da usabilidade do site do Portal de Periódicos da CAPES.

Nesse contexto, os participantes responderam às perguntas através de uma escala de 1 (grau mais baixo) a 5 (grau mais alto) ou S/R (sem resposta) de acordo com o quadro abaixo (Quadro 1), que representa o formulário aplicado na pesquisa:

Quadro 1: Formulário adotado

Fonte: Adaptação das heurísticas de Nielsen (2016a)

A intenção foi aplicar os conceitos das heurísticas de Nielsen (2016a) através das "regras de ouro" do subitem 3.1 do presente artigo. Além disso, foram feitas reflexões, com base na ISO 9126 e na NBR 9241-11, buscando identificar a efetividade do portal no alcance de suprir as necessidades de seus usuários. Em seguida, realizou-se a parte final da escritura do artigo, buscando integrar os resultados obtidos a partir da aplicação dos questionários aos principais pontos do aporte teórico utilizado. Sendo assim, o principal foco dessa pesquisa concatenou-se com conceitos da literatura consultada no sentido de expor as principais relevâncias dos Sistemas de Informação na Sociedade do Conhecimento, frisando a questão da usabilidade, bem como os desafios que se apresentam tanto para o profissional da informação quanto para o usuário dos sistemas de informação.

5. Descrição e análise de dados

Para a descrição e análise dos dados foram utilizados os questionários já respondidos pelos cinco avaliadores (usuários) do portal de Periódicos da CAPES. Como já foi dito anteriormente, utilizou-se a escala de Likert, no parâmetro de 1 a 5, sendo o primeiro o mais baixo e o quinto o mais alto, ou melhor.

As escalas de Likert possuem categorias atreladas às escalas as quais variam de quatro a onze, onde respondente indica o seu grau de concordância ou discordância em relação a uma série de afirmações (Ludwig, Faiz, Paloschi, e Souza, 2014). No caso da presente pesquisa, foram utilizadas 10 categorias que estão aliadas às heurísticas de Nielsen numa escala de 1 a 5.

De modo geral, percebeu-se que os conceitos 4 e 5 foram os mais indicados da escala, com um total de treze apontamentos cada, ou seja, pode-se afirmar que, genericamente, o site foi conceituado positivamente pelos usuários. Consonante a isso, o conceito 1 foi o que teve menor apontamento na escala. De maneira intermediária, com nove apontamentos, o conceito 3 foi utilizado de forma relevante, seguindo com o conceito 2 com seis apontamentos e o S/R com três. Nesse sentido, observa-se a tabela abaixo (Tabela 1), onde “A” representa o avaliador do portal e “H”, as questões observadas com base nas heurísticas:

Tabela1: Pontuações para cada heurística

Fonte: Dados da pesquisa

Passando agora a uma análise mais específica e detalhada focando nas peculiaridades de cada categoria, nota-se que os quesitos mais críticos na avaliação da usabilidade do portal foram a discrepância generalizada com relação aos espaços em branco na tela do site e o uso de metáforas. Apenas 20% dos avaliadores conceituaram esse quesito com conceitos máximos da escala. Tendo o primeiro sido avaliado com 5 e o segundo com 4. Os quesitos com conceitos acima de 4 foram com relação aos excessos de anúncios na página, os quais os usuários julgaram como "muito pouco", o que facilita o uso do portal, portanto, constituindo-se um ponto positivo. Além desse, outro quesito bem conceituado foi a reação do portal aos comandos dos usuários.

Quando o questionário se refere à informação dada pelo site sobre o tamanho dos downloads dos arquivos antes do usuário baixá-lo, os dados analisados não chegaram a um consenso, com 20% não sabendo responder, 40% avaliando com conceitos 1 e 2, assim como os outros 40% avaliando com conceito 5. Isso mostra uma disparidade curiosa, portanto, seria um ponto a se observar com mais atenção nas próximas investigações. O item seguinte, diz respeito a informações dadas pelo portal no que concerne aos links, buscando investigar se aquele informava previamente o conteúdo deste antes do usuário abri-lo. Destarte, os resultados variaram entre os conceitos 2 e 5 da escala, com 40% em cada, tendo 20% não respondido.

No que se refere aos textos apresentados no portal, a maioria julgou-os como curtos e atraentes, variando entre 4 e 5, cada uma obtendo um percentual de 30%, possuindo ainda 20% que não responderam e outros 20% que escolheram o conceito 3. Os dois últimos itens avaliados foram a facilidade de identificação, durante a navegação, de o usuário saber em que página estava e por último, a reação do usuário ao portal como um todo. Constatou-se que o conceito 5 foi o menos marcado, tendo apenas 20% de escolhas pelos usuários, em seguida, o conceito 4 com 40%, assim como o 3 com o mesmo percentual da anterior. Pode-se afirmar que a reação do usuário foi de certo modo moderada, pois a variação de conceitos deu-se entre a 3 e a 4 com 40% e 60% respectivamente, mostrando que o portal atende às necessidades dos usuários, porém há espaço para melhorias principalmente no que se refere aos espaços em branco na tela do site e a utilização de metáforas. Para uma melhor compreensão dos dados acima, segue tabela com o percentual de avaliação de conceitos por heurísticas (Tabela 2).

Tabela 2: Percentual de avaliação de conceitos por heurísticas

Fonte: Dados da pesquisa

6. Conclusão

A partir de um estudo acerca da usabilidade de sistemas de informação observou-se que, apesar de sistemas de informação fazerem parte da vida cotidiana contemporânea, ainda há desafios para que a Interação Homem-Computador (IHC) desenvolva-se de forma plena. Isso foi constatado a partir da avaliação feita com o portal de periódicos da CAPES focando na usabilidade do mesmo perante estudantes de pós-graduação em turismo da Universidade Federal do Rio Grande do Norte (UFRN). Através de testes de usuário aliados às Heurísticas de Nielsen (2016a) pode-se levantar os principais problemas de usabilidade do portal com base em análises qualitativas e quantitativas das informações colhidas dos usuários.

Por fim, o estudo conclui que o portal em questão atende todos esses pré-requisitos, porém, em alguns pontos, de forma parcial como visto na seção de análise dos dados. Assim, a usabilidade em sistemas de informação torna-se cada dia mais importante para o sucesso de uma organização ou instituição pública ou privada que pretenda consolidar-se perante seus clientes/usuários.

Referências 

Abnt (2002). NBR 9241-11 - Requisitos ergonômicos para o trabalho: orientações sobre usabilidade. São Paulo: Pedagógica e Universitária Ltda.

Arraes, B. H. R., Camargo, L. S. A., Carvalho, A. M. G., e Castro, F. F. (2007). Tecnologias da Informação e Comunicação como recurso interativo na perspectiva da Ciência da Informação. Revista eletrônica Informação e Cognição, 6(1), 3-5.

Calazans, A. T. S., Paldes, R. A., e Masson, E. T. S. (2016). Uma revisão sistemática da bibliografia sobre usabilidade móvel utilizando o enfoque meta-analítico. Espacios, 37(10), 18.

Coelho, R. O., Brito, M. L. A., Carvalho, H. D., e Araújo, M. V. P. (2016). Satisfação com banco de horas: estudo de caso em uma cervejaria. Espacios, 37(15), 22.

COSTA, L. F. (2008). Usabilidade do portal de Periódicos da CAPES (Dissertação de mestrado). Universidade Federal da Paraíba. João Pessoa.

Costa, L. F., e Ramalho, F. A. (2010). Usabilidade nos estudos de uso da informação: em cena usuários e sistemas interativos de informação. Perspectivas em Ciência da Informação, 15(1), 92-117.

Godoy, A. S. (1995). Pesquisa qualitativa: tipos fundamentais. Revista de Administração de Empresas, 35(3).

Hollveg, S. D. S., Flores, J. S., e Rosa, L. C. (2015). A produção de informações gerenciais a partir de sistemas integrados a contabilidade. Espacios, 36(12), 7.

Lancaster, F. W., & Warner, A. J. (1993). Information retrieval today. Arlington: Information Resources Pres. 

Ludwig, J. P., Faiz, E. B., Paloschi, R. B., e Souza, J. (2015). Planejamento estratégico: análise de eficácia da metodologia aplicada por meio da Escala Likert. Espacios, 36(16), 9.

Nielsen, J. (2016a). 10 Usability Heuristics for User Interface Design. Disponível em https://www.nngroup.com/articles/ten-usability-heuristics/

Nielsen, J. (2016b). How to Conduct a Heuristic Evaluation. Disponível em https://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/

Nielsen, J., e Loranger, H. (2007). Usabilidade na web: projetando websites com qualidade. Rio de Janeiro: Campus.

Oliveira, S. (1997). Tratado de metodologia científica: projetos de pesquisas, TGI, TCC, monografias, dissertações e teses. São Paulo: Pioneira.

Reis, E. A., Brito, M. L. A. (2015). Análise temática da rotatividade na interface entre gestão de pessoas e gestão do conhecimento. Espacios, 36(19), 14.     

Santos, R. C. (2008). Systems usability evaluation metrics review. En Congresso Internacional GBATA (pp. p. 1-10). Madri.

Silva Junior, R. F., e Silva, M. G. (2014). Implicações a partir da implementação do ERP em uma empresa do setor EPC (Engineering, Procurement and Construction). Espacios, 35(11), p. 19.

Silva, P. M. (2008). Sistemas de informação em bibliotecas: o comportamento dos usuários e bibliotecários frente às novas tecnologias de informação. Revista Digital de Biblioteconomia e Ciência da Informação, 5(2), 1-24.

Swiech, C., Francisco, A. C., e Lima, S. A. (2016). A tecnologia da informação e comunicação transformando e inovando a prática da pesquisa científica. Espacios, 37(11), 14.

1. Graduação em Biblioteconomia pela Universidade Federal do Rio Grande do Norte, Brasil. E-mail: jujucoracao@yahoo.com.br
2. Graduação em Biblioteconomia pela Universidade Federal do Rio Grande do Norte, Brasil. E-mail: simoneqmendonca@hotmail.com
3. Graduação em Administração e doutorado em Energia pela Universidade Federal do ABC. Professor da Universidade Federal de Itajubá, Brasil. E-mail: maxlabrito@yahoo.com.br

4. Graduação em Pedagogia e doutorado em Educação pela Universidade Federal do Rio Grande do Norte. Professora da Universidade Federal do Rio Grande do Norte, Brasil.  E-mail: gessicafabiely@hotmail.com