ISSN 0798 1015

Vol. 39 (Nº 43) Ano 2018. Pág. 34

Avaliação, produtividade e produtivismo: estudo da produção intelectual de uma Faculdade de Educação

Evaluation, productivity, and productivism: study about the intellectual production of a Faculty of Education

Ana Gabriela Clipes FERREIRA 1; Clovis Milton Duval WANNMACHER 2

Recebido: 16/05/2018 • Aprovado: 25/06/2018

Conteúdo

1. Introdução

2. Metodologia

3. Sistemas de avaliação

4. Acerca dos números: características gerais e taxa de crescimento geral

5. Produção em periódicos: produtividade e produtivismo

6. Considerações finais

Referências bibliográficas

1. Introdução

A ciência é um ciclo, nunca termina. Pesquisas são publicadas, geram novos conhecimentos, quebram paradigmas, criam-se outros. Documentos são criados, os textos são citados, outros documentos são produzidos. E assim, a ciência cresce na velocidade exponencial que Meadows (1999) já explicava na década de 1990. Desde o século passado, se produz e se consome muita informação. E as tecnologias da comunicação e informação (TIC) forneceram diversas ferramentas para produzir, disseminar e organizar essas informações para todos os tipos de consumidores, sejam discentes ou pesquisadores mais experientes e, até mesmo, profissionais fora da academia ou leigos.

Todavia, questiona-se até onde esse crescimento foi responsável pelo aumento das publicações e a mudança de comportamento na maneira de publicar dos pesquisadores. Certamente, não foi um único fator, mas sim um conjunto, como as próprias TIC, o avanço e a especialização da ciência, os sistemas de avaliação da academia, bem como os das agências de fomento, e as mudanças na forma de publicar e divulgar a informação, entre outros fatores.

Uma dessas mudanças de comportamento que pode ser observada é o chamado produtivismo acadêmico. Definido por Rego (2014) como uma obrigação do pesquisador de publicar, quase que exclusivamente, em periódicos, para ser avaliado. Isso pela razão de a publicação das revistas indexadas gerar indicadores de qualidade do pesquisador. Camargo Jr. (2014) define de forma mais simplificada: é a pressão sofrida pelo pesquisador, dentro da academia, em publicar mais e sempre, sendo uma obrigação que acaba chegando a um nível insustentável e insuportável. Entende-se então como produtivismo, nesta pesquisa, o excesso de produção acadêmica e que possui relevância questionável.

A questão de pesquisa é: como se dá a produtividade de uma determinada comunidade acadêmica da área de educação diante desse cenário? Em um grupo de pesquisadores predominantemente da área de humanas, porém com a existência de indivíduos com formações diversas, quais as características gerais desta produção e como os aspectos externos podem influenciar nestes números e demais particularidades?

Para responder a estas questões, o presente artigo tem como objetivo geral analisar a taxa de crescimento da produtividade da Faculdade de Educação da Universidade Federal do Rio Grande do Sul (FACED/UFRGS) através de estudo cientométrico. Os objetivos específicos da pesquisa são a abordagem de questões sobre a produtividade e o produtivismo e a análise do panorama dos sistemas de avaliação da produção científica.

Estudo de caráter exploratório utilizando dados quantitativos. A população utilizada foi a produção intelectual da FACED, através de dados coletados em maio de 2017, referentes ao intervalo de 2000 a 2015.

Organizados em planilha eletrônica, os dados foram fornecidos pelo Centro de Processamento de Dados (CPD) da UFRGS, através da coleta do software Aleph v. 22. Utilizando o recurso de tabela dinâmica, foram organizadas análises quantitativas dos tipos de documentos. Os dados foram organizados em tabela e estão em ordem de documento com maior número de ocorrências para o com menor número de ocorrências.

São calculadas as taxas de crescimento da produtividade. Primeiro da totalidade de documentos em tabela, após, em artigos em periódicos (nacionais e internacionais, indexados e não indexados) em gráficos. A escolha da taxa de crescimento em periódicos ocorreu por ser um dos principais documentos presentes nas bases de dados e documentos considerados na avaliação pelas agências de fomento. A fórmula utilizada foi a seguinte:

Taxa de crescimento = (Valor final-Valor inicial)/Valor inicial.                 (1)

Para demonstrar o crescimento de títulos de periódicos nas áreas das ciências humanas, foram utilizados os Portais de Periódicos da CAPES, a Scientific Library on Line (SciELO) e o Portal de Periódicos Científicos da UFRGS. No Portal de Periódicos da CAPES, a estratégia utilizada foi a seguinte: Buscar Periódico, Área do Conhecimento, Ciências Humanas. Já na SciELO, há uma listagem, por área do conhecimento, das revistas presentes na base. Por fim, no Portal de Periódicos da UFRGS, as revistas informam a área a qual pertencem. Os dados foram coletados nos sites das respectivas fontes, em 23 de abril de 2017.

As análises são baseadas nos princípios do Manifesto de Leiden (Hicks et al., 2015), destacando-se o sexto princípio, que aponta a necessidade em considerar as diferenças entre as áreas nas práticas de publicação e citação, dentro dos limites desta pesquisa. Os princípios dois, três e quatro são contemplados na escolha desta metodologia para a coleta de dados, pois: os dados medem o desempenho de acordo com a missão da instituição e dos pesquisadores, uma vez que coleta a produção intelectual (princípio 2); há presença de pesquisa localmente relevante quando são considerados periódicos científicos não indexados (princípio 3) e; a coleta de dados e as análises e processos de análises foram realizadas de maneiras simplificadas (princípio 4), bem como o acesso aos dados organizados pelo CPD serem acessíveis na instituição e estarem públicos no Sistema de Bibliotecas da Universidade. O princípio 8 será observado durante as análises e o insucesso é uma limitação comum aos estudos métricos: este princípio orienta evitar a solidez mal colocada e falsa precisão.

Contextualizando a população do estudo, a Faculdade de Educação da Universidade Federal do Rio Grande do Sul (FACED) foi fundada em 1970. Possui 143 docentes em junho de 2017, segundo o Sistema de Recursos Humanos da Universidade. Estes docentes possuem múltiplas formações, sendo, a maior parte das ciências humanas (pedagogia, história) e ciências sociais, mas existindo, também, professores na área de química e matemática, por exemplo. Divididem-se em 3 departamentos: 39 no Departamento de Estudos Básicos (EDU01), 51 no Departamento de Ensino e Currículo (EDU02) e 53 no Departamento de Estudos Especializados (EDU03). O Código EDU0 é referente aos técnicos-administrativos em educação e colaboradores (docentes aposentados, tutores, entre outros). O Programa de Pós-Graduação em Educação, fundado em 1974, oferece os cursos de mestrado acadêmico e doutorado e possui 101 professores orientadores vinculados à FACED e outras unidades, além de professores convidados e outros colaboradores (UFRGS , 2016).

A avaliação é uma das etapas em que os cientistas e o conhecimento passam pelo crivo dos seus pares, pela validação da comunidade científica. Porém, os métodos aplicados, embora sejam indiscutivelmente importantes para manter a qualidade, a confiabilidade e a idoneidade das pesquisas divulgadas, sempre serão questionados. Seja por discordância dos métodos aplicados, nem sempre adequados a todas as realidades, seja pela aplicabilidade ou mesmo pela atualidade do método, esse questionamento é importante, uma discussão dentro da academia que forma e quebra paradigmas importantes, forma linhas de pensamento em determinadas áreas e cria comportamentos, inclusive, na forma de publicar as pesquisas.

A bibliometria foi criada com um objetivo totalmente diferente do que os fins que é aplicada atualmente. O método foi criado visando avaliar periódicos para as coleções das bibliotecas, porém o uso ampliou-se para muito além desse fim (Araujo, 2016). O nono princípio de Leiden discorre sobre o reconhecimento dos efeitos sistêmicos da avaliação e indicadores, o que ocorre na realidade dos sistemas vigentes. Atualmente, os estudos métricos são utilizados para gerar diversos indicadores, desde rankings acadêmicos, por exemplo, até auxiliar em tomadas de decisão e políticas de financiamento de projetos de pesquisa. Para Furner (2014), bibliometria é, de maneira informal, sobre o que as pessoas (autores, leitores) fazem com os documentos disponíveis em qualquer meio (livros, artigos de periódicos, sites) e como analisam os efeitos destes. Estas análises, quantitativas, envolvem também a observação, classificação, contagem, relação dos documentos, entre outros procedimentos e técnicas. Em seguida, Furner (2014) indica que esses indicadores podem ser utilizados como uma maneira de se obter recompensas. Na prática, essas recompensas podem ser visualizadas através dos rankings institucionais divulgados periodicamente e da contemplação de projetos, via as exigências do edital.

Essas recompensas são citadas por Merton (1968; 2013) ao abordar que, na ciência, a motivação dos cientistas consiste em um sistema de recompensas, quem mais produz, mais ganha, ou seja: quem mais é citado, mais artigos produzirá, por exemplo, e mais citado será. Consistindo no Efeito Mateus: quanto mais produção acadêmica, recursos e reconhecimento o pesquisador obtiver, mais facilmente terá  recompensas e manterá seus índices. Porém, aqueles que não conseguirem manter um patamar mínimo, dificilmente conseguirão financiamentos para um projeto ou ter um artigo amplamente citado, ou seja, ter reconhecimento e apoio financeiro dentro da academia. O cientista que tiver mais projetos aprovados terá mais chances de ter novos projetos. E isso, aos olhos de algumas áreas de conhecimento, acaba sendo desleal, uma vez que algumas avaliações podem não considerar as diferenças de comportamento de produção científica entre cada uma das áreas e subáreas do conhecimento, por mais que se esforcem para dizer que sim.

Caregnato, Leite & Miorando (2016) realizaram estudo sobre a legitimidade científica de pesquisadores no campo da educação. Na pesquisa, através de dados quantitativos dos currículos dos pesquisadores, elencaram diversas características da produção da área, tais como: prestígio e legitimidade são alcançados por combinações diversas de capital científico e político. Embasam a pesquisa com autores como Merton e Bourdieu. Bordieu e a teoria da sociologia reflexiva serviram de aporte teórico para o estudo de Nascimento (2016), que analisou a produção dos bolsistas de produtividade do CNPQ da área de educação. Também coletando os dados nos currículos destes pesquisadores, a autora caracterizou os pesquisadores e identificou os tipos de trabalhos mais presentes no grupo, além disso, identificou o gênero predominantemente feminino, apesar de ainda haver uma presença do gênero masculino nos maiores espaços de poder e prestígio na ciência dentro da área.

Dessa forma, a ética na comunicação científica é um debate que se deve encarar com seriedade, ponto já abordado na seção anterior. É necessário questionar a validade de se adequar aos sistemas de avaliação sem prejudicar o conhecimento, embora tais sistemas sejam feitos pelos nossos pares e, principalmente, sem ferir aos princípios básicos das boas práticas editoriais. Exigir, por exemplo, que os autores citem o próprio periódico para submeter um artigo na publicação, e assim aumentar seu fator de impacto, ocasionou situação bastante embaraçosa no meio editorial, rendendo punição para seis periódicos brasileiros pelas citações combinadas, sendo estas revistas suspensas do Journal Citation Reports (JCR) em 2013 (Pesquisa FAPESP, 2013). Assim como as autocitações excessivas e desnecessárias que alguns autores praticam procurando aumentar seus índices de citação.

Os sistemas de avaliações são feitos pelos respectivos pares de cada área do conhecimento dentro da comunidade acadêmica. Os documentos de área da CAPES, objeto de estudo dos trabalhos de Frigeri e Monteiro (2014) e Neto (2016), trazem, detalhadamente, os critérios de avaliação dos veículos, quais sejam, periódicos e livros, e são de livre acesso e consulta. Há tendências de avaliação nas grandes áreas, mas cada uma das 49 subáreas (CAPES, 2017) possui seu comitê e documentação própria, revisados periodicamente. Porém, isso não quer dizer que há uma concordância geral dos pesquisadores das áreas. E isso é saudável, a discordância dentro das áreas, em especial àquelas em que as subáreas têm diferenças significativas, como as ciências sociais aplicadas.

O sistema de avaliação Qualis da CAPES, de forma indireta, qualificou as revistas, embora não perdendo o foco em avaliar os Programas de Pós-Graduação. Porém, qualificou as revistas quando estas atendem aos critérios para se enquadrar nos estratos mais altos e a busca das equipes editoriais para tanto, profissionalizando o processo editorial. Em 2006, a CAPES sugere que as revistas brasileiras utilizem como plataforma de publicação o Sistema de Editoração Eletrônico de Revistas (SEER) ou a Scientific Library on Line (SciELO), a fim de padronizar os sites: nestes mais de dez anos, as revistas que não utilizam o SEER, utilizam outra plataforma de editoração ou possuem os critérios mínimos de busca na Internet. Ainda há como evoluir nas publicações eletrônicas, porém isso é outra discussão. Entretanto, atualmente, as publicações eletrônicas periódicas possuem uma melhor apresentação dos metadados e do sistema de buscas, por terem acesso a um sistema de editoração acessível, que dá autonomia às equipes editoriais e que possibilitou, também, a migração de diversas publicações do meio impresso para o meio eletrônico.

As publicações em periódicos científicos são um dos pré-requisitos para o ingresso e manutenção como orientador em Programas de Pós-Graduação e que, também, já vem sendo usadas como um dos critérios para a titulação dos discentes e pontuação para créditos do curso. Ou seja, são uma exigência tanto de pesquisadores experientes como daqueles em formação, quando deveriam ser uma consequência das suas pesquisas, no devido tempo dos resultados, cada uma única dentro da especialidade. A recomendação é que se publique em periódicos da área do PPG e publicações reconhecidas e bem qualificadas (no Qualis da CAPES e/ou fator de impacto). Assim, o crescimento, tanto do número de periódicos como de artigos, visto na seção anterior, e os atrasos nas publicações brasileiras, tem como possíveis causas os ciclos de pré-requisitos dos sistemas de avaliação internos e externos das instituições. O  QUALIS, na sua página inicial, isenta-se de usos inadequados dos extratos das revistas ao alertar que sua função é “[...] exclusivamente para avaliar a produção científica dos programas de pós-graduação. Qualquer outro uso fora do âmbito da avaliação dos programas de pós-graduação não é de responsabilidade da CAPES.” (CAPES, 2017). Logo após esse esclarecimento, há uma espécie de termo de concordância, no qual o usuário da Plataforma Sucupira afirma que leu e entendeu a finalidade de uso do QUALIS.

As avaliações costumam ser contestadas e geram polêmica dentro da comunidade científica. Como bem exposto por Gingras (2016), há anos que a palavra “avaliação” causa esse incomodo no mundo da pesquisa e no ensino superior, mas especificamente na Pós-Graduação. Há uma série de publicações contra o Qualis, ou pelo menos questionando seus critérios, em diversas áreas do conhecimento. Neste trabalho, buscou-se realizar um recorte, principalmente, das áreas das ciências marginalizadas ou não tradicionais, em especial as ciências humanas e sociais, em bases de dados internacionais. É uma discussão que começa antes, não com a avaliação da Pós-Graduação e de seus veículos, como os periódicos, mas com a produtividade nas ciências humanas e as relações de poder; os impactos das pesquisas devido aos sistemas de avaliações; e o que pode impactar na pesquisa, questionando sobre a autonomia dessas pesquisas diante do que é cobrado do pesquisador pela academia. Para Frigeri & Monteiro (2014), o Qualis é um indicador científico, capaz de influenciar o rumo das pesquisas e, também, influencia leitores, autores, pesquisadores, concessões de financiamento e indexação em bases de dados.

Gandini (1989) traz a discussão da produtividade como meio de avaliação da universidade e diz que esta é aceita com pouca crítica no meio. Já na época, a autora se preocupava com a frequente comparação com áreas do conhecimentos completamente diferentes, com maneiras de produzir e consumir conhecimento diversos, e tempos diversos. Entre as contribuições do texto de Gandini, está o apontamento sobre a autonomia das pesquisas e sobre como essa pressão da avaliação institucional, centrada na produtividade dos docentes, pode interferir sobre esta autonomia. Também cita que o Brasil segue o modelo americano de forma negativa, sem refletir sobre resultados que essa influência pode causar. O artigo data de antes da década de 1990, antes do Qualis como método de avaliação, uma vez que este método foi adotado a partir de 1998 (Frigeri & Monteiro, 2014). A autora coletou dados da década de 1970, mas a leitura é bastante atual, assim como as inquietudes em seguir um modelo que nem sempre aparenta ser totalmente ideal ou, pelo menos, sem fazer uma reflexão maior sobre o assunto. Isso é marcante quando há uma tentativa de generalizar uma forma única de avaliação de todas as áreas do conhecimento.

Tal feito não é possível, uma vez que cada área possui uma especificidade. Em estudos de produtividade que utilizem métricas, estudos bibliométricos, cientrométricos, quaisquer indicadores, haverá uma tendência, devido à base de dados ou às limitações impostas pela coleta de dados. Há muitos limites nestes estudos. Gingras (2016) elenca alguns, como: cobertura, indexação das revistas, ausência de documentos como livros, especificidade das disciplinas. Gingras ainda cita como exemplos, justamente as bases mais utilizadas nesses estudos, Web of Science (WoS) e Scopus. Assim, o método aplicado neste trabalho viabilizou a realização da pesquisa ao recuperar documentos não indexados em bases de dados tradicionais, como artigos não indexados, livros e trabalhos em anais de eventos, entre outros, e pode demonstrar a taxa de crescimento dessa produção durante o período selecionado para a amostra.

A inexistência de indicadores baseados na produção nacional, tendo em vista que grande parte dos estudos está fundamentada em bases internacionais, e a dificuldade, portanto, para analisar uma área como um todo, devido à sua pouca representação, é o problema de pesquisa de Gabriel Junior (2014). O autor sugere uma base da Ciência da Informação que possa gerar e analisar indicadores de periódicos publicados no Brasil. A proposta contempla, novamente, periódicos e indicadores, através da publicação neste veículo, embora seja mais alinhada a realidade nacional.

Este é um paradigma que, aparentemente, será difícil de romper: a avaliação ligada à publicação em periódicos em detrimento de outras publicações e atividades acadêmico-científicas, seja qual for a área do conhecimento, indo também ao encontro do sexto princípio do Manifesto de Leiden (HICKS et al., 2015). É essencial observar, nas avaliações, se os indicadores utilizados são os mais adequados, buscando examinar e atualizar regularmente o uso destes, conforme o décimo princípio de Leiden, e procurando utilizar um conjunto destes, conforme sugerido pelo nono princípio, uma vez que um único indicador pode gerar desvio do objetivo. Isso também ocorre por limitações metodológicas de cada pesquisa, como a escolha da base de dados.

Todavia, como vantagem da criação e da disseminação de uma base capaz de gerar indicadores de periódicos brasileiros, tem-se a mesma que se concluiu no estudo sobre o Qualis (Frigeri & Monteiro, 2014): a busca pelo aumento da qualidade das publicações brasileiras é um objetivo constante, tornando-as mais competitivas com as internacionais. E é mais um recurso para ter diversidade nos estudos métricos.

Após a coleta de dados, os dados gerais da produção intelectual totalizaram 15.254 registros, nos mais diversos tipos de documentos. Os documentos em maior número são os trabalhos em eventos nacionais, sendo 18,4% do total. Os trabalhos de evento são um importante meio de apresentar dados preliminares das pesquisas e validar, entre os pares, o andamento destas e, até mesmo, de trabalhos em estágios mais avançados. Os eventos são uma forma também da comunidade científica estar atualizada dentro do campo do conhecimento. Na área da ciência da computação, de rápida atualização, por exemplo, os trabalhosde eventos são um importante veículo (Odlyzko, 2002), e mais recentemente corroborado por Hicks et al. (2015) no Manifesto de Leiden. Livros e capítulos de livros somam 17,97%. Já os artigos periódicos representam 10,62% do total de documentos. Há significativa produção de documentos que envolvem orientação como produção intelectual, como as teses, dissertações, trabalhos de especialização e trabalhos de conclusão de curso. Destaca-se um novo tipo de produção intelectual, o recurso educacional, implementado em 2015 pela Universidade e disponibilizado no repositório institucional, oito ocorrências.

É perceptível e comprovado, tanto pela literatura como pelos dados, que o periódico científico ganha cada vez mais espaço, dentro das diversas áreas do conhecimento, como veículo de divulgação de pesquisas. Barata (2016) corrobora ao afirmar que o número de periódicos das áreas de humanas e ciências sociais aplicadas, em bases bibliométricas, eram bem poucos até recentemente, sendo os livros e coletâneas os veículos preferenciais das áreas. Mas a tradição começou a mudar “[...] pressionada pelo uso crescente desses indicadores [bibliométricos] em diversos processos de avaliação do desempenho acadêmico.” (Barata, 2016, p. 33). Ou seja, pode-se afirmar, com os dados da pesquisa, que houve uma mudança no comportamento de publicação, visando a avaliação, seja institucional, seja do pesquisador ou ambas, uma vez que estão interligadas e interferindo na avaliação do periódico como veículo de disseminar o produto da pesquisa.

Novamente, destaca-se a importância de um trabalho em que uma comunidade com maior diversidade de características é abrangida. Neste trabalho, toda a comunidade da FACED foi inserida, com toda a sua produção intelectual e toda a tipologia documental, porém, com o viés da coleta de dados do Aleph, qual seja apenas pessoal com vínculo ativo com a Universidade. No trabalho de Nascimento (2016), os resultados apontaram para um maior número de publicações em periódicos de altos estratos no Qualis, cerca de 60% em revistas com classificação em A1, A2 e B1. Todavia, o grupo selecionado foi limitado aos bolsistas de produtividade de pesquisa, pesquisadores que tem por objetivo a publicação de resultados de pesquisa e são recompensados por isso, além de a publicação ser um item indispensável para continuar a ser bolsista. Ainda assim, neste trabalho, aponta-se uma grande tendência de publicação em livros e capítulos de livros e, a exemplo da presente pesquisa, uma significativa presença de trabalhos em eventos, embora com a proposta do Qualis, em 2010, exista um declínio desse tipo de publicação. Mesmo que sejam pesquisas diferentes, em recortes temporais diferentes e de pessoal diferente, a área da educação possui comportamentos similares, típicos da grande área, e os dados corroboram tal afirmativa.

A seguir, foi calculada a taxa de crescimento da produtividade em todos os tipos de documentos (Tabela 1). O crescimento da ciência é descrito, na cientometria, por Vinkler (2010), através de modelos baseados no crescimento cumulativo das publicações através de três modelos: o linear, o exponencial e o logístico. No linear, há um crescimento constante no número de artigos; no exponencial, há um rápido aumento após um período inicial; e no logístico, o crescimento é lento durante um período inicial, seguido de um aumento rápido e linear das publicações. Dessa maneira, o aumento ou a diminuição do número de publicações por ano depende de diversos fatores, dentro e fora da ciência. Os modelos apresentados podem ser válidos apenas para um período estudado, não tendo poder preditivo para períodos mais longos (VINKLER, 2010).

Tabela 1
Taxa de crescimento no total de produções da comunidade da FACED/UFRGS entre 2000 e 2015.

Fonte: dados da pesquisa

Quando analisada a produção total, as maiores taxas de crescimento são apontadas nos anos de 2012, 2010 e 2006. Em alguns anos, há decréscimos da produção, sendo a do ano de 2011 a mais expressiva. A média foi de 4,93%. Quando analisadas as taxas de crescimento em periódicos, as médias diferem, conforme seção a seguir. Todavia, é possível observar anos de decréscimo também, corroborando com a afirmação de Vinkler (2010) sobre os números de publicações sofrerem influências dentro e fora da ciência: em seu estudo, bem como em outros com dados métricos, a base de dados pode ter falhas no depósito, sendo este um fator. Neste estudo, os dados são provenientes da coleta de dados da produção intelectual de uma determinada população de pesquisadores: se estes deixaram de depositar os documentos, estiveram afastados ou outros motivos, isto afeta o resultado.

A população não é constante durante o período da coleta de dados. Houve aposentadorias, ingresso de novos docentes e vínculos somente no Programa de Pós-Graduação por determinado período, como 2 ou 4 anos, por exemplo. O momento econômico da instituição e a existência de financiamento de projetos são outros fatores que podem influenciar nas diferentes médias ano a ano.     

O periódico pode não ser o meio mais adequado para a divulgação do acúmulo do conhecimento, como defendido por Giménez-Toledo, Tejada-Artigas & Mañana-Rodríguez (2013). Nas humanas e nas ciências sociais, são os livros e capítulos de livros que apresentam o espaço necessário para a descrição de todas as variáveis para informar os resultados. Dessa forma, diversos resultados ficam fora desta pesquisa quando definida uma metodologia que analisa as taxas de crescimento em periódicos, apenas.

Essas taxas são um importante veículo para demonstrar e valorizar a produtividade da FACED em periódicos, porém, não devem ser utilizadas como único indicador, mesmo abrangendo periódicos não indexados. Há uma tendência a metrificar a avaliação, e, ao apresentar métricas cada vez mais impessoais, o reconhecimento dos cientistas é menor, conforme Mattedi e Spiess (2017). Para estes autores, o artigo se tornou um fator central da avaliação científica, descrito como “papirocentrismo”. Como já mencionado na metodologia desta pesquisa, o artigo é o principal veículo considerado pelas agências de fomento e avaliação, devido aos indicadores que possibilitam e são uma das formas de avaliar os Programas de Pós-Graduação. Toda essa quantificação da ciência gera fenômenos e ignora outros fatores, tratados a seguir.

É necessário trazer a tona o desconforto de se questionar: por que escrevemos e publicamos, afinal? A resposta é aparentemente fácil. Publicar resultados, garantir o crescimento da ciência, documentar descobertas. Ora, está na literatura científica. Então, reformula-se o questionamento: por que escreve-se tanto ou de forma indiscriminada em algumas áreas, se não é isso que a área do conhecimento em que está inserido exige realmente do pesquisador, uma vez que cada área é diferente entre si? Publica-se tanto a ponto de ocorrerem práticas duvidosas entre os cientistas para alcançar determinados indicadores? Ou essa má conduta é intrínseca da personalidade do pesquisador como pessoa e somente se transpôs para a academia? É uma discussão que não se esgota em um único trabalho, é polêmica e sempre terá pontos de vista divergentes. Porém, é necessário o debate, tendo-se em vista também os estudos métricos, tão questionados pelo uso indiscriminado dos indicadores, e os dados quantitativos, sem uma análise desses indicadores como, por exemplo, na classificação de instituições, onde claramente algumas instituições acabam ficando invisíveis devido aos critérios adotados.

Acerca do produtivismo, é inegável que há essa cultura no meio acadêmico e que há pesquisadores que acabam aderindo, seja por desconhecimento, por vaidade de publicar um maior número de trabalhos ou por pressão dentro do seu ambiente de trabalho. Tanto que as publicações predatórias existem para ilustrar essa necessidade crescente de publicar de alguns autores. Há uma necessidade tão grande em pontuar, seja perante a instituição, seja nas agências de fomentos, ou ambas, que se perde o objetivo principal de tornar o conhecimento público.

Nas ciências humanas, o conhecimento tem uma velocidade e uma forma de ser escrito e apresentado diferente das ciências duras. Rego (2014) faz uma crítica aos sistemas de publicação e questiona se o que foi planejado para melhorar as atividades de pesquisa não acaba piorando. Ao longo do texto, a autora chama o sistema de perverso, pois são majoritariamente quantitativos, enquanto a área das humanas não suporta este de análise, baseada em números, para avaliar suas pesquisas. Demonstra, ao decorrer do texto, o que já se observou em outras etapas da pesquisa: o número crescente de periódicos em ciências humanas, o que contraria a literatura em outros momentos pela escolha de veículo preferencial (MEADOWS, 1999) e corrobora o resultado de pesquisas recentes (BARATA, 2016).

O número de títulos de periódicos, em áreas do conhecimento antes não tradicionais neste tipo de comunicação científica, como ciências humanas e ciências sociais aplicadas, é observado nos últimos anos e comprovado nas bases de dados e em estudos dentro das academias. O Portal de Periódicos Científicos da UFRGS possui cerca de 30,60% dos 49 títulos de periódicos na área de humanidades, enquanto a Scientific Library on Line (SciELO) possui cerca de 24% e o Portal de Periódicos da CAPES possui 16,5%, atrás apenas das áreas da Ciências da Saúde (24,20%) e Ciências Biológicas (15,22%). O Portal de Periódicos da CAPES possui 7014 títulos entre nacionais e internacionais, podendo-se então afirmar, neste primeiro momento da pesquisa, que o fenômeno de um grande número de publicações na área das humanidades não é regional ou de revistas com classificação ou qualificação inferior, menor tempo de existência ou qualquer outro fator que poderia caracterizar como uma tendência do Brasil.

Os Gráficos 1 a 4 demonstram as taxas de crescimento de artigos em revistas científicas da publicadas pela comunidade da FACED. Foram observadas as publicações em periódicos internacionais e nacionais, indexados e não indexados no período da pesquisa, 2000 a 2015.

Gráfico 1
Taxa de crescimento em periódicos indexados internacionais publicados pela
comunidade da FACED/UFRGS entre 2000 e 2015. Fonte: dados da pesquisa

-----

Gráfico 2
Taxa de crescimento em periódicos não indexados internacionais publicados pela
comunidade da FACED/UFRGS entre 2000 e 2015. Fonte: dados da pesquisa

-----

Gráfico 3
Taxa de crescimento em periódicos indexados nacionais publicados pela
comunidade da FACED/UFRGS entre 2000 e 2015. Fonte: dados da pesquisa

-----

Gráfico 4
Taxa de crescimento em periódicos não indexados nacionais publicados
pela comunidade da FACED/UFRGS entre 2000 e 2015. Fonte: dados da pesquisa

Independente do tipo de periódico, a taxa de crescimento neste tipo de publicação foi sempre mais elevada em relação à produção total de documentos. As taxas em revistas internacionais, indexadas ou não, obtiveram maiores números, uma vez que, no início do intervalo, eram poucos artigos e nos últimos anos houve aumento considerável. Portanto, nos periódicos internacionais indexados e não indexados a taxa média de crescimento é de 41,01% e 18,75%, respectivamente. Ao observar as revistas nacionais, os números são mais constantes, embora as médias de crescimento nas publicações indexadas e não indexadas sejam de 7,10% e 7,90%, respectivamente. Também não há tanta diferença na média, como ocorre nos periódicos internacionais. Nas revistas nacionais não indexadas, a taxa por ano se apresenta de maneira menos consistente se comparada aos demais tipos de publicações periódicas, com maiores variações de aumento e diminuição.

O número total de publicações em periódicos nacionais indexados é mais significativo em comparação aos não indexados. Já a publicação em periódicos internacionais aparece em números menores, o que é esperado dentro da produção científica nacional, uma vez que se publica em maior número no idioma português, já que, no Brasil, apenas 33% dos pesquisadores, em todas as áreas, se declaram proficientes em idioma inglês (VASCONCELOS, 2008). Além disso, há questões como a temática e outros fatores como o próprio financiamento das publicações, pois publicar internacionalmente pode envolver custos financeiros altos, projetos de pesquisas ou bolsas e nem sempre existe esse financiamento, seja da instituição ou de agência externa.

As publicações em periódicos possuem reconhecimento dentro da comunidade científica, considerada também como indicador para avaliação de produtividade, sendo tradicionalmente o principal produto das bases de dados das agências de fomento e de avaliação institucional. Dessa maneira, boa parte da produção que não for publicada em veículos visíveis ou que pontuem mais em uma progressão funcional, não recebem tanto prestígio ou reconhecimento dentro da academia. Existem tipos de documentos produzidos fora desse circuito e há mais produto intelectual não visível ou contabilizado da mesma maneira, como atividades de extensão ou objetos de aprendizagem. No sétimo princípio do Manifesto de Leiden é indicado que a avaliação de pesquisadores individuais seja baseada no juízo qualitativo da sua carreira (HICKS et al., 2015). A trajetória de um pesquisador não pode ser totalmente mensurada na sua produção, principalmente em artigos indexados em determinadas bases de dados. No próprio exemplo do sétimo princípio, demonstra-se que o mesmo pesquisador possui diferentes avaliações de um índice em plataformas distintas e esse mesmo índice varia muito numericamente, conforme a área de formação.

A produtividade em 19 Programas de Pós-Graduação em Educação no Brasil foi objeto de estudo de Medeiros (1980), que coletou dados da CAPES e do CNPq de 1975. Apesar de não identificado pela autora, é um estudo com vários indicadores métricos, nos quais ela pretendeu procurar fatores que interferissem na produtividade destes PPGs. Ambos os estudos demostram que a temática é recorrente na área de educação há algumas décadas. Mais recentemente, também encontram-se autores questionando sobre os sistemas de avaliação ou mesmo realizando estudos sobre a produção de determinadas áreas, com objetivos diversos, indo muito além das métricas e análises quantitativas. Certamente, esses estudos quantitativos são importantes para o desenvolvimento de rankings, estudos de comunidades e outras tomadas de decisões, mas o que se chama a atenção é que não sejam os únicos, para que não sejam cometidas injustiças com as áreas do conhecimento.

Mais atuais e críticos sobre o produtivismo, Alcadipani (2011) e Rego (2014) também discorrem. Alcadipani (2011) afirma que quantidade e qualidade devem ser considerados e aponta importantes fatos para o “crescimento desenfreado” da produção. Segundo o autor, houve aumento em mais de 100% de matrículas no ensino superior em dez anos. Tratando-se o ensino como mercadoria, a produção científica gerada dentro das universidades tende a ter o mesmo tratamento, com características mercantilistas. Rego (2014), também atenta aos sistemas de avaliação, não pode deixar de discutir sobre o excessivo número de produções que algumas áreas geram, a fim de atender aos critérios criados. Dessa forma, são muitos artigos com pouca qualidade e surge a “salami science”, com artigos fatiados, incompletos, submetidos mais de uma vez para diferentes veículos com apenas algumas mudanças. As questões éticas de publicações geradas com fins produtivistas são discutidas por Mattedi & Spiess (2017), que vão além, ao mencionar as formas de avaliação, que são, na visão dos autores, sempre arbitrárias.

Editoras que buscam autores através de convites para publicações de livros e para diversos títulos de periódicos sem indexação e com processo editorial desconhecido, são cada vez mais numerosas. Essas questões éticas ficam evidentes em notícias como a de uma doutora fictícia, que se candidatou como editora de 360 revistas apresentando um currículo com informações falsas, e foi aceita por 48 dessas publicações (Revista FAPESP, 2017). Tais periódicos são as publicações predatórias, de acesso aberto ao leitor, mas que cobram altos valores dos autores e possuem processo editorial duvidoso. Além disso, estão em total desacordo com a filosofia e as políticas do acesso aberto à informação científica, movimento legítimo e com diversos benefícios à ciência.

Os números apresentados nos Gráficos não indicaram um crescimento desenfreado em publicações periódicas, embora seja uma produção significativa quando comparada com os demais tipos de documento. Pode-se observar um crescimento destas produções na maioria dos anos da amostra, apesar de incluir alguns decréscimos. O maior número e média da taxa de crescimento em periódicos indexados nacionais pode demonstrar a preocupação dos pesquisadores de que suas publicações sejam visíveis e valorizadas no meio acadêmico. Consequentemente, na adequação aos sistemas de avaliação, obtenção de reconhecimento e nas recompensas acadêmicas. Já a maior taxa de crescimento apresentada, nos anos iniciais da amostra, em periódicos internacionais indexados e não indexados, aponta uma mudança de hábitos, onde, possivelmente, o pesquisador esteja internacionalizando sua pesquisa e, importante destaque, os números iniciais eram baixos, por esse motivo, as taxas elevadas. Dessa forma, não é possível afirmar prática de produtivismo com esses números, mas sim um crescimento de produtividade natural dentro da área, conforme o avanço da ciência, com diversos fatores internos e externos e que não são possíveis de ser verificados apenas com métricas..

Neste trabalho, discutiram-se os sistemas de avaliação e como esses podem influenciar no comportamento da publicação em determinadas áreas. Os dados quantitativos foram importantes para verificar as tendências, refutar e/ou até mesmo confirmar outras essenciais para a verificação da taxa de crescimento. As métricas auxiliam a demonstrar a realidade de uma determinada comunidade em dados, porém, nas ciências marginalizadas, são necessárias outras formas de coleta e análise de dados, além de fontes diferentes das utilizadas tradicionalmente. Bases de dados tradicionais, como a WoS ou a Scopus são amplamente utilizadas em estudos bibliométricos e cientométricos de outras áreas do conhecimento, pois estas estão abrangidas, seja pela grande área ou idioma, ou seja, costumam ter viés e acabam sendo excessivamente seletivas de alguma maneira. Assim, seria inviável coletar dados de pesquisadores da FACED em tais bases e ter resultados satisfatórios para um estudo como este que, embora tenha limitações, conforme apresentadas na metodologia, proporcionou dados de qualidade e numericamente expressivos.

Também pela abrangência e pelo idioma das publicações, não sendo um estudo de publicações tradicionais da ciência, em bases tradicionais não seriam recuperados documentos da produção intelectual da UFRGS, como os artigos de revistas não indexadas, de revistas de divulgação e de jornais locais. Temas relevantes socialmente e para a área da instituição, mas sem indexação em bases de dados que geram índices invisíveis aos olhos da comunidade científica, principalmente a internacional.

Um resultado não listado como objetivo e que será considerado como produto da pesquisa é a revisão da qualidade dos dados da Biblioteca Setorial de Educação (caracteres e meros detalhes técnicos biblioteconômicos, sendo que nenhum interferiu nos dados da pesquisa), em especial os antigos, antes da migração para o Sistema de Bibliotecas da UFRGS. Esta melhoria trará qualidade ao catálogo da biblioteca.

A principal função das publicações originadas pelos pesquisadores da FACED é o desenvolvimento e divulgação do conhecimento promovido dentro da Faculdade que é, genuinamente, a formação de professores, educadores e cidadãos dentre todas as áreas de formação dos servidores docentes, técnicos e discentes que ali atuam. E de todas as atividades de pesquisa, extensão e ensino, sejam as publicações formais ou menos formais, sejam os tradicionais livros ou periódicos científicos ou os artigos de divulgação em jornais e revistas, mas também os movimentos políticos e sociais, os ensinamentos em sala de aula, o compromisso social com a educação. Dessa forma, as publicações são uma consequência desse compromisso.

Entretanto, é preciso garantir os recursos para que toda essa movimentação tenha financiamento e possa continuar existindo. Para isso, a comunidade científica da área deve estar atenta e ser crítica aos sistemas de avaliação, contribuindo com o crescimento da ciência da sua área e promovendo melhorias através de contribuições na elaboração de documentos norteadores para a avaliação, seja dos pesquisadores, seja da instituição a qual que está vinculado. Tudo isso, para garantir que a ciência mantenha seu ciclo: seja produzida, publicada, disseminada, citada, cause impacto, produza novos conhecimentos da maneira mais adequada para a área, mas que seja disseminada e que o custo moral não seja maior que o benefício social.

Por fim, este estudo atingiu os objetivos propostos ao apresentar as taxas de crescimento das publicações em geral e em periódicos dos pesquisadores da FACED, relacionando tais taxas e a produtividade à questões atuais e pertinentes, como o produtivismo e os sistemas de avaliação. Não foi observado cultura produtivista na taxa de crescimento dos artigos destes pesquisadores, uma vez que os números não indicaram aumento desenfreado de publicações. O quinto princípio do Manifesto de Leiden (HICKS et al., 2015), que é fornecer acesso aos dados e análises da pesquisa aos avaliados, será cumprido ao término da pesquisa. Como proposta de continuidade e aprofundamento, sugere-se a aplicação do primeiro princípio de Leiden, que trata sobre a avaliação qualitativa especializada, minimizando os vieses das bases de dados e tendo, assim, o equilíbrio entre a quantificação e a qualidade dos dados.

Alcadipani, R. (2011). Resistir ao produtivismo: uma ode à perturbação Acadêmica. Cadernos EBAPE.BR , 9, pp. 1174-1178.

Araújo, C. A. (2006). Bibliometria: evolução história e questões atuais. Em Questão, 12, p. 11-32. Recuperado de: http://seer.ufrgs.br/index.php/EmQuestao/article/view/16

Barata, R. d. (2016). Dez coisas que você deveria saber sobre o Qualis. RBPG , 13, pp. 13-40.

Camargo Jr., K. R. (2014). Publicar ou perecer, ou perecer por publicar (em excesso)? Physis: revista de saúde coletiva , 24, pp. 337-339.

CAPES. (2017). Sobre as áreas de avaliação. 2017. from Avaliação: http://www.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao

Caregnato, C. E., Leite, D. B., & Miorando, B. S. (2016). Pesquisadores e legitimidade científica no campo. Linhas Críticas , 22 (47), pp. 189-209.

Frigeri, M., & Monteiro, M. S. (2014). Qualis Periódicos: indicador da política científica no Brasil? Estudos de Sociologia , 19, pp. 299-315.

Furner, J. (2014). The Ethics of Evaluative Bibliometrics. In: B. Cronin, & C. R. Sugimoto, Beyond bibliometrics : harnessing multidimensional indicators of scholarly impact (pp. 145-193). Cambridge, Massachusetts: The MIT Press.

Gabriel Junior, R. F. (2014). Geração de indicadores de produção e citação científica em revistas de Ciência da Informação: estudo aplicado à base de dados BRAPCI.  Tese (Doutorado em Ciência da Informação. Programa de Pós Graduação em Ciência da Informação, Universidade Estadual Paulista, Marília, 2014

Gandini, R. P. (1989). Produtividade e autonomia na pesquisa em ciências humanas e em educação. Educação e Sociedade , 10 (33), pp. 141-157.

Giménez-Toledo, E., Tejada-Artigas, C., & Mañana-Rodríguez, J. (2013). Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey. Research Evaluation , 22 (1), pp. 64-77.

Gingras, Y. (2016). Os desvios da avaliação da pesquisa : o bom uso da bibliometria. Rio de Janeiro: Editora da UFRJ.

Hicks, D., Wouters, P., Waltman, L., Rijcke, S. d., & Rafols, I. (2015). The Leiden Manifesto for research metrics. Nature , 520, pp. 429-431.

Mattedi, M. A., & Spiess, M. R. (jul.-set. de 2017). A avaliação da produtividade científica . História, Ciências, Saúde – Manguinhos , 24 (3), pp. 623-643 .

Meadows. (1999). A Comunicação Científica. Brasília: Briquet de Lemos.

Medeiros, M. F. (1980). Produtividade da pós-graduação em educação no Brasil: uma dimensão unificadora ou conflitante? Ciência e cultura , 32 (5), pp. 588-595.

Merton, R. K. (2013). Ensaios de sociologia da ciência. São Paulo: Associação Filosófica Scientiae Studia: Editora 34.

Merton, R. K. (1968). The Matthew effect in science. Science , 159, pp. p. 56-63.

Nascimento, B. S. (2016). A produção científica dos bolsistas de produtividade do CNPQ: trajetórias da elite consagrada no campo da Educação no Brasil. Curitiba: Tese de Doutorado (Programa de Pós-Graduação em Educação).

Neto, C. E. (2016). Qualis para quê? : entre livros e periódicos. In M. Gaudêncio, & M. E. Albuquerque, Criação intelectual na comunicação científica : reflexões e orientações (pp. 89-104). Mossoró: EdUFERSA.

Odlyko, A. (2002). The rapid evolution of scholarly communication. Learned Publishing, 15 (1), 7-19.

Pesquisa FAPESP. (2013). Punição para citações combinadas. Pesquisa FAPESP (213), 213.

Rego, T. C. (2014). Produtivismo, pesquisa e comunicação científica : entre o veneno e o remédio. Educação e Pesquisa , 40 (2), 325-346.

Revista FAPESP. (2017). “Dra. Fraude” se candidata para vaga de editora. Revista FAPESP (254), 8-10.

UFRGS. (2016). UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL. Faculdade de Educação UFRGS : <http://www.ufrgs.br/faced/>

Vasconcelos, S. M. (2008). Ciência no Brasil: uma abordagem cienciométrica e lingüística. Rio de Janeiro, RJ: Tese (Doutorado em Ciências. Química Biológica. Programa de Educação, Gestão e Difusão em Biociências, Instituto de Bioquímica Médica, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2008.

Vinkler, P. (2010). Publication growth in science. In: P. VINKLER, The evaluation of research by scientometric indicators. (pp. 23-34). Oxford: Chandos.

1. Bibliotecária-Documentalista. Doutora em Educação em Ciências (UFRGS). Mestre em Comunicação e Informação (UFRGS). Biblioteca da Faculdade de Educação. Universidade Federal do Rio Grande do Sul. ORCID: http://orcid.org/0000-0002-6046-3379. Currículo Lattes: http://lattes.cnpq.br/3324667562059112.   E-mail de contato: anaclipes@ufrgs.br

2. Bolsista de Produtividade em Pesquisa do CNPq Nível 1C - CA BF - Biofísica, Bioquímica, Farmacologia, Fisiologia e Neurociências. Professor Titular. Doutor em Ciências Biológicas (UFRGS). Mestre em Genética e Biologia Molecular (UFRGS). Instituto de Ciências Básicas da Saúde. Universidade Federal do Rio Grande do Sul.  ORCID: http://orcid.org/0000-0002-7826-8416. Currículo Lattes: http://lattes.cnpq.br/3522389173569087. E-mail de contato: clovisdw@ufrgs.br

3. Publicações predatórias são consideradas um desserviço à ciência, todavia indicam que há grande procura e interesse da comunidade acadêmica em publicar em acesso aberto. Com o objetivo de denunciar revistas dessa natureza e garantir a qualidade e a legitimidade dos periódicos de acesso aberto, há uma iniciativa no portal https://predatoryjournals.com.