Espacios. Vol. 33 (7) 2012. Pág. 2

Avaliação de curso técnico: uma metodologia estruturada para construir um portfólio bibliográfico atualizado

Evaluation of Telecommunications Technician Couse: a structured methodology to get a updated bibliography portfolio

André Luiz Alves 1 y Leonardo Ensslin 2

Recibido: 10-12-2011 - Aprobado 21-03-2012

Contenido

• 1. Introdução
• 2. Enquadramento Metodológico da Pesquisa
• 3. Processo de Seleção do Referecial Teórico
• 4. Processo para Realizar a Análise Bibliométrica
• 5. Consideraçoes Finais
• Referências

RESUMO:
Este trabalho pretende mostrar o processo utilizado por este pesquisador para a obtenção de um portfólio bibliográfico que serviu de base para o levantamento do estado da arte da avaliação de qualidade de cursos técnicos profissionalizantes subsequentes ao segundo grau. O pesquisador para iniciar sua pesquisa tem que ter subsídios técnicos para tal, normalmente embasados em bibliografia da área tais como os livros, artigos e trabalhos de conclusões dos programas de mestrado e doutorado. Surge, porém, a necessidade de um ponto de partida para esta busca de tal forma a montar um referencial teórico que permita ao pesquisador direcionar-se o mais perto possível do tema de sua pesquisa. O instrumento de intervenção utilizado foi o ProKnow-C (Knowledge Development Process – Constructivist).
Palavras-Chave: Metodologia de Pesquisa Bibliográfica. Avaliação de Curso Técnico. Avaliação de Desempenho. ProKnow.

ABSTRACT:
This study aims to show the process used by this researcher to obtain a literature portfolio that was the basis for the art state survey of the subsequent technical professional courses quality assessment following the second degree. The researcher to start an investigation must have technical support, usually grounded in literature, such as books, articles, master's dissertations and doctoral thesis. There is a need for a starting point for this search in such a way to set up a theoretical framework that allows the researcher to be oriented as close as possible to his investigation subject. The intervention instrument used in this work is called o ProKnow-C (Knowledge Development Process – Constructivist).
Keywords: Library Research Methodology. Evaluation of Technical Course. Performance Evaluation. ProKnow

1.Introdução

A avaliação da qualidade do ensino, no Brasil, é realizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, no ensino fundamental através da Provinha Brasil que é

avaliação diagnóstica do nível de alfabetização das crianças matriculadas no segundo ano de escolarização das escolas públicas brasileiras. Essa avaliação acontece em duas etapas, uma no início e a outra ao término do ano letivo. A aplicação em períodos distintos possibilita aos professores e gestores educacionais a realização de um diagnóstico mais preciso que permite conhecer o que foi agregado na aprendizagem das crianças, em termos de habilidades de leitura dentro do período avaliado (INEP, 2011a).

E também pelo Saeb (Sistema de Avaliação da Educação Básica) composta de duas partes complementares:

A primeira, denominada Aneb – Avaliação Nacional da Educação Básica, abrange de maneira amostral os estudantes das redes públicas e privadas do país, localizados na área rural e urbana e matriculados no 5º e 9º anos do ensino fundamental e também no 3º ano do ensino médio. (INEP, 2011b)

A segunda avaliação, complementar a esta é:

denominada Anresc - Avaliação Nacional do Rendimento Escolar, é aplicada censitariamente alunos de 5º e 9º anos do ensino fundamental público, nas redes estaduais, municipais e federais, de área rural e urbana, em escolas que tenham no mínimo 20 alunos matriculados na série avaliada. Nesse estrato, a prova recebe o nome de Prova Brasil [...] que também são utilizados no cálculo do Ideb. (INEP, 2011b)

Estas são de aplicação bianual envolvendo apenas provas de língua portuguesa e matemática. Um questionário socioeconômico também é aplicado.

Outro marco de estudo de avaliação na educação brasileira é o Exame Nacional do Ensino Médio (Enem). “Criado em 1998, [...] tem o objetivo de avaliar o desempenho do estudante ao fim da escolaridade básica. Podem participar do exame alunos que estão concluindo ou que já concluíram o ensino médio em anos anteriores” (INEP, 2011c).

Associado aos anteriores aparece o Senso Escolar. Este é um

levantamento de dados estatístico-educacionais de âmbito nacional realizado todos os anos e coordenado pelo Inep. Ele é feito com a colaboração das secretarias estaduais e municipais de Educação e com a participação de todas as escolas públicas e privadas do país. [...] abrange as suas diferentes etapas e modalidades: ensino regular (educação Infantil e ensinos fundamental e médio), educação especial e educação de jovens e adultos (EJA). O Censo Escolar coleta dados sobre estabelecimentos, matrículas, funções docentes, movimento e rendimento escolar. (INEP, 2011d)

Os dados da educação técnica profissional de nível médio foram incluídos no Senso Escolar em 2011, são analisadas as informações das instituições, dos cursos, dos concluintes e funções docentes (INEP, 2006).

Estas avaliações fornecem subsídios para o cálculo do Índice de Desenvolvimento da Educação Básica (IDEB), “indicador que serve de referência para as metas do Plano de Desenvolvimento da Educação (PDE), do Ministério da Educação” (INEP, 2011d)

Na avaliação da qualidade da avaliação do ensino superior é aplicado o Sistema Nacional de Avaliação da Educação Superior (Sinaes). Este “é formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes” (INEP, 2011e), verificando os aspectos ensino, pesquisa e extensão. Para atingir os objetivos avaliativos no âmbito dos discentes é aplicado o Exame Nacional de Desempenho de Estudantes (Enade) que “tem o objetivo de aferir o rendimento dos alunos dos cursos de graduação em relação aos conteúdos programáticos, suas habilidades e competência” (INEP, 2011f)

Cabe ao gestor conhecer o desempenho do curso sobre sua responsabilidade. E, como exposto anteriormente, é demonstrado a necessidade da avaliação global dos diversos níveis da educação regular. Porém uma lacuna aparece quando da avaliação da educação técnica profissional subsequente ao ensino médio. O presente trabalho pretende contribuir com o preenchimento desta lacuna no processo avaliativo da educação brasileira. Para tanto uma busca pelo estado da arte na literatura se faz necessária e fundamental, busca esta que deve evidenciar o tratamento desde nível de educação formal, tanto no Brasil como em outros países.

Porém este conhecimento está distribuído em um grande número de publicações, bancos de dados e fontes de pesquisa o que faz necessário um processo estruturado para a identificação daqueles trabalhos publicados que são relevantes para a pesquisa (TASCA, ALVES, et al., 2010).

O presente trabalho descreve um processo estruturado para formar um portfólio bibliográfico que possa descrever o estado da arte em avaliação da qualidade de cursos técnicos com o foco nas delimitações apresentadas pelo pesquisador, explicitando suas percepções e convicções. Uma das delimitações é a busca em periódicos indexados e com base de dados no Portal de Periódicos da Capes – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Outra delimitação é a exclusão de livros e seus capítulos e trabalhos de conclusão de cursos latus e stricto sensu.

Este trabalho está dividido em seis tópicos, o primeiro é esta introdução, o segundo tópico trata do enquadramento metodológico da pesquisa, já o terceiro explana a respeito do processo para montar o portfólio bibliográfico. O quarto tópico realiza uma análise bibliométrica proposta pela metodologia utilizada. As considerações finais vêm a seguir e as referências.

2. Enquadramento Metodológico da Pesquisa

Este capítulo é dedicado a descrever a metodologia empregada na pesquisa, ou seja, o enquadramento metodológico.

O enquadramento metodológico pode ser acompanhado através da Figura 1 . Quanto ao Objetivo da Pesquisa, esta é classificada como Exploratória quanto à Natureza do Objetivo já que

têm como objetivo proporcionar maior familiaridade com o problema, com vistas a torná-lo mais explícito [...]. Seu planejamento é, portanto, bastante flexível, de modo que possibilite a consideração dos mais variados aspectos relativos ao fato estudado (GIL, 2002, p. 41).

Quanto à Natureza dos Artigos ela é de cunho Teórico Ilustrativo, uma vez que se quer montar um portfólio bibliográfico para servir de base teórica para a construção de um instrumento de avaliação de curso técnico de telecomunicações e a operacionalização desta serve como guia (ALAVI e CARLSON, 1992).

A pesquisa utiliza o Método Indutivo, tanto na fase de coleta de dados como na fase da elaboração do texto, pois parte da observação da realidade empírica, ou seja, parte de informações e dados particulares, para a elaboração de uma conclusão e também pelo fato do pesquisador/decisor não ter construído toda sua base de conhecimento (RICHARDSON, 2008).

A coleta de dados pela utilização de artigos científicos, portanto secundários e a formação de um portfólio bibliográfico geram dados de origem primária (RICHARDSON, 2008). O Processo da Pesquisa, quanto a Abordagem do Problema é qualitativo e quantitativo, quantitativo enquanto verifica valores obtidos na pesquisa e qualitativo pela análise feita nos dados obtidos, conforme explicitado por Günther (2006).

Quanto ao resultado da pesquisa, esta é uma pesquisa aplicada uma vez que gera conhecimento a ser utilizado diretamente pelo decisor para a gestão do curso da instituição referenciada na pesquisa.

A classificação deste trabalho em relação aos Procedimentos Técnicos é uma Pesquisa Bibliográfica, pois foi desenvolvida sobre estudos feitos em artigos e fontes eletrônicas, como explica Gil (2002) boa parte das pesquisas de cunho exploratório utilizam este tipo de pesquisa para formar o seu arcabouço teórico e é também classificada como um Pesquisa-ação, pois há a interação do pesquisador no processo (GIL, 2002).

Quanto ao instrumento de intervenção foi utilizado o método denominado Knowledge Development Process- Constructivist (ProKnow-C) proposto por Ensslin et. al. (2010).

Figura 1 : Enquadramento metodológico da pesquisa. Adaptado de Tasca (2010)

3. Processo de Seleção do Referecial Teórico

Esta seção é dedica a descrever o processo de criação do referencial teórico inicial da pesquisa. Foi utilizado, como instrumento de intervenção, o processo proposto por Ensslin et. al. (2010), desenvolvido no Laboratório de Metodologias Multicritério de Apoio à Decisão (LabMCDA), para construir conhecimento, a partir dos interesses e delimitações de um pesquisador, segundo a visão construtivista denominado Knowledge Development Process – Constructivist (ProKnow-C) que identifica, entre artigos publicados em revistas científicas, aqueles que sejam alinhados com o tema da pesquisa em questão.

O processo ProKnow-C é dividido em três sub-processos, a saber: (i) Processo para Selecionar Artigos para Formar o Portfólio Bibliográfico básico; (ii) Processo para Realizar a Análise Bibliométrica do portfólio e (iii) Processo para Realizar a Análise Sistêmica dos Artigos do portfólio final.

Nesta seção serão apresentados as etapas (i) e (ii) do processo ProKnow concomitantemente com os dados obtidos na sua utilização.

Figura 2: ProKnow-C, adaptado de Ensslin et al. (2010)

3.1. Processo para Selecionar Artigos para Formar o Portfólio Bibliográfico

Para o Ensslin et al. (2010) este é um processo de seleção de um Portfólio Bibliográfico que tem a função de identificar os mais relevantes artigos científicos para o tema de uma pesquisa, onde são consideradas as delimitações estabelecidas pelo pesquisador, é dividida em: (i) Seleção do Banco de Artigos Brutos e (ii) Filtragens do Banco de Artigos.

Para se iniciar o processo o tema da pesquisa deve estar bem definido. Este trabalho visa analisar o desempenho do Curso Técnico de Telecomunicações do IF-SC, Campus São José, assim os eixos da pesquisa são: Educação Técnica Subsequente ao Segundo Grau e Avaliação de Desempenho.

3.1.1. Seleção do Banco de Artigos Brutos

A primeira etapa consiste em definir as palavras-chave que estão alinhadas com a pesquisa. Envolvendo, assim, os eixos da pesquisa e as palavras-chave de cada eixo bem como as combinações delas. A resposta esperada para esta fase são sete palavras-chave com uma variação de três palavras-chave para cima ou para baixo. As palavras-chave devem ser na língua inglesa, uma vez que nos artigos científicos sempre são definidas nesta língua.

As palavras-chave iniciais identificadas foram para o primeiro eixo da pesquisa foram: Technical Education. Technical Course, Vocational Education; Professional Education e Continuing Education. Para o segundo eixo da pesquisa foram utilizadas as palavras-chave: Performance; Measurement; Evaluation, Assessment e Appraisal.

Com as palavras-chave definidas passa-se à escolha dos bancos de dados que serão pesquisados. Delimita-se esta escolha às bases de dados com acesso disponibilizado pelo Portal de Periódicos CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) (CAPES, 2010) “tendo em vista o alcance e reconhecimento por parte da comunidade científica brasileira” (TASCA, 2010).

O referido portal classifica as bases de dados segundo áreas de interesse, dentro destas áreas devem então ser selecionadas as bases de dados que oferecem textos completos e com aderência às palavras-chave.

Neste ponto da pesquisa foram identificadas as seguintes bases: Scopus; Web of Science; Library, Information Science & Technology Abstracts with Full Text; Academic Search Premier; SocINDEX with Full Text ; Applied Science Tech Full Text; Business Full Text; Education Full Text; General Science Full Text; Social Science Full Text ; Springerlink; Gale Academic Online; Science Direct; Emerald Fulltext e Oxford Journals.

Com as bases já selecionadas, as buscas devem ser feitas pelos títulos, resumos e palavras-chave dos artigos. O pesquisador pode usar, a seu critério, filtros de pesquisa, como, por exemplo, data de publicação, relevância da obra, idioma, entre outros.

O pesquisador utilizou data como filtro, no período de 2001 até 2011. Desta forma foram identificados um total de 11.867 artigos.

Ainda dentro desta etapa é feito um teste de aderência de palavras-chave analisando as palavras-chave de dois artigos que tenham os títulos alinhados com a pesquisa. Se necessário for, novas palavras-chave devem ser incorporadas ao rol destas e uma nova busca efetuada com esta inclusão.

Os artigos Efficiency and Quality in the Current Higher Education Context in Europe: an application of the data envelopment analysis methodology to performance assessment of departments within the University of Zaragoza e Evaluating the Effectiveness of Instructional Resource Allocation and Use: IRT and HLM Analysis of NAEP Teacher Survey and Student Assessment Data foram pesquisados quanto as suas palavras-chave e o pesquisador pode verificar que as combinação Educational Evaluation e Educational Assessment eram relevantes, as quais foram agregadas às anteriores e uma nova busca efetuada. Desta vez foram identificadas 13.297 artigos, o Gráfico 1 mostra a distribuição dos artigos identificados em função das bases utilizadas e o Gráfico 2 mostra o número de artigos identificados em função das palavras-chave.

Gráfico 1: Quantidade de artigos identificados com as palavras-chave nas duas etapas de busca efetuadas. Fonte: Autor.

----

Gráfico 2 : Quantidade de artigos por combinação de palavras-chave. Fonte:autor

Ao término desta etapa um banco de artigos bruto está formado e deverá avançar para a próxima etapa. A Figura 3 exemplifica esta parte do processo, ou seja, seleção do banco de artigos bruto.

Figura 3 : Fluxograma da Seleção de Banco de Artigos Bruto. Adaptado de Ensslin, et al. (2010)

Filtragens do Banco de Artigos

Esta etapa é dividida em quatro partes: (i) Filtro do Banco de Artigos Bruto Quanto a Redundância; (ii) Filtro do Banco de Artigos Quanto ao Alinhamento do Título; (iii) Filtro do Banco de Artigos Quanto ao Reconhecimento Científico e (iv) Filtro quanto ao Alinhamento do Artigo Integral, processos esses ilustrados pela Figura 4.

A etapa Filtro do Banco de Artigos Bruto Quanto a Redundância consiste em verificar a duplicidade de artigos selecionados pois palavras-chave diferentes acabam apontando para os mesmos artigos. Os dados dos artigos são importados para um software de gerenciamento de referências bibliográficas, no caso desta pesquisa foi utilizado o EndNote X3. A filtragem é feita utilizando a ferramenta de verificação de duplicidade. Os artigos que não possuem resumos podem também ser excluídos nesta etapa. Esta exclusão se dá pelo fato de em etapa posterior será necessária a leitura destes resumos. Nesta pesquisa 7.610 artigos foram eliminados por estes critérios, restando 5.687 para a próxima etapa.

A seguir o processo se foca em executar o Filtro do Banco de Artigos Quanto ao Alinhamento do Título, feita através da leitura dos títulos dos artigos no banco já livre das redundâncias. O objetivo é a localização dos artigos que possuem o título alinhado com o tema da pesquisa. Aqueles artigos que não possuir alinhamento do título com o tema da pesquisa devem ser eliminados do banco de artigos. Foram lidos os 5.687 títulos e verificados quanto o alinhamento ao tema da pesquisa, destes apenas 547 artigos possuíam tal alinhamento, os demais 5.140 artigos foram eliminados do processo.

O Filtro do Banco de Artigos Quanto ao Reconhecimento Científico, como o nome sugere, busca identificar aqueles artigos que a comunidade científica dá o devido reconhecimento através das citações destes trabalhos. Esta etapa verifica o número de citações que os artigos do banco de artigos bruto receberam em outras publicações.

Esta verificação foi feita com o uso do Google Acadêmico e de planilhas eletrônicas para o tratamento dos dados obtidos.

Figura 4 : Fluxograma da Seleção de Banco de Artigos Bruto. Adaptado de Ensslin, et al. (2010)

Os artigos mais citados são separados dos que receberam menos citações. O pesquisador determina um ponto de corte no número total de citações desejadas, neste trabalho optou-se em estabelecer o montante de 85% da amostra ou pelo menos oito citações recebidas, o que separou 174 artigos com reconhecimento científico comprovado que juntos somam 5.113 citações, enquanto os demais 373 artigos totalizam 529 citações (Gráfico 3).

Estes artigos (com reconhecimento científico), na próxima etapa, devem ser classificados quanto ao alinhamento de seus resumos com o tema da pesquisa. Através de uma leitura criteriosa dos resumos (abstracts) aqueles artigos que não estiverem alinhados devem ser desprezados e os demais irão compor o banco de artigos sem redundância, com título e resumo alinhados e com reconhecimento científico comprovado. Este banco deve ter os seus autores identificados, formando um banco de autores dos artigos classificados.

Gráfico 3 : Seleção dos artigos com reconhecimento científico comprovado. Fonte: Autor

Após a leitura dos resumos dos artigos com o reconhecimento científico comprovado, 44 mostraram-se potencialmente alinhados com o tema da pesquisa, os demais foram descartados. Os autores destes artigos estão listados na Tabela 1.

Tabela 1 : Relação dos autores dos artigos selecionados como alinhados com o tema da pesquisa por intermédio de seus títulos e resumos. Fonte: Autor

Os artigos que não tiveram o seu reconhecimento cientifico confirmado, um banco de artigos sem redundância e com títulos alinhados com o tema da pesquisa, mas com reconhecimento científico ainda não confirmado, passarão por uma nova análise. Estes devem ser separados em dois grupos, os primeiros, denominados recentes (dois anos ou menos), por ainda não terem tido tempo de serem citados (VALMORBIDA, ENSSLIN e ENSSLIN, no prelo), terão os seus resumos lidos e verificados se estão alinhados com o tema da pesquisa. Dos 373 artigos, 152 foram classificados como novos e pela leitura de seus resumos 25 foram identificados como alinhados com o tema da pesquisa.

O segundo grupo, artigos antigos, ou seja, artigos com mais de dois anos, passa por um filtro de autores. Estes são verificados se os autores têm artigos que estão dentre os selecionados com o reconhecimento científico confirmado. Se isto ocorrer, o seu resumo será lido para verificação de alinhamento com a pesquisa, caso contrário são descartados. Destes, inicialmente 221 artigos, apenas um foi selecionado para compor o portfólio dos artigos.

O Banco, neste ponto, é formado por artigos sem redundância, com título e resumos alinhados com o tema da pesquisa e artigos com reconhecimento científico confirmado e, ainda, aqueles com reconhecimento científico em potencial que nesta pesquisa ficou composto de 70 artigos. A Figura 5 ilustra o fluxograma desta parte do processo.

Figura 5 : Fluxograma da filtragem do banco de artigos quanto ao reconhecimento científico. Adaptado de Ensslin, et al. (2010)

Filtro quanto ao Alinhamento do Artigo Integral, nesta etapa de filtragem uma busca nas bases de dados originais é feita para a obtenção dos artigos em suas formas integrais e sem custos. Os artigos não disponíveis são descartados. Dos 70 artigos 19 deles não foram disponibilizados de forma integral sem custos, sendo, então, descartados. Os artigos que restaram, 51 no total, devem ser lidos integralmente para que seja verificado se os conteúdos destes estão alinhados com o tema da pesquisa. Aqueles desalinhados são eliminados e os remanescentes serão aqueles selecionados para compor o Portfólio Bibliográfico que sustenta o referencial teórico da pesquisa obtido a partir do ProKnow-C (Knowledge Development Process – Constructivist), (ENSSLIN, ENSSLIN, et al., 2010) respeitando a subjetividade do pesquisador (VALMORBIDA, ENSSLIN e ENSSLIN, no prelo). Este processo final é ilustrado na Figura 6.

A leitura integral dos artigos identificou 23 artigos alinhados que compõe, então, o Portfólio Bibliográfico que sustenta esta pesquisa. É interessante notar que onze destes artigos haviam sido classificados como ainda não tendo o reconhecimento científico comprovado.

Figura 6 : Fluxograma do filtro que verifica o alinhamento integral dos artigos. Adaptado de Ensslin, et al. (2010)

A tabela a seguir mostra os artigos selecionados para compor o portfólio:

4. Processo para Realizar a Análise Bibliométrica

Ensslin, et al. (2010) define a Análise Bibliométrica como sendo o processo

[...] de evidenciação quantitativa dos dados estatísticos de um conjunto definido de artigos (Portfólio Bibliográfico) para a gestão da informação e do conhecimento científico de um dado assunto, realizado por meio da contagem de documentos.

Sendo que os documentos que devem ser analisados são: (i) publicações (artigos); (ii) autores; (iii) citações; (iv) periódicos e (v) bancos (bases) de dados (ENSSLIN, ENSSLIN, et al., 2010). O portfólio será avaliado quanto ao grau de relevância dos periódicos, o reconhecimento científico dos artigos, o grau de relevância dos autores e as palavras-chave, assim como as referências destes artigos serão avaliadas quanto ao grau de relevância dos periódicos, o reconhecimento científico dos artigos e o grau de relevância dos autores. Como último tópico, um cruzamento dos destaques no Portfólio Bibliográfico e suas referências.

4.1. Analise Bibliométrica dos Artigos do Portfólio Bibliográfico

Os artigos do Portfólio Bibliográfico representativo do tema da pesquisa devem ter os seguintes dados averiguados: (i) o grau de relevância dos periódicos; (ii) o reconhecimento científico dos artigos (número de citações no Google Acadêmico); (iii) o grau de relevância dos autores; e (iv) as palavras-chave utilizadas nos mesmos.

O grau de relevância dos periódicos pode ser verificado no Gráfico 4, onde são relacionados os periódicos e o número de vezes que estes periódicos aparecem no Portfólio Bibliográfico.

Gráfico 4 : Estimativa do grau de relevância de periódicos. Fonte (ENSSLIN, ENSSLIN, et al., 2010).

Foram identificados 16 periódicos diferentes no portfólio, sendo que merecem destaque os dois periódicos com maior participação de artigos do Portfólio Bibliográfico: Assessment in Education: Principles, Policy & Practice e European Journal of Education, cada um deles com quatro artigos.

Para o reconhecimento científico dos artigos devem ser usados os dados obtidos junto ao Google Acadêmico, indicando quantas citações os artigos obtiveram representados aqui pelo Gráfico 5.

Os artigos considerados destaque são: Measuring university quality; The impacts of career-technical education on high school labor market success e Secondary career and technical education and comprehensive school reform: Implications for research and practice, com 85, 68 e 56 citações recebidas, respectivamente, publicadas por Review of Higher Education, Economics of Education Review e Review of Educational Research.

Gráfico 5 : Estimativa de reconhecimento científico dos artigos. Fonte (ENSSLIN, ENSSLIN, et al., 2010)

O grau de relevância dos autores dentro do portfólio é mensurado considerando o número de vezes que estes autores aparecem nesta amostra. Segundo Valmorbida et al. (no prelo) a importância desta análise é enfatizar aqueles autores que podem ser referência dentro do tema de pesquisa para futuras buscas de artigos deste mesmos autores para este mesmo tema de pesquisa. Ver Gráfico 6 .

Gráfico 6 : Estimativa do grau de relevância dos autores. Fonte (ENSSLIN, ENSSLIN, et al., 2010)

Esta análise revela que não existe um autor que se destaca dos demais no que se refere ao número de artigos dentro deste portfólio.

E por último, nesta etapa, uma estimativa feita nas palavras-chave utilizadas nos artigos do portfólio. O Gráfico 7 mostra como pode ser a distribuição das palavras-chave dentre os artigos selecionados.

Gráfico 7 : Estimativa das palavras-chave utilizadas nos artigos do portifólio. Adaptado de Ensslin et al. (2010)

As palavras-chave de destaque no portfólio são: Vocational Education, relacionada em oito artigos e Educational Assessment, relacionadas em cinco artigos, sendo estas constantes da busca para formar o banco de artigos bruto. Entre todos os artigos analisados foram identificadas 63 palavras-chave diferentes.

4.2. Analise Bibliométrica das Referencias dos Artigos no Portfólio Bibliográfico

Nesta etapa são extraídas as referências dos artigos do Portfólio Bibliográfico representativo do tema da pesquisa, sendo elas passadas pelas seguintes averiguações: (i) o grau de relevância dos periódicos; (ii) o reconhecimento científico dos artigos (número de citações no Google Acadêmico) e (iii) o grau de relevância dos autores.

Foram obtidos dos artigos do Portfólio Bibliográfico os autores citados, seus artigos e os periódicos. No total foram identificadas 911 referências, porém aquelas que eram livros e autores corporativos sem identificação de autor foram descartadas, sobrando, assim, 646 artigos.

Para a análise do grau de relevância dos periódicos foram identificados 300 periódicos dos quais os de maior relevância para o tema da pesquisa são: Cambridge University Press com 18 artigos; Jossey Bass e Teachers College Press com 16 artigos cada; Economics of Education Review com 15; Manpower Demonstration Research Corporation, Oxford University Press e World Bank com14 cada um.

No Gráfico 8 é possível observar a participação dos periódicos mais citados. Foi observado que dentre os artigos citados dentro das referências do portfólio somente dois deles fazem parte do próprio portfólio, são eles: Achieving the Lisbon Goal: the contribution of Vocational Education and Training e The impacts of career-technical education on high school labor market success, ambos com apenas uma citação. Desta forma o pesquisador optou em analisar o reconhecimento cientifico dos artigos através da quantidade de citações recebidas pelo autor mais citado dos artigos do portfólio bibliográfico. Como pode ser visto no Gráfico 10 ao artigos Educational assessment in Portugal teve seu autor como sendo o mais citado entre todos os autores do portfólio, seis citações, seguido por Learning from schools, The impacts of career-technical education on high school labor market success e Evidence on the returns to secondary vocational education, cujos autores mais citados receberam cada um 5 citações.

Outra análise feita foi a participação dos autores das referências quanto o seu reconhecimento científico, neste ponto foram identificados 322 autores dos quais podem ser destacados: Stringfield, S. C. com sete citações, Fernandes, D. e Goldstein, H. com seis citações. Os demais são apresentados no Gráfico 9.

Gráfico 8 : Participação dos periódicos nas referências do Portfólio Bibliográfico. Fonte: Autor.

----

Gráfico 9 : Participação dos autores das referências do portfólio: Fonte: Autor

O Gráfico 11 mostra uma comparação entre os autores do portfólio e as citações recebidas nas referências deste portfólio.

Gráfico 10 : Reconhecimento dos artigos do portfólio nas referências em função dos autores mais citados do portfólio. Fonte: Autor.

---

Gráfico 11 : Participação dos autores do Portfólio Bibliográfico e suas referências. Fonte: Autor.

Como pode ser visto, todos os autores tem apenas uma obra dentro do portfólio, sendo destacado o autor Fernandes, D. com seis citações nas referências e Knight, P. T., Mane, F. e Solga, H. com cinco citações cada.

Aqui termina a análise bibliométrica das referências dos artigos do Portfólio Bibliográfico.

4.3. Analise Bibliométrica do Cruzamento dos Destaques no Portfólio Bibliográfico e suas Referências

Esta etapa identifica os periódicos de destaques, os artigos de destaque assim como os autores de destaque.

A relevância dos periódicos presentes no portfólio é obtida pelo cruzamento das informações Número de Artigos das Referências do Portfólio Bibliográfico no Periódico pelo Número de Artigos do Portfólio Bibliográfico no Periódico. Este cruzamento é mostrado no Gráfico 12. Analisando este gráfico: no eixo das abscissas tem-se o número de artigos que o periódico publicou que está dentro das referências. Já nos eixo das ordenadas tem-se o número de artigos que os periódicos publicaram e fazem parte do Portfólio Bibliográfico.

As linhas vermelhas delimitam uma área de aproximadamente 80% dos valores de cada eixo criando quatro áreas distintas. A primeira recebe os periódicos que são destaques no portfólio e nas referências. Pode-se notar que esta análise não detectou um periódico nestas condições. A segunda área identifica os periódicos que são destaques no portfólio, a terceira, aqueles que são destaque nas referências. A última área identifica os periódicos presentes nos artigos e referências.

Gráfico 12 : Relevância dos periódicos presentes nos artigos e referências da pesquisa. Fonte: Autor

Esta análise pode identificar o periódico Economics of Education Review como sendo destaque no portfólio e o Oxford Review of Education como destaque nas referências.

O reconhecimento científico dos artigos é verificado no Gráfico 13 .

Gráfico 13 : Reconhecimento científico do artigo. Fonte: Autor.

Por esta visualização é possível determinar que o artigo The impacts of career-technical education on high school labor market success é uma artigo que possui relevância no portfólio pois é uma artigo de destaque e escrito por um autor de destaque, já os artigos Learning from schools e Educational assessment in Portugal são artigos que seus autores são destaques enquanto o artigo Measuring university quality é um artigo de destaque. Os demais artigos são artigo com relevância para a pesquisa.

A relevância dos autores do portfólio deve ser medida cruzando as informações de número de artigos dos autores do portfólio nas referências bibliográficas destes artigos e o número de artigos que estes autores possuem no portfólio bibliográfico. Pela análise do Gráfico 14 fica claro que o autor Fernandes, D., com seis artigos nas referências e os autores Knight, P. T.; Mane, F.; Solga, H.e Bishop, J. H. com cinco cada um são os autores de destaque pois, como todos possuem apenas um artigo no portfólio da pesquisa, não é possível distribuí-los nos quatro quadrantes do gráfico, classificando-se assim apenas como autores de destaque e autores relevantes para a pesquisa.

Gráfico 14 : Autores de destaque no portfólio bibliográfico. Fonte: Autor

Os demais autores possuem apenas um artigo no portfólio e não possuem artigos nas referências do portfólio, estes autores estão listados a seguir.

Encerra-se, assim, o processo de seleção de referencial teórico e de uma análise de relevância dos mesmos para pesquisa utilizando-se o processo ProKnow-C.

5. Consideraçoes Finais

O objetivo deste trabalho mostrado na introdução era o de evidenciar o processo de construção de um referencial teórico através da obtenção de um portfólio bibliográfico. A construção deste portfólio, por delimitação deste pesquisador se restringiu ao Portal de Periódicos da Capes com filtros feitos às bases consideradas de interesse em função da área da pesquisa e delimitados também ao período de 2001 a 2011.

O processo de seleção dos artigos resultou em 23 artigos os quais passaram para a etapa de análise bibliométrica.

Na análise bibliométrica os periódicos Review of educational researsh e Review of educational researsh se mostraram relevantes para a pesquisa. Foram identificados, também, como relevantes os artigos Measuring university quality; The impacts of career-technical education on high school labor market success; Learning from schools e Educational assessment in Portugal.

Os autores identificados como de destaque foram: Fernandes, D. autor do artigo Educational assessment in Portugal; Knight, P. T. autor de Learning from schools; Mane, F.; Bishop, J. H. autores do artigo The impacts of career-technical education on high school labor market success e Solga, H. autor do artigo Analyzing the nexus of higher education and vocational training in Europe: a comparative-institutional framework; artigos estes com seis e cinco citados recebidas nas referências do portfólio bibliográfico.

As palavras-chave mais utilizadas foram: vocational education e educational assessment, é interessante observar que estas duas palavras-chave foram incorporadas ao rol das palavras-chave que deu início a segunda rodada de busca como descrito no item 3.1.1.

Desta forma o pesquisador montou um portfólio bibliográfico que serve de referencial teórico para a sua pesquisa. Uma análise posterior nos artigos deste portfólio poderá fornecer subsídio para novas pesquisas acerca do tema da pesquisa, evidenciando os pontos fracos na literatura. É importante salientar que este processo não fecha a possibilidade de acrescentar outras obras ao portfólio na medida em que o estudo do assunto tema da pesquisa avança.

Referências

Alavi, M. e P. Carlson (1992) A review of MIS research and disciplinary development. Journal of Management Information System,  vol. 8, n. 4

CAPES. Portal Periódicos CAPES. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, 2010. em: <www.periodicos.capes.gov.br>. Acesso em: 15 set. 2010.

Enssin, L.; ensslin, S.R.; Tasca, J.E. e R.T.O Lacerda (2010). ProKnow - Knowledge Development Process - Constructivist. Processo Técnico com patente de registro pendente junto ao INPI. Brasil.

Gil, A.C.(2002) Como Elaborar Projetos de Pesquisa. 4ª ed. ed. São Paulo: Atlas.

Günther, H. (2006). Pesquisa Qualitativa Versus Pesquisa Quantitativa: esta é a questão? Psicologia: Teoria e Pesquisa, 22, n. 2.

INEP. (2006) Educação profissional Técnica de Nível Médio no Censo Escolar. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Brasília. 2006.

INEP. Provinha Brasil. (2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, em: <http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb>. Acesso em: 17 set. 2011.

INEP. Prova Brasil e Saeb.(2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, em: <http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb>. Acesso em: 17 set. 2011.

INEP. Enem. (2011) Instituto Nacional de Estudos e PEsquisas Educacionais Anísio Teixeira, em: <http://portal.inep.gov.br/web/enem/historico>. Acesso em: 17 set. 2011.

INEP. Censo Escolar. (2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, em: <http://portal.inep.gov.br/basica-censo>. Acesso em: 17 set. 2011.

INEP. Entenda o Sinaes. (2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira,. em: <http://portal.inep.gov.br/superior-sinaes>. Acesso em: 17 set. 2011.

INEP. Enade.(2011) Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, em: <http://portal.inep.gov.br/enade>. Acesso em: 17 set. 2011.

Richardson, R.J. (2008) Pesquisa Social: métodos e técnicas. 3ª ed. ed. São Paulo: Atlas,

Ronchi, S.H.(2011) Estruturação de um modelo multicritério para avaliar o desempenho da tutoria de educação à distância [dissertação]:um estudo de caso no curso de ciências contábeis da Universidade Federal de Santa Catarina. Programa de Pós-Graduação em Contabilidade, Universidade Federal de Santa Catarina. Florianópolis, p. 145.

Tasca, J.E. (2010) Avaliação do processo de capacitação dos policiais militares instrutores do programa educacional de resistências às drogas - PROERD, em Santa Catarina, por meio da MCDA-C [dissertação]. Florianópolis: Universidade Federal de Santa Catarina.

Tasca, J.E.; Alves, M.B.M.; Ensslin, L. e S.R. Ensslin (2010). An approach for selecting a theorical framework for the evaluation of training programs. Journal of european Industrial Training, vol. 34, n. 7, 631 - 655.

Valmorbida, S.M.I.; Ensslin, L.e S.R. Ensslin, (no prelo). Gestão Pública com Foco em Resultados: evidenciação do estado da arte para as delimitações postas pelo pesquisador. Gestão e Produção.

1 Instituto Federal de Santa Catarina e Universidade Federal de Santa Catarina, Brasil. E-mail: andreluiz.alves@gmail.com
2 Instituto Federal de Santa Catarina e Universidade Federal de Santa Catarina, Brasil. E-mail: leonardoenslin@gmail.com
Disponível em http://www.scholar.google.com.br/ acesso em julho de 2011
Cf. http://scholar.google.com.br