ISSN 0798 1015

Vol. 38 (Nº 20) Año 2017. Pág. 16

Uso da análise envoltória de dados para a avaliação da eficiência em cursos de graduação: Um estudo de caso em uma Instituição de Ensino Superior brasileira

Use of data envelopment analysis for the evaluation of efficiency in undergraduate courses: A case study at a Brazilian Higher Education Institution

Rafael Santos TAVARES 1; Lidia ANGULO MEZA 2

Recibido: 04/01/2017 • Aprobado: 14/01/2017

Conteúdo

1. Introdução

2. Revisão da literatura

3. Procedimentos metodológicos

4. Análise dos resultados

5. Considerações finais

Referências

1. Introdução

A avaliação de instituições de ensino superior (IES) é um tema amplamente discutido na literatura, dado o importante papel das universidades no desenvolvimento e na transformação da sociedade, através da exploração e transmissão do conhecimento (KAO e HUNG, 2006). Em contrapartida, o alto custo para manutenção das suas atividades requer uma avaliação contínua do processo de transformação dos recursos disponíveis em resultados concretos, de forma a subsidiar o processo gerencial com a identificação de pontos que demandam melhorias e unidades que podem servir de referência para alcançar tais progressos.

A expansão do ensino superior aliada às restrições financeiras enfrentadas pelas universidades nas últimas décadas justificam as preocupações em relação à performance e à eficiência nesse contexto (CUNHA E ROCHA, 2012). No Brasil, a expansão do ensino superior foi bruscamente acelerada a partir do ano de 2007, com a instituição do Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni), que possibilitou o aumento significativo da infraestrutura das universidades federais brasileiras em conjunto com a ampliação do acesso a essas instituições.

Hoje, o principal desafio após o auge dessa expansão é lidar com as conseqüências do aumento do número de alunos, funcionários técnico-administrativos e professores e ao mesmo tempo com orçamentos em declínio e algumas estruturas que não foram adequadas para receber esse número expressivo de pessoas integradas à comunidade acadêmica. Assim, uma das preocupações derivadas da ampliação do número de vagas oferecidas é com a possível perda de qualidade dessas instituições, devido ao não acompanhamento de sua infraestrutura ao crescimento verificado nos últimos anos. (BRASIL, 2007).

No Sistema educacional brasileiro, compete ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), vinculado ao Ministério da Educação, a  promoção de pesquisas e avaliações em todos os âmbitos de ensino, inclusive no ensino superior (BRASIL, 2006). Ainda assim, outras abordagens avaliativas podem auxiliar na análise da eficiência no contexto educacional. Pesquisadores, em diferente países, têm utilizado majoritariamente a técnica Data Envelopment Analysis (DEA) em instituições de ensino superior (WORTHINGTON, 2001), com intuito de obter índices capazes de refletir o quão eficiente é uma unidade em relação às demais que compõem o conjunto de análise, possibilitando a proposta de melhorias e de benchmarks a serem copiados.

Dessa forma, este artigo tem como objetivo avaliar a eficiência de cursos de graduação oferecidos por uma universidade federal brasileira, utilizando a análise envoltória de dados como ferramenta para analisar o processo de transformação dos alunos durante o período em que estão matriculados nos cursos analisados. É possível destacar que a escolha da técnica DEA foi favorecida por ser amplamente utilizada em avaliações no contexto do ensino superior, especialmente quando não é possível precificar as variáveis envolvidas, e ainda, por ser possível considerar os múltiplos inputs e outputs inerentes a esse ambiente.

Este estudo, encontra-se estruturado em quatro seções, além desta introdução. Na seção 2, encontra-se uma breve revisão da literatura, abordando o uso da ferramenta de análise envoltória de dados no contexto do ensino superior. A seção 3 trata da metodologia utilizada para o alcance dos resultados. Em seguida, a seção 4 discute os resultados obtidos e por fim, na seção 5  são expostas as considerações finais e sugestões para trabalhos futuros.

2. Revisão da literatura

2.1. Análise envoltória de dados: Conceitos

A análise envoltória de dados é uma técnica que envolve métodos de programação linear a fim de construir uma superfície não paramétrica por partes (piece-wise frontier) envolvendo os dados (COELLI et al., 2005). O método tem como objetivo determinar a eficiência de um conjunto de unidades de tomada de decisão (DMU's), considerando a existência de múltiplos inputs e outputs (CHARNES, COOPER, e RHODES, 1978).

Ressalta-se que uma fronteira linear por partes é  formada por unidades eficientes, ou seja, que apresentam escores de eficiência igual 1, já as unidades não eficientes poderão ser encontradas abaixo da fronteira, apresentando escore de eficiência menor que 1.

Também é necessário destacar a distribuição dos pesos em DEA, onde existe uma flexibilidade que possibilita que cada DMU busque sua eficiência segundo um conjunto de pesos próprios para os inputs e para os outputs, fazendo com cada unidade alcance sua eficiência máxima, destacando desse modo o que cada uma tem de melhor.

A partir da publicação do artigo seminal em 1978, a técnica tem sido amplamente utilizada para avaliar a performance de diferentes unidades organizacionais, incluindo instituições de ensino, financeiras, indústrias específicas, hospitais, produção agrícola, etc.

A aplicação de DEA no contexto do ensino superior apresenta uma importante vantagem em relação a outros métodos avaliativos, pois pode mostrar a eficiência das universidades com base em múltiplos pontos de vista (AOKI, INOUE e GEJIMA, 2010), devido a possibilidade de multiplicidade de recursos e produtos.

Dois modelos de DEA são considerados clássicos, a saber, o modelo CCR, que apresenta retornos constantes de escala (CHARNES, COOPER, e RHODES, 1978) e o modelo BCC, desenvolvido especificamente para acomodar efeitos de escala na análise (BANKER, CHARNES e COOPER, 1984).

A figura 1 ilustra o formato das fronteiras nos dois modelos clássicos de DEA.  Dessa forma, é possível perceber que no modelo de retornos constantes de escala as DMU's "B", "X" e "C" estão sobre a fronteira CCR, e assim consideradas eficientes. No caso do modelo de retornos variáveis de escala as DMU's "V", "W", "X", "Y" e "Z" formam uma fronteira convexa, envelopando as unidades consideradas ineficientes.

Figura 1 - Fronteiras dos modelos CCR e BCC.
Fonte: Adaptado de Gandhi e Shankar (2014, p.508)

O presente trabalho utilizará o modelo BCC, que incorpora a noção de retornos de escala e considera  a eficiência da escala que cada unidade avaliada se encontra.

Dentre as duas orientações mais comuns em DEA, optou-se pela orientação a outputs, que pretende maximizar os resultados das unidades avaliadas, sem que sejam diminuídas as quantidades dos inputs que ela consome. Os problemas de programação linear representados pelas figuras 2 e 3 referem-se ao modelo a ser usado, para uma determinada DMU.

No modelo primal (multiplicadores), a função objetivo busca minimizar h0, que representa o inverso da eficiência da DMUo, ou seja 1/Effo    Os pesos dos inputs i, i =1,...,r, são representados por vi e  os pesos dos outputs j, j =1,...,s, por uj.  Já xik e yjk são os inputs i e os outputs j da DMU k, n k =1,...,n; e xio e yjo os inputs i e outputs j da DMUo.

Pietrzak et al. (2016) destaca que o modelo BCC é uma extensão do modelo CCR e aponta que a principal diferença é a condição de convexidade do modelo de retornos constantes de escala que atribui a sua fronteira um formato linear por partes e côncavo.

2.2. Fronteira invertida

Segundo Soares de Mello et al. (2008), o método de fronteira invertida em DEA foi proposto por Yamada, Matui e Sugiyama (1994) e passou por adaptações posteriores como as propostas por Entani, Maeda e Tanaka (2002) e Entani e Tanaka (2006).

O método propõe considerar os outputs como inputs e os inputs como outputs, ou seja, uma inversão das variáveis utilizadas, de forma a contornar o problema da baixa discriminação em DEA, e por conseqüência, facilitar a ordenação das unidades avaliadas, caso seja o objetivo (SILVEIRA, ANGULO MEZA e SOARES DE MELLO, 2012).

A baixa discriminação é explicada pela benevolência da técnica DEA com as unidades avaliadas, fazendo com que ocorram um número elevado de empates com unidades 100% eficientes, quando são consideradas apenas algumas variáveis, que lhes são mais favoráveis (SOARES DE MELLO et al., 2005).

 A figura 4 ilustra a fronteira invertida resultante da avaliação da ineficiência das DMU's, sendo definido um contorno a partir da combinação linear das piores práticas empiricamente observadas (Rosano-Peña 2012).

Figura 4 - Representação das fronteiras clássica e invertida.
Fonte: Adaptado de Entani et al. (2002)

A partir do conceito de eficiência invertida surge o conceito de eficiência composta (Soares de Mello et al., 2008) que considera tanto a avaliação otimista (fronteira padrão) quanto a avaliação pessimista (fronteira invertida), para avaliar o desempenho global das DMU's e proporcionar um maior equilíbrio, uma vez que é possível verificar quais unidades obtiveram escores máximos de eficiência padrão, apenas por apresentar bom desempenho em um dos recursos ou produtos.

Os escores de eficiência composta são obtidos através da média aritmética entre a eficiência padrão e a ineficiência (1 menos eficiência) relacionada à fronteira invertida, conforme é possível verificar na equação 1.

Por fim, ainda existe a possibilidade de normalização desses escores, dividindo todas essas pontuações de eficiência pelo maior escore encontrado. Dessa forma, é possível apresentar os índices de eficiência composta no intervalo entre 0 a 1.

2.3. DEA no contexto do ensino superior

O uso da análise envoltória de dados no contexto educacional tem origem no artigo seminal de Charnes, Cooper e Rhodes (1978), no qual propuseram a avaliação de programas educacionais destinados a auxiliar os alunos desfavorecidos em escolas públicas dos EUA.

No ensino superior, dada suas características e complexidades, muitos pesquisadores utilizam DEA para avaliar a performance de unidades inerentes a esse contexto, podendo abranger desde estudos que avaliam diferentes universidades entre si, até pesquisas com foco em atividades-meio, como o caso de avaliações em bibliotecas ou hospitais universitários.

Dentre as nuances e peculiaridades que justificam o uso da técnica em instituições de ensino superior estão: grande parte dessas instituições são financiadas pelo governo, não tendo como finalidade o lucro; não há como precificar os insumos e produtos; e  por fim, suas atividades são compostas pelo consumo de múltiplos inputs, oferecendo como resultado a produção de múltiplos outputs (JOHNES, 2006).

Munoz (2016) explica que a eficiência é um dos principais objetivos do setor público, incluindo as IES, que precisam entender seu "processo produtivo" para determinar medidas de eficiência e melhorar sua produtividade. Nesse sentido, podemos encontrar na literatura uma infinidade de trabalhos que propõem o aperfeiçoamento de modelos DEA, ou a aplicação de modelos existentes para avaliar essas instituições.

Um dos primeiros artigos científicos de aplicação de DEA no contexto do ensino Superior, proposto por Breu e Raab (1994), tinha como objetivo avaliar as 25 melhores universidades norte-americanas, a partir de dados obtidos em um ranqueamento nacional publicado anualmente (US News and World Report). Os autores utilizaram um modelo CCR, composto por quatros inputs e 2 outputs, obtidos a partir das categorias de indicadores de performance desse relatório, a fim de  calcular a eficiência dessas instituições.

Com objetivo de determinar a eficiência dos 24 programas de MBA melhores classificados nos Estados Unidos, Colbert, Levary e  Shaner (2000) propuseram o uso de DEA com diferentes variações de conjuntos de inputs e outputs, refletindo principalmente a satisfação dos seus estudantes e a satisfação dos recrutadores corporativos, que esperam algumas habilidades e comportamentos desses estudantes. Em um segundo momento, os autores ainda determinaram a eficiência de cursos de MBA's fora dos Estados Unidos.

Com um modelo de retornos variáveis de escala orientado a inputs, Abbott e Doucouliagos (2003) utilizaram a técnica não paramétrica DEA, para avaliar a eficiência de 36 universidades do governo australiano, com dados referentes ao ano de 1995, a partir de um conjunto mesclado de inputs e outputs, refletindo principalmente a performance das atividades de ensino e pesquisa dessas instituições.

Visando uma análise da eficiência do ensino de universidades do Reino Unido, Johnes (2006) aplicou a análise envoltória de dados, a partir de informações de mais de 2500 estudantes graduados em economia. Para isso, decompôs cada eficiência individual em dois componentes, a saber, a análise das universidades nas quais esses alunos estudaram e uma avaliação focada no desempenho dos próprios  estudantes. O método proposto permitiu que as instituições diferenciassem se há  a necessidade estimular mais esforços de seus alunos ou se eles próprios precisam aumentar seus esforços para melhor o desempenho.

Retratando a realidade de doze programas de pós-graduação em engenharia oferecidos por uma das maiores universidades brasileiras, Soares de Mello et al. (2006) analisaram a capacidade desses programas em transformar suas dissertações de mestrado e teses de doutorado em trabalhos científicos publicados, e ainda, avaliaram essa produção científica a partir dos recursos colocados a disposição. Para isso foram usados modelos CCR-DEA com e sem restrição aos pesos.

Agha et al. (2011) e Alwadood, Noor e Kamarudin (2011) aplicaram DEA com intuito de verificar a eficiência de departamentos de ensino. No primeiro caso, os autores avaliam 30 departamentos acadêmicos de diferentes áreas de atuação vinculados à Universidade Islâmica de Gaza (IUA). O estudo utiliza uma modelagem composta por 3 inputs e 3 outputs e modelos de retornos constantes e variáveis de escala, com fins comparativos. No segundo artigo, os autores propõem o uso da mesma técnica para avaliação de departamentos acadêmicos em uma universidade malaia. O estudo chama a atenção pelo pequeno número de DMU's avaliadas. No total, são obtidos os escores de eficiência dos seis departamentos acadêmicos considerados, e proposto um ranqueamento a partir desses resultados. Dado o pequeno número de unidades de tomada de decisão, dois dos seis departamento foram considerados eficientes e os demais escores de eficiência obtidos foram superiores a 90%.

Por fim, para confirmar o crescente interesse na avaliação da eficiência no contexto do ensino superior, em conjunto com a aplicação de DEA nesse cenário, foi verificado, após consulta realizada na base científica SCOPUS, um número substancial de artigos publicados ao longo dos últimos anos. Alguns trabalhos recentes podem ilustrar o grande número de abordagens possíveis nesse mesmo tema: Johnes (2014); Nazarko e Šaparauskas (2014); Benicio e Soares de Mello (2015); Agasisti e Wolszczak-Derlacz (2016).

2.4. Ensino superior no Brasil

O sistema federal de ensino superior brasileiro compreende três tipos de instituições: i) as instituições federais de educação superior; ii) as instituições de educação superior criadas e mantidas pela iniciativa privada e; iii) os órgãos federais de educação superior, podendo ser credenciadas como faculdades, centros universitários e universidades.

Os Centros Federais de Educação Tecnológica, possuem características específicas, são  instituições de ensino superior pluricurriculares, especializadas na oferta de educação tecnológica nos diferentes níveis e modalidades de ensino, caracterizando-se pela atuação prioritária na área tecnológica (BRASIL, 2006).

Informações disponíveis no sítio eletrônico do governo federal, esclarecem que no Brasil existem três tipos de graduação, dentre as quais os estudantes podem optar: bacharelado, licenciatura e formação tecnológica. Os cursos de pós-graduação são divididos entre lato sensu, ou seja, especializações e MBAs, e strictu sensu referentes a cursos de mestrado e doutorado. Outros cursos ainda são oferecidos nas modalidades de ensino a distância (EAD), no qual é dispensada a presença do aluno em sala de aula e semi-presencial, que mescla ensino a distância com aulas presenciais.  (PORTAL BRASIL, 2014).

A expansão do acesso ao Ensino Superior Brasileiro, especialmente incentivado pelo programa de governo conhecido como REUNI, deu suporte ao crescimento do número de alunos matriculados nessas instituições. Mancebo, Vale e Martins (2015), a partir de dados fornecidos pelo Ministério da Educação, salientam um crescimento superior a 260% no total de estudantes matriculados, tanto nos cursos presenciais, quanto no ensino a distância, entre os anos de 1995 e 2010, passando de 1.750.000 para 6.370.000 matrículas no ensino superior.

Os autores ainda apontam outra nuance do ensino superior brasileiro, o crescimento acelerado de matrículas na rede privada de ensino (MANCEBO, 2013). De acordo com o Censo da Educação Superior de 2013, é possível observar a predominância da categoria privada, que no referido ano representava 87,4% do total das IES. Os outros  12,6%, são referentes às instituições públicas. O Censo 2013 ainda aponta que essa proporção se manteve estável nos últimos quatro anos analisados, ou seja, para cada instituição pública, existem aproximadamente sete instituições privadas (BRASIL, 2015).

Por fim, apresenta-se uma síntese do quantitativo de Instituições de Ensino Superior, de acordo com a categoria administrativa na qual está inserida. No ano de 2013, o mesmo censo contabilizava no Brasil um total de 2391 IES, divididas em: 106 instituições sob responsabilidade do governo federal, 119 mantidas pelos governos estaduais, 76 instituições gerenciadas pelos municípios e ainda 2090 instituições privadas (BRASIL, 2015).

3. Procedimentos metodológicos

Como proposta de avaliação dentro do contexto do ensino superior, o presente estudo utilizará a técnica de análise envoltória de dados, como mencionado anteriormente, para obtenção de escores de eficiência capazes de refletir o desempenho de cada curso de graduação em relação aos demais cursos considerados na análise.

Para isso foram coletados dados de 31 cursos de graduação da Universidade Federal Fluminense, sediada no município de Niterói. A avaliação de eficiência levará em consideração informações relativas aos cursos analisados, além do desempenho dos alunos que neles estiveram matriculados, no período entre os anos de 2007 e 2012, devido as características das variáveis utilizadas, como veremos a seguir.

As informações referentes as DMU's selecionadas foram obtidas através do sítio eletrônico do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), vinculado ao Ministério da Educação (MEC) e da própria universidade. Outros dados foram solicitados através do Sistema Eletrônico de Serviço de Informações ao Cidadão (e-SIC). Destaca-se que apenas foram consideradas na análise aquelas unidades onde as informações estavam integralmente disponíveis, de forma clara e consistente, possibilitando que o desenvolvimento desse estudo satisfizesse a exigência da homogeneidade das unidades tomadoras de decisão, requeridas pela ferramenta DEA.

Quanto à escolha das variáveis utilizadas na verificação da eficiência, são propostos dois inputs e dois outputs, que representam a capacidade de cada curso em agregar conhecimentos aos seus estudantes durante o período de formação.

A base dessa modelagem está pautada nos resultados obtidos pelos estudantes de cada curso no Exame Nacional de Desempenho dos Estudantes (ENADE), que é um dos principais instrumentos avaliativos utilizados pelo MEC para averiguar a qualidade dos cursos oferecidos pelas universidades brasileiras.

Ressalta-se que o ENADE ocorre anualmente, entretanto a avaliação dos estudantes ocorre de acordo com a área temática na qual o curso pertence. Hoje, existem três grandes grupos de cursos de graduação avaliados, de forma que, cada curso participa do exame a cada três anos. Além dessa periodicidade do exame, fica estabelecida a representatividade da amostra, que contará com a participação de todos os cursos de graduação, ao final do primeiro e do último ano de curso. Assim, até o ano de 2012 participavam do exame os chamados Alunos Ingressantes, ou seja, alunos em fase inicial dos cursos de graduação, e os alunos concluintes, que já haviam cumprido um percentual mínimo da grade curricular do curso.

As quatro variáveis utilizadas na modelagem DEA estão disposta na tabela 01.

Tabela 1 - Variáveis utilizadas no estudo 

Por fim, como mencionado anteriormente, optou-se pelo uso do modelo BCC-DEA, orientado à outputs, expresso através dos problemas de programação linear apresentados nas figuras 2 e 3.

A escolha do modelo de retornos variáveis de escala, justifica-se principalmente pela diferença observada no tamanho dos cursos de graduação oferecidos pela Universidade Federal Fluminense, desta forma cursos menores geridos por unidades localizadas no interior do estado do Rio de Janeiro podem ser incluídas na avaliação ao lado de cursos tradicionais ministrados pela sede em Niterói. Nesse sentido, Biondi Neto, Soares de Mello e Gomes (2003), esclarecem que o modelo BCC funciona de forma a evitar problemas existentes em situações de competição imperfeita.

Quanto a opção pela orientação a outputs, deve-se principalmente ao objetivo do estudo e as possibilidades relativas às variáveis selecionadas, isto é, este trabalho propõe que os cursos ineficientes, para alcançar a fronteira de eficiência, otimizem os valores dos seus outputs, ou seja, apresentem melhorias no desempenho dos estudantes concluintes no ENADE e aumento no valor do índice Taxa de Sucesso na graduação, sinalizando uma diminuição do nível de alunos retidos durante o período de formação, em detrimento à manutenção do desempenho dos alunos ingressantes e do corpo docente que participa do curso de graduação. Ressalta-se ainda a dificuldade e o não interesse pela diminuição do corpo docente, entendo-se que quanto maior o número de professores que participam ativamente do curso, maior o suporte e a amplitude de conhecimentos direcionada aos estudantes, contribuindo para a sua formação e consequentemente possibilitando uma melhora na qualidade do curso avaliado. A opção por não reduzir essa variável também está relacionada às dificuldades  e burocracia para movimentar e dispensar esses servidores que possuem estabilidade na função.

4. Análise dos resultados

Após a definição da modelagem apresentada na seção anterior, a técnica de análise envoltória de dados foi utilizada para obtenção dos escores de eficiência dos 31 cursos de graduação sob análise. Para facilitar a obtenção desses resultados foi utilizado o software SIAD, versão 3, elaborado por Angulo Meza et al. (2005).

A tabela abaixo apresenta a lista dos cursos de graduação considerados nessa análise e os respectivos escores de eficiência (padrão, invertida e composta) encontrados para cada uma das DMU's. Acrescenta-se ainda que os cursos de graduação estão dispostos de forma decrescente de acordo com o escore de eficiência composta de cada um deles, com objetivo de ressaltar a discriminação das unidades avaliadas.

Tabela 2 - Eficiência padrão, invertida e composta normalizada para cada curso avaliado.

Por meio da tabela 2 é possível verificar que dos trinta e um cursos de graduação submetidos à avaliação, dez estão inseridos na fronteira de eficiência padrão, ou seja, obtiveram escore de eficiência igual 1 (marcados com a cor cinza na tabela).

Entretanto, como o modelo de retornos variáveis de escala é benevolente, alguns dos pesos considerados podem ter favorecido determinadas unidades e ajudado a se tornarem eficientes. Para que isso não influencie na análise, serão considerados também os escores de eficiência invertida e composta normalizada.

Destaca-se o caso dos cursos de Administração (Itaperuna), Licenciatura em Matemática (Pádua), Odontologia (Niterói) e Serviço Social (Campos dos Goytacazes) que podem ser unidades eficientes por default por apresentarem o menor valor em um dos inputs ou o maior valor em um dos outputs (DYSON, et al., 2001; GOMES, MANGABEIRA, SOARES DE MELLO, 2005). Essas unidades apresentam o menor valor para as variáveis "Corpo Docente" e "Desempenho dos alunos ingressantes no ENADE, e os maiores valores para as variáveis "Desempenho dos alunos concluintes no ENADE" e "Taxa de sucesso na graduação", respectivamente.

No caso específico de alguns cursos, essa suspeita de eficiência por default, torna-se ainda mais provável quando os seus índices de eficiência invertida são analisados. Os cursos de Administração (Itaperuna) e Serviço Social (Campos dos Goytacazes) apresentam escores de eficiência invertida elevados e, consequentemente um desempenho ruim na eficiência composta normalizada, o que indica fortemente que a benevolência do modelo pode ter ignorado o possível desempenho ruim em uma das variáveis e enfatizado uma variável com desempenho muito bom.

No caso do curso Licenciatura em Matemática (Pádua) tanto a eficiência padrão, quanto a eficiência invertida são iguais a 1, o que pode ser explicado pelo bom desempenho nos inputs Desempenho dos alunos concluintes no ENADE e Corpo Docente, e em contrapartida um desempenho muito ruim nos dois outputs.

Outros exemplos de cursos de graduação que, apesar de, possuírem um escore de eficiência padrão igual a 1, apresentam também um alto escore de eficiência invertida são: Ciências contábeis (Niterói) e Bacharelado em Filosofia (Niterói).

No caso específico da DMU Odontologia (Niterói), ainda que exista a possibilidade de ser falsamente eficiente, o curso possui o terceiro maior escore de eficiência composta, sendo superada apenas pelos cursos de Enfermagem (Niterói) e Medicina Veterinária (Niterói).

Destaca-se ainda, que os cursos de Medicina Veterinária (Niterói) e Engenharia Metalúrgica (Volta Redonda) apesar de não estarem na fronteira de eficiência padrão, possuem um índice elevado de eficiência composta e mostram-se com melhor desempenho se comparadas com a maior parte dos cursos que obtiveram índice de eficiência padrão igual 1. O primeiro curso, apesar de possuir um corpo docente relativamente grande, apresentou uma evolução consistente entre o desempenho dos alunos ingressantes e o desempenho dos concluintes, além de um bom resultado na taxa de sucesso na graduação. O segundo curso, ainda que não apresentasse uma TSG elevada, explicado por ser um curso de exatas, que geralmente apresenta uma retenção maior, mostrou uma performance satisfatória em todas as demais variáveis.

Por fim, os piores desempenhos verificados foram os cursos Ciências Econômicas, Licenciatura em Matemática e Engenharia Agrícola e Ambiental, todos localizados em Niterói. É possível destacar que esses três cursos possuem corpos docentes muito grandes e uma relação ruim entre o desempenho de ingressantes e concluintes, principalmente nos casos dos cursos Ciências Econômicas e Engenharia Agrícola e Ambiental. O curso Licenciatura em Matemática (Niterói) tem sua performance prejudicada ainda pela baixa TSG, com índice de 0,2987, enquanto a média dos demais cursos apresenta índice de 0,5178.

A figura 5, propõe uma comparação entre os escores de eficiência padrão e os escores de eficiência composta normalizada, visando ilustrar as possíveis unidades eficientes por default e possíveis inconsistências da fronteira padrão.

Figura 5 - Comparação entre os escores de eficiência padrão e composta normalizada.

Como sinalizado anteriormente, o gráfico possibilita a visualização clara de unidades que apesar de apresentar índice de eficiência padrão igual 1, apresentam também valores de eficiência composta normalizada bem inferiores ao esperado. Destaca-se principalmente o caso dos cursos de Licenciatura em Matemática (Pádua),  Bacharelado em Filosofia (Niterói), Ciências Contábeis (Niterói), que já foram citados, e dentre os quais possuem um maior gap entre os escores padrão e composto normalizado.

O curso de enfermagem pode ser destacado como aquele que apresenta a melhor performance do conjunto analisado, sendo o único a obter ambos escores de eficiência igual a 1. O referido curso apesar de possuir um corpo docente bem robusto, acompanhando a tendência dos cursos da área de saúde, apresenta um resultado significativo em termos de evolução entre o desempenho dos ingressantes e concluintes no exame do ENADE e um taxa de sucesso na graduação bem elevada em relação à média (0,8349).

Outros cursos de graduação que apresentaram bons desempenhos são: Medicina Veterinária (Niterói), Odontologia (Niterói), Química (Licenciatura - Niterói) e Engenharia Metalúrgica, único cursos entre as cinco melhores performances fora da sede, ministrado na cidade de Volta redonda. Todos esses cinco cursos apresentaram escore de eficiência composta normalizada acima de 0,9 e apenas dois deles não se encontram na fronteira de eficiência padrão, são eles: Medicina Veterinária e Engenharia Metalúrgica.

Por fim, alguns pontos de melhorias podem ser sugeridos aos três cursos com pior desempenho. Primeiramente, para a DMU Ciências Econômicas (Niterói) sugere-se que ambos os outputs sejam otimizados, sendo que para se tornar eficiente a variável desempenho dos alunos concluintes no ENADE precisa de um incremento na ordem de 74%, passando de 30,8 para 53,55 e a Taxa de sucesso na graduação um desempenho de 0,503 para 0,874. No caso do curso Licenciatura em Matemática (Niterói) a sugestão mais significativa é a proposta de melhoria da variável Taxa de sucesso na graduação em quase 3 vezes o índice encontrado, precisando de um índice de 0,874 em comparação aos 0,299 apresentado. Já o curso Engenharia Agrícola e Ambiental (Niterói), além de uma pequena redução no corpo docente e um melhor desempenho na variável Taxa de sucesso na graduação, existe a necessidade de melhoria no desempenho dos estudantes concluintes no ENADE, onde os atuais 27,5 pontos devem ser melhorados em mais de 100% passando para 57,3 pontos, desempenho parecido ao do curso Enfermagem (Niterói) e Odontologia (Niterói), por exemplo.

5. Considerações finais.

Muitos estudos tem aplicado DEA na avaliação de eficiência no ensino superior, tanto pela necessidade de avaliação nesse contexto, como pelas características da técnica que facilitam e possibilitam uma análise mais completa.

Nesse estudo foi utilizada a técnica DEA para determinar a eficiência de 31 cursos de graduação oferecidos por uma universidade federal brasileira. Os resultados mostram alguns cursos que apesar de eficientes na fronteira padrão, podem ter sido beneficiados pela benevolência do modelo BCC, de forma que, propôs-se uma análise dos índices de eficiência invertida e composta normalizada.

Cursos de graduação como Enfermagem (Niterói), Odontologia (Niterói) e Medicina Veterinária (Niterói) apresentaram bons desempenhos em todos os índices de eficiência analisados, mostrando que os cursos da área de saúde podem ser mais eficientes em agregar conhecimento aos alunos durante o período de formação.

No lado oposto, os cursos Ciências Econômicas (Niterói), Licenciatura em Matemática (Niterói), Engenharia Agrícola e Ambiental (Niterói) compõem o grupo de DMU's que precisam otimizar seus resultados para tornarem-se eficientes.

Como sugestão para trabalho futuros, percebe-se a necessidade de uma avaliação clusterizada de acordo com a área na qual o curso de graduação se insere, de forma a respeitar as características das diferentes áreas, como por exemplo, avaliar separadamente os cursos de exatas e de humanas, respeitando-se o padrão da TSG e do corpo docente de cada um deles. Sugere-se ainda que proceda-se uma análise comparativa entre os resultados do modelo BCC geral e clusterizado.

Referências

Abbott, M. & Doucouliagos, C. (2003). The efficiency of Australian universities: a data envelopment analysis. Economics of Education Review, 22(1), 89-97.

Agasisti, T. & Wolszczak-Derlacz J. (2016). Exploring efficiency differentials between Italian and Polish universities, 2001-2011. Science and Public Policy, 43(1), 128–142.

Agha, S. R., Kuhail, I., Abdelnabi, N.,  Salem, M. &  Ghanim A. (2011). Assessment of academic departments efficiency using data envelopment analysis. Journal of Industrial Engineering and Management, 4(2), 301-325.

Alwadood, Z., Noor, N. M. & Kamarudin, M. F. (September, 2011). Performance measure of   academic departments using data envelopment analysis. In 2011 IEE Symposium of business, engineering and industrial applications (pp. 395-399). Langkawi, Malaysia

Angulo Meza, L., Biondi Neto, L., Soares de Mello, J. C. C. B. & Gomes, E. G. (2005). ISYDS - Integrated System for Decision Support (SIAD - Sistema Integrado de Apoio à Decisão): a software package for data envelopment analysis model. Pesquisa Operacional, 25(3), 493-503.

Aoki, S., Inoue, K. & Gejima, R. (2010). Data envelopment analysis for evaluating Japanese universities. Artificial Life and Robotics, 15, 165–170.

Biondi Neto, L., Soares de Mello, J. C. C. B. e Gomes, E. G. (2003). Método Fourier-DEA na medição de um componente da qualidade de energia elétrica. Em XXIII Encontro nacional de engenharia de produção (1-7). Ouro Preto, Brasil.

Banker, R. D, Charnes, A. & Cooper, W. (1984). Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis. Management Science, 30, 1078-1092.

BRASIL. Ministério da Educação. (2007). Diretrizes Gerais do Programa de Apoio a Planos   de Reestruturação e Expansão das Universidades Federais - REUNI.  Disponível em  http://www.reuni.unir.br/downloads/136_diretrizesreuni.pdf

BRASIL. Decreto nº 5.773. Diário Oficial da União, Brasília, DF, 10 de maio 2006.

BRASIL. Ministério da Educação. INEP. Resumo Técnico: Censo da educação superior 2013. Brasília, DF, 2015.

Benicio, J. C. T. & Soares de Mello, J. C. C. B. (2015). Productivity Analysis and Variable Returns of Scale: DEA Efficiency Frontier Interpretation. Procedia Computer Science, 55, 341-349.

Breu, T. M. & Raab, R. L. (1994). Efficiency and perceived quality of the nation’s “Top 25” national universities and liberal arts colleges: An application of data envelopment   analysis to higher education. Socio-Economic Planning Sciences, 28(1),   33-45.

Charnes, A., Cooper, W. W. & Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research, 2, 429-444.

Coelli, T. J., Rao, D. S. P., O'Donnell, C. J. & Battese, G. E. (2005). An introduction to efficiency and productivity analysis (2nd ed.). New York: Springer.

Colbert, A., Levary, R. R. & Shaner, M. C. (2000). Determining the relative efficiency of MBA  programs using DEA. European Journal of Operational Research, 125(3), 656-669.

Cunha, M. & Rocha, V. (2012). On the Efficiency of Public Higher Education Institutions in Portugal: An Exploratory Study. FEP Working Paper, 468, 2-27.

Dyson, R. G., Allen, R., Camanho, A. S., Podinovski, V. V, Sarrico, C. S. & Shale E. A. (2001). Pitfalls and protocols in DEA. European Journal of Operational Research, 132(2), 245-259.

Entani, T., Maeda, Y., Tanaka, H. (2002). Dual models of interval DEA and its extensions to interval data. European Journal of Operational Research, 136, 32-45.

Entani, T., Tanaka, H. (2006). Improvement of efficiency intervals based on DEA adjusting inputs and outputs. European Journal of Operational Research, 172, 1004-1017.

Gandhi, A. & Shankar, R. (2014). Efficiency measurement of Indian retailers using Data  Envelopment Analysis. International Journal of Retail & Distribution Management, 42(6), 500-520.

Gomes, E. G., Mangabeira, J. A. C. e Soares de Mello, J. C. C. B. (2005). Análise de envoltória de dados para avaliação de eficiência e caracterização de tipologias em agricultura: um estudo de caso. Revista de Economia e Sociologia Rural, 43(4), 606-    631.

Johnes, J. (2006). Measuring Teaching Efficiency in Higher Education: An Application of Data Envelopment Analysis to Economics Graduates from UK Universities 1993.        European Journal of Operational Research, 174(1), 443-456.

Johnes, J. (2014). Efficiency and mergers in english higher education 1996/97 to 2008/9: Parametric and non-parametric estimation of the multi-input multi-output distance function. The Manchester School, 82(4), 465–487.

Kao, C. & Hung, H. (2008). Efficiency Analysis of University Departments: An Empirical Study. Omega, 36(4), 653–664.

Mancebo, D. (2013). Trabalho docente e produção de conhecimento. Psicologia & Sociedade, 25, 519-526.

Mancebo, D., Vale, A. A. & Martins, T. B. (2015). Expansion of higher education policy in Brazil: 1995-2010. Revista Brasileira de Educação, 20(60), 31-50.

Munoz, D. A. (2016). Assessing the research efficiency of higher education institutions in Chile: A data envelopment analysis approach. International Journal of Educational Management, 30(6), 809-825.

Nazarko, J. & Šaparauskas, J. (2014). Application of DEA method in efficiency evaluation of public higher education institutions. Technological and Economic Development of Economy, 20(1), 25-44.

Pietrzak, M., Pietrzak, P. &  Baran, J. (2016). Efficiency assessment of public higher education with the application of Data Envelopment Analysis: The evidence from Poland. Online Journal of Applied Knowledge Management, 4(2), 59-73.

Portal Brasil. (2014).  Saiba como funciona sistema de ensino superior no Brasil. Recuperado de http://www.brasil.gov.br/educacao/2009/11/ensino-superior

Rosano-Peña, C., Albuquerque, P. H. M. e MARCIO, C. J. (2012). A eficiência dos gastos públicos em educação: evidências georreferenciadas nos municípios goianos. Economia Aplicada, 16(3), 421-443.

Silveira, J. Q., Angulo Meza, L., Soares de Mello, J. C. C. B. (2012). Identificação de benchmarks e anti-benchmarks para companhias aéreas usando modelos DEA e fronteira invertida. Production, 22(4), 788-795.

Soares de Mello, J. C. C. B.,  Gomes E. G., Angulo Meza, L., Soares de Mello, M. H. C. &  Soares de Mello, A. J. R. (2006). Engineering post-graduate programmes: a quality and productivity analysis. Studies in Educational Evaluation, 32(2), 136-152.

Soares de Mello, J. C. C. B., Angulo Meza, L., Gomes E. G. e Biondi Neto, L. (2005). Curso de Análise Envoltória de Dados. Em XXXVII Simpósio brasileiro de pesquisa operacional (pp. 2520-2545). Gramado, Brasil: Universidade Federal de Santa Maria.

Soares de Mello, J. C. C. B., Gomes, E.G., Angulo Meza, L. & Leta, F.R. (2008). DEA Advanced Models for Geometric Evaluation of used Lathes. WSEAS Transactions on Systems, 7(5), 500-520.

Worthington, A. (2001). An Empirical Survey of Frontier Efficiency Measurement Techniques in Education. Education Economics, 9, 245-368.

Yamada, Y., Matui, T., Sugiyama, M. (1994). New analysis of efficiency based on DEA. Journal of the Operations Research Society of Japan, 37, 158-167.

1. Universidade Federal Fluminense. Programa de pós graduação em Sistemas de Gestão, Niterói, Brasil. Email: rafaeltavares13@hotmail.com

2. Universidade Federal Fluminense. Programa de pós graduação em Sistemas de Gestão, Niterói, Brasil.