ISSN 0798 1015
ISSN 0798 1015
Vol. 38 (Nº 35) Año 2017. Pág. 12
Bruno Guimarães TORRES 1; Gustavo NACIFF DE ANDRADE 2; João Carlos Correia Baptista SOARES DE MELLO 3
Recibido: 07/04/2017 • Aprobado: 28/04/2017
2. Internacionalização e a mobilidade internacional
3. Fundamentos teóricos do MACBETH
RESUMO: O estudo utiliza a metodologia multicritério MACBETH para avaliar os alunos que desejam pleitear uma bolsa de mobilidade internacional. O desenvolvimento deste estudo tem a particularidade de não se conhecer os alunos no momento de elaboração do edital de seleção. Esse impasse foi resolvido com a criação de níveis de importância intrínseca dentro de cada critério, baseado em Bana e Costa, Corrêa, De Corte, & Vansnick (2002). Por fim, recomendam-se quais alunos devem ser escolhidos para receber a bolsa. |
ABSTRACT: This study proposes the use of the multicriteria methodology MACBETH to assess students who claim an international mobility grant. The development of multi-criteria methodology for this study has the particularity of not knowing the alternatives. This issue was resolved with the intrinsic importance levels within each criterion, based on Bana e Costa, Corrêa, De Corte, & Vansnick (2002). Finally, recommendations of which students must be selected were made. |
O número de alunos matriculados em universidades brasileiras cresce a cada ano (INEP, 2014) e pressupõe-se que devido ao número cada vez maior, os alunos devam buscar um diferencial para se destacar em suas carreiras. A mobilidade internacional surge como uma opção que supre essas necessidades de forma eficaz. Estudos demostram que existem inúmeras vantagens para os alunos, universidades e países que participam de projetos de mobilidade internacional (Altbach & Knight, 2007; King & Ruiz-Gelices, 2003; Robertson, 2010).
O programa “Ciência sem Fronteiras”, desenvolvido pelo Governo Federal, visa o intercâmbio de alunos de graduação e pós-graduação, nas mais diversas universidades do exterior com bolsas que viabilizam a sua permanência. Desde 2011 até o ano de 2014 o Brasil enviou 80.652 estudantes de graduação para o exterior apenas pelo programa “Ciência sem Fronteiras” (“Csf”), porém o número de inscritos foi de 257.956 pessoas no mesmo período (“CsF”, 2014). Isso indica que a demanda é maior que a oferta e que os alunos devem participar de um processo de seleção. Esses editais, no entanto, muitas das vezes não explicitam os critérios de seleção e como é feita a comparação entre os alunos inscritos, o que levanta questões quanto a sua isonomia e justiça (Pereira, 2014).
A Universidade Federal Fluminense (UFF), além do “Csf”, disponibiliza bolsa da própria instituição e a bolsa TOP universidades, financiada pelo Santander. Essas bolsas, diferentemente do “CsF”, que leva em conta apenas o desempenho acadêmico do aluno, são mais complexas pois também consideram aspectos socioeconômicos para a escolha dos contemplados. No entanto, observa-se que muitas vezes a importância atribuída a cada critério não é devidamente explicitada e não condiz com o real julgamento de valor dos decisores.
É importante que os critérios e suas importâncias relativas sejam bem definidos, pois como a mobilidade gera vantagens para os estudantes, pode aumentar ou até mesmo criar diferenças sociais (Waters, 2012), e como a escolha dos estudantes leva em consideração também critérios socioeconômicos, a boa escolha auxilia que alunos sem oportunidade possam desfrutar dessa experiência, o que pode reduzir essas diferenças.
Identificando a importância, a lacuna na transparência e inconsistência dos métodos de seleção, esse artigo propõe a utilização de um método multicritério para ordenação dos alunos que pleiteiam uma bolsa. O método escolhido foi o MACBETH (Measuring Attractiveness by a Categorical Based Evaluation Technique), utilizado como ferramenta para avaliar e selecionar alunos que se candidatem a uma bolsa de mobilidade internacional. Para tanto foram avaliados os principais editais lançados pela UFF. O método foi elaborado a partir de entrevistas com os atuais decisores.
O estudo está dividido em seis seções. A segunda seção faz uma revisão sobre a internacionalização e a mobilidade internacional, a terceira apresenta os fundamentos teóricos do método MACBETH, a quarta demonstra a estruturação do problema, enquanto a quinta faz uma exemplificação numérica. A última seção apresenta as conclusões do estudo.
O processo de internacionalização cresceu drasticamente em todo o mundo nas últimas décadas (Altbach & Knight, 2007; Knight, 2012; Robertson, 2010), atuando como uma resposta e uma força catalisadora da globalização (Miura, 2006). Alguns motivos incentivaram esse fenômeno, Knight (2004) os classificou em cinco grupos, são eles, motivos políticos, econômicos, socioculturais, acadêmicos e mercadológicos. No ensino superior, a internacionalização tem sido frequentemente priorizada nos planos estratégicos das instituições (Marginson, 2008), sendo um componente essencial para o aprendizado. Assim como nas universidades, os governos também estão promovendo a mobilidade como crucial para o desenvolvimento em uma nova economia global (Robertson, 2010).
A internacionalização pode ocorrer em diversos níveis, desde pelo aprendizado de um outro idioma até pela mobilidade internacional de estudantes (Altbach & Knight, 2007). Na mobilidade, o estudante pode realizar a sua graduação ou pós-graduação inteira no exterior, pode apenas realizar cursos de verão, ou, dentre outros, pode passar um período na universidade de destino (tipicamente um ano), mantendo o seu diploma da instituição de origem (Ballatore & Ferede, 2013; King & Raghuram, 2013; Knight, 2012). O presente estudo propõe uma análise dos métodos de seleção para o último tipo de mobilidade citado.
A escolha de realizar a mobilidade internacional, em suas diferentes formas, pode ser impulsionada ou inibida pelas características pessoais do indivíduo, tais como gênero, contexto socioeconômico, competência linguística e personalidade (Findlay, King, Smith, Geddes, & Skeldon, 2012). Há diversos motivos para que o estudante escolha realizar a mobilidade internacional, no entanto, é difícil diferenciar ou classificar essas motivações (Knight, 2008). Altbach & Knight (2007) apontam como razões a vantagem comercial, a aquisição de conhecimento, o aprendizado de outro idioma e o aprimoramento do currículo, entre outros. Muitos veem ganhos na empregabilidade, visto que desenvolvem-se networks, oportunidades de aprendizado, habilidades referentes a entendimento cultural, características pessoais e modos de pensar, além de idiomas (Crossman & Clarke, 2010).
As universidades também são motivadas a enviar seus alunos ao exterior, entre os motivos estão o desejo de construir perfil e reputação internacionais, a melhoria da qualidade, o desenvolvimento de estudantes e colaboradores com competências interculturais e melhores habilidades, a geração de renda, a busca por alianças estratégicas e a produção de pesquisa e conhecimento (Knight, 2008). No caso da graduação-sanduíche o aluno também beneficia a universidade de origem com novas ideias que podem se incorporar nos conteúdos curriculares (Pereira, 2014).
Os países também asseguram vantagens ao incentivar a mobilidade. Países desenvolvidos desejam atrair estudantes para melhorar a qualidade, a composição cultural do corpo estudantil, ganhar prestígio, gerar lucros (Altbach & Knight, 2007), impulsionar o mercado de trabalho local (King & Ruiz-Gelices, 2003), promover o desenvolvimento sociocultural e de compreensão mútua, além do fortalecer a identidade nacional (KNIGHT, 2008). Países também recrutam estudantes para obter receita, através da cobrança de taxas e dos gastos significativos dos estudantes nos países de destino (Altbach & Knight, 2007).
Alguns estudiosos porém apontam que a mobilidade está reduzindo a diversidade linguística, pelo incentivo a língua inglesa (Robertson, 2010), e também destacam que apesar dos países quererem estudantes pela contribuição e pelas taxas obtidas, estão cada vez mais receosos devido ao crescimento do terrorismo (King & Raghuram, 2013). Além disso, financiar um aluno para uma experiência ao exterior requer custos, e os países que os recebem também gastam para desenvolver os estudantes recebidos (Cerdeira et al., 2016).
Devido aos diversos motivos e vantagens apresentados, países nos últimos anos estão financiando iniciativas de mobilidade internacional. Exemplos desses programas são o Erasmus, voltado aos estudantes europeus e o “CsF” no Brasil. O “CsF” é voltado para alunos de áreas tecnológicas e tem como objetivo pôr o Brasil em um parâmetro estabelecido internacionalmente de Ciência, Tecnologia e Inovação, e foca no fortalecimento da indústria com a capacitação da força de trabalho altamente qualificada para o crescimento econômico e desenvolvimento social (Pereira, 2014).
Mesmo com o aumento das Políticas Públicas, estudantes ainda são os maiores financiadores da mobilidade internacional (Altbach & Knight, 2007) e os que não participam de programas de mobilidade dizem que os problemas financeiros são o maior empecilho para que não viajem (Ballatore & Ferede, 2013). Adicionalmente, a mobilidade é um mecanismo poderoso de mudanças (Robertson, 2010) e está aumentando ou até mesmo criando diferenças sociais (Waters, 2012). Assim, conclui-se que é de extrema importância a criação e o fortalecimento das políticas públicas que ofereçam oportunidades aos estudantes de baixa condição socioeconômica.
Dessa forma, a UFF criou o seu edital de mobilidade internacional, que leva em consideração o nível socioeconômico e não apenas critérios acadêmicos para a concessão de bolsas. E como os critérios são subjetivos e não explicitados, esse estudo pretende criar um método de seleção que seja fiel aos julgamentos de valor do tomador de decisão, para que sejam escolhidos os melhores alunos para a mobilidade, utilizando o método multicritério MACBETH.
O Macbeth (Bana e Costa & Vansnick, 1994) é um método multicritério de apoio à decisão que permite avaliar a atratividade ou o valor de alternativas através da comparação não numérica par a par. O Macbeth tem sido utilizado na literatura para modelar e resolver diferentes problemas. Soares de Mello, Gomes & Lins (2001), por exemplo, utilizaram MACBETH para analisar a presença e/ou visibilidade da UFF nos municípios onde a universidade apresenta instalações. Aplicações também podem ser encontradas em diversas outras áreas como energia (Andrade, Alves, Andrade, & Soares de Mello, 2016), saúde (Menezes, Pinheiro, Pinheiro, & Cavalcante, 2012), manufatura (Ensslin et al., 2011) entre outros.
Para definir a preferência do decisor o método utiliza sete categorias qualitativas de atratividade. Dados duas opções, o decisor deve compará-las e informar se é indiferente ou se a diferença de atratividade é muito fraca, fraca, moderada, forte, muito forte ou extrema. A utilização exclusivamente de julgamentos qualitativos é a grande diferencial do Macbeth (Bana E Costa, De Corte, & Vansnick, 2012).
De acordo com o método, é possível medir ordinalmente a atratividade das opções x de um conjunto finito X, associando a cada x um número real v(x) que satisfaça as condições: de preferência estrita (eq. 1) e de indiferença (eq. 2) (Bana E Costa et al., 2012).
∀x,y∈X:xPy⟺v(x)>v(y) (1)
∀x,y∈X:xIy⟺v(x)=v(y) (2)
A obtenção de informações cardinais do decisor, é feita de tal modo que também atenda à seguinte condição adicional:
∀ w,x,y,z ∈ X com x mais atrativo que y e w mais atrativo que z: então o quociente (v(x)-v(y))/(v(w)-v(z)) mede a diferença de atratividade entre x e y quando a diferença de atratividade entre w e z é a unidade de medida.
Respeitando tais condições, é possível estabelecer uma escala numérica de intervalos (v:X→R:x→v(x)). No Macbeth a transição da informação ordinal para a cardinal é feita comparando as opções aos pares de forma qualitativa (Bana e Costa, Angulo-Meza, & Oliveira, 2013).
No software que implementa o modelo (M-MACBETH), a medida que as avaliações são inseridas na matriz de julgamentos (Figura 1), verifica-se a consistência dos mesmos e, caso haja alguma inconsistência, são indicadas potenciais soluções para a inconsistência.
Figura 1. Tela de Matriz de julgamentos do software M-MACBETH.
A partir da matriz de julgamentos, o MACBETH propõe uma pontuação para cada opção que forma a escala numérica do método. Seja a diferença as categorias que diferem a atratividade (Ck) com k=0,...,6, no qual “nula” (C0), “muito fraco” (C1), “fraco” (C2), “moderada” (C3), “forte” (C4), “muito forte” (C5) e “extrema” (C6). Além disso, se v(a+) e v(a-) são, respectivamente, a maior e a menor pontuação entre as opções, a escala MACBETH de base pode ser encontrada resolvendo o problema de programação linear a seguir.
LP MACBETH:
Min[v(a+) - v(a-)]
Sujeito a:
v(a-) = 0 (pontuação arbitrária)
∀(a,b) ∈ C0: v(a) - v(b) = 0
∀(a,b) ∈ Ci ∪ … ∪ Cs com i,s ∈ {1,2,3,4,5,6} e i ≤ s: v(a) - v(b) ≥ i
∀(a,b) ∈ Ci ∪ … ∪ Cs e ∀ (c,d) ∈ Ci’ ∪ … ∪ Cs’ com i, s ,i' e s' ∈ {1,2,3,4,5,6}, i ≤ s , i´≤ s´, e i > s'∶ [v(a) - v(b)] - [v(c) - v(d)] ≥ i - s´
O processo de validação das pontuações da escala base permite ainda ao decisor, caso necessário, ajustar a escala numérica, sem violar as relações de ordem entre os julgamentos emitidos.
Destaca-se que usualmente os modelos de avaliação multicritério são realizados conhecendo-se as alternativas que serão avaliadas. Este não é o caso das situações em que se pretende estabelecer a preferência entre critérios para a publicação de editais nos quais as alternativas somente serão conhecidas ao longo do processo de avaliação e necessariamente após a publicação do referido edital. Bana e Costa et al. (2002) lidaram com um fato semelhante e propuseram o procedimento de ponderação baseado em níveis de impacto de valor intrínseco.
Neste sentido, Bana e Costa et al. (2002) afirmam que qualquer sistema não indeterminado de n-1 equações correspondentes a n-1 julgamentos entre alternativas, permite calcular os n pesos, desde que sejam estabelecidos dois níveis de referência distintos em cada critério. Diferentemente de Bana e Costa et al. (2002), o presente estudo além dos níveis “bom” e “neutro” propostos, cria outros possíveis para a alocação de todos os alunos em cada um dos estágios.
Feito isto, deve-se se usar procedimentos de pergunta-resposta para medir a diferença de atratividade. Para se descobrir os pesos dos critérios, é suficiente pedir à comissão de avaliação para comparar alternativas que tem nível “bom”, cada uma em um critério diferente, e neutro em relação a todos os outros. Após, perguntar qual alternativa é a mais atraente, e o quanto. Repetir de modo que seja possível a comparação entre cada de par de critérios (Bana e Costa et al., 2002). Por exemplo, pode-se perguntar aos decisores: “Considere o aluno A e o aluno B. O aluno A possui nível neutro em todos os critérios, exceto no critério C, e o aluno B possui nível neutro em todos os critérios, exceto no critério D. Qual aluno você considera mais apto para ganhar a bolsa? O quão mais apto?”. Repetir essa questão até que sejam descobertos pesos dos critérios de seleção.
Foram realizadas entrevistas com a Diretoria de Relações Internacionais que apontaram que a mobilidade internacional é o edital com mais inscritos, maior dificuldade na seleção e maior responsabilidade. Esse edital fornece vagas para alunos realizarem a mobilidade tanto com bolsas oferecidas pela própria instituição quanto sem, com critérios de seleção diferenciados dependendo da opção do candidato. A seleção para opção de mobilidade com bolsas é a com o processo decisório mais crítico.
Os candidatos que pretendem se inscrever para mobilidade sem a bolsa de financiamento são avaliados somente por critérios que medem o seu nível acadêmico, enquanto que para se viajar com bolsa são medidos além dos critérios acadêmicos também os critérios socioeconômicos. De acordo com os responsáveis pela seleção, existe uma grande demanda pelas bolsas oferecidas, e por esse motivo a maioria dos alunos que requerem o benefício não são contemplados.
Na realização da entrevista inicial foi possível identificar o edital no qual a Diretoria de Relações Internacionais da UFF tem mais responsabilidade, mais alunos inscritos, e mais dificuldade na seleção, que é o edital de mobilidade internacional da própria universidade que fornece bolsas. Nessa primeira entrevista também foram levantados os critérios que eram utilizados.
Comumente, em problemas multicritério, o propósito das entrevistas iniciais é identificar os critérios de seleção que serão utilizados. Porém, como a seleção já é realizada, as entrevistas serviram para obter os critérios já utilizados e verificar se estão coerentes, ou seja, se respeitam os axiomas de Roy (1996). Dessa forma, caso os critérios não sejam coerentes, apontam-se maneiras de adequá-los à demanda da seleção.
Através de entrevistas iniciais foram obtidos os critérios de seleção para essa bolsa, divididos em duas vertentes, a acadêmica e a socioeconômica. Nos critérios acadêmicos são avaliados somente o coeficiente de rendimento (CR), que é um indicador de desempenho do aluno na instituição, e a carga horária já cursada. Dentro da vertente socioeconômica os critérios de escolha são: a renda do aluno, sua escolaridade, o recebimento de bolsa pela Pró-Reitoria de Assuntos Estudantis (PROAES), a situação trabalhista do aluno, a conclusão de cursos universitários, a experiência prévia no exterior, e a situação do imóvel em que reside. Esses critérios são verificados por meio de análise documental e entrevista com os candidatos.
A partir destes critérios obtidos é possível verificar sua coerência através dos axiomas de Roy (1996). O primeiro axioma é o da exaustividade, que verifica se os critérios escolhidos correspondem a todos os critérios relevantes para a decisão final. Identificou-se um critério considerado relevante que não é contabilizado. Os decisores entrevistados julgaram importante a participação e o envolvimento do aluno na comunidade acadêmica, por acreditarem que esses alunos representarão melhor a faculdade no exterior. Além disso, espera-se que estes alunos tendem a ser mais comprometidos com os seus estudos no país estrangeiro. Por participação e envolvimento entendem, por exemplo, participação em iniciação científica, pesquisas, recebimento de premiações, entre outros. Dessa forma, a fim de se respeitar o axioma da exaustividade, foi incluído um critério que avaliará o envolvimento do aluno na comunidade acadêmica.
A proficiência do idioma, atualmente utilizado apenas para eliminação do aluno, entrou em debate em relação a sua entrada ou não como critério de ordenação. Percebeu-se que não há uma vantagem no aproveitamento da mobilidade entre o aluno que sabe mais o idioma do que o outro que sabe o mínimo exigido pela universidade de destino. Por essa razão, o critério não foi incluído como relevante.
O próximo axioma é o axioma da coesão, que define que as preferências parciais modeladas em cada critério, devem estar de acordo com as preferências globais e com o objetivo. Dessa forma se uma alternativa é preferencial, ou indiferente a outra em todos os critérios exceto em um em que ela é preferida, essa alternativa deve ser preferida a outra. Definiu-se que os critérios escolhidos na seleção cumprem esse axioma.
O último axioma é o axioma da não redundância. Observou-se que para se receber uma bolsa do PROAES, alguns dos critérios utilizados para a avaliação socioeconômica são julgados, dessa forma a utilização desse critério é redundante, logo deve ser retirado.
Uma vez estabelecidos os critérios, dada a particularidade desse caso onde não são conhecidas as alternativas, torna-se necessária a distinção dos níveis de performance de cada critério. Assim é possível, a partir do seu valor intrínseco de nível, estabelecer a atratividade, para que esses níveis sejam comparados qualitativamente pelo decisor, a fim de se construir pelo método MACBETH, uma ordenação entre esses níveis.
O Coeficiente de Rendimento calcula uma média ponderada entre as notas e os créditos das matérias, créditos esses que são proporcionais a carga horária. A comparação do CR é problemática, uma vez que a diferença do grau de dificuldade das matérias de diferentes cursos não pode ser facilmente contabilizada.
Para minimizar esse problema, é proposto que cada aluno seja comparado em relação aos seus pares de seu curso. Para tal, a mediana do CR do curso é definida como 70, e o maior CR como 100. São então feitas duas escalas, uma para os alunos que estão acima da mediana, e outra para os alunos que estão a baixo.
As fórmulas de obtenção dessas notas estão descritas pelas equações (3) e (4):
Para CR acima da mediana do curso: Nota=((CR – MeCR)/(MaCR – MeCR))x30+70 (3) Para CR abaixo da mediana do curso: Nota=((CR )/( MeCR))x70 (4) Onde: MeCR é a mediana do CR do curso, MaCR é o maior CR do curso e CR é CR do aluno a ser avaliado.
Após a definição do critério, em casos onde as alternativas não são conhecidas, faz-se necessária a utilização de níveis que permitem comparação intrínseca de atratividade. Como na ponderação numérica, de acordo com as escalas estabelecidas, já está embutida a avaliação qualitativa por parte dos decisores, foi-se decidido que não é necessário o estabelecimento de níveis para esse critério. Essa escala valoriza, por exemplo, o aluno que tem uma nota superior à mediana do curso, característica relevante proposta juntamente com os decisores.
A carga horária é relevante, pois o aluno com mais carga horária terá nenhuma ou poucas, outras oportunidades de concorrer em outros editais de mobilidade internacional para graduação, além de estar melhor preparado por possuir mais conhecimento obtido na faculdade.
A carga horária cursada segundo o edital deve ser superior à 20% e inferior a 70%. A exigência mínima de 20% cursado se dá pela necessidade de uma formação básica mínima para se tirar proveito da formação adicional oferecida por uma instituição estrangeira. Para este critério decidiu-se que o valor da porcentagem seria utilizado para a sua avaliação, após passar por uma adequação de escala. 20% da carga horária necessária para obtenção de diploma se transforma na nota 0, e 70% na nota 100, se adequando às referências superior e inferior do método.
Da mesma forma que o CR, observou-se que não existe uma necessidade de diferenciação em níveis de carga horária, e utilizou-se a nota obtida após a adequação de escala para medir a diferença de atratividade.
O envolvimento mede a participação dos alunos em programas de pesquisa e a obtenção de premiações de cunho diverso, relacionados com o mérito acadêmico. Entende-se que um aluno que possui forte interesse em atividades acadêmicas possui maior chance de se envolver em atividades na universidade de destino, e consequentemente terá um rendimento melhor devido a seu grau de comprometimento.
A escolha por dividir o envolvimento em quatro níveis e não em apenas dois, a saber envolvimento ou não envolvimento, se deu principalmente para dar destaque ao aluno que ganhou uma premiação e participou de um programa. Entende-se que normalmente os alunos que ganham premiações participam de programas, merecendo assim um destaque.
Seguindo essa lógica, foram criados níveis de envolvimento que foram comparados qualitativamente. Os níveis são os seguintes: 1 -Não possui envolvimento; 2- Premiação em Olimpíadas de Matemática, Física e Química, Prêmio Jovem Cientista, Prêmio em Jornada de Iniciação Científica, ou outros prêmios de mérito acadêmico; 3- Participação em programas de iniciação científica, tecnológica ou docência; 4- Obtenção de ambas premiação e participação em programas (itens 2 e 3).
O critério “renda” mede a renda per capita dos moradores da mesma casa. Entende-se que quanto menor a renda per capita, menos oportunidades o aluno terá de custear uma formação complementar, especialmente no exterior.
Foram então criados níveis de renda que serão comparados qualitativamente. A fim de estabelecer níveis que não precisem ser atualizados em cada edital por conta da inflação, os níveis são definidos em relação ao salário mínimo. O primeiro nível foi inspirado nas faixas de renda utilizadas pelo governo federal para o fornecimento do Bolsa Família, por se supor um conhecimento embasado de como a renda per capta se traduz em carência (Ministério do Desenvolvimento Social, 2014). Os níveis são as seguintes: 1- Até 25% do salário mínimo; 2- De 25% a 50% do salário mínimo; 3- De 50% a 1 (um) salário mínimo; 4- De 1 (um) a 3 (três) salários mínimos; 5- De 3 (três) a 5 (cinco) salários mínimos; 6- Acima de 5 (cinco) salários mínimos;
O critério escolaridade mede onde o aluno cursou o ensino fundamental e o ensino médio, se em instituição pública ou particular, e em que condições, se com bolsa ou não. Em relação à qualidade do ensino fundamental e médio, com base em índices do Ministério da Educação (INEP, 2014), constata-se que escolas particulares e colégios públicos federais tem posição numérica superior quando comparadas com escolas públicas municipais e estaduais. Essa discrepância aponta para uma diferença na qualidade dos referidos ensinos, e seguindo a lógica de critérios relevantes já utilizados pela universidade no próprio processo de seleção, justifica-se essa diferenciação entre os níveis. Em relação ao aluno ter pago ou não pelo seu ensino, entende-se que um aluno que teve condições de custear seu ensino básico, provavelmente também foi mais exposto a culturas diferentes, teve mais oportunidades de aprender e praticar línguas estrangeiras, mais acesso à cultura e informação, e mais oportunidades de continuar usufruindo desses benefícios e outros.
Seguindo essa lógica foram criados níveis de escolaridade que foram comparados qualitativamente. Os níveis são os seguintes:1- Todo em escola pública municipal/estadual; 2- Todo em escola pública federal/centros tecnológicos; 3- Parcialmente em escola pública e particular; 4- Escola particular com bolsa integral; 5- Escola particular com bolsa parcial; 6-Escola particular sem bolsa.
O critério emprego mede se o aluno está empregado, desempregado, ou nunca trabalhou. Apesar de serem aparentemente muito parecidos, existe uma diferença relevante entre os níveis “desempregado” e “nunca trabalhou”. O aluno que nunca trabalhou só será caracterizado como tal se não tiver procurado um emprego, o que demonstra um acesso a recursos financeiros não compartilhado por aquele que não está trabalhando por falta de oportunidade.
Seguindo essa lógica foram criados níveis que foram comparados qualitativamente. Os níveis são os seguintes: 1- Desempregado; 2- Trabalha com ou sem vínculo empregatício; 3-Nunca trabalhou.
O critério “diploma” considera se o aluno possui diplomas de graduação. Entende-se que um aluno que possui um diploma de ensino superior tem acesso e já foi exposto a mais opções, tanto de empregos e pós-graduações, quanto de outras oportunidades de crescimento e aprendizado.
Seguindo essa lógica foram criados níveis que foram comparados qualitativamente. Os níveis são os seguintes: 1- Não possui diploma; 2- Possui diploma.
A “experiência no exterior” mostra se o aluno já realizou alguma viagem para o exterior, e se essa viagem foi financiada ou não por alguma bolsa. Entende-se que deve-se priorizar aqueles alunos que nunca viajaram para o exterior, de forma a proporcionar oportunidades mais igualitárias. Porém percebe-se uma diferenciação entre os alunos que viajaram para o exterior com bolsa integral, parcial, ou sem bolsa. Dessa forma, esses níveis devem ser comparados também.
Seguindo essa lógica foram criados níveis que foram comparados qualitativamente. Os níveis são os seguintes: 1- Nunca saiu do Brasil; 2- Possui experiência no exterior financiada inteiramente por instituição pública; 3- Possui experiência no exterior financiada parcialmente por instituição pública; 4- Já viajou para fora do Brasil sem bolsa.
O critério “Moradia” descreve quais são as condições do imóvel onde o aluno vive. Entende-se que esses níveis ajudam a compreender o nível social em que se encontra a família a qual esse aluno pertence.
Seguindo essa lógica foram criados níveis que foram comparados qualitativamente. Os níveis são os seguintes: 1- Imóvel alugado; 2- Imóvel cedido/posse; 3- Imóvel em financiamento; 4- Imóvel próprio;
Na segunda entrevista realizada com os decisores, foram extraídos os níveis bom e neutro em cada critério. Para tal, questionou-se qual o nível desejado necessário de cada aluno em cada critério para que ele receba a bolsa de mobilidade. Esse nível foi denominado como o nível bom. Da mesma maneira, foi questionado qual o nível que não é bom nem ruim em cada aluno em cada critério, esse nível foi denominado neutro. O nível neutro não ajuda nem elimina o candidato, estando no limite do não-desejado. As definições dos níveis neutro (destacado em cor laranja) e bom (destacado em cor verde) estão apresentados na Figura 2.
Figura 2 - Níveis bons e neutros assinalados em cada criterio
Esses níveis foram utilizados como referência superior e inferior na metodologia MACBETH e para se realizar o julgamento entre critérios de uma forma que o decisor compreenda os níveis em cada critério que estão sendo comparados.
Após a definição dos níveis qualitativos e quantitativos e da definição dos níveis bons e neutros, foram definidas as diferenças de atratividade entre os níveis. Juntamente com os decisores, na segunda entrevista realizada, foram comparados todos os níveis de cada critério, um a um, a fim de se obter a pontuação nos critérios que serão utilizados para ordenar os alunos.
Para cada comparação foi apontado qual o nível mais atrativo e o quanto ele é mais atrativo que o outro nível. Dessa forma foram definidos os julgamentos possíveis: “nulo”, “muito fraco”, “fraco”, “moderado”, “forte”, “muito forte” e “extremo”. Esses julgamentos podem ser combinados e além disso pode-se definir o julgamento “positivo”, que indica que um nível é mais atrativo que o outro, porém não especifica o quanto.
Tomando por exemplo o critério “escolaridade”, para cada nível foi identificado qual seria o mais atrativo e o quanto. O nível “Todo em escola pública municipal/estadual” foi comparado com o nível “Todo em escola pública federal/centros tecnológicos” e segundo os decisores é mais atrativo para o fornecimento de bolsa ter estudado no ensino fundamental e no ensino médio integralmente em escola pública municipal/estadual. O julgamento escolhido para identificar a diferença de atratividade foi “fraca”. Depois de realizadas todas as comparações a matriz de julgamentos obtida assim como a escala obtida está representada na figura 3. Embora seja apresentada apenas a matriz de julgamentos relativa ao critério escolaridade, este procedimento foi realizado para todos os critérios avaliados.
Figura 3 - Matriz de julgamentos do critério “escolaridade”
Definidas as pontuações de todos os critérios, deve-se definir a ponderação que compara os critérios entre si. Diferentemente de outros métodos multicritério, não se comparam os critérios entre si, e sim alternativas hipotéticas, determinadas pelos níveis bons e neutros, a fim de se facilitar a determinação dos julgamentos.
Para proceder a comparação entre os critérios é necessário definir algumas alternativas hipotéticas (alunos fictícios) cujos níveis neutros e bons foram indicados. Por exemplo, para se comparar o critério “renda” com o critério “escolaridade” determinou-se que se comparariam dois alunos, um deles com níveis neutros em todos os critérios, exceto no critério “renda” cujo o nível indicado foi o bom, e outro com níveis neutros em todos os critérios, exceto no critério “escolaridade” cujo o nível indicado foi o bom.
Realizou-se então a comparação para todos os critérios a fim de se obter a matriz de julgamentos. Os decisores, numa terceira entrevista, realizaram primeiramente a comparação entre os critérios acadêmicos, e em seguida as comparações entre os critérios socioeconômicos. Eles identificaram então que a comparação entre os critérios acadêmicos e socioeconômicos seria muito difícil por serem muito distintos. Dessa forma, foram comparados os critérios mais importantes de cada vertente, que foram o “envolvimento” e a “renda”, e em seguida os piores critérios, que foram “carga horária”, “diploma” e “experiência no exterior”. Assim, os outros julgamentos foram obtidos por transitividade, conforme explicitado na figura 4. A escala obtida para cada critério também está apresentada na Figura.
Figura 4 - Matriz de julgamentos entre critérios
Uma vez que os julgamentos já estão definidos, pode-se comparar as alternativas. Como elas não são conhecidas, serão criados alunos fictícios que serão comparados segundo as preferências dos decisores.
Para que seja possível a análise de sensibilidade, se possa verificar a consistência dos julgamentos, e seja possível a aplicação do método, criaram-se alguns alunos fictícios. Como os editais são lançados antes de se conhecer os alunos que pretendem se candidatar, não se possui alunos reais para a aplicação do método. Não foi possível também a utilização de uma base de dados existente pois as informações dos alunos são confidenciais.
Os dois primeiros alunos criados foram os que representam os maiores e menores níveis de pontuação em cada critério. Os níveis desses dois alunos estão representados na Figura 5.
Figura 5 - Níveis dos alunos máximo e mínimo
A pontuação global desses dois alunos foi gerada a fim de se obter as pontuações globais máxima e mínima. Essas pontuações estão indicadas na figura 6, e mostram que a maior pontuação possível é 122,32, e a menor é -123,49.
Figura 6 - Pontuações dos alunos máximo e mínimo
Foram criados outros seis alunos fictícios, que foram utilizados para gerar a ordenação para que se realizar as análises de sensibilidade e robustez, a fim de verificar a consistência dos pesos gerados. Os níveis de performance estão descritos na figura 7.
Dessa forma a pontuação global pôde ser gerada, levando em consideração os julgamentos feitos pelos decisores. Essa pontuação está demostrada nas figuras 7 e 8, e mostra que o primeiro aluno colocado no ranking seria o aluno 3, enquanto o pior, é o aluno 2.
Figura 7 - Níveis dos alunos fictícios
-----
Figura 8 - Pontuação dos alunos fictícios
A análise de sensibilidade permite avaliar o quanto as recomendações do método se alteram com a mudança do peso dos critérios, mantendo a proporcionalidade entre os pesos restantes. Dessa forma, são gerados gráficos que mostram as alternativas e sua pontuação de acordo com o peso do critério escolhido.
É importante ressaltar que a análise de sensibilidade varia de acordo com as alternativas disponíveis. Portanto ela deve ser elaborada toda vez que houver uma ordenação efetuada pelo método. Nesse caso, estão sendo avaliados os seis alunos criados, para ilustrar os pesos e a ordenação gerados.
Tomando como exemplo o critério “renda”, percebe-se que existe uma grande faixa de porcentagem em que o peso do critério pode variar sem que a ordenação dos alunos se altere, conforme mostra a Figura 9. O peso obtido pelos julgamentos é de 23,21, porém a ordenação permaneceria a mesma com pesos de 10,6 a 63,3, uma amplitude de 52,7%. Outras observações também podem ser feitas, percebe-se que apenas os alunos 1 e 3 dominam esse critério, enquanto o aluno 2 é na maior parte do tempo a alternativa menos atrativa, a não ser pelos primeiros 5,2%.
Considerando a análise de sensibilidade para todos os critérios, percebe-se que não há uma grande variação na ordenação dos alunos fictícios criados. A menor amplitude em que o peso varia sem uma variação da ordenação obtida é de 17,1% no critério “escolaridade”, e a maior é observada no critério “renda” de 52,7%.
Figura 9 - Análise de sensibilidade do critério “renda”
O estudo apresentou as vantagens e motivações de alunos, instituições e países para a realização da mobilidade internacional, apontou que essas vantagens podem causar um aumento na diferença entre as classes sociais e identificou uma necessidade de se adequar os critérios de seleção utilizados para a escolha de alunos que devem receber um financiamento. A elaboração de uma gama de critérios e pesos foi proposta para se realizar uma ordenação entre os alunos que pleiteiam uma bolsa para a realização de mobilidade internacional.
Os critérios já utilizados na Diretoria de Relações Internacionais serviram como base para a indicação dos critérios a serem utilizados, levando em consideração as opiniões dos decisores. Posteriormente, para cada um dos critérios selecionados foram descritos níveis, a fim de se realizar comparações, já que as alternativas não eram conhecidas.
De acordo com os julgamentos realizados pelos decisores em entrevistas, foi possível estabelecer escalas intra e intercritérios. Os critérios que possuem maior atratividade são “renda”, “envolvimento” e “CR”. Os pesos dos critérios obtidos pelo método satisfizeram a opinião dos decisores e recomenda-se que sejam utilizados para a seleção de alunos em futuros editais.
Como os alunos concorrentes às bolsas do edital não eram conhecidos, foram criados alunos fictícios a fim de se testar as escalas construídas pelo método. Foi possível então realizar de forma bem-sucedida, através da alocação em níveis, a ordenação desses alunos de acordo com os julgamentos dos decisores. Assim é possível realizar a escolhas dos estudantes de acordo com as vagas disponíveis.
Dessa maneira conclui-se que o objetivo principal do estudo foi atingido, sendo proposto um método de avaliação e identificação dos alunos que devem ser escolhidos para receber bolsa de acordo com os julgamentos realizados pelos decisores.
Com a seleção de alunos adequada ao desejo dos decisores espera-se que sejam escolhidos melhores representantes das universidades no exterior, e que esses alunos possam absorver da melhor forma o conhecimento e tecnologia utilizados, a fim de melhorar a produção científica e tecnológica do país, acarretando assim num melhor custo-benefício ao dinheiro investido nas bolsas.
Altbach, P. G., & Knight, J. (2007). The Internationalization of Higher Education: Motivations and Realities. Journal of Studies in International Education, 11(3–4), 290–305. https://doi.org/10.1177/1028315307303542
Andrade, G. N., Alves, L. A., Andrade, F. do V. S., & Soares de Mello, J. C. C. B. (2016). Evaluation of power plants technologies using multicriteria methodology Macbeth. IEEE Latin America Transactions, 14(1), 188–198.
Ballatore, M., & Ferede, M. K. (2013). The Erasmus Programme in France, Italy and the United Kingdom: Student Mobility as a Signal of Distinction and Privilege. European Educational Research Journal, 12(4), 525–533. https://doi.org/10.2304/eerj.2013.12.4.525
Bana e Costa, C. A., Angulo-Meza, L., & Oliveira, M. D. (2013). O método Macbeth e aplicação no Brasil. Engevista, 15, 3–27.
Bana e Costa, C. A., Corrêa, É. C., De Corte, J.-M., & Vansnick, J.-C. (2002). Facilitating bid evaluation in public call for tenders: a socio-technical approach. Omega, 30(3), 227–242. https://doi.org/10.1016/S0305-0483(02)00029-4
Bana E Costa, C. A., De Corte, J.-M., & Vansnick, J.-C. (2012). Macbeth. International Journal of Information Technology & Decision Making, 11(2), 359–387. https://doi.org/10.1142/S0219622012400068
Bana e Costa, C. A., & Vansnick, J.-C. (1994). MACBETH — An interactive path towards the construction of cardinal value functions. International Transactions in Operational Research, 1(4), 489–500. https://doi.org/10.1016/0969-6016(94)90010-8
Cerdeira, L., Cabrito, B., Machado-Taylor, M. L., Patrocínio, T., Cerdeira, L., Cabrito, B., … Patrocínio, T. (2016). Transfer investment on education on a free cost basis: some evidence from Portugal, Spain, Greece and Italy. Ensaio: Avaliação e Políticas Públicas em Educação, 24(93), 777–803. https://doi.org/10.1590/S0104-40362016000400001
Ciência Sem Fronteiras. (2016). Dados Chamadas Graduação Sanduíche. Recuperado de http://www.cienciasemfronteiras.gov.br/web/csf/dados-chamadas-graduacao-sanduiche
Crossman, J. E., & Clarke, M. (2010). International experience and graduate employability: stakeholder perceptions on the connection. Higher Education, 59(5), 599–613. https://doi.org/10.1007/s10734-009-9268-z
Ensslin, L., Queiroz, S., Grzebieluckas, C., Ensslin, S. R., Nickel, E., Buson, M. A., & Balbim Junior, A. (2011). Identificação das necessidades do consumidor no processo de desenvolvimento de produtos: uma proposta de inovação ilustrada para o segmento automotivo. Produção, 21(4), 555–569. https://doi.org/10.1590/S0103-65132011005000052
Findlay, A. M., King, R., Smith, F. M., Geddes, A., & Skeldon, R. (2012). World class? An investigation of globalisation, difference and international student mobility. Transactions of the Institute of British Geographers, 37(1), 118–131. https://doi.org/10.1111/j.1475-5661.2011.00454.x
INEP. (2014). Censo da Educação Superior. Recuperado de http://portal.inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/matriculas-no-ensino-superior-crescem-3-8/21206
King, R., & Raghuram, P. (2013). International Student Migration: Mapping the Field and New Research Agendas. Population, Space and Place, 19(2), 127–137. https://doi.org/10.1002/psp.1746
King, R., & Ruiz-Gelices, E. (2003). International student migration and the European “Year Abroad”: effects on European identity and subsequent migration behaviour. International Journal of Population Geography, 9(3), 229–252. https://doi.org/10.1002/ijpg.280
Knight, J. (2004). Internationalization Remodeled: Definition, Approaches, and Rationales. Journal of Studies in International Education, 8(1), 5–31. https://doi.org/10.1177/1028315303260832
Knight, J. (2008). Higher education in turmoil: the changing world of internationalisation. Rotterdam: Sense Publ.
Knight, J. (2012). Student Mobility and Internationalization: Trends and Tribulations. Research in Comparative and International Education, 7(1), 20–33. https://doi.org/10.2304/rcie.2012.7.1.20
Marginson, S. (2008). Global field and global imagining: Bourdieu and worldwide higher education. British Journal of Sociology of Education, 29(3), 303–315. https://doi.org/10.1080/01425690801966386
Menezes, A. C., Pinheiro, P. R., Pinheiro, M. C. D., & Cavalcante, T. P. (2012). Towards the Applied Hybrid Model in Decision Making: Support the Early Diagnosis of Type 2 Diabetes. In B. Liu, M. Ma, & J. Chang (Orgs.), Information Computing and Applications (p. 648–655). Springer Berlin Heidelberg. Recuperado de http://link.springer.com/chapter/10.1007/978-3-642-34062-8_84
Ministério do Desenvolvimento Social. (2014). Bolsa Família – Benefícios. Recuperado de http://www.mds.gov.br/bolsafamilia/beneficios
Miura, I. K. (2006, agosto 16). O processo de internacionalização da Universidade de São Paulo: um estudo em três áreas de conhecimento (text). Universidade de São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/livredocencia/96/tde-03102006-135941/
Pereira, V. M. (2014, maio 21). Relatos de uma política: uma análise sobre o Programa Ciência sem Fronteiras (Dissertação / Dissertation). Recuperado de http://repositorio.unb.br/handle/10482/15634
Robertson, S. L. (2010). Critical response to Special Section: international academic mobility. Discourse: Studies in the Cultural Politics of Education, 31(5), 641–647. https://doi.org/10.1080/01596306.2010.516945
Roy, B. (1996). Multicriteria methodology for decision aiding. New York; London: Springer.
Soares de Mello, J. C. C. B., Gomes, E. G., & Lins, M. P. E. (2001). Análise multicritério da presença da Universidade Federal Fluminense com o uso do método Macbeth. Production, 11, 53–67.
Waters, J. L. (2012). Geographies of International Education: Mobilities and the Reproduction of Social (Dis)advantage. Geography Compass, 6(3), 123–136. https://doi.org/10.1111/j.1749-8198.2011.00473.x
1. Bacharel em Engenharia de Produção e estudante de Mestrado em Engenharia de Produção pela Universidade Federal Fluminense (UFF). brunotorres@id.uff.br
2. Doutor em Engenharia de Produção pela Universidade Federal Fluminense (UFF). gnandrade@id.uff.br
3. Doutor em Engenharia de Produção pela Universidade Federal do Rio de Janeiro (UFRJ) e profesor associado da Universidade Federal Fluminense (UFF). jccbsmello@id.uff.br