ISSN 0798 1015
ISSN 0798 1015
Vol. 38 (Nº 30) Año 2017. Pág. 4
Neide Aparecida de Souza LEHFELD 1; Edilson Carlos CARITÁ 2; Manoel Henrique Cintra GABARRA 3; Carlos Eduardo Saraiva MIRANDA 4
Recibido: 15/02/2017 • Aprobado: 11/03/2017
RESUMO: O objetivo deste trabalho é apresentar os processos de autoavaliação desenvolvidos por uma universidade brasileira de matriz privada e seus esforços para assegurar a qualidade dos processos educacionais formativos por ela oferecidos. Trata-se de um estudo de caso, apresentando as autoavaliações realizadas por uma Comissão Própria de Avaliação (CPA), sendo sua atuação pautada pelo respeito à identidade institucional, de acordo com a missão, as metas e as experiências relativas aos processos de avaliação, e pela articulação da CPA com os vários setores institucionais. Os processos autoavaliativos instituídos são a avaliação institucional, a avaliação docente, a avaliação de cursos de graduação e pós-graduação lato sensu e da residência médica. Pode-se concluir que os resultados dessas avaliações contribuem para o desenvolvimento de ações que melhoram os processos de ensino-aprendizagem e a certificação da qualidade da formação profissional dos egressos da referida Instituição de Ensino Superior. |
ABSTRACT: The objective in this study is to describe processes for self-evaluation developed by a private Brazilian university and its efforts to ensure the quality of the formative educational processes it delivers. This is a case-study on the self-evaluations conducted by the Local Institutional Evaluation Committee (CPA), whose job is grounded on respect for institutional identity, in compliance with the mission, goals and experiences regarding evaluation processes, and through the articulation between CPA and several sectors within the institution. The existing self-evaluation processes are institutional assessment, faculty assessment, undergraduate and graduate program assessment, and medical residence assessment. It has been found that evaluation results contribute to the development of actions that improve learning-teaching processes, and to the quality certification of amumni’s professional education in this Higher Education Institution. |
A expansão do sistema educacional brasileiro tem sido um dos principais eixos da política governamental para o ensino superior em diferentes governos nas últimas décadas no Brasil. Paralelamente a essa expansão, grandes esforços têm sido despendidos na formulação e efetivação dos processos de avaliação. Estes visam promover, de um lado, a reestruturação da educação superior por meio da competição institucional, o que fortalece a possibilidade de escolha dos estudantes, os quais passam a competir pelas instituições melhores avaliadas pelo Ministério da Educação (MEC). Por outro lado, a consolidação dos processos avaliativos visa conter o avanço no sistema educacional de grupos e conglomerados empresariais que atuam no Ensino Superior que não têm compromisso com a qualidade do ensino ofertado (GOMES, 2002).
No início dos anos 90, no governo Itamar Franco, por meio da Portaria nº 130, de 14 de julho de 1993, foi criada a Comissão Nacional de Avaliação visando definir as diretrizes e viabilizar a implantação do primeiro sistema de avaliação institucional, o denominado Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) (ZAINKO, 2008).
No governo Fernando Henrique Cardoso, em 1995, o modelo avaliativo do PAIUB foi substituído pelo Exame Nacional de Cursos, estabelecido pela Lei nº 9.131/95, popularmente conhecido como Provão, o qual, em função de uma bem-sucedida campanha de marketing, foi bem aceito pela população brasileira. As avaliações, em âmbito nacional, eram realizadas anualmente com base nos conteúdos mínimos definidos pelas Diretrizes Curriculares Nacionais (DCN) de cada curso e se destinavam aferir os conhecimentos e as competências adquiridos pelos alunos concluintes dos cursos de graduação.
Em 2001, foi baixado um decreto que estabelecia novos procedimentos operacionais de avaliação (Decreto n. 3.860, 2001), no qual foram mantidos praticamente todos os indicadores até então utilizados e introduzidos os processos de autoavaliação que deveriam ser realizados pelas instituições.
No primeiro governo de Luís Inácio Lula da Silva, foi criado, em 2004, o Sistema Nacional de Avaliação da Educação Superior (SINAES), estabelecendo que, fundamentalmente, é a função social das Instituições de Ensino Superior (IES) que deve ser privilegiada como forma de aferir sua eficiência (Lei n. 10.861, 2004). Esse sistema está centrado em três pilares: (1) avaliação institucional; (2) avaliação de cursos e (3) avaliação do desempenho dos estudantes. O modelo avaliativo continua vigente e prevê as visitas in loco, os processos de autoavaliação e o Exame Nacional de Desempenho dos Estudantes (ENADE).
A inclusão da autoavaliação institucional no quadro dos processos avaliativos teve grande repercussão, abrindo caminho para a implantação da Comissão Própria de Avaliação (CPA) nas instituições, cuja finalidade era definir indicadores capazes de mensurar os programas e projetos desenvolvidos pelas mesmas, ajuizar sobre a realização de seminários, reuniões e consultas, avaliar a eficiência dos órgãos acadêmico-administrativos e colegiados, analisar a pertinência do Plano de Desenvolvimento Institucional (PDI), avaliar os conhecimentos dos ingressantes e verificar os resultados das metas pedagógicas estabelecidas para a aprendizagem dos alunos durante a sua permanência na IES (Portaria n. 2.051, 2004).
Embora, desde a sua criação, o SINAES venha sofrendo reformulações decorrentes das análises dos resultados obtidos pelo Ministério da Educação (MEC) e das pressões e críticas da comunidade acadêmica brasileira, o sistema enfrenta problemas em diferentes esferas. Dentre tais problemas, podem ser destacados: a fragilidade da consolidação da cultura de avaliação no país, a insuficiência de pessoal capacitado para atender a esse novo conceito de avaliação, as dificuldades de caráter político da Comissão Nacional de Avaliação da Educação Superior (CONAES) e a insuficiência de pessoal técnico, nessa comissão, para a análise dos relatórios de autoavaliação das instituições (ZAINKO, 2008).
Na esfera das IES, a CPA pode enfrentar, em maior ou menor grau, problemas político-administrativos e/ou de carência de pessoal (docentes e técnico-administrativos), bem como dificuldades para estabelecer discussões pedagógicas mais profundas para a realização da autoavaliação institucional. Tais fatos exigem um constante aprimoramento dos mecanismos de avaliação, visando seu fortalecimento de modo a assegurar a capacidade de monitoramento da qualidade da educação superior no Brasil, tanto pelos órgãos governamentais como pelas próprias IES em seus processos de autoavaliação.
O objetivo desse trabalho é apresentar os processos de autoavaliação desenvolvidos por uma universidade brasileira de matriz privada e seus esforços para assegurar a qualidade dos processos educacionais formativos por ela oferecido.
Trata-se de um estudo de caso em que são apresentados os processos avaliativos realizados por uma Comissão Própria de Avaliação (CPA) de uma Instituição de Ensino Superior (IES) privada, do interior do Estado de São Paulo, Brasil, visando assegurar a qualidade dos serviços educacionais prestados pela referida Instituição de Ensino Superior (IES).
A atuação da CPA é pautada pelo respeito à identidade institucional, de acordo com a missão, as metas e as experiências relativas aos processos de avaliação; pela transparência nas diversas fases do processo de avaliação, considerando-se a diversidade de pontos de vista dos diversos segmentos acadêmicos, e pela articulação da CPA com os vários setores institucionais. Essas autoavaliações são realizadas de acordo com princípios metodológicos considerando aspectos como a motivação e procedimentos como a aplicação dos instrumentos de avaliação, análise qualiquantitativa dos dados e divulgação dos resultados.
O estudo de caso é um método científico que usa, quase sempre, dados qualitativos coletados a partir de eventos reais, visando explicar, explorar ou descrever fenômenos contemporâneos inseridos em um determinado contexto. Caracteriza-se por ser um estudo detalhado e exaustivo de poucos, ou mesmo de um único objeto, o que leva à obtenção de conhecimentos profundos acerca do mesmo (YIN, 2009).
Uma universidade de matriz privada, localizada na cidade de Ribeirão Preto, Estado de São Paulo, Brasil, visando à manutenção e o aprimoramento da qualidade dos seus processos de ensino-aprendizagem, infraestrutura e corpo docente, além de atender as exigências da Lei n° 10.861 de 14/04/2004, tem instituído como processos avaliativos internos a avaliação institucional, a avaliação docente, a avaliação de cursos de graduação e pós-graduação lato sensu e de residência médica.
Essas avaliações são conduzidas pela CPA, sendo a atuação pautada pelo respeito à identidade institucional, de acordo com a sua missão, as metas e as experiências relativas aos processos de avaliação; pela transparência nas diversas fases do processo de avaliação, considerando-se a diversidade de pontos de vista dos diversos segmentos acadêmicos, e pela articulação dessa Comissão com os vários setores institucionais: administrativo-acadêmico e financeiro.
O processo de Autoavaliação Institucional é realizado por meio de questionários on-line e conta com a participação de docentes, colaboradores e discentes da Instituição.
A primeira atividade desse processo é sempre a revisão dos questionários aplicados na última autovaliação institucional, abordando temas que contemplem elementos prementes nos processos permanentes de autoavalição institucional, bem como aqueles referentes aos eixos: planejamento, avaliação e desenvolvimento institucional; políticas acadêmicas e de gestão e infraestrutura física fundamentados no marco legal do SINAES (Lei n. 10.861, 2004).
Para a Autoavaliação Institucional, com o objetivo de aperfeiçoar os questionários, após uma análise desses documentos, a CPA efetuou readequações nos textos de algumas questões de modo a simplificá-las. Algumas questões de temáticas semelhantes foram agrupadas, permitindo a redução do número total de questões dos formulários, sem provocar, contudo, a perda de sua essência original. Com essa revisão, as questões tornaram-se mais objetivas e simples e, em alguns casos, mais abrangentes. O questionário atual dos docentes é composto de 24 questões, o dos colaboradores técnico-administrativos, de 14 questões e o dos discentes, de 19 questões. Em todos eles, manteve-se a possibilidade de espaços para depoimentos e comentários para cada questão.
Na etapa seguinte, realizou-se a validação dos três questionários, sendo o questionário dos docentes validado pelos coordenadores dos cursos de graduação. O instrumento a ser preenchido pelos colaboradores foi revisto pelos coordenadores das áreas técnico-administrativas e o questionário dos discentes, pelos representantes de classe de cada curso da Instituição. O processo de validação incluiu uma análise de confiabilidade utilizando o método Alfa de Cronbach.
O coeficiente alfa de Cronbach foi apresentado por Lee J. Cronbach, em 1951, como uma forma de estimar a confiabilidade de um questionário aplicado em uma pesquisa. O alfa estabelece a correlação entre respostas de um questionário por meio da análise do perfil das respostas dadas pelos respondentes. Trata-se de uma correlação média entre perguntas. Dado que todos os itens de um questionário utilizam a mesma escala de medição, o coeficiente α é calculado a partir da variância dos itens individuais e da variância da soma dos itens de cada avaliador (HORA, MONTEIRO & ARICA, 2010).
O resultado da análise de confiabilidade por meio do Alfa de Cronbach foi de 0,793 do questionário dos docentes e 0,862 do questionário dos colaboradores técnico-administrativos, indicando boa consistência em ambos os questionários.
Depois da etapa de validação dos questionários, as questões são inseridas no Sistema de Avaliação Institucional (SAI), o qual foi criado e é periodicamente atualizado pelo Centro de Informática e Tecnologia (CIT) da Instituição para atender às necessidades detectadas pela CPA. Em relação à motivação dos participantes foi realizada em parceria com a Divisão de Marketing da Instituição uma campanha de divulgação utilizando-se de diversas peças publicitárias, principalmente as digitais (Figura 1).
Os resultados da avaliação institucional são analisados quantiqualitativamente pela CPA. Os dados quantitativos são apresentados utilizando-se métodos de estatística descritiva em forma de tabelas e gráficos e os dados qualitativos são analisados por meio de análise de conteúdo dos depoimentos e das sugestões.
As análises são socializadas com os coordenadores de cursos e das áreas técnico-administrativas em um Workshop. Nesse evento são elaboradas as ações e metas de melhorias necessárias, assim como um cronograma para implantação.
Figura 1 – Cartão On Line e Cartaz Divulgação da Avaliação Institucional
Vale ressaltar que a CPA da IES, em 2004, propôs um sistema de avaliação informatizado, que foi desenvuelto pelo Centro de Informática e Tecnologia da Instituição (CIT), o acesso ocorre por meio do Sistema Aluno OnLine. Sistema eses, executado por meio da Internet que fornece informações acadêmicas ao aluno (notas, faltas, histórico escolar, entre outros) - contemplando itens essenciais da atividade docente, dentre eles: didática, comprometimento com o processo de ensino-aprendizagem e relacionamento. Essa avaliação é composta por doze questões objetivas, com escala de avaliação de um a cinco (Likert), sendo “1” a situação mais desfavorável e “5”, a mais favorável. Para cada questão, é disponibilizado um espaço para comentários, sugestões e críticas dos alunos. Um objetivo importante desse sistema é uniformizar a avaliação docente dos diversos cursos da IES, sem prejuízo às avaliações complementares desenvolvidas no âmbito do próprio curso.
A CPA coordena as atividades semestrais de divulgação dos resultados dos processos avaliativos, inclusive por meio de banners posicionados em locais estratégicos dos campi, implementação de processos de sensibilização, acompanhamento e análise dos resultados do processo de Avaliação Docente Institucionalizada, além da sensibilização da comunidade universitária com relação à importância da autoavaliação.
O período em que o sistema de avaliação online está disponível para receber as respostas dos alunos é previamente informado aos coordenadores e às secretárias de cursos. Assim, para que o processo ocorra de forma mais efetiva, orienta-se que a divulgação aos alunos sobre o período da avaliação seja realizada pessoalmente, motivando-os a participarem da avaliação de forma responsável e consciente. Nesse sentido, a participação da coordenação do curso é de extrema importância para legitimar o caráter diagnóstico-formativo que a avaliação possui, ressaltando aos alunos que essa atividade foi instituída para melhorar o processo de ensino-aprendizagem e a qualidade dos cursos de graduação da universidade.
Previamente ao período de avaliação é realizada uma campanha de sensibilização e esclarecimentos aos alunos sobre a importância dos processos avaliativos e informações sobre a avaliação são disponibilizadas no Portal da Universidade. O sistema fica aberto para avaliação de três a quatro semanas aproximadamente.
Os resultados da Avaliação Docente são disponibilizados aos professores no sistema Docente On Line – sistema similar ao Aluno On Line – o qual pode ser acessado pela Internet, proporcionando aos mesmos a oportunidade de autoavaliação de suas práticas didático-pedagógicas. Nesse sistema de informação, o docente pode verificar sua avaliação em cada disciplina que ministra (valor de 1 a 5) e também os comentários registrados pelos alunos. Os resultados de todos os docentes de cada curso são analisados pelos coordenadores dos respectivos cursos que, em casos particulares, pode recomendar ao docente sua participação no Programa de Capacitação Docente da Instituição.
A CPA solicita aos coordenadores dos cursos de graduação e das áreas técnico-administrativas um relatório resumido das ações propostas e as implementadas com base na avaliação docente do semestre.
A participação dos discentes no proceso avaliativo também é acompanhada pela CPA, considerando individualmente cada curso da IES durante o processo de avaliação com o objetivo de reforçar as ações de sensibilização quando e onde necessárias.
As avaliações dos cursos de graduação são realizadas utilizando apenas questões abertas referentes aos aspectos específicos do curso em questão, tais como: Quais são os pontos que você considera diferenciais do seu curso (aponte três diferenciais). Por quê?; Existe integração da equipe docente? Essa integração favorece o desenvolvimento do projeto? A equipe trabalha integrada? Orienta e supervisiona? Como isso acontece?; Como você avalia o modelo de operacionalização do projeto e a metodologia de trabalho?; Como você avalia o comprometimento do professor, em todos os sentidos, em sala de aula? O professor é um Facilitador / Motivador (estimula e orienta o conhecimento)? Acrescente comentários, considerações e contribuições para melhora do processo de ensino-aprendizagem do seu curso.
Ressalta-se que as questões de cada instrumento são elaboradas coletivamente pela coordenação do curso e Núcleo Docente Estruturante (NDE) - grupo de docentes, com atribuições didático-pedagógicas, que atua no processo de concepção, consolidação e contínua atualização do projeto pedagógico do curso, com acompanhamento da CPA e da Coordenação Geral de Graduação, com o auxílio de uma ferramenta computacional, usada para realização de pesquisa.
As principais fases processuais dessa avaliação são:
Esse relato é informado e discutido com a CPA para que alterações sejam feitas no Projeto Pedagógico Institucional (PPI) e no Plano de Desenvolvimento Institucional (PDI).
Até 2010, os cursos de pós-graduação lato sensu realizavam avaliações de forma individual e independente. A CPA efetuou uma análise crítica de todos os sistemas de autoavaliação e desenvolveu um instrumento único para os cursos de pós-graduação lato sensu. Esse instrumento foi enviado para os responsáveis para avaliação e contribuições. As contribuições encaminhadas à CPA subsidiaram a revisão do modelo de instrumento enviado anteriormente aos coordenadores e docentes além do acompanhamento da Coordenação da Divisão de Pós-Graduação Lato Sensu da IES.
No início do segundo semestre de 2010, a CPA reencaminhou para a coordenação da Divisão de Pós-graduação Lato Sensu e para os coordenadores de curso o modelo de questionário revisado, elaborado inicialmente com 25 questões que contemplavam a avaliação do processo de ensino-aprendizagem, a gestão do curso, a infraestrutura da Universidade e os serviços de atendimento ao aluno. Esse questinário foi avaliado pelos coordenadores dos cursos e, após a validação das sugestões e considerações propostas, a versão final foi ampliada para 26 questões. Seguem algumas questões do instrumento: como você considera a gestão do coordenador do curso?, como você avalia a carga horária das disciplinas?, como você avalia as estratégias didáticas dos docentes do curso?, como você avalia a biblioteca em termos de disponibilidade de locais para estudo (cadeira, mesas e salas)?, qual é o seu grau de satisfação em relação à infraestrutura e atendimento do LIAPE (Laboratórios de Informática)?, como você avalia os serviços de alimentação disponíveis na Universidade?, como você avalia o campus universitário (limpeza, conservação, áreas verdes, entre outros)?, como você avalia as áreas de convivência no campus?.
Para a elaboração da escala de respostas, a CPA optou por uma metodologia muito utilizada para avaliar o grau de satisfação das pessoas. Trata-se de uma escala de respostas com a variação da escala de Likert, esperando-se avaliar a qualidade percebida em relação à qualidade esperada e na qual os valores são substituídos por símbolos ou adjetivos, pois alguns autores consideram que representam com maior fidelidade a opinião das pessoas. Todavia, para a análise estatística foram considerados os valores de 1 a 5.
Esse questionário foi submetido a uma avaliação (piloto) junto aos alunos de cursos de pós-graduação lato sensu das áreas de Saúde e Exatas, e a CPA utilizou o Alfa de Cronbach para validá-lo com referência à sua confiabilidade. O valor encontrado foi 0,87 – valor considerado adequado.
De acordo com a metodologia adotada para validação, o instrumento foi considerado adequado para o público alvo. Em relação à sua aplicação estabeleceram-se os seguintes procedimentos:
Cabe a CPA:
Período de aplicação da pesquisa
Caberá ao coordenador do curso em conjunto com a coordenação da Divisão de Pós-graduação Lato Sensu:
A CPA foi chamada a participar, no segundo semestre de 2012, do processo de avaliação dos Programas de Residência Médica em funcionamento na Instituição pela coordenação dos mesmos. Várias reuniões foram realizadas para a definição do instrumento final a ser aplicado aos médicos residentes nas áreas de Clínica Médica, Cirurgia Médica, Oftalmologia e Otorrinolaringologia. Esse processo avaliativo compõe-se pelas seguintes fases:
Após a finalização dessas fases, elabora-se relatório com o registro das análises e dos respectivos resultados. Esse documento é encaminhado à Comissão de Residência Médica (COREME) para avaliação e providências.
O instrumento de avaliação contemplou questões sobre o relacionamento do residente com seus colegas, os preceptores, as enfermeiras, a secretaria da pós-graduação e os demais funcionários; em relação ao programa há questões como: cumprimento da programação estabelecida, discussão de artigos científicos, discussão de casos clínicos, sessões anátomo-clínicas, sessões clínico-radiológicas, sessões clínico-laboratoriais, quantidade de procedimentos realizados, carga horária semanal de atividades teóricas, carga horária semanal de atividades práticas e integração entre atividades teóricas e atividades práticas.
O residente também foi convidado a avaliar sobre o suporte recebido quanto a disponibilidade do preceptor para orientação ao residente, atuação do supervisor durante atividades práticas, acompanhamento das atividades práticas e avaliação somativa e formativa utilizada nos estágios. Em relação a infraestrutura ele foi questionado quanto: espaço e recursos para aulas, estudos e discussões, recursos tecnológicos para atendimentos, instrumental médico em geral, laboratórios em geral, espaço e recursos nas clínicas de atendimento, bibliografía disponível nas respectivas áreas, acesso as bases de dados eletrônicas e espaço para estudo na biblioteca; bem como uma avaliação global do estágio e um espaço para comentários, onde poderia mencionar as fortalezas e fragilidades do programa de residência médica.
A escala de resposta utilizada foi a Likert de 1 a 5, com a possibilidade de responder “não posso opinar”.
Apesar da seriedade dos processos avaliativos instituídos pelas instituições de educação superior, e a nossa em especial, constata-se que muito o sistema brasileiro de educação superior precisa avançar. Vive-se um cenário preocupante, no qual se observa uma série de dificuldades relacionadas à atual conjuntura política e socioeconômica que afetam diretamente o setor educacional e ao próprio Ministério da Educação no que se refere à manutenção e sobrevivência do SINAES.
Como a CPA está diretamente ligada a reitoria, há sempre uma articulação dos trabalhos realizados por ela com as pró-reitorias, assim o planejamento e a execução das avaliações sempre são realizadas conjuntamente com dos diferentes setores da IES.
Cabe ressaltar que nas avalições in loco, as comissões de especialistas do Ministério da Educação valorizaram e pontuam com boa nota os trabalhos e as avaliações realizados pela CPA.
O que permanece bem claro é a necessidade de se investir na qualidade da educação superior tanto na graduação como na pós-graduação. A formação de profissionais e de cidadãos éticos, críticos, reflexivos, atuantes devem sempre nortear esses processos avaliativos, sejam internos e/ou externos.
Entretanto, pode-se concluir que os resultados dessas autoavaliações contribuem para o desenvolvimento de ações que melhoram os processos de ensino-aprendizagem e a certificação da qualidade da formação profissional dos egressos da referida Instituição de Ensino Superior.
Decreto n. 3.860, de 09 de julho de 2001. Dispõe sobre a organização do ensino superior, a avaliação de cursos e instituições, e dá outras providências. Recuperado de http://portal.mec.gov.br/sesu/arquivos/pdf/DecN3860.pdf. Acesso em 03/01/2017.
Gomes, A. M. (2002). Política de avaliação da educação superior: controle e massificação. Educação e Sociedade, 23 (80), 275-298.
Hora, H. R. M., Monteiro, G. T. R., & Arica, J. (2010). Confiabilidade em Questionários para Qualidade: um estudo com o coeficiente Alfa de Cronbach. Revista Produto & Produção, 11 (2), 85-103.
Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional da Avaliação Superior – SINAES e dá outras providências. Recuperado de http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm. Acesso em 03/01/2017.
Portaria n. 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei n. 10.861, de 14 de abril de 2004. Recuperado de http://portal.mec.gov.br/arquivos/pdf/PORTARIA_2051.pdf. Acesso em 03/01/2017.
Zainko, M. A. S. (2008). Avaliação da educação superior no Brasil: processo de construção histórico. Avaliação, 13 (3), 827-831.
Yin, R. K. (2009). Case study research, design and methods (applied social research methods). Thousand Oaks. California: Sage Publications.
1. Professora Titular. Programa de Mestrado Profissional em Saúde e Educação. Universidade de Ribeirão Preto. nlehfeld@unaerp.br
2. Professor Titular da Universidade de Ribeirão Preto. Programa de Mestrado Profissional em Saúde e Educação. Universidade de Ribeirão Preto. ecarita@unaerp.br
3. Professor da Universidade de Ribeirão Preto. Comissão Própria de Avaliação (CPA). Universidade de Ribeirão Preto. hgabarra@unaerp.br
4. Professor Titular da Universidade de Ribeirão Preto. Programa de Pós-graduação em Odontologia. Universidade de Ribeirão Preto. cmiranda@unaerp.br