ISSN 0798 1015

Vol. 38 (Nº 19) Año 2017. Pág. 32

Avaliação de efetividade do Plano de Metas Compromisso de Todos pela Educação do ensino médio nos 26 Estados Brasileiros e no Distrito Federal

Assessment of the effectiveness of the Plan of Goals – Commitment of All for the Education related to the high school education in the 26 Brazilian states and in the Federal District

Maurício Corrêa da SILVA 1; Gilberto José MIRANDA 2; José Dionísio Gomes da SILVA 3

Recibido: 06/12/16 • Aprobado: 18/12/2016

Conteúdo

1. Introdução

2. Quadro Teórico

3. Aspectos Metodológicos

4. Análise dos Resultados

5. Considerações Finais

Referências

1. Introdução

O ensino médio no Brasil, segundo Melo e Duarte (2011), vem sendo historicamente objeto de conflito no campo educacional, tendência que adquiriu diferentes proporções em cada contexto em que invariavelmente se expressavam, sob distintos matizes, traços da dicotomia estrutural da sociedade cindida em classes e atravessada por sucessivos estágios de desenvolvimento, nos últimos duzentos anos, rumo à consolidação e hegemonia do modo de produção capitalista.

Para Moehlecke (2012), o ensino médio vem passando por diversas transformações na sua forma de organização, estrutura, objetivos e currículo, algumas mais amplas, outras menos perceptíveis. Um aspecto que tem permeado o debate sobre esse nível de ensino, quase desde a sua origem no Brasil, é a sua própria identidade, questão que ganham hoje maior relevância. O ensino médio, ao passar de educação intermediária, situada até então entre a educação obrigatória e a superior, à última etapa da educação básica obrigatória, parece ser um dos grandes desafios atuais na formulação de políticas públicas educacionais.

Em 2007, no escopo do Plano de Desenvolvimento da Educação (PDE), por meio do Decreto n. 6.094 (2007), o governo federal brasileiro implantou o Plano de Metas Compromisso de Todos pela Educação (PMCTE). O plano visava à mobilização social pela melhoria da qualidade da educação básica por meio da colaboração da União com Municípios, Estados e Distrito Federal. Ao aderirem voluntariamente ao plano, os entes participantes deveriam seguir 28 diretrizes pautadas em resultados de avaliação da qualidade e rendimento escolar dos estudantes, tendo como indicador de qualidade objetivo para acompanhamento das metas, o Índice de Desenvolvimento da Educação Básica (IDEB), criado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) no mesmo ano de 2007.

O IDEB reúne num só indicador dois conceitos igualmente importantes para a qualidade da educação: fluxo escolar e médias de desempenhos nas avaliações. O indicador é calculado a partir dos dados sobre aprovação escolar, obtidos no Censo Escolar e médias de desempenhos nas avaliações do INEP, Sistema de Avaliação da Educação Básica (SAEB), para as unidades da federação e para o país, e a Prova Brasil para os municípios. A média na Prova Brasil é usada para calcular os IDEBs de municípios e escolas, enquanto a nota no SAEB subsidia o cálculo dos IDEBs dos estados e do IDEB nacional. Assim, além das notas nas avaliações, o cálculo do indicador usa as taxas de aprovação escolar, informação prestada pelas redes por meio do Censo Escolar (INEP, 2016).

O Plano de Desenvolvimento da Educação, por meio do PMCTE, estabelece, como meta que, em 2022, o IDEB do Brasil seja 6 (pode variar de zero a dez), média que corresponde a um sistema educacional de qualidade comparável a dos países desenvolvidos, segundo o referido plano. Para acompanhamento, o INEP se compromete a divulgar as metas e resultados do IDEB de 2007 a 2022.

O INEP já divulgou o IDEB do ensino fundamental da 4ª série / 5º ano, 8ª série / 9º ano e 3ª série do ensino médio por escola, município, unidade da federação, região e Brasil, dos anos de 2005 (anterior ao PDE), 2007, 2009, 2011 e 2013. No caso da divulgação por unidade da federação podem ser feitas consultas em relação ao total (escolas públicas urbanas e escolas privadas urbanas), rede pública (escolas públicas urbanas), rede estadual (escolas urbanas da rede estadual), rede privada (escolas urbanas da rede privada).

Todavia, por se tratar de um plano (PDE) de longo prazo (2007-2022 - quinze anos) torna-se importante que sejam estabelecidos adequados mecanismos de monitoramento para acompanhar o desenvolvimento do plano e corrigir possíveis desvios. De acordo com a literatura pertinente, diversos critérios têm sido utilizados para avaliação de políticas públicas. Dentre eles se destaca o da efetividade, foco neste estudo. Para Matias-Pereira (2010), a avaliação de efetividade de políticas públicas representa o exame da relação entre a implementação de um programa e seus resultados (sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias das populações atingidas pelo programa). Ou seja, uma medida adequada para avaliação do PMCTE.

Diante do exposto, o objetivo central deste artigo é avaliar se houve ou não efetividade no Plano de Metas Compromisso de Todos pela Educação (PMCTE) de 2007 a 2013, por meio do rendimento obtido no Índice de Desenvolvimento da Educação Básica (IDEB), pelas escolas do ensino médio nos 26 Estados Brasileiros e no Distrito Federal. Para alcance desse propósito têm-se os seguintes objetivos específicos: i) apresentar e discutir a evolução do IDEB obtido pelos Estados e Distrito-Federal de 2005 a 2013; ii) avaliar a existência de efetividade políticas educacionais estabelecidas no PMCTE em relação ao ano de 2005; iii) avaliar se houve efetividade das políticas educacionais estabelecidas no PMCTE em relação à avaliação aos anos de 2007, 2009 e 2011. 

Na análise e avaliação de políticas implementadas por um governo, fatores de diferentes natureza e determinação são importantes. Especialmente quando se focaliza as políticas sociais (usualmente entendidas como as de educação, saúde, previdência, habitação, saneamento etc.), os fatores envolvidos para a aferição de seu “sucesso” ou “fracasso” são complexos, variados, e exigem esforço de análise (Höfling, 2001). Desse modo, ao avaliar os resultados com base em um modelo empírico que diferencia as médias de resultados (outcome) da avaliação de políticas públicas educacionais em conjunto (todos os Estados Brasileiros e o Distrito Federal), a investigação contribui com a literatura de avaliação de políticas públicas.

De acordo com Sousa e Lopes (2010), os significados que assumem as avaliações, seja para os gestores das instâncias centrais e intermediárias responsáveis pela administração da educação, seja para as instituições de ensino, vão depender, essencialmente, do uso que se fizer de seus resultados. As decisões deles decorrentes tanto podem servir a propósitos de democratização, como podem potencializar iniciativas que intensifiquem desigualdades e levem à exclusão. Nesse sentido, apresentar novas perspectivas em termos de avaliação são fundamentais para auxiliar os diferentes atores no processo de acompanhamento dos planos estabelecidos.

2. Quadro Teórico

2.1. Avaliação de Políticas Públicas

Os indicadores são utilizados na avaliação de políticas públicas para operacionalizar os critérios de avaliação e funcionam como artifícios (proxies) que podem ser criados para medir input (entrada do sistema), output (saída do sistema, como produtividade) e outcome (resultados). Os indicadores de input medem esforços e os indicadores de output e outcome medem realizações (Secchi, 2013).

Na avaliação de políticas públicas (educação, saúde, saneamento etc.) é necessário estabelecer os critérios de avaliação. Para Caiden e Caiden (2001) e Costa e Castanhar (2003), os critérios mais comuns de avaliação de políticas públicassão: eficiência; eficácia; impacto (ou efetividade); sustentabilidade; análise custo-efetividade; satisfação do beneficiário; equidade; insumos (inputs); carga de trabalho (workload); resultados (outputs); custos (costs) e qualidade e oportunidade dos serviços (service quality and timeliness).

Arretche (2009) esclarece quanto aos critérios de avaliação, que a literatura de avaliação de políticas públicas costuma distingui-las em termos de sua efetividade, eficácia e eficiência, distinção esta que é basicamente um recurso analítico destinado a separar aspectos distintos dos objetivos e por consequência, da abordagem e dos métodos e técnicas de avaliação. Segundo Secchi (2013), a avaliação de uma política pública compreende a definição de critérios, indicadores e padrões.

Chicóski (2004) argumenta que eficiência significa a realização de fins previamente determinados; surge como o modo de realização ótima e pode ainda designar exigências de celeridade por que se deve pautar a Administração Pública.

Santos e Souza (2007) esclarecem que o conceito de eficiência é obscuro (legislação e doutrina) quando se trata de serviços a serem prestados pelo Estado. Assim, um importante desafio a ser enfrentado diz respeito aos limites demarcatórios entre serviço eficiente e serviço adequado, no que se tem aportado a Administração para justificar a sua ineficiência.

Por avaliação de eficácia, entende-se a avaliação da relação entre os objetivos e instrumentos explícitos de um dado programa e seus resultados efetivos (Figueiredo & Figueiredo, 1986). A eficácia, para Alcântara (2009), é escolher certo o que fazer, ou seja, selecionar os objetivos adequados ou as alternativas corretas.

Eficácia, para Bugarin (2001), significa fazer o que é preciso fazer para alcançar determinado objetivo. Não se confunde com a eficiência, uma vez que se refere especificamente ao resultado do trabalho realizado, ou seja, se este é adequado a um fim proposto. Pode, todavia, ocorrer que o produto em si seja considerado adequado.

O critério de efetividade relaciona os indicadores com variações classificadas como efetividade social (capital social; opinião e satisfação dos atores) e efetividade institucional (capacidades institucionais; sustentabilidade e reprodução) (Draibe, 2001).

Por avaliação de efetividade, Figueiredo e Figueiredo (1986), esclarecem que o conceito representa o exame da relação entre a implementação de um determinado programa e seus impactos e/ou resultados, isto é, seu sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias da vida das populações atingidas pelo programa sob avaliação.

A efetividade pode ser objetiva, subjetiva e/ou substantiva. A efetividade objetiva é o critério de aferição da mudança quantitativa entre o antes e depois da execução do programa. A efetividade subjetiva torna-se o critério de aferição de mudanças psicológicas, de mudanças nos sistemas de crenças e valores e, notadamente, tem a função de aferir a percepção da população sobre a adequação dos resultados objetivos dos programas aos seus desejos, aspirações de demandas. A efetividade substantiva é o critério de aferição de mudanças qualitativas nas condições sociais de vida da população-alvo (Figueiredo & Figueiredo, 1986).

Efetividade, para Bugarin (2001), é vista como a expressão do desempenho de uma empresa (organização) em função da relação entre os resultados alcançados e os objetivos propostos ao longo do tempo.

Para Barreto, Nery e Silva (2010), a pesquisa avaliativa com foco na efetividade deve utilizar abordagens metodológicas complementares, a fim de conferir maior compreensão do seu objeto, utilizando as técnicas da pesquisa qualitativa; também é certo que os aspectos quantitativos da atuação da política avaliada são essenciais à determinação do espectro da sua atuação sobre a realidade social.

2.2. Avaliação de Políticas Educacionais

O Índice de Desenvolvimento da Educação Básica (IDEB) é um indicador educacional que relaciona rendimento escolar (aprovação) e desempenho (proficiências) em exames padronizados. O índice é o instrumento de verificação do cumprimento das metas fixadas no Termo de Adesão ao Compromisso Todos pela Educação, eixo do Plano de Desenvolvimento da Educação, que trata da educação básica (Gouveia, Souza & Tavares, 2009).

Segundo Paludo, Souza e Beltrame (2015), o IDEB foi criado em um contexto no qual está em questão a permanência dos estudantes na escola, para que todos completem a educação básica, e a qualidade dessa educação, quer dizer, a qualidade do aprendizado dos alunos. Para Vieira, Vidal e Nogueira (2015), O IDEB tem facilitado a implantação daquilo que vem sendo chamado de política de responsabilização ou accountability em educação.

Costa (2010) argumenta que o IDEB é um indicador que combina informações de fluxo e de desempenho dos alunos, criado para promover um sistema de responsabilidade, visando à melhoria da qualidade da educação no país. Ao elaborar metas detalhadas para cada rede de ensino e escola (com as quais governadores e prefeitos se comprometeram por meio do Compromisso Todos Pela Educação) e ao calcular e divulgar amplamente os resultados do IDEB, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) possibilitou que os atores educacionais pudessem ser responsabilizados pelos resultados de sua unidade e que o Ministério da Educação (MEC) identificasse e premiasse as escolas que atingem as metas, mas também oferecesse assistência técnica e financeira para as redes com piores resultados.

Podemos observar na literatura que não existe consenso quanto ao que representa o IDEB no processo de avaliação da política educacional brasileira. Para Almeida, Dalben e Freitas (2013), o modelo que vêm sendo adotado é inapropriado para a compreensão e melhoria do trabalho desenvolvido nas escolas, como evidencia a impossibilidade da adoção de processos meritocráticos em que as escolas são ranqueadas a partir do IDEB e responsabilizadas de forma unívoca por seus resultados, sem que os aspectos que o compõem sejam devidamente analisados e considerados para a observação do trabalho desenvolvido.

Schneider e Nardi (2013) argumentam que o índice exacerba as desigualdades territoriais e tende a acirrar a lógica competitiva entre escolas e entes federados e que o sistema de prestação de contas e de responsabilização utilizado pelo IDEB não pode prescindir de uma avaliação e de uma autoavaliação, congruentes com o postulado de uma educação democrática na qual as políticas educacionais contemporâneas estão subscritas.

De acordo com Souza (2005), os indicadores têm um papel de destaque nas sociedades modernas por facilitarem a divulgação do comportamento dos diversos setores e permitirem a análise, muitas vezes comparativa, da sua evolução. Na esfera da educação, a produção de estatísticas e indicadores no Brasil foi significativamente ampliada, permitindo diagnósticos mais precisos.

Podemos encontrar também na literatura, pesquisas relacionadas com o IDEB. Herrán, Gremaud e Guimarães (2010) avaliaram as melhores práticas em escolas de ensino médio de quatro secretarias estaduais (do Acre, do Ceará, de São Paulo e do Paraná), mediante a metodologia de identificação do “efeito escola”, que procura estimar a contribuição da própria escola aos bons resultados, controlado pelo nível socioeconômico de seus alunos. Em termos de recomendações para as políticas públicas voltadas para a melhoria dos resultados do ensino médio, concluíram:  1) a importância de romper com o isolamento das escolas e entre elas, favorecendo a comunicação e a troca de experiências, e entre elas e os órgãos descentralizados das secretarias; 2) a organização das redes de ensino e de seus profissionais deve permitir atividades de planejamento, coordenação e avaliação e favorecer o trabalho coletivo nas escolas e em conjunto com outras escolas e com os diferentes órgãos das secretarias; 3) melhorar a apropriação dos resultados da avaliação externa pelo conjunto dos atores escolares. As avaliações precisam estar alinhadas com o restante das políticas, e os seus resultados requerem ser trabalhados e compreendidos pelos professores de modo que estes possam usá-las no seu trabalho de planejamento e práticas pedagógicas e articulá-las com outros instrumentos internos de avaliação desenvolvidos nas próprias escolas.

Maciel (2013) avaliou se a aplicação de recursos públicos educacionais é preponderante na variação do IDEB da rede estadual de ensino médio em todas as Unidades da Federação Brasileira, no período de 2005 a 2011. Os resultados da pesquisa evidenciaram que os investimentos financeiros influenciaram positivamente no desempenho e no rendimento dos estudantes, mas que não basta apenas alocar os recursos públicos, é necessário a correta gestão na aplicação desses valores.

Dutra (2013) analisou a implementação da política pública de ensino médio integral em duas escolas estaduais de Pernambuco, sob o ponto de vista da gestão escolar e verificou também a situação do IDEB do ensino médio do estado no ano de 2007. Os resultados revelaram que a transformação da unidade escolar em escola integral necessita de um processo de formação continuada permanente e, quanto ao IDEB, o Estado de Pernambuco obteve em relação aos demais estados, um dos piores resultados.

Costa (2015) analisou questões relacionadas à qualidade do ensino médio a partir de informações estatísticas de estudantes e professores do Brasil, cotejando-as com dois estados da federação, nomeadamente Santa Catarina e Minas Gerais. Os referidos estados foram selecionados por compor, juntamente com Espírito Santo, Goiás, Pará, Paraná e Rio Grande do Norte, a pesquisa nacional “Trabalho Docente na Educação Básica no Brasil”, por pertencerem às regiões sudeste e sul, que são menos desiguais no quesito econômico, e por apresentarem, em 2011, os melhores Índices de Desenvolvimento da Educação Básica (IDEB) no ensino médio. O estudo apontou uma escola média desigual e identicamente precária no Brasil e sugeriu que a garantia do direito ao ensino médio de qualidade para todos depende da institucionalização do Sistema Nacional de Educação como elemento articulador de um esforço coletivo dos entes federados.

Embora já existam algumas pesquisas sobre o IDEB, não foram identificados estudos de amplitude nacional que avaliassem a efetividade das políticas estabelecidas pelo PMCTE no Plano de Desenvolvimento da Educação Nacional.

3. Aspectos Metodológicos 

Esta investigação utiliza o método de pesquisa empírico-analítico (arquivo/empirista - banco de dados) que corresponde à utilização de técnica de coleta, tratamento e análise de dados com métricas quantitativas. Matias-Pereira (2012) esclarece que nesse método, o processo de validação da prova científica é feito por meio de testes dos instrumentos, graus de significância e sistematização das definições operacionais.

A população é constituída de todos os Estados Brasileiros (total de 26) e o Distrito Federal (Tabela 1). As variáveis escolhidas foram os Índices de Desenvolvimento da Educação Básica (IDEB) da rede estadual do ensino médio, disponíveis no sítio eletrônico do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP, 2016), relacionados na Tabela 1.

Tabela 1. IDEB observados da rede estadual do ensino médio nos
Estados Brasileiros e no Distrito Federal. 2005-2013

Podemos observar na Tabela 1, que de modo geral houve melhorias nos índices, muito embora ainda estejam bem longe da meta estabelecida no PMCTE para 2022 (6 pontos). O índice do Estado do Acre passou de 3.0, apurado no ano de 2005 para 3.3 no ano de 2013. O Estado de Santa Catarina ficou na 1ª posição nos anos de 2005 (3.5), 2007 (3.8) e 2011 (4.0) e os Estados do Paraná (3.9) e de Goiás (3.8), ficaram, respectivamente nos anos de 2009 e 2013, nas primeiras posições.

Os Estados que ficaram na última posição foram: Piauí nos anos de 2005 (2.3) e 2009 (2.7); Pará em 2007 (2.3) e Alagoas nos anos de 2011 (2.6) e 2013 (2.6). O menor valor do IDEB foi observado nos anos de 2005 (2.3) e 2007 (2.3) e o maior valor foi observado no ano de 2011 (4.0).

Contudo, as diferenças existentes nos índices observados ano a ano por todos os Estados e o Distrito Federal podem ou não serem significativas. Assim, considerando que as políticas educacionais do ensino médio implementadas por meio do PMCTE são avaliadas pelos IDEB, são estabelecidas as seguintes hipóteses:

- Hipótese nula (H0): as médias do rendimento escolar, na edição do IDEB de 2005 são estatisticamente diferentes das demais edições;

- Hipótese alternativa (H1): as médias do rendimento escolar, na edição do IDEB de 2005 são semelhantes às demais edições.

Dessa forma, parte-se da pressuposição de que a implementação do PMCTC pelo Ministério da Educação em 2007 provocou aumentos significativos nos IDEBs dos Estados e do Distrito Federal em relação à avaliação de 2005.

As diferenças nos rendimentos escolares do ensino médio são verificadas com o modelo estatístico denominado de Análise de Variância (ANOVA – fator único), que permite comparar médias de diferentes populações para verificar se essas populações possuem médias iguais ou não, bem como a aplicação dos Testes (post hoc) de Bonferroni e Tukey (comparação de médias duas a duas) e o Coeficiente de Determinação (R2) para verificação do ajuste do modelo e tamanho do efeito dos achados. A utilização do modelo empírico para o teste estatístico das hipóteses da ANOVA segue as orientações de Stevenson (1981), Cohen (1988, 1992), Martins (2002), Bisquerra, Sarriera e Martínez (2004), Lapponi (2005); Dancey e Reidy (2006), Field (2009), Fávero, Belfiore, Silva e Chan (2009), Ayres (2012) e Pestana e Gageiro (2014).

A Tabela 2 apresenta o modelo empírico para calcular as diferenças entre as médias dos IDEB da rede estadual do ensino médio dos Estados Brasileiros e o Distrito Federal dos anos 2005, 2007, 2009, 2011 e 2013, com base na Análise de Variância (ANOVA).

Tabela 2. Modelo empírico das diferenças de médias entre os
IDEB com base na Análise de Variância (ANOVA)

O procedimento da Análise de Variância (ANOVA) é um teste de hipóteses de médias de duas ou mais populações (Lapponi, 2005). A ANOVA nos informa se três ou mais médias populacionais são iguais (Field, 2009). Na ANOVA, assume-se que cada grupo provém de uma distribuição normal com variância homogênea e que as amostras são independentes (Fávero et al., 2009). Quando as hipóteses básicas da ANOVA são satisfeitas, esta técnica é extremamente poderosa para testar a igualdade de médias amostrais (Stevenson, 1981).

O método estatístico da ANOVA foi desenvolvido por Fisher, que, por meio do teste de igualdade de médias, verifica se fatores (variáveis independentes: quantitativas ou qualitativas) produzem mudanças sistemáticas em alguma variável de interesse (variável dependente: somente quantitativas) e observada dentro das classes dos fatores – os tratamentos (Martins, 2002).  O objetivo da prova da ANOVA consiste em comparar as diferenças das médias entre os grupos com as diferenças entre os indivíduos (inter-variabilidade e intravariabilidade), conforme argumentos de Bisquerra, Sarriera e Martínez (2004).

O Teste F calculado pela ANOVA deve ser complementado por testes adicionais (Teste de Tukey, Bonferroni, Dunnett e/ou Test t), em que se comparam as médias duas a duas para verificar se as diferenças devem ser consideradas como estatisticamente significativas (Ayres, 2012). Os testes post hoc (testes a posteriori, testes adicionais) servem como bases teóricas para os pesquisadores explicarem as diferenças entre os vários conjuntos de médias (Dancey & Reidy, 2006). Os testes de Tukey e Bonferroni são conservativos e ambos podem ser usados para comparar pares de médias (Pestana & Gageiro, 2014).

A percentagem da variação quantitativa explicada pelo fator é dada pelo coeficiente de determinação (R2), calculado pela divisão da variação entre os grupos com a variação total (Pestana & Gageiro, 2014). O tamanho do efeito é uma maneira de expressar a importância da descoberta na pesquisa (Field, 2009). Cohen (1988, 1992) estipulou as dimensões dos efeitos em pequeno, médio, elevado e muito elevado.

A Tabela 3 apresenta os resultados dos testes dos pressupostos (Tabela 2) para utilizar a ANOVA nos IDEB do ensino médio dos Estados Brasileiros e o Distrito Federal (Tabela 1).

Tabela 3. Resultados dos testes para a Análise de Variância (ANOVA)
dos IDEB da rede estadual do ensino médio

Podemos observar na Tabela 3 que os pressupostos da ANOVA (Fávero et. al., 2009) foram atendidos: os grupos da amostra apresentaram normalidade (no Teste de Kolmogorov-Smirnov, o p-valor para todos os anos do IDEB foi maior que o nível de significância de 0.01 – 1%); as variâncias são homogêneas (Teste de Levene com p-valor maior que 0.01, ou seja, teve a significância de 0.874) e as amostras são independentes (não há influência de um resultado em outro). Adotamos nesta investigação o nível de significância de 1%.

Observamos no teste básico da ANOVA, que o Teste F calculado (5.762) foi maior que o Teste F crítico/tabela (2.441), isso indica que as médias dos IDEB não são todas iguais (existe pelo menos uma diferença significativa nas médias). 

4. Análise dos Resultados

A Tabela 4 apresenta os resultados dos testes de comparação de média duas a duas (entre os anos de 2005 a 2013) dos IDEB da rede estadual do ensino médio para identificar se houve diferenças significativas entre as médias.

Tabela 4.

Resultados dos testes de comparação de médias duas a duas dos IDEB da rede estadual do ensino médio

Podemos verificar na Tabela 4, com base nos Testes Post Hoc (Bonferroni e Tukey), que houve diferenças significativas nas médias entre os anos de 2005 e 2009, 2005 e 2011 e entre os anos de 2005 e 2013 (p-valor menor que 0.01).  Todavia não houve diferença significativa entre 2005 e 2007. Assim, não se pode rejeitar a hipótese nula.

Esses resultados evidenciam que a implementação do PMCTE não apresentou mudanças significativas no IDEB no primeiro ano de vigência (2007), quando comparado com a avaliação anterior (2005). Entretanto, a partir da segunda avaliação (2009), os testes evidenciam uma mudança estatisticamente significativa no índice, sendo que esta mudança prevalece nas avaliações subsequentes (2011 e 2013).  

Diante do exposto, considerando-se que a primeira avaliação (2007) ainda não seria capaz de capturar os efeitos das políticas educacionais implantadas por meio do PMCTE, pode-se dizer que houve efetividade em relação à situação anterior (2005), conforme estabelecem Matias-Pereira (2010) e Figueiredo e Figueiredo (1986).

Contudo, a Tabela 4 também mostra que não existem diferenças de médias quando comparamos os demais pares de médias entre os anos (2007/2009; 2009/2011; 2011/2013). Isto significa que nestes anos seguintes houve relativa estabilização dos IDEBs médios dos Estados e do Distrito Federal, pois os indicadores médios de 2009, 2011 e 2013 são praticamente os mesmos, ou seja, tem-se um diagnóstico que não houve efetividade. Estes achados são importantes porque evidenciam que diante de uma situação de falta de efetividade, dificilmente a meta de alcançar o IDEB médio de 6 pontos em 2022 será atingida.

De acordo com Costa (2010), os resultados do IDEB possibilitaram que os atores educacionais pudessem ser responsabilizados pelos resultados de sua unidade e que o Ministério da Educação (MEC) identificasse e premiasse as escolas que atingem as metas, mas também oferecesse assistência técnica e financeira para as redes com piores resultados. A falta de efetividade apurada neste estudo coloca em dúvidas tais afirmações, mas mostra a necessidade de ações nessa direção para seja revertido o quadro que vem sendo delineado.

Quanto às críticas de Almeida, Dalben e Freitas (2013) e Schneider e Nardi (2013 sobre o IDEB, podemos verificar com base em Secchi (2013), que os indicadores não contemplam todas as variáveis envolvidas no processo de avaliação do ensino médio, haja vista que os indicadores são proxies de avaliação. Assim, os governos deveriam incluir outras variáveis, tais como: adoção de processos meritocráticos; desigualdades territoriais; autoavaliação etc.

Observamos que o coeficiente de determinação (R2) foi de 15.1% (0.151) para o tamanho do efeito dos achados. Isto significa um efeito médio (ajustamento), conforme orientação de Cohen (1988, 1992).  

5. Considerações Finais

As avaliações de políticas públicas são realizadas com indicadores que representam artifícios (proxies) que podem ser criados para medir inputs, outputs e outcomes. Neste sentido, o IDEB é o principal instrumento de avaliação da política educacional básica no Brasil estabelecida no Plano de Desenvolvimento da Educação.

As políticas públicas são ações governamentais dirigidas a resolver determinadas necessidades públicas e sua efetividade está relacionada com mudanças nas condições sociais. Esperamos da política educacional melhorias nos resultados dos IDEB como forma de evidenciar seu impacto.

Esta investigação, com base no objetivo central formulado, avaliou se houve ou não efetividade no Plano de Metas Compromisso de Todos pela Educação (PMCTE) de 2007 a 2013, por meio do rendimento obtido no Índice de Desenvolvimento da Educação Básica (IDEB), pelas escolas do ensino médio nos 26 Estados Brasileiros e no Distrito Federal.

Foram também apresentados e discutidos a evolução do IDEB obtido pelos Estados e Distrito-Federal de 2005 a 2013; avaliado a existência de efetividade políticas educacionais estabelecidas no PMCTE em relação ao ano de 2005 e ainda se houve efetividade das políticas educacionais estabelecidas no PMCTE em relação à avaliação aos anos de 2007, 2009 e 2011. 

Os resultados apurados deixam sérias dúvidas sobre o cumprimento das metas estabelecidas na PDE para o período de 2007 a 2022 na educação básica brasileira. O indicador objeto de avaliação de tais políticas, IDEB, estabelecido para 2022 deveria chegar a uma média de 6 pontos na escala de zero a dez.

Muito embora tenha havido crescimento quando se compara a avaliação de 2005 com as avaliações posteriores a 2007, na sequência, o que se observou foi estagnação do indicador com média um pouco acima de três, ou seja, bem longe da meta estabelecida. Também não se percebe mudanças nas políticas públicas educacionais destinadas ao ensino médio que visem reverter esse quadro.

Em outras palavras, o presente estudo evidencia a inexistência de efetividade objetiva das políticas estabelecidas no PMCTE, quando se avalia estatisticamente o rendimento médio obtido pelas escolas de ensino básico dos Estados e do Distrito Federal.

Podemos observar assim, que o presente artigo contribui com a literatura de avaliação de políticas públicas realizadas de forma conjunta. Entretanto, a partir dos procedimentos metodológicos do modelo empírico, outras pesquisas poderão ser realizadas.

Contudo, apesar do rigor metodológico, o artigo apresenta características que podem ser consideradas como limitações e se referem basicamente a avaliação dos resultados dos rendimentos escolares, sem considerar as diferenças regionais e que os resultados observados são específicos para o estudo, ou seja, não podem ser feitas generalizações.

Referências

Alcântara, C. M. (2009). Os princípios constitucionais da eficiência e eficácia da administração pública: estudo comparativo Brasil e Espanha. Constituição, Economia e Desenvolvimento: Revista da Academia Brasileira de Direito Constitucional. Curitiba, n. 1, Ago-Dez. p. 24-49.

Almeida, L. C.; Dalben, A. & Freitas, L. C. (2013). O IDEB: limites e ilusões de uma política educacional. Educ. Soc., Campinas, v. 34, n. 125, p. 1153-1174, out.- dez.

Arretche, M. T. S. (2009). Tendências nos estudos sobre avaliação. In: Rico, E. M. (org.). Avaliação de políticas sociais: uma questão em debate. 6. ed. São Paulo, Cortez.

Ayres, M. (2012). Elementos de bioestatística: a seiva do açaizeiro. 2. ed. Belém: Supercores.

Barreto, J. O. M.; Nery, I. S. & Silva, M. R. F. (2010). Aval: revista avaliação de políticas públicas, Fortaleza, ano 3, v. 1, n. 5, jan./ jun.

Bisquerra, R.; Sarriera, J. C. & Martínez, F. (2004). Introdução à estatística: enfoque informático com o pacote estatístico SPSS. Tradução de Fátima Murad. Porto Alegre: Artmed.

Bugarin, P. S. (2001). O princípio constitucional da eficiência: um enfoque doutrinário multidisciplinar. R. TCU, Brasília, v. 32, n. 87, jan/mar.

Caiden; G. E. & Caiden, N. J. (2001). Enfoques y lineamientos para el seguimiento, la medición y la evaluación del desempeño en programas del sector público. Revista do Serviço Público. Ano 52, Número 1, Jan-Mar.

Chicóski, D. (2004).  O princípio da eficiência e o procedimento administrativo. R. Dir. Adm., Rio de Janeiro, 237: 93-118, Jul./Set.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Second edition. New York: Academic Press.

Cohen, J. (1992). A Power Primer. Psychological Bulletin [PsycARTICLES]; July; v. 112, n. 1;  pg. 155-159.

Costa, C. C. R. C. (2010). O IDEB como indicador da qualidade da educação brasileira: o caso da Região Sudeste. E-xacta (Belo Horizonte), vol. 3 n.º 2.

Costa, F. L. & Castanhar, J. C. (2003). Avaliação de programas públicos: desafios conceituais e metodológicos. RAP, Rio de Janeiro 37 (5): 969-92, Set./Out.

Costa, G. L. M. (2015). Universalização do acesso e da permanência no ensino médio: aspectos dos estados de Santa Catarina e Minas Gerais. Educação em Perspectiva, Viçosa, v. 6, n. 1, p. 99-122, jan./jun.

Dancey, C. P. & Reidy, J. (2006). Estatística sem matemática para psicologia: usando SPSS para windows. Porto Alegre: Artmed.

Decreto n. 6.094 de 24 de abril de 2007 (2007). Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a mobilização social pela melhoria da qualidade da educação básica. Recuperado em 08 agosto, 2016, de http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/decreto/d6094.htm

Draibe, S. M. (2001). Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira, M. C. R. N.; Carvalho; M. C. B. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP.

Dutra, P. F. V. (2013). Educação integral no Estado de Pernambuco: uma realidade no ensino médio. Dissertação de Mestrado Profissional em Gestão e Avaliação da Educação Pública. Universidade Federal de Juiz de Fora, Juiz de Fora, Brasil.

Fávero, L. P.; Belfiore, P.; Silva; F. L. & Chan, B. L. (2009). Análise de dados: modelagem multivariada para tomada de decisões. Rio de Janeiro: Elsevier.

Field, A. (2009). Descobrindo a estatística usando o SPSS.  Tradução de Lorí Viali. 2. ed. Porto Alegre: Artmed.

Figueiredo, M. F. & Figueiredo, A. M. C. (1986). Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise & Conjuntura, Belo Horizonte, 1 (3): 107 – 127, set./dez.

Gouveia, A. B.; Souza, A. R. & Tavares, T. M. (2009). O IDEB e as políticas educacionais na região metropolitana de Curitiba. Est. Aval. Educ., São Paulo, v. 20, n. 42, p. 45-58, jan./abr.

Herrán, C.; Gremaud, A. & Guimarães, M. H. Melhores práticas em escolas de ensino médio do Brasil: resumo executivo. Abril, 2010. Disponível em: <http://hdl.handle.net/11465/1164>. Acesso em: 03 ago. 2016.

Höfling, E. M. (2001). Estado e políticas (públicas) sociais. Cadernos Cedes, ano XXI, nº 55, novembro.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). (2016). IDEB – Resultados e Metas. Recuperado em 20 junho, 2016 de http://ideb.inep.gov.br/resultado/resultado/resultado.seam?cid=6429932

Lapponi, J. C. (2005). Estatística usando Excel.  Rio de Janeiro: Elsevier.

Martins, G. A. (2002). Estatística geral e aplicada. 2. ed. São Paulo: Atlas.

Matias-Pereira, J. (2010). Governança no setor público. São Paulo: Atlas.

Matias-Pereira, J. (2012). Manual de metodologia da pesquisa Científica. 3. ed. São Paulo: Atlas.

Maciel, W. K. S. (2013). Impacto dos investimentos financeiros na rede estadual do ensino médio e a sua relação com o índice de desenvolvimento da educação básica – IDEB. Dissertação de Mestrado Profissional em Gestão e Avaliação da Educação Pública, Universidade Federal de Juiz de Fora, Juiz de Fora, Brasil.

Melo, S. D. G.; Duarte, A.  (2011). Políticas para o ensino médio no Brasil: perspectivas para a universalização. Cad. Cedes, Campinas, vol. 31, n. 84, p. 231-251, maio-ago. 2011.

Moehlecke, S. (2012). O ensino médio e as novas diretrizes curriculares nacionais: entre recorrências e novas inquietações. Revista Brasileira de Educação, v. 17 n. 49 jan.-abr.

Paludo, C.; Souza, M. A. & Beltrame, S. A. B. (2015). Escolas do campo na região sul do Brasil: primeiras aproximações a partir do IDEB. Educação em Perspectiva, Viçosa, v. 6, n. 2, p. 290-316, jul./dez.

Pestana, M. H. & Gageiro, J. N. (2014). Análise de dados para ciências sociais: a complementaridade do SPSS. 6. ed. Lisboa: Sílabo.

Santos, F. B. & Souza, M. J. S. (2007). O princípio constitucional da eficiência na defesa do consumidor de serviços públicos. Revista de Direito e Liberdade, v. 5, p. 393-402.

Schneider, M. P. & Nardi, E. L. (2013). O Potencial do IDEB como estratégia de accountability da qualidade da educação básica. RBPAE - v. 29, n. 1, p. 27-44, jan/abr.

Secchi, L. (2013). Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. Ed. São Paulo: Cengage Learning.

Sousa, S. Z. & Lopes, V. V. (2010). Avaliação nas políticas educacionais atuais reitera desigualdades. Revista Adusp, janeiro.

Souza, A. M. (2005). A relevância dos indicadores educacionais para a educação básica: informação e decisões. In: Souza, A. M. (Org.). Dimensões da avaliação educacional. Petrópolis: Vozes.

Stevenson, W. J. (1981). Estatística aplicada à administração.  São Paulo: Harper & Row do Brasil.

Vieira, S. L.; Vidal, E. M. & Nogueira, J. F. F. (2015) Gestão da aprendizagem em tempos de IDEB: percepções dos docentes. RBPAE - v. 31, n. 1, p. 85 - 106 jan./abr.

1. Doutor em Ciência Contábeis pelo Programa das UnB/UFPB/UFRN. Mestre em Ciências Contábeis (UnB/UFPB/UFPE/UFRN). Especialista em Contabilidade e Controladoria Governamental pela Universidade Federal de Pernambuco (UFPE). Professor Adjunto da Universidade Federal do Rio Grande do Norte (UFRN). E-mail: prof.mauriciocsilva@gmail.com

2. Doutor em Controladoria e Contabilidade pela Universidade de São Paulo (FEA/USP). Mestre em Administração, Especialista em Docência na Educação Superior, Especialista em Controladoria e Contabilidade e Graduado em Ciências Contábeis pela Universidade Federal de Uberlândia (UFU). Professor Adjunto da Universidade Federal de Uberlândia (UFU). E-mail: gilbertojm1@gmail.com

3. Doutor em Controladoria e Contabilidade (FEA/USP). Professor Titular do Departamento de Ciências Contábeis da Universidade Federal do Rio Grande do Norte (UFRN), do Programa de Mestrado em Ciências Contábeis da UFRN e do Programa de Pós-graduação em Ciências Contábeis das UnB/UFPB/UFRN. E-mail: dionisio@ufrnet.br