Resumos

Valor Agregado de Instituições de Ensino Superior em Minas Gerais para os Cursos de Direito, Administração e Engenharia Civil

José Francisco Soares

Leandro Molhano Ribeiro

Cláudio de Moura Castro

INTRODUÇÃO

A avaliação de cursos superiores por intermédio do Exame Nacional de Cursos ¾ ENC, também conhecido como Provão, vem provocando forte impacto na comunidade acadêmica brasileira, desde a sua introdução em 1996. Críticas severas foram feitas ao Exame pelos sindicatos de professores e organizações estudantis, que chegaram mesmo a organizar boicotes às provas¹ 1 . Uma compilação das críticas mais comuns realizadas pelos atores envolvidos com a educação superior pode ser vista em Elliot (1996). . Algumas evidências esparsas sugerem que os docentes de ensino superior ficaram divididos sobre a propriedade e adequação do ENC. Por outro lado, vários outros grupos sociais manifestaram-se claramente a favor. Nessas discussões, entretanto, pouca atenção foi dada à metodologia subjacente ao ENC. Este estudo objetiva preencher parte dessa lacuna, mostrando as limitações dos procedimentos metodológicos usados no ENC e apresentando os resultados de uma pesquisa com Instituições de Ensino Superior ¾ IESs, de Minas Gerais, na qual se emprega uma metodologia baseada no cálculo do valor agregado. Com isso, pretende-se contribuir para um melhor conhecimento do ENC, além de oferecer sugestões para o aperfeiçoamento da avaliação do ensino superior no país, instrumento importante para a formulação de políticas públicas transparentes e responsáveis para o setor de ensino.

Os diferentes cursos das IESs brasileiras são avaliados pelo Ministério da Educação e do Desporto ¾ MEC com base nos resultados obtidos por seus alunos nos ENCs. Basicamente, as diferentes IESs são comparadas, usando-se como critério de avaliação a média do resultado de seus ex-alunos no ENC. No entanto, essa forma de avaliação tem sido muito criticada internacionalmente, em virtude dos problemas metodológicos que apresenta² 2 . A síntese dos argumentos contra a avaliação de instituições de ensino baseada na comparação das médias dos resultados de alunos em exames é realizada por Goldstein e Thomas (1996). . Essencialmente, ao não considerar o desempenho acadêmico prévio dos alunos nem a posição socioeconômica de sua família, essa metodologia favorece as IESs que admitem os alunos mais bem preparados ao fim do ensino médio, que são, freqüentemente, também aqueles de melhor condição social e econômica (Soares et alii, 1998).

Como metodologia alternativa, sugere-se, pelo menos para alguns dos objetivos atuais de avaliação das IESs, a utilização do valor agregado de cada instituição de ensino como medida básica. Define-se valor agregado, por exemplo, em Goldstein e Thomas (1996), como o quantitativo acrescido por cada instituição de ensino, por intermédio de suas práticas, políticas e processos internos, ao desempenho acadêmico dos alunos. Com o uso desse conceito se obtém uma classificação criteriosa das IESs, oferecendo à sociedade uma síntese mais apropriada da qualidade das diferentes instituições, além de informações úteis para o aperfeiçoamento do sistema de avaliação no país.

O grande desafio para o cálculo do valor agregado consiste na obtenção dos dados necessários. São necessárias duas bases de dados articuladas: uma medindo o desempenho do aluno ao fazer o vestibular e outra o seu rendimento após a conclusão do curso superior. Ou seja, uma medida de qualidade na entrada e outra na saída do sistema de ensino. No Brasil, a medida de resultado de fim de curso tornou-se possível com o Provão. Já as medidas de desempenho prévio dos alunos, ao entrarem nos seus respectivos cursos superiores, ainda são de difícil obtenção, pois os vestibulares não são unificados e não se pode comparar a pontuação de um com a de outro.

Neste trabalho, calculou-se o valor agregado dos cursos de Direito, Administração e Engenharia Civil oferecidos por algumas IESs de Minas Gerais. Como medida de desempenho prévio dos alunos, foram utilizados os resultados dos vestibulares da Universidade Federal de Minas Gerais ¾ UFMG, que por ser gratuita e muito bem-conceituada é a mais cobiçada no estado. Dos candidatos ao seu vestibular sobram alguns milhares que, obviamente, se dirigem a outras instituições. Em muitas outras IESs o número dos que fizeram o vestibular da UFMG é suficientemente grande, tornando assim possível o cálculo do valor agregado da instituição.

Este trabalho está estruturado da seguinte forma: na próxima seção são fornecidas informações gerais sobre o Provão. Em seguida, a metodologia utilizada pelo MEC na avaliação dos cursos superiores é analisada criticamente e apresentada a metodologia baseada no valor agregado. Posteriormente, descreve-se a base de dados e as variáveis utilizadas na pesquisa. Na quinta seção, é realizada uma análise descritiva da heterogeneidade sociocultural do corpo discente das IESs em pauta e sua relação com o desempenho dos seus estudantes no Provão. Em seguida, são calculados os valores agregados para os cursos analisados. Ao final, são exibidas as conclusões da pesquisa.

O EXAME NACIONAL DE CURSOS (PROVÃO)

O Exame Nacional de Cursos foi implantado em 1996 pelo MEC para atender aos dispositivos da Lei nº 9.131. O Provão insere-se no contexto mais amplo de avaliação educacional, definido pela Lei de Diretrizes e Bases da Educação Nacional, Lei nº 9.394, de 20/12/1996, que determina a concessão por tempo limitado do reconhecimento de cursos e do credenciamento de instituições de educação superior. O Provão constitui-se em um dos instrumentos a ser utilizado pelo MEC para o recredenciamento das IES.

O artigo 3º da Lei nº 9.131, de 24/11/1995, que estabelece o ENC dispõe que "o Ministério da Educação e do Desporto fará realizar avaliações periódicas das instituições de nível superior, fazendo uso de procedimentos e critérios abrangentes de diversos fatores que determinam a qualidade e a eficiência das atividades de ensino, pesquisa e extensão." Os procedimentos adotados para as avaliações incluem a realização anual de exames nacionais, "com base em conteúdos mínimos estabelecidos para cada curso, previamente divulgados e destinados a aferir os conhecimentos e competências adquiridos pelos alunos em fase de conclusão dos cursos de graduação" (idem).

O Provão é composto de um teste de conhecimento acompanhado por um questionário com itens que captam as características socioeconômicas e culturais dos estudantes. As questões do teste de conhecimento são construídas tendo como referência as diretrizes e os currículos dos cursos. As provas são constituídas de questões objetivas (tipo múltipla escolha) e discursivas de acordo com as opções das diferentes comissões. O questionário é formado por questões demográficas e sobre as condições sociais e econômicas dos estudantes, suas atividades escolares durante o curso de graduação, suas avaliações pessoais sobre os cursos e as IESs ¾ como a prática didática predominantemente utilizada pelo corpo docente ¾ , sobre as contribuições do curso para a inserção dos alunos no mercado de trabalho e sobre as condições físicas da instituição.

A Lei nº 9.131 estabelece, ainda, a obrigatoriedade do Exame para a obtenção do diploma, independentemente do grau atingido pelo aluno na avaliação. Os resultados alcançados individualmente não são divulgados publicamente. Além disso, a incorporação de cursos no programa de avaliação é gradativa, cabendo ao MEC definir, anualmente, aqueles que passarão a fazer parte da avaliação. Na primeira edição do ENC foram escolhidos os cursos de Administração, Direito e Engenharia Civil. Atualmente são avaliados 22 cursos³ 3 . Os cursos que serão analisados em 2001 são: Administração, Agronomia, Biologia, Comunicação Social, Direito, Economia, Engenharia Civil, Engenharia Elétrica, Engenharia Mecânica, Engenharia Química, Farmácia, Física, Letras, Matemática, Medicina, Medicina Veterinária, Odontologia, Pedagogia, Psicologia e Química. .

METODOLOGIA DE AVALIAÇÃO DAS INSTITUIÇÕES DE ENSINO SUPERIOR E O VALOR AGREGADO

A Lei nº 9.131 fixa que o ENC tem como objetivo avaliar os cursos de graduação e os conhecimentos e competências adquiridos pelos alunos que estão em fase de conclusão dos cursos superiores. No entanto, a metodologia de avaliação utilizada pelo MEC permite observar apenas o nível de conhecimento atingido pelo aluno ao final de sua graduação, mas não captar o conhecimento acrescentado a ele pelo curso superior realizado.

Para a avaliação dos cursos, o MEC atribui a cada um conceitos obtidos pela combinação das notas médias alcançadas pelos seus alunos no ENC e as notas atribuídas à titulação do corpo docente. Entretanto, esse procedimento não permite distinguir se um bom resultado no exame é fruto de um bom ensino ou, simplesmente, a conseqüência do recrutamento, pela instituição de ensino superior, de bons alunos. Isso porque o desempenho acadêmico é conseqüência de múltiplos fatores e não apenas do efeito da instituição de ensino. De fato, estudos recentes sobre os fatores que influenciam o desempenho acadêmico mostram que, além da escola, o ambiente cultural oferecido aos estudantes por sua família, o envolvimento dos pais no processo de aprendizagem, sua posição socioeconômica e as características individuais dos alunos, como sua motivação, habilidade cognitiva e seu desempenho prévio, são fatores explicativos importantes do desempenho acadêmico (Clark, 1983; Thomas, 1998; Lareau, 1987). Assim, instituições de ensino que recrutam alunos com características socioeconômicas e habilidades cognitivas maiores podem obter melhores resultados médios no Provão do que instituições que recrutam alunos com baixas condições socioculturais e habilidades cognitivas. A superioridade das primeiras resulta, assim, de características de seu corpo discente, mais que da oferta de um ensino de melhor qualidade. Nesse sentido, só a utilização de uma metodologia que controle os fatores substantivos que influenciam o desempenho acadêmico é que torna possível captar o efeito específico exercido por uma instituição sobre o desempenho de seus alunos.

A consideração pelo MEC somente das notas médias brutas dos alunos recém-formados na avaliação e classificação das IESs, ao contrário, pressupõe que os graus obtidos pelos alunos no Exame são o reflexo apenas do efeito da instituição de ensino, desconsiderando os fatores enumerados que influenciam o processo de aprendizagem. Sendo assim, a comparação de médias só seria um procedimento adequado caso a clientela das diferentes IESs possuísse perfis socioeconômicos e habilidades individuais comparáveis. No entanto, estudos empíricos recentes mostram que há heterogeneidade acadêmica e socioeconômica entre os alunos de diferentes IESs (Soares et alii, 1998).

Dessa forma, a efetividade de uma instituição de ensino deve ser medida pelo que acrescenta ao conhecimento do aluno durante sua permanência nela, e não pela nota final obtida por ele em determinado exame. O cálculo do valor agregado consiste na comparação da situação do aluno ao ingressar na instituição com o patamar atingido por ele no final do processo de aprendizagem. Calcula-se dessa forma quanto o aluno se desenvolveu durante a permanência na instituição.

Com isso, é possível observar a existência de instituições que, se por um lado acrescentam muito ao desempenho dos alunos, por outro, dadas as características individuais e socioeconômicas dos mesmos, não se destacam nas médias finais do Provão. Ou ao contrário, instituições que acrescentam muito pouco aos alunos, mas que por receberem alunos com uma situação inicial favorável, destacam-se na avaliação final.

Como, na prática, a escala da medida de proficiência do aluno no momento de ingresso na IES é diferente daquela na saída, o que é viável calcular, na maioria das situações, é uma medida do efeito de cada IES, controlada pelas características socioeconômicas dos alunos. Embora tecnicamente diferente do conceito de valor agregado, como definido anteriormente, do ponto de vista prático ela produz os mesmos resultados, pois permite comparar IESs com clientelas diferentes. Neste texto, tomamos esses dois conceitos, valor agregado e efeito de uma instituição, como equivalentes.

Essas idéias são implementadas por meio dos Modelos Hierárquicos de Regressão Múltipla, que permitem medir, separadamente, a variabilidade associada às instituições de ensino e a variabilidade que ocorre dentro delas por causa dos seus alunos. Além disso, permitem o cálculo do efeito de cada IES e fornecem uma medida da força de associação entre as características dos alunos e o desempenho.

OS DADOS UTILIZADOS

Em Minas Gerais, existem dados para o cálculo do valor agregado de IES, já que a UFMG, através do Laboratório de Medidas Educacionais do Departamento de Estatística, tem preservado os dados dos seus vestibulares desde 1992. Dessa forma, é possível conhecer as notas da primeira etapa do vestibular de alunos que, reprovados na UFMG, fizeram seus cursos em outras instituições superiores e, assim, realizar o cálculo do valor agregado para um conjunto relevante de IESs.

O trabalho de cálculo do valor agregado das IESs de Minas Gerais foi realizado mediante a agregação de duas bases de dados: os arquivos com as notas dos estudantes na primeira etapa dos vestibulares da UFMG entre 1992 e 1996 e o banco de dados do Instituto Nacional de Estudos Pedagógicos ¾ INEP, com as notas dos estudantes do Provão de 1996 a 1999. Foram selecionados os alunos que realizaram o vestibular e o Provão nos períodos considerados e as IESs com mais de quinze alunos ¾ número mínimo de casos considerado suficiente para a inclusão de uma IES. Foram identificados 6.142 estudantes que preencheram os critérios de análise. A Tabela 1 apresenta o número de estudantes por curso de graduação que realizou o Provão entre 1996 e 1999.

As IESs que tiveram alunos incluídos na análise são listadas nas tabelas seguintes.

Antes de proceder ao cálculo do valor agregado de cada IES, comparou-se o desempenho dos alunos incluídos na análise com aqueles da mesma instituição que fizeram o ENC no período, mas não foram incluídos. Naturalmente, a única razão para a exclusão desses estudantes é o fato de não terem feito os vestibulares da UFMG entre 1992 e 1996 e, assim, não existir a medida de seu desempenho prévio. Ao constatar, por intermédio dos testes estatísticos, que o desempenho dos dois grupos de estudantes não foi diferente, tem-se uma forte evidência de que aqueles inseridos na análise podem ser considerados alunos típicos das suas IESs. Ou seja, os resultados deste estudo, embora baseados em uma parte dos alunos de cada IES, produzem uma estimativa não-viciada do valor agregado de cada IES considerada.

Variável Dependente: Nota do Estudante no Provão

O desempenho dos estudantes no ENC, medido pela nota total, é tomado neste trabalho como a variável dependente de interesse. Para tornar comparáveis as notas obtidas pelos estudantes de um mesmo curso nos diferentes anos foi feita uma equalização daquelas obtidas pelos estudantes no ENC, fixando-se as referentes aos percentis das distribuições das notas nos anos de 1996 a 1998 aos valores associados aos mesmos percentis da distribuição das notas em 1999. Para realizar essa padronização, foram utilizadas as notas de todos os estudantes que realizaram o Provão em Minas Gerais e não apenas dos alunos selecionados para a análise. A justificativa técnica desse procedimento pode ser encontrada em Kolen e Brennan (1995:6).

Variáveis Explicativas

Desempenho Prévio [prévio]

O desempenho prévio é medido pela nota total nas provas da primeira etapa dos vestibulares da UFMG, comuns a todos os estudantes independente do curso escolhido. Para que os valores obtidos pudessem ser comparados, as diferentes notas foram equalizadas através do mesmo procedimento usado na padronização do desempenho dos estudantes no ENC. No caso do vestibular, a padronização se dá a partir da distribuição dos percentis das notas obtidas no vestibular de 1992 e foram utilizadas as notas de todos os estudantes que fizeram o vestibular em cada ano considerado.

Gênero [sexo]

As diferenças entre os sexos dos estudantes usualmente são inseridas nos estudos sobre desempenho acadêmico. Nesta pesquisa, usou-se o número 1 para identificar as alunas e o número 0 para identificar os alunos.

Índice Socioeconômico[sócio]

As informações sobre a origem social dos estudantes usadas na análise são as obtidas nos questionários respondidos no ato de inscrição no vestibular da UFMG, no ano de entrada do estudante no ensino superior. Contudo, como esses questionários não foram construídos com o objetivo de viabilizar análises do tipo aqui utilizado, os índices usuais de caracterização socioeconômica, como o "critério Brasil", da Associação Brasileira de Anunciantes ¾ ABA, não puderam ser empregados.

O índice socioeconômico usado como medida de posição social dos estudantes é o somatório dos postos do valor das variáveis: escolaridade do pai do estudante (7 níveis); escolaridade da mãe do estudante (7 níveis); tipo de escola em que o estudante fez o 2º grau (sendo atribuído o valor 0 para indicar a rede pública e 4 a rede particular) e o turno (sendo atribuído o valor 0 para o curso noturno e 4 para o curso diurno)⁴ 4 . A escolha dos valores 0 e 4 é empírica. Procurou-se valorizar os indicadores escolares, mas em nível inferior aos indicadores de escolaridade dos pais, cujo uso é respaldado por muitos trabalhos científicos. . O menor valor possível para o índice é 2 e o maior, 22.

Efeito dos pares [pares]

É bastante fácil entender o impacto do nível socioeconômico sobre o aluno, pois é comum o reconhecimento de que os filhos de famílias mais educadas apresentam melhores resultados em todos os aspectos relacionados à educação. Mas para separar o efeito líquido da instituição de ensino sobre o desempenho dos alunos, não basta considerar aquilo que eles trazem como bagagem educacional e cultural. Deve-se também levar em conta o impacto das características dos outros alunos que freqüentam a mesma instituição. Ou seja, não é apenas a qualidade da instrução que conta, mas os parceiros com quem se estuda. Quem tem colegas intelectualmente mais preparados, sabe-se por outras pesquisas, aprende mais. Ou seja, independentemente de seus méritos, uma instituição oferece mais a um aluno quando os outros que a freqüentam têm níveis mais elevados de desempenho. Sendo assim, a nota média dos alunos de uma IES no vestibular foi utilizada como medida do "efeito dos pares".

Heterogeneidade Sociocultural do Corpo Discente e Desempenho no Provão

Estabelecidas a base de dados e as variáveis que compõem o estudo, é importante observar como se distribuem as características dos estudantes cujos dados serão analisados.

A distribuição dos estudantes conforme o sexo é semelhante nos cursos de Direito e Administração: 52% deles são do sexo feminino e 48% do masculino. Não há diferenças significativas de desempenho no Provão de acordo com o gênero nesses dois cursos. Já no de Engenharia, a distribuição por gênero revela a predominância do sexo masculino, representando 69% do total de estudantes. Conforme se observa no Gráfico 1, os estudantes de Engenharia Civil do sexo masculino obtiveram notas medianas no ENC, um pouco acima das das mulheres.

A distribuição do índice socioeconômico dos estudantes revela a heterogeneidade da condição social e econômica entre eles no momento de entrada no curso superior nos três cursos analisados. Como são poucos os estudantes com um índice socioeconômico abaixo de 6 e metade possui um índice acima de 15, pode-se dizer que os estudantes incluídos na análise possuem, de forma geral, uma boa condição social e econômica.

O Gráfico 2 mostra a associação univariada entre o desempenho no Provão e o índice socioeconômico dos alunos de Administração. Os outros dois cursos têm comportamento similar. Existe uma grande semelhança nas notas medianas e na variação em torno delas entre os estudantes com distintas condições sociais e econômicas. Este resultado é muito diferente dos apresentados por pesquisas que tratam do desempenho dos alunos no vestibular, em que se observa uma relação direta entre condição socioeconômica e desempenho (Soares et alii, 1999).

Uma explicação possível para esse fato, à primeira vista contraditório, é o processo de seleção decorrente do próprio formato do ensino brasileiro, no qual o término do ensino médio e o sucesso no vestibular são alcançados por uma parcela diminuta de estudantes. Os alunos que ingressam no ensino superior são aqueles de mais elevado nível socioeconômico e habilidades cognitivas. Assim, são poucos os estudantes que, apesar de possuírem nível socioeconômico baixo, têm desempenho escolar destacado e ingressam nos cursos superiores aqui analisados. Estes, somados aos alunos com condição socioeconômica elevada, formam uma clientela razoavelmente homogênea quanto ao desempenho acadêmico. Porém, estudos mais detalhados são necessários para se comprovar tal hipótese.

No entanto, as diferenças nas condições sociais e econômicas dos estudantes são facilmente observadas quando se agrega o índice socioeconômico por Instituição de Ensino Superior. Essas dessemelhanças podem ser vistas no Gráfico 3 para o curso de Direito e revelam a existência de clientelas diversas nos cursos oferecidos pelas distintas IESs, no que se refere à condição social e econômica dos seus estudantes.

Temos, portanto, um jogo complexo nas interações entre o status do aluno e seu rendimento. Uma possível síntese é:

(i) O vestibular seleciona, eliminando grande parte dos alunos de status mais baixo que têm menos rendimento.

(ii) Mas seleciona tanto que entre os remanescentes, candidatos ao Provão, o status familiar tem pouco impacto residual.

(iii) Não obstante, as escolas tendem a atrair clientelas mais homogêneas, isto é, algumas recrutam grupos de maior status familiar, outras de menor.

Relação com o Desempenho no Provão

As Tabelas 5, 6 e 7 apresentam, na primeira coluna, a sigla das IESs analisadas; na segunda, o desempenho médio de seus estudantes no Provão; na terceira, os valores correspondentes ao índice socioeconômico médio de seus estudantes; na quarta, o desempenho prévio médio de sua clientela. As IESs estão ordenadas segundo o desempenho médio dos seus estudantes no Provão. Assim, é possível estabelecer comparações entre a posição dos cursos de cada IES em cada variável considerada. Um olhar sobre os dados contidos nas tabelas revela a existência de clientelas diferentes entre as IESs analisadas para os cursos de Direito, Administração e Engenharia.

Nos cursos de Direito há uma certa correspondência entre essas três variáveis. Observa-se que quatro dos seis cursos de Direito com estudantes com melhor desempenho médio, são os que possuem os maiores índices socioeconômicos médios: os cursos de Direito da UFMG, da PUC, da FDMC e da FUMEC. A correspondência é mais forte, contudo, entre as variáveis de desempenho prévio e final. Como pode ser observado nas tabelas, a ordenação dos cursos de Direito é semelhante à ordenação produzida pelo desempenho médio dos seus estudantes nos vestibulares. Sete cursos de Direito das IESs, cujos estudantes obtiveram melhores notas no ENC, são os mesmos quando a ordenação é feita a partir do desempenho médio de seus alunos nos vestibulares (da UFMG, da UFV, da PUC, da FDMC, da UFU, da FUMEC e da UNIMONTES). Já os quatro cursos piores colocados em relação às notas médias dos estudantes no vestibular, estão entre os cinco piores posicionados quando o desempenho médio dos estudantes no ENC é considerado (UNIFENAS, UNIUBE, FADOM, FADIVALE E FADITO).

A mesma diversidade de clientela dos cursos de Direito das IESs também se verifica entre os de Administração e Engenharia. Observando-se a Tabela 6, constata-se que os cursos de Administração da FUMEC, UNA, UFMG e PUC concentram os estudantes com melhor condição social e econômica, com um índice médio acima de 13. Ao contrário do que foi encontrado na análise da clientela do curso de Direito, não se observa correspondência acentuada entre o índice socioeconômico e os desempenhos prévio e final. Já a correspondência entre os desempenhos prévio e final dos estudantes de Administração das IESs é maior: a UFMG e a EGMG destacam-se em relação às demais IESs, posicionando-se em ambos os casos em primeiro e segundo lugar, respectivamente. Além disso, quatro cursos de Administração das IESs com melhor desempenho médio de seus estudantes no ENC estão entre os cinco cursos com melhor desempenho prévio dos estudantes (UFMG, EGMG, UFV e PUC). Além disso, os cinco cursos das IESs, cujos estudantes tiveram os piores desempenhos médios no ENC, estão entre os seis cursos das IESs com piores desempenhos médios nos vestibulares (IH, FAC, FAGV, UNICENTRO e ICMG). O destaque são os alunos de Administração da UFMG que obtiveram o melhor desempenho prévio e final e possuem a terceira melhor condição social e econômica.

Em relação ao curso de Engenharia Civil, observam-se também diferenças entre as clientelas dos cursos oferecidos pelas diferentes IESs, destacando-se o bom posicionamento da UFMG em relação às demais IESs. Nesse caso, há uma correspondência forte entre o desempenho prévio médio e o desempenho final dos estudantes das IESs.

Modelos estatísticos usados na análise

Nesta seção são descritos e ajustados os modelos estatísticos utilizados para medir o valor agregado das diferentes IESs incluídas aqui. Conforme mencionado anteriormente, como as escalas das medidas de proficiência no vestibular e no Provão são distintas, foi possível calcular apenas o "efeito puro" de cada IES, e não o seu valor agregado. A despeito da diferença entre os conceitos de valor agregado e "efeito puro", em termos práticos os resultados são equivalentes.

Na literatura, o conceito "efeito puro da escola", ou no nosso caso simplesmente "efeito de IES", refere-se à diferença entre o valor médio do resultado, estimado através de um modelo, para um aluno com certas características de formação, freqüentando uma determinada escola, e o valor médio do resultado, também estimado, para o mesmo aluno em relação a todo o sistema escolar.

Usaremos dois tipos de "efeitos das escolas", denominados de A e B, conforme definidos por Willms (1992). Para o cálculo do efeito do tipo A, equalizam-se estatisticamente as clientelas, usando um modelo estatístico que inclui, como variáveis de controle, pelo menos, medidas da posição econômica do aluno e de seu desempenho prévio. A estimativa do efeito do tipo B requer o controle de fatores contextuais, que fogem ao controle da IES, como, por exemplo, a composição socioeconômica de seu corpo discente.

Os efeitos do tipo A são, em tese, de interesse maior para os estudantes quando estão no processo de decisão sobre qual IES cursar. Já os efeitos do tipo B são importantes para a tomada de decisão sobre políticas educacionais e, portanto, úteis para administradores escolares, professores, gestores públicos. Por intermédio desse tipo de efeito, obtém-se uma medida do desempenho comparativo das escolas equalizadas por suas respectivas clientelas e pelas condições nelas existentes para o exercício do seu projeto acadêmico.

Os dados aqui analisados têm uma estrutura em dois níveis. No primeiro, encontram-se os candidatos; no segundo as IESs onde eles completaram seu curso. Diante disso, usamos modelos lineares hierárquicos de regressão: o modelo 1 incorpora apenas a escola onde o aluno concluiu o ensino médio, portanto, permite somente a estimativa das médias brutas das escolas, naturalmente com seus desvios-padrão. O modelo 2 inclui as covariáveis específicas do aluno ¾ sexo, desempenho prévio, índice socioeconômico ¾ e permite o cálculo do efeito tipo A. O modelo 3 controla também pela composição socioeconômica média da escola, permitindo o cálculo do efeito tipo B. Todos esses modelos foram estimados através do software MLWin (Rasbash et alii, 1999).

Modelo 1 – Os efeitos brutos

Este primeiro modelo incorpora, como fator explicativo dos resultados, apenas a IES onde o aluno terminou seu curso superior. A equação que define este modelo é:

onde Y_ij é a nota no ENC do aluno i da escola j; u_j é o efeito tipo 1 de cada IES e e _ij é o erro aleatório.

Esse modelo se constitui, essencialmente, em uma forma alternativa de se estimar as médias brutas das diferentes IESs. O coeficiente b₀ é igual à média das médias brutas de todas as escolas incluídas no estudo. Deve-se observar que, em geral, a nota média dos alunos é muito baixa. O efeito de cada IES é a diferença entre esse valor e a média das notas dos alunos de cada escola. Como esse modelo não utiliza nenhuma variável de controle, os respectivos efeitos são denominados efeitos brutos. Os resultados não devem ser utilizados para comparação entre as diferentes IESs, em virtude da heterogeneidade socioeconômica do alunado. No entanto, começar a análise por eles facilita a compreensão dos modelos mais adequados e completos, a serem apresentados posteriormente. A síntese do ajuste desse modelo para os três cursos considerados é apresentada na Tabela 8.

A relação entre as duas partes em que a variância é medida é sintetizada no coeficiente de correlação intra-escolas. Existe mais variação dentro de cada IES do que entre IESs. A dominância da variância entre alunos, dentro da escola, observada na Tabela 8, é amplamente conhecida. Esse resultado, confirmado por todos os trabalhos feitos na área, pode, entretanto, levar a um injustificado pessimismo pedagógico, já que indica que a explicação para a maior parte da variação no desempenho dos alunos deve ser procurada fora da escola. No entanto, a parcela de variação associada à escola é suficientemente grande para influenciar decisivamente a vida dos alunos, como é demonstrado nos trabalhos de Thomas e Mortimore (1996), Goldstein e Spiegelhalter (1996) e Sammons et alii (1997).

Nos cursos de Direito, Administração e Engenharia Civil, as IESs são responsáveis, respectivamente, por 16%, 20% e 23% da variação total. Isso significa que a variação interna a cada instituição, ou seja, a diferença entre os desempenhos dos alunos de uma mesma instituição, é a grande responsável pela variabilidade observada nos resultados. Assim, embora uma escola possa favorecer o desempenho de um estudante no Provão, ela, por si só, é incapaz de "determinar" um bom resultado ao seu alunado. Em outras palavras, as características individuais dos estudantes, relacionadas às suas condições sociais e culturais e às suas habilidades cognitivas são as maiores responsáveis pela variação no resultado do Provão.

Como algumas IESs têm um corpo discente privilegiado em termos socioeconômicos, seus alunos tenderão a obter um resultado médio mais alto no Provão. Tal resultado é, em grande parte, decorrente não do ensino ministrado nas IESs, mas da "bagagem" prévia de conhecimentos dos alunos. Daí que para uma comparação efetiva das IESs, são necessários outros modelos.

Modelo 2 – Equalização das clientelas das escolas

O segundo modelo inclui, como controle, covariáveis específicas para os alunos ¾ sexo, índice socioeconômico e desempenho prévio ¾ , com o objetivo de criar, através do modelo estatístico, comparabilidade entre os alunados das diferentes IESs. Permite, assim, estimar o efeito tipo A de cada IES. As variáveis índice socioeconômico e desempenho prévio estão incluídas no modelo de forma centralizada (Bryk e Raudenbush, 1992:25), ou seja, para uso no modelo o valor dessas variáveis para cada aluno é diminuído da média geral.

Em notação matemática, esse modelo é dado por:

Y_ij = b₀₀ + b₁(sexo)_ij + b₂(socio)_ij + b₃(previo)_ij + u_j+ e_ij,

onde Y_ij = desempenho no ENC do i-ésimo aluno da j-ésima escola;

i = 1,2,....n_{j ;} j = 1,2,..., k, onde k = número de escolas;

b _k = efeito da variável explicativa de aluno sobre o desempenho;

b ₀ = desempenho médio do aluno do sexo masculino com índice socioeconômico e desempenho prévio igual à média geral das IESs;

u_j = efeito de cada IES;

u_j e e _ij, as componentes de erro, tomadas como estatisticamente independentes e com distribuição Normal com média 0 e variâncias s_u² e s_r².

O resultado do processo de ajuste do modelo está sintetizado na Tabela 9. Comparando-se as Tabelas 8 e 9, observa-se que as covariáveis dos alunos explicam parte da variação total residual do modelo, bem como parte da variação atribuída aos alunos.

A análise dos coeficientes mostra a contribuição dos fatores na explicação das diferenças entre as notas. Os coeficientes associados às covariáveis incluídas no modelo 2 são todos significativos no nível de 95%.

O desempenho prévio dos estudantes tem claro efeito sobre o desempenho dos estudantes no ENC. Para os cursos de Direito, cada ponto adicional no vestibular corresponde a um ganho de 0,22 ponto no ENC, após controle pelo sexo e pelo nível socioeconômico do aluno. Nos cursos de Engenharia e Administração esses valores são, respectivamente, 0,20 e 0,30. Também foi observado um efeito significativo de gênero: as mulheres, quando comparadas com os homens de mesmo nível socioeconômico, mesmo desempenho prévio e que tenham freqüentado a mesma IES, têm, em média, nos cursos de Direito, Administração e Engenharia, respectivamente, 1,95, 1,75 e 6,57 pontos a menos no ENC. Nesse caso, surpreende a magnitude do efeito de gênero no curso de Engenharia, já antecipado pela análise descritiva.

O efeito negativo e significativo do índice socioeconômico é intrigante. Os resultados obtidos indicam que, ao se considerar alunos de mesmo sexo e desempenho prévio, aqueles com menor índice socioeconômico têm melhor nota no Provão. Uma explicação plausível seria que o exame teria mais impacto para esse grupo que se insere na sociedade apenas através de seus próprios méritos, constituindo o Provão mais uma oportunidade de mostrá-los publicamente. Do ponto de vista técnico, esse resultado pode também advir da pouca variabilidade do índice socioeconômico entre os alunos de cada IES. Há necessidade de novos estudos para confirmar ou refutar essas hipóteses.

Modelo 3 – O efeito dos pares

Nas atividades desportivas, treinar com companheiros ou adversários mais fortes é melhor do que fazê-lo com mais fracos. Igualmente, na educação aprende-se com os professores, mas esse aprendizado é afetado pelos colegas. Sempre se disse, com base em observação casual, que a presença de bons alunos eleva o rendimento da turma. Esse é o chamado efeito dos pares. A escola que, por alguma razão, atraiu bons alunos, beneficia-se de um clima intelectual onde fica mais fácil oferecer um ensino melhor. As boas escolas procurarão sempre criar um ambiente favorável ao aprendizado, usando para tanto, entre outras estratégias, processos de atração de alunos de alto desempenho. Entende-se que é mérito de uma instituição ser capaz de atrair bons alunos. Isto é parte de seu efeito.

Assim, em algumas IESs brasileiras, principalmente nas que oferecem os cursos aqui analisados, há uma grande concentração de alunos de posição socioeconômica privilegiada. Esses alunos, por conta de sua origem, favorecem a criação de um clima propício ao aprendizado. Os frutos desse clima devem ser todos creditados à IES por ter atraído esses alunos ou, ao contrário, essa variável deve ser controlada? Não há consenso na literatura (Bryk e Raudenbush, 1992:128).

Para as duas posições há bons argumentos. De um lado, argumenta-se que a qualidade dos professores e a excelência do projeto acadêmico atraem os alunos de posição econômica mais alta. Desse modo, se se controla pelo nível socioeconômico médio dos alunos da IES, não se dará crédito a esses profissionais pelas suas práticas efetivas. Por outro lado, a opção de não se controlar pela condição econômica resulta em transferir à IES toda a vantagem por trabalhar com alunos economicamente favorecidos.

Em algumas situações, o nível socioeconômico do alunado da escola está, de fato, fora de seu controle imediato, devendo portanto ser controlado no modelo de análise. Este é o caso da escola pública de ensino fundamental e médio. Como a escola pública tem de atender todos que a procuram, não podendo excluir alunos, a análise dos dados de avaliação de escolas de ensino fundamental e médio deve usar modelos que controlem pelo nível socioeconômico dos alunos, sob pena de favorecer, de forma indevida, a escola privada que atende alunos de classe média e alta, e as poucas públicas com concorridos processos de seleção.

Apesar da polêmica, entende-se que há informação útil no exercício de ajuste de modelo que inclua, como variável de controle, o nível socioeconômico médio dos alunos das IESs. Os resultados desse exercício são apresentados no restante desta seção.

O modelo utilizado é expresso em notação matemática da seguinte maneira:

Y_ij = b₀+ b₁(sexo) + b₃(socio) + b₄(pares) + u_j + e_ij

A Tabela 10 apresenta para o curso de Direito, Administração e Engenharia os valores dos parâmetros.

Os efeitos de cada IES

Nesta seção, são comparadas as diferentes estimativas dos efeitos de cada IES, obtidas a partir da utilização dos três modelos apresentados anteriormente.

O Gráfico 4 apresenta o valor do efeito bruto de cada IES que oferece o curso de Direito. Os resultados para os cursos de Administração e Engenharia são análogos. Esse efeito, pelo fato de o modelo não incluir nenhuma variável de controle, é equivalente à média das notas dos alunos de cada IES, o que torna o resultado inapropriado para uma análise substantiva. No entanto, esse é o valor divulgado e utilizado atualmente.

A estimação desses efeitos, através do modelo hierárquico, permite o cálculo do intervalo de confiança para cada efeito, com a estimativa correta de sua variância da média, pois a dependência estatística existente entre as respostas dos alunos de uma mesma IES é considerada. O Gráfico 4 foi construído com a metodologia proposta por Goldstein e Healy (1995:175) e permite comparação adequada entre quaisquer dois pares de IESs.

Analisar os efeitos brutos com seus respectivos desvios-padrão muda o uso substantivo da posição relativa das distintas IESs. Há diferença estatisticamente significativa apenas entre as cinco últimas e as quatro primeiras; todas as outras comparações não são significativas. Em outras palavras, a distinção entre escolas nível A, B, C, D e E, com base nos resultados no Provão, não é procedimento com respaldo estatístico. Certamente, facilita a compreensão dos resultados, mas trivializa a discussão e cria, arbitrariamente, diferenças entre IESs.

O Gráfico 5 mostra os efeitos tipo A para o curso de Direito das diferentes IESs incluídas no estudo.

Primeiramente, deve-se observar que o efeito de cada IES é agora nominalmente muito pequeno. Para notas que variam de 0 (zero) a 100 (cem), o maior valor adicionado por escola é 6,49. Ou seja, do ponto de vista do resultado final, para o curso de Direito, as IESs são responsáveis apenas por uma pequena parcela do desempenho.

Além disso, o gráfico com os efeitos e seus respectivos desvios-padrão confirma a grande interseção dos efeitos das diferentes IESs, já observada no Gráfico 4. Só existe diferença significativa entre as três piores e as quatro melhores. Considerar o intervalo de confiança é essencial para o uso correto da informação gerada pelo Provão. Por exemplo, o curso de Direito da PUC-MG foi classificado, em 1998, como muito ruim, merecendo críticas severas da imprensa mineira. A análise deste trabalho, que leva em conta os resultados de vários anos, indica, entretanto, que não há diferença significativa entre a PUC-Minas, a UFMG e a FDMC, consideradas instituições de excelência. Outro exemplo, é a situação do curso de Direito da Faculdade de Sete Lagoas. Embora claramente colocado no grupo inferior, esse curso não está sozinho nessa posição. Ou seja, se a ameaça de descredenciamento fosse baseada apenas nos resultados, outras IESs também deveriam ser incluídas. A ênfase da imprensa sobre essa IES também é injustificada. De forma particular, deve-se observar o efeito tipo B dessa IES. Como trabalha com alunos de baixo status socioeconômico (ver Tabela 5), seus resultados são comparativamente muito bons. As Tabelas 11 e 12 apresentam o valor dos efeitos medidos pelos três modelos.

A comparação entre a primeira e a segunda colunas da Tabela 11 evidencia que o controle pelas características dos alunos, embora reclassifique as escolas, não leva a ordenação muito distante daquela obtida pelo desempenho médio da instituição. O coeficiente de correlação entre os postos dos efeitos dos modelos 1 e 2 é de 0,946. Na realidade, do modelo 1 para o 2, apenas uma instituição, a FUMEC, apresenta maior deslocamento na escala, passando da 6ª posição, para a 11ª. Uma escola teve uma mudança de 3 pontos na classificação e as demais permaneceram na mesma. Ou seja, embora a metodologia de análise de atribuição de conceitos não se justifique, a ordenação das escolas não fica prejudicada pelo fato de as clientelas serem diferentes. Desnecessário enfatizar que esta afirmação se dá em um contexto ainda limitado, apenas com os dados de algumas IESs de um único estado. O controle da composição média do corpo discente da escola introduz mais mudanças sem, entretanto, modificar drasticamente o quadro geral. O coeficiente de correlação entre os postos do modelo 3 e os dos modelos 1 e 2 é 0,627 e 0,619, respectivamente. As correlações entre os postos dos efeitos das IESs, para o curso de Administração, são ainda maiores.

CONCLUSÃO

Este trabalho discute uma metodologia mais adequada para o problema da medição do efeito de cada IES no desempenho dos seus estudantes no ENC. A metodologia proposta, amplamente justificada por recentes avanços científicos, oferece uma forma de se medir o efeito puro das políticas e práticas internas de cada IES no desempenho acadêmico de seus alunos. Ou seja, quantifica em que medida os resultados de uma escola se devem ao seu ensino e não às características socioeconômicas dos alunos.

Os dados, nos quais o trabalho é baseado, têm a qualidade de serem observações individuais dos alunos. Evita-se, assim, o vício que recebe o nome técnico de "falácia ecológica" ou vício de agregação. Este tipo de vício, bem descrito por Aitikin et alii (1981), além da referência clássica de Robinson (1950), ocorre quando se trabalha com dados agregados em uma situação em que o evento de interesse acontece em outro nível de desagregação. No nosso caso, o desempenho acadêmico se dá no nível dos alunos, e não no das IESs. Assim, incorreríamos nesse vício se analisássemos os dados por meio das médias de desempenho dos alunos de cada IES.

Outra qualidade dos dados aqui analisados é a existência de uma variável que mede o desempenho prévio dos alunos. Sabe-se que comparar instituições sem controlar pelo desempenho prévio dos estudantes, pode levar a vícios (Willms, 1992:58). Todavia, no Brasil, com pouca tradição na área, é bastante difícil encontrar dados que permitam esse controle.

No entanto, não se tem evidência da qualidade da medida quer para o desempenho no vestibular quer para o Provão. Essas provas, apesar de elaboradas por sérias e competentes equipes, nem sempre utilizam técnicas adequadas de construção de testes (Linn, 1993). O sigilo, indispensável tanto na situação do vestibular quanto do Provão, impede o pré-teste de itens e torna inviável o uso das formas tecnicamente mais recomendáveis para a construção de testes. Não se sabe, portanto, quão válidas e fidedignas são essas medidas.

A análise realizada para os cursos de Direito, Administração e Engenharia de algumas IESs de MG, embora ainda em caráter preliminar, revela a necessidade de se aprimorar a metodologia utilizada pelo MEC na avaliação dos cursos superiores. Como foi observado, existe uma grande variação na condição econômica e social e na habilidade acadêmica dos estudantes no momento inicial do 3º grau. Estudos recentes sobre desempenho acadêmico, aqui replicados, revelam que as características dos estudantes exercem uma grande influência sobre o seu aprendizado. Por isso, torna-se fundamental que a avaliação do sistema educacional seja realizada mediante uma metodologia que incorpore essas diferenças nas condições iniciais dos estudantes. Somente assim, será possível observar com maior precisão a efetividade das IESs no Brasil.

Apesar disso, é possível observar, a despeito da exigência de uma metodologia mais adequada de avaliação, que, de modo geral, a ordenação das IESs pelas médias brutas não difere muito da ordenação proporcionada pelo cálculo do valor agregado. Mudanças bruscas são exceções nos resultados aqui relatados. Ou seja, mesmo com as limitações atuais, o Provão, ao ser usado para classificar as IESs, não cria injustiças no geral.

Por outro lado, é preciso reconhecer que, dada a variação com que é possível medir o efeito de cada IES, não há justificativa técnica para manter os conceitos atualmente usados.

Isolar o impacto da excelência dos alunos, seja pela sua origem econômica, seja pelo seu desempenho prévio, do efeito do ensino da IES é uma preocupação legítima, mas impossível com dados observacionais.

Finalmente, embora esta pesquisa ofereça evidências de que políticas educacionais e percepções sobre os melhores cursos, baseadas em informações do Provão, não são completamente equivocadas, é preciso aguardar os resultados mais completos de todo o Brasil. Isso poderá ocorrer quando o Exame Nacional do Ensino Médio ¾ ENEM, que é uma medida nacional de desempenho de "entrada" no ensino superior, tiver uso generalizado nos processos de admissão nas IESs.

(Recebido para publicação em julho de 2001)

NOTAS

REFERÊNCIAS BIBLIOGRÁFICAS

ABSTRACT

Added Value of Institutions of Higher Learning in Minas Gerais State for Courses in Law, Administration, and Civil Engineering

This article presents the results of a study employing the added value methodology to evaluate the effect of institutions of higher learning in Minas Gerais States on the performance of their students in the so-called Joint National Board Exams (Provão). The added value methodology allows to control substantive factors influencing academic performance and to capture the specific effect of a teaching institution on the students’ final performance. The purpose is to help clarify and improve the procedures for evaluating institutions of higher learning as an important instrument for policy-making in education.

Key words: added value; academic performance; educational policy; Joint National Board Exams (Provão)

RÉSUMÉ

Valeur Ajoutée d’Institutions d’Enseignement Supérieur en l’État du Minas Gerais pour les Cours de Droit, Administration et Ingénierie

Dans cet article, on présente les résultats d’une recherche où l’on a utilisé la méthodologie de la valeur ajoutée pour évaluer l’influence d’institutions d’enseignement supérieur de l’État du Minas Gerais sur la performance de leurs étudiants face à l’examen national du Provão. La méthodologie de la valeur ajoutée permet de contrôler les facteurs qui influent vraiment sur la performance scolaire, tout en saisissant l’effet spécifique qu’une institution d’enseignement peut exercer sur les résultats de ses étudiants. On cherche ainsi à contribuer à une meilleure connaissance et au perfectionnement des procédés d’évaluation des institutions d’enseignement supérieur, élément important dans l’élaboration des politiques éducatives.

Mots-clé: valeur ajoutée; performance universitaire; politiques éducatives; examen national du Provão

Datas de Publicação

Histórico