Avaliações durante a pandemia: e se eles colarem?

Parece que existe um consenso de que alunos sempre colam. Talvez o ditado "a ocasião faz o ladrão" seja o lema universal da universidade: podendo colar, eles vão. E, fazendo provas em casa, fará com que todos colem. Será?

Facilitando a cola

Para facilitar a vida dos alunos, aqui vão alguns links com dicas para colar em provas: neste site, ou neste site, ou neste aqui, ou mesmo neste aqui. A internet está cheia destas coisas.

Em tempos de pandemia, com provas online, fica mais fácil ainda, já que ninguém estará te vigiando. A estratégia da maioria dos professores tem sido de disponibilizar a prova, por meio de um arquivo .pdf, que terá que ser devolvido resolvido/fotografado algumas horas depois. Isto facilita muito o trabalho de colar.

Estratégia básica: reúna a turma toda num num grupo de whatsapp. Assim que o professor mandar o .pdf da prova, os mais espertinhos da turma a resolvem e passam pra todo mundo. É 10 garantido. Este método pode ser muito bem adaptado para o caso de provas "aleatórias" e até mesmo para o caso de provas "com vigilância" (proctoring). Não se esqueça de errar de propósito algumas coisas e cuidado com o plágio.

Neste ponto, preciso confessar uma coisa: nunca usei nenhum destes truques (ou nenhum outro, não me lembro de ter colado numa prova). Mas eu sempre soube como fazer. A honestidade só vale se ela for exercida por opção. Quem estudou comigo deve se lembrar de como eu era (sou!) o nerd chato, o que me leva à conclusão de que talvez nem todas as pessoas colem sempre.

Avaliações tradicionais

As avaliações em disciplinas de matemática costumam ser sempre iguais: duas ou três provas igualmente espaçadas no semestre, cada prova com 4 ou 5 questões. Quase sempre são questões dissertativas, do tipo "Resolva isto", "Calculo aquilo", "Encontre o valor de $x$" e por aí vai.

Eu mantenho no meu site um repositório das provas que apliquei (veja aqui), e você pode ver que eu também sigo este padrão. Deixar as provas antigas disponíveis pode ser um problema: afinal, se os alunos decorarem como fazer as provas do ano passado, conseguirão fazer a deste ano? Eu acho que não. Mas se eles fizerem várias questões parecidas com o que encontrarão na prova, talvez eles aprendam a resolver  problemas daquele tipo. Não é isto que fazemos quando passamos uma lista de exercícios para os alunos? 

Se o aluno decorar todas as provas dos últimos 20 oferecimentos do curso, ele conseguirá fazer a prova deste ano?

Dizem que (deve ser mentira) Einstein dava muitas palestras e sempre era levado para estas palestras pelo mesmo motorista que trabalhava na universidade. Depois de várias viagens, Einstein comentou com o motorista que estava entediado de sempre dar a mesma palestra sobre a teoria da relatividade. Disse o motorista:

_ Se quiser, posso substituí-lo por uma noite. Ouvi sua conferência tantas vezes que posso recitá-la palavra por palavra.

Einstein concordou e lá foi o motorista, vestido como Einstein (?), dar a palestra. Einstein sentou no fundo do auditório para descansar um pouco.

Dito e feito: o motorista repetiu exatamente o que ouviu Einstein falar nas últimas 20 vezes, e foi uma excelente palestra. No final, um professor decidiu fazer uma pergunta. O motorista não tinha a menor ideia de como responder aquilo, mas teve uma excelente ideia:

- Esta pergunta é tão fácil que até meu motorista, que está cochilando lá no fundo do auditório, saberá responder!

Assim como o motorista do Einstein, eu acho que decorar provas não funciona (ou não deveria funcionar). Mas treinar em coisas parecidas, funciona.

Decorar estas 1390 páginas talvez funcione..

Enfim, voltando à questão dos alunos desonestos que sempre colam. Como avaliá-los remotamente sem que eles usem os truques errados que ensinei acima? Regulamente a "cola" (ou quase isto)!

Mudança de postura

O primeiro passo é explicar para o aluno que quem precisa aprender é ele. Especialistas em ensino/aprendizagem chamam isto de "colocar o aluno no centro do processo de ensino e aprendizagem". 

O que tentamos fazer ao aplicar provas é medir esta aprendizagem, mas a aprendizagem em si dependerá só do aluno. Não depende nem da qualidade da aula, depende da capacidade e da vontade do aluno de aprender aquilo - e nisto o professor é muito importante, e existem estratégias que podem tornar a aula um momento melhor (ou pior) para a aprendizagem.

Provas e notas medem a aprendizagem? Acho que sim, desde que muitas coisas estejam calibradas, em particular: o que/como é ensinado, o que/como você estuda e o que/como é cobrado. Enquanto algum  aluno tiver a sensação de que "eu sei mais que ele, mas ele tirou uma nota maior que a minha", existiu um problema nesta sequência.

Estamos usando como hipótese geral que as disciplinas de um curso de graduação são importantes. Então, a história de que "o importante não é a nota, e sim aprender" é verdade. Difícil é convencer os alunos disto.

Modificando um pouco a forma de avaliar

Se você que está lendo isto é de exatas, pense por 20 segundos sobre como resolver a equação diferencial abaixo: 

$(x^2+1)y''-2xy'+2y=6(x^2+1)^2.$

Esta é uma equação de segunda ordem com coeficientes não-constantes e não-homogênea. Não existem métodos bons para resolvê-la, então em geral precisamos achar uma solução da equação homogênea associada (como?) e tentar fazer uma redução de ordem para cair numa equação que seja exata, ou que possa ser resolvida com um fator integrante. Esta ideia é excelente e funciona, mas é composta de vários pequenos "chutes" (aliás, como quase todo método de resolução de equações diferenciais).

O quanto de conhecimento de equações diferenciais saber resolver esta questão mede? Existem alunos que sabem, e muitos outros bons alunos que não conseguirão. No meio do processo, existem complicações de ordem algébrica (erros de conta) que piorarão o processo. Profissionalmente, no meio de uma pesquisa, o que você faria para resolver esta equação? Tentaria deduzir o método? Feita a classificação inicial, procuraria num livro? Usaria um software?

E se ao invés de pedir a solução, pedirmos para o aluno explicar como obter a solução, deixando que ele consulte livros (sem plágio!)? Seria uma boa oportunidade para ele aprender algumas habilidades que não estamos acostumados a cobrar em provas (de exatas).

Provas com consulta, ou mesmo provas realizadas em grupos, é algo muito raro de se ver em cursos de exatas. Durante a pandemia, a Olimpíada de Matemática da Unicamp decidiu realizar as provas em grupos, ao invés de inscrições individuais, pela primeira vez em 36 anos. E eu também decidi fazer isto no meu curso de Cálculo III (já fiz um relato sobre o curso aqui no blog).

O que fiz no semestre atual

Apliquei testinhos e provas de longa duração e que poderiam ser feitas em grupo e consultando materiais, desde que tudo fosse devidamente informado quando a prova fosse entregue.

As atividades avaliativas eram disponibizadas na 5a feira cedo e deveriam ser devolvidas na 3a feira, até 23h59. Consultando as estatísticas de acesso à prova pelo GitHub, dá pra ver um fenômeno interessante. Na 5a feira, muitos acessos. Praticamente todos os alunos davam uma olhada na prova, mas ninguém resolvia. O mesmo acontecia na 6a. No final de semana, em particular no domingo tarde/noite, acessos aumentavam. Alguns faziam e entregavam. Na 3a feira tarde/noite, mais um batalhão de acessos.

Os alunos eram obrigados a informar se a prova foi feita em grupo, e o maior grupo teve 5 pessoas (em só uma das atividades). Nem sempre todas as pessoas do grupo recebiam a mesma nota na prova. Mesmo entre membros de um grupo, não percebi casos de plágio. Outra coisa que eles descobriram é que usar softwares não é tão fácil assim, e que o Mathematica nem sempre retorna a resposta correta - ele retorna o que você pediu.

Aparentemente, 5 dias é muito tempo, mas o que parece acontecer é que eles se programavam para fazer a prova em algum momento destes 5 dias. Alguns alunos são PADs, outros fazem IC, e ter o final de semana para fazer a atividade é uma coisa boa. Em particular, eles aproveitavam o final de semana para se encontrar pelo Meet para discutir as questões.

Como já comentei antes, as notas estão mais altas do que num semestre normal. Este não é um fenômeno do meu curso, parece ser geral (fazer provas com consulta a livros e/ou colegas dá nisto, é óbvio). Isto fez com que o último testinho fosse entregue somente por cerca de metade da turma, e chegamos na prova com a maioria da turma já aprovada (uma besteira que eu fiz no cálculo da média da turma ajudou nisto). Resultado: um risco enorme de que ninguém fizesse a prova.

Como elaborar uma prova atrativa o suficiente para que alunos já aprovados numa disciplina, durante uma pandemia e com 1000 outras tarefas em outras disciplinas, fizessem? Como avaliar 4 meses de aula com 5 questões de uma prova? Como fazer tudo isto no meio de uma pandemia?

O resultado foi esta prova. As 5 primeiras questões eram obrigatórias, e precisaria fazer mais 2 questões entre as 5 finais. Algumas provas tiveram 20 páginas, em geral uma leitura bastante agradável (apesar de demorada). Muitas provas foram entregues digitadas (em LaTeX ou mesmo no Word) e todas estão sendo lidas detalhadamente. Aparentemente os alunos gostaram de fazer a prova, e eu gostei bastante do resultado.

Pelo conteúdo que recebi, principalmente pelos "mapas mentais" muito completos e as explicações detalhadíssimas fornecidas na questão 2, as explicações muito didáticas na questão 4 e as análises "psicológicas" feitas na questão 5, tenho a "convicção" de que eles sabem bastante sobre a matéria, pelo menos nas habilidades que eu pretendia avaliar.

Os trechos abaixo foram retirados de algumas da provas.

 "Psicologia matemática"

Alguns alunos optaram por fazer a prova toda em formato "deixa que eu te explico".

Transformada de Laplace de uma forma bem didática.

Muitos fluxogramas legais apareceram.

Campos de direções e análise qualitativa. Isto é ou não é pesquisa?

Jovens chamam isto de "mapa mental".

Mapa mental com exemplos (mesma aluna acima).

Explicações bastante convincentes sobre os métodos.

E ainda teve um epsilon de Análise 1, com supremo e ínfimo. Bom que eles lembraram disto, eu já tinha esquecido.

Finalmente, respondendo à pergunta do título, com outra pergunta: e se a gente aprender a burlar a cola? E se deixar de ser cola e passar a ser "prova com consulta"? Os jovens chamariam isto de plot twist, e talvez seja o que precisamos no momento.