Quando a IA erra: uma reflexão sobre tecnologia, precisão e criatividade.
Realizar tarefas de trabalho particularmente tediosas e repetitivas passou a ser um problema a menos em meu cotidiano depois das inteligências artificiais (IAs). Recorro logo à tecnologia para evitar desperdiçar tempo elaborando coisas que certamente podem cumprir seus propósitos quando preparadas rapidamente através até dos prompts mais genéricos. Isso inclui serviços burocráticos, textos protocolares corriqueiros, averiguar previamente o conteúdo de um PDF, preparar alguma esquematização de algo básico a ser feito e outros usos que conferem produtividade e ajudam a organizar melhor a lista de afazeres.
Durante a semana que se passou — 10 a 14 de fevereiro de 2025 — antes de parar para escrever este relato, me deparei com um serviço particularmente maçante de extrair e derivar informações de um arquivo .xlsx que reunia, num único quadro, os horários de aulas semanais de onze turmas de ensino médio de uma escola de tempo integral. Resolvi confiar essa pouco agradável tarefa para uma inteligência artificial. Parecia que seria moleza, mas o que eu não esperava era que, ao final do dia, sairia com uma lição interessante sobre como máquinas “pensam”, falham e, às vezes, nos surpreendem.
Imagem gerada por Karla Vidal com auxílio da Freepik Pikaso AI a partir do prompt: a highly detailed portrait of an AI system with a contemplative, thoughtful expression, showcasing a face with dynamic patterns and colors shifting subtly.
Passei inicialmente a missão para o ChatGPT, achando que após poucos processos eu teria extraído os horários separados de cada turma para divulgar diretamente nas respectivas salas de aula. Nos serviços que envolvem arquivos anexos eu costumo, antes de qualquer coisa, certificar-me de que a IA compreendeu o conteúdo do documento, então faço um pedido genérico para que seja apresentada uma análise de seu teor e uma indicação sumária sobre o que é possível fazer com aqueles dados. Geralmente a IA já antecipa como possibilidade exatamente aquilo que eu já pretendia fazer, indicando que terei mesmo meu objetivo atendido, porém isso pode ser um alívio ou um tremendo engano. Depois dessa prévia, recorro à finalidade do acionamento da IA e apresento um prompt específico. No caso deste serviço as instruções eram bastante claras e detalhadas. Para compreender melhor convém reproduzir o comando dado:
Preciso facilitar a apresentação dos horários para que os alunos de cada turma tenham um quadro específico para suas aulas.
Considerações importantes:
- A disposição dos dias da semana na tabela original é apresentada na vertical para abranger visualmente todas as turmas, que são representadas nas colunas D até N. Para uma tabela específica de cada turma a apresentação deverá ser diferente disso.
- Para uma tabela específica de turma, considere inicialmente a turma 1A (coluna D) e faça um quadro de horários de aulas somente desta turma. Organize de tal forma que a primeira coluna da tabela derivada apresente os horários cronológicos de início e fim; a segunda coluna indicará a etapa correspondente ao horário (aulas, intervalos e almoço); as 5 colunas seguintes corresponderão aos dias da semana de segunda à sexta com suas respectivas aulas devidamente informadas correspondentes ao teor da tabela original. Cuidado para não misturar informações de outras turmas.
- Note que na tabela original a segunda-feira vai da linha 2 até a linha 13; a terça vai da linha 15 até a linha 26; a quarta vai da linha 28 até a linha 39; a quinta vai da linha 41 até a linha 52; a sexta vai da linha 54 até a linha 65.
- Reitero que o primeiro horário é 7h30-8h20 (correspondente à etapa AULA 1) e o último horário é 15h50-16h40 (correspondente à AULA 9);
- Não confunda as referências de início e fim de cada dia para efeito de verificação.
- Delimitei especificamente as referências da coluna da turma e das linhas dos horários para que você não misture dados de turmas diferentes quando for compor o quadro da turma especificada.
Um prompt bastante específico assim e com prescrições a respeito daquilo que não deveria ser feito já indica certo grau de desconfiança, mas é resultado da experiência concreta demandando serviços variados para IAs e recebendo como resultado aspectos que não faziam parte das expectativas. Eu aprendi que as IAs erram — e erram bastante — por isso procuro me antecipar aos equívocos através da apresentação de prompts mais detalhados, pois o tempo empreendido nesta elaboração reduz o trabalho de detecção e correção das falhas. Mas dessa vez não adiantou tamanha precisão, pois a atuação do ChatGPT foi um fiasco.
A famosa e bem estabelecida IA não foi capaz de cumprir a solicitação adequadamente, pois misturou aulas, trocou posições de horários, distribuiu intervalos em momentos incorretos da programação, “inventou” partes de uma programação que nem estava na tabela e fez uma confusão. Mandei repetir a operação e o que foi repetido foi o caos, pois um novo tumulto foi apresentado como horário. Encerrei o chat, exclui o trabalho e comecei tudo de novo, uma expectativa estranha de que a IA pudesse “respirar”, colocar “a cabeça no lugar” e então ter condições de fazer o trabalho correto. Não adiantou e mais resultados desconexos surgiram. Fiquei intrigado porque a solicitação era precisa e a operação não era tão complexa. Fiz tudo de novo, e de novo, e de novo. Erros se acumulavam, eu apontava as inconsistências, o chat “pedia desculpas” e voltava a errar. Eu até tratei meu interlocutor virtual como se fosse um humano desatento, atrapalhado e teimoso, pois expressei reclamações e até xinguei o ChatGPT, que reagiu estoicamente lamentando por ter me decepcionado.
No final, alcancei o ápice de minha frustração e declarei, num rompante de impaciência e passionalidade, que faria o serviço com outra IA e fui embora após um dramático “DESISTO!” (assim mesmo: em caixa alta, pois estava com raiva!).
Captura de tela da conversa com o ChatGPT.
Sem questionar a insanidade de reclamar com um assistente de IA, de ter desperdiçado tempo que seria suficiente para realizar o serviço da forma convencional e de ter ameaçado usar uma tecnologia concorrente por pirraça, acabei mesmo abrindo a DeepSeek.
Cumpri o protocolo de anexar o arquivo, solicitar uma análise genérica e o resultado foi previsível, coisa idêntica ao que o ChatGPT fez. Colei o mesmo prompt, mas já sem expectativa de sucesso porque estava no clima de insatisfação provocado pela desgastante repetição de tentativas e falhas anteriores, mas eis que a nova IA fez tudo certo em apenas uma tentativa! Pedi para fazer a operação de extrair os horários das outras 10 turmas e todos os resultados saíram perfeitos e de primeira. O serviço concluído num instante foi um alívio, mas não esqueci o transtorno ao qual fui submetido antes disso…
Mesmo compreendendo racionalmente que havia algo no âmago lógico das IAs, relacionado a esse tipo de processamento, que era divergente e influenciava os diferentes desempenhos, meu lado rancoroso acabou prevalecendo. Eu iria “passar na cara” do ChatGPT que meu problema foi resolvido por outra IA e voltei para desafiar. Iniciei outro chat e comecei tudo novamente só para verificar se as falhas voltariam a ocorrer nas respostas, só que agora eu tinha uma provocação guardada para apresentar.
Captura de tela da conversa com o ChatGPT.
Claro que isso não foi suficiente. Eu estava disposto a dar uma lição e não bastava esnobar o esforço inútil do assistente virtual que insistia em fazer minha planilha sem acertar. Apresentei o conteúdo “DeepThink” da IA chinesa, que expõe opcionalmente através de texto o processo de formulação de sua resposta, e acrescentei como anexo à tabela produzida por ela. Solicitei ao ChatGPT que respondesse seguindo os passos da outra IA e os erros diminuíram na nova resposta, mas ainda persistiram falhas comprometedoras para a utilidade da nova tabela.
Captura de tela da conversa com o ChatGPT.
Depois de provar que minha decisão de utilizar outro recurso foi triunfante, mantive as tentativas falhas, agora sem interesses vingativos, pois passei a abordar comparativamente as operações das duas IAs para compreender melhor como elas funcionam. Foi um exercício de curiosidade que aprimorou minha perspectiva como usuário.
As duas IAs foram questionadas a respeito de seus desempenhos tão diferentes neste mesmo exercício de trabalhar com aquele penoso quadro de horário de aulas. As respostas de uma foram apresentadas para a outra numa tentativa de simulação de diálogo.
Captura de tela da conversa com a DeepSeek.
A DeepSeek esclareceu que foi otimizada como assistente especializado em tarefas estruturadas, enquanto o ChatGPT tem um perfil mais generalista. Esta diferença está no fundo das variações de comportamento de ambas diante do processamento de um corriqueiro quadro de diário de aulas em formato .xlsx, mas também seria verificada em outras demandas que exigissem interpretações a respeito de dados desse tipo. Por ser projetada de tal forma, a DeepSeek responde melhor ao seguir prescrições detalhadas à risca enquanto o ChatGPT tende a oferecer respostas “mais livres”, o que leva o assistente a comprometer a expressão precisa através da manipulação de tabelas em casos mais exigentes. O meu prompt com prescrições muito definidas e expressão de restrições acabou sendo problemático para o assistente da OpenAI enquanto favoreceu a atuação da DeepSeek, melhor preparada para abordar objetivos mais rígidos. O ChatGPT não discordou ao ser confrontado com a resposta:
Captura de tela da conversa com o ChatGPT.
As duas IAs foram consultadas a respeito da eficácia de ambas diante de diferentes tipos de ações suas respostas se assemelham e se complementam (foram apresentadas mutuamente para cada uma).
Captura de tela da conversa com o ChatGPT.
Captura de tela da conversa com a DeepSeek.
Apesar de sua vantagem para cumprir a tarefa de elaborar material a partir de meu horário de aulas, a DeepSeek avaliou que é menos eficaz – e até recomenda o ChatGPT – para as solicitações que exigem mais flexibilidade e expressão criativa.
Captura de tela da conversa com a DeepSeek.
Estas observações feitas pelas próprias IAs ajudam a identificar as potencialidades e fraquezas para diferentes abordagens e necessidades, pois elas são dotadas de processos e “entendimentos” variados, o que é ótimo para os usuários porque despontam como alternativas úteis conforme o serviço necessário, mas igualmente sujeitas ao discernimento de quem vai avaliar aquilo que elas entregam.
E, para mim, o erro do ChatGPT e o acerto da DeepSeek foi uma oportunidade para aprofundar a percepção sobre a diversidade de aplicações das IAs. Apesar dos contratempos, terminei essa experiência com meus novos quadros de horários, com uma xícara de café frio na mesa e com a certeza de que, no mundo da tecnologia educacional, até os erros são lições disfarçadas. Na próxima e inevitável vez que uma IA errar, vou ter mais sobre o que pensar a esse respeito.
1 comentário
Karla Vidal · 18 de fevereiro de 2025 às 12:54
A experimentação sempre gerando excelentes resultados. Genial, Paulo. Como sempre! 👏👏👏