Com sistemas de IA como o ChatGPT se tornando cada vez mais capazes, é apenas uma questão de tempo até que uma IA possa enganar um ser humano.
Em 1950, o cientista da computação britânico Alan Turing propôs um método experimental para responder à pergunta: as máquinas podem pensar? Ele sugeriu que, se um humano não pudesse dizer se estava falando com uma máquina artificialmente inteligente (AI) ou outro humano após cinco minutos de questionamento, isso demonstraria que a IA tem inteligência semelhante à humana.
Embora os sistemas de IA permanecessem longe de passar no teste de Turing durante sua vida, ele especulou que:
“[..] daqui a cerca de cinquenta anos será possível programar computadores […] para fazê-los jogar o jogo de imitação tão bem que um interrogador médio não terá mais de 70% de chance de fazer a identificação correta após cinco minutos de questionamento.
Hoje, mais de 70 anos após a proposta de Turing, nenhuma IA conseguiu passar com sucesso no teste, cumprindo as condições específicas que ele delineou. No entanto, como algumas manchetes refletem, alguns sistemas chegaram bem perto.
Um experimento recente testou três grandes modelos de linguagem, incluindo o GPT-4 (a tecnologia de IA por trás do ChatGPT). Os participantes passaram dois minutos conversando com outra pessoa ou com um sistema de IA. A IA foi solicitada a cometer pequenos erros ortográficos – e desistir se o testador se tornasse muito agressivo.
Com esse aviso, a IA fez um bom trabalho ao enganar os testadores. Quando emparelhados com um bot de IA, os testadores só conseguiam adivinhar corretamente se estavam conversando com um sistema de IA 60% do tempo.
Dado o rápido progresso alcançado no projeto de sistemas de processamento de linguagem natural, podemos ver a IA passar no teste original de Turing nos próximos anos.
Mas imitar os humanos é realmente um teste eficaz para a inteligência? E se não, quais são alguns benchmarks alternativos que podemos usar para medir as capacidades da IA?
Limitações do teste de Turing
Enquanto um sistema que passa no teste de Turing nos dá alguma evidência de que é inteligente, este teste não é um teste decisivo de inteligência. Um problema é que pode produzir “falsos negativos”.
Os grandes modelos de linguagem de hoje são frequentemente projetados para declarar imediatamente que não são humanos. Por exemplo, quando você faz uma pergunta ao ChatGPT, ele geralmente prefigura sua resposta com a frase “como um modelo de linguagem AI”. Mesmo que os sistemas de IA tenham a capacidade subjacente de passar no teste de Turing, esse tipo de programação substituiria essa capacidade.
O teste também arrisca certos tipos de “falsos positivos”. Como o filósofo Ned Block apontou em um artigo de 1981, um sistema poderia passar no teste de Turing simplesmente por ser codificado com uma resposta semelhante à humana a qualquer entrada possível.
Além disso, o teste de Turing se concentra na cognição humana em particular. Se a cognição da IA difere da cognição humana, um interrogador especialista será capaz de encontrar alguma tarefa em que IAs e humanos diferem no desempenho.
Sobre este problema, Turing escreveu:
Esta objeção é muito forte, mas pelo menos podemos dizer que, se, no entanto, uma máquina pode ser construída para jogar o jogo de imitação de forma satisfatória, não precisamos nos preocupar com essa objeção.
Em outras palavras, enquanto passar no teste de Turing é uma boa evidência de que um sistema é inteligente, falhar não é uma boa evidência de que um sistema não é inteligente.
Além disso, o teste não é uma boa medida para saber se as IAs estão conscientes, se podem sentir dor e prazer ou se têm significado moral. De acordo com muitos cientistas cognitivos, a consciência envolve um conjunto particular de habilidades mentais, incluindo ter uma memória de trabalho, pensamentos de ordem superior, e a capacidade de perceber o ambiente e modelar como o corpo se move em torno dele.
O teste de Turing não responde à questão de saber se os sistemas de IA têm ou não essas habilidades.
As capacidades crescentes da IA
O teste de Turing é baseado em uma certa lógica. Ou seja: os seres humanos são inteligentes, então qualquer coisa que possa efetivamente imitar os seres humanos provavelmente será inteligente.
Mas essa ideia não nos diz nada sobre a natureza da inteligência. Uma maneira diferente de medir a inteligência da IA envolve pensar mais criticamente sobre o que é inteligência.
Atualmente, não há um único teste que possa medir com autoridade a inteligência artificial ou humana.
No nível mais amplo, podemos pensar na inteligência como a capacidade de atingir uma série de objetivos em diferentes ambientes. Sistemas mais inteligentes são aqueles que podem atingir uma gama mais ampla de objetivos em uma ampla gama de ambientes.
Como tal, a melhor maneira de acompanhar os avanços no design de sistemas de IA de uso geral é avaliar seu desempenho em uma variedade de tarefas. Pesquisadores de aprendizado de máquina desenvolveram uma variedade de benchmarks que fazem isso.
Por exemplo, o GPT-4 conseguiu responder corretamente 86% das perguntas no entendimento massivo de idiomas multitarefa – uma referência que mede o desempenho em testes de múltipla escolha em uma variedade de disciplinas acadêmicas de nível universitário.
Ele também pontuou favoravelmente no AgentBench, uma ferramenta que pode medir a capacidade de um grande modelo de linguagem de se comportar como um agente, por exemplo, navegando na web, comprar produtos online e competir em jogos.
O teste de Turing ainda é relevante?
O teste de Turing é uma medida de imitação – da capacidade da IA de simular o comportamento humano. Grandes modelos de linguagem são imitadores especialistas, que agora estão sendo refletidos em seu potencial para passar no teste de Turing. Inteligência não é o mesmo que imitação.
Existem tantos tipos de inteligência quanto metas a serem alcançadas. A melhor maneira de entender a inteligência da IA é monitorar seu progresso no desenvolvimento de uma série de recursos importantes.
Ao mesmo tempo, é importante não continuarmos “alterando os postes” quando se trata de saber se a IA é inteligente. Como os recursos da IA estão melhorando rapidamente, os críticos da idéia de inteligência de IA estão constantemente encontrando novas tarefas que os sistemas de IA podem ter dificuldade para concluir – apenas para descobrir que eles saltaram sobre mais um obstáculo.
Nesse cenário, a questão relevante não é se os sistemas de IA são inteligentes —, mas mais precisamente, que tipos de inteligência eles podem ter. Simon Goldstein, Professor Associado, Instituto de Filosofia Dianoia, Universidade Católica Australiana, Universidade Católica Australiana e Cameron Domenico Kirk-Giannini, Professor Assistente de Filosofia, Universidade Rutgers.