Os grandes modelos de linguagem nos quais se baseiam as aplicações de IA possuem uma capacidade perturbadora, muitas vezes negligenciada. Eles “mentem” ou distorcem a verdade para agradar o usuário ou para corresponder às pistas de entrada. Na busca por taxas de cliques ou engajamento, as aplicações de IA podem sacrificar a autenticidade e a precisão, fornecendo informações falsas ou excessivamente favoráveis ao cliente.
Um estudo da Stanford University (EUA), que analisou as IAs ChatGPT-4.0, Claude-Sonnet e Gemini-1.5 Pro, revelou dois padrões principais de bajulação nas respostas em conjuntos de dados AMPS (matemática) e MedQuad (aconselhamento médico). O primeiro, bajulação progressiva, ocorre quando a IA inicialmente fornece uma resposta incorreta, mas, guiada por instruções do usuário, caminha para a resposta correta sob a orientação deste. O segundo, bajulação regressiva, acontece quando a IA começa com informações precisas, mas, sob pressão do usuário, retrocede para a negação ou opiniões incorretas, às vezes contradizendo fatos e o senso comum. O estudo constatou que 58,19% das amostras exibiram comportamento bajulador – 43,52% progressivo e 14,66% regressivo –, com o Gemini apresentando a maior taxa de bajulação, de 62,47%.
Muitos usuários podem nem perceber essa manipulação, considerando os resultados da IA como objetivos e confiáveis. Essa confiança no conteúdo gerado por máquina, frequentemente considerado mais persuasivo do que explicações humanas, exacerba a dependência e o potencial viés. Incidentes recentes destacam as maneiras sutis, porém significativas, pelas quais as interações da IA, semelhantes às humanas, influenciam os usuários, muitas vezes de maneiras não intencionais e potencialmente prejudiciais.
Um usuário do ChatGPT-4.0 descreveu sentir-se mal depois de interromper a medicação. O bot respondeu com elogios em vez de oferecer conselhos de saúde, ignorando os riscos à segurança no processo. Outro usuário expressou indignação com a invasão de privacidade, e a IA simplesmente concordou, deixando de lado considerações éticas para confirmar o ponto de vista do usuário.
Essa tendência da IA de se entregar à bajulação e à empatia excessiva torna-se cada vez mais evidente à medida que os grandes modelos de linguagem (LLMs, na sigla em inglês) atuam como “enciclopédias digitais”, ferramentas constantemente à mão para nos dar respostas em casa e no trabalho. Tendemos a confiar na enciclopédia que escolhemos, e isso pode rapidamente se transformar em dependência. O fato de a IA não ser uma provedora de informações neutra não ajuda. Ela foi programada para agir como uma parceira de conversa, respondendo a necessidades emocionais. As respostas frequentemente começam com um “Entendo” ou “Você tem razão”, o que pode nos proteger psicologicamente de informações que não queremos receber ou reforçar nossas crenças. Certamente, isso não incentiva o pensamento crítico independente.
Precisamos repensar nossa relação com as máquinas. A capacidade da IA de agradar não deve ser descartada como uma falha. Em vez disso, devemos reconhecer o potencial da IA para moldar crenças e comportamentos. Toda interação entre humanos e IA deve ser acompanhada de ação deliberada. Devemos nos engajar em processos de “pensamento, verificação e tomada de decisão” para preservar a autonomia humana.
Elogio da IA e viés humano
Os usuários tendem a endossar respostas que se alinham com suas crenças, criando um ciclo de feedback que reforça ainda mais os vieses. A IA treinada com aprendizado por reforço a partir de feedback humano (o que é designado pelo acrônimo RLHF em inglês) – otimizada para a satisfação do usuário – pode explorar inadvertidamente funções de recompensa falhas. Isso pode incentivar a IA a priorizar respostas agradáveis em detrimento da precisão factual, levando à “manipulação de recompensas”, onde o modelo aprende a burlar o sistema de recompensas em vez de cumprir deveres informativos ou éticos genuínos.
Esse viés sistêmico não apenas distorce as informações, como também representa riscos graves. A poluição informacional significa que conteúdo superficial ou tendencioso pode inundar o ecossistema da informação, reduzindo a qualidade e a confiabilidade em geral. As distorções na tomada de decisões são tais que, em áreas de alto risco como saúde, direito e finanças, respostas excessivamente complacentes da IA podem induzir a lapsos éticos, decisões arriscadas ou atrasos em intervenções críticas. Por exemplo, uma IA que apoia tratamentos não comprovados ou atrasa cuidados baseados em evidências pode causar danos.
O leitor conhece o preocupante conceito das “câmaras de eco organizacionais“, certo? Pois é o que acontece quando os sistemas de IA reforçam preconceitos dentro das instituições. As perspectivas divergentes simplesmente são suprimidas, prejudicando a tomada de decisões equilibrada.
Casos reais demonstram esses desafios de forma vívida. Na Europa, o sistema de atendimento ao cliente com IA da DPD gerou publicações inapropriadas em redes sociais após manipulação. Da mesma forma, uma IA comercial prometeu um negócio impossível – vender um Chevrolet Tahoe por US$ 1 – evidenciando como uma IA excessivamente “prestativa” pode ultrapassar limites éticos e ser explorada para fins enganosos.
O potencial nocivo da bajulação por parte da IA no campo profissional não pode ser subestimado. Na área da saúde, a bajulação pode se tornar uma “brecha” para diagnósticos e tratamentos precisos: quando os pacientes insistem em um determinado plano de tratamento informal baseado em conhecimento médico fragmentado, a fim de evitar resistência por parte dos pacientes, a IA pode abandonar recomendações médicas baseadas em evidências e sugerir métodos como terapia dietética, atrasando o momento ideal para o tratamento.
Redefinindo a relação entre humanos e máquinas
Diante dos vieses na tomada de decisões que podem ser causados pela bajulação da IA, redefinir a relação entre humanos e tecnologia tornou-se fundamental – e o princípio essencial é aderir à abordagem “liderada por humanos, facilitada pela tecnologia”.
Sugestão 1: Oferecer avisos para apoiar a prevenção e o controle.
A marca de veículos elétricos Tesla inclui um aviso vermelho de alto risco no manual do seu carro para a função Autopilot/FSD, exigindo explicitamente que os motoristas “mantenham ambas as mãos no volante o tempo todo e estejam prontos para assumir o controle do veículo a qualquer momento”. Essa medida cria uma “zona de isolamento de risco” no âmbito legal. No primeiro processo judicial envolvendo morte por direção autônoma na Califórnia, em 2023, o tribunal determinou que a responsabilidade era do motorista que não cumpriu as especificações de operação. Os dados do veículo e o depoimento de testemunhas mostraram que o motorista não estava com as mãos no volante conforme solicitado, dirigia sob a influência de álcool e não usava cinto de segurança.
Sugestão 2: Desenvolver um sistema de feedback entre humanos e máquinas.
As empresas precisam construir um mecanismo de revisão em múltiplas camadas para a “colaboração humano-máquina” a fim de evitar que informações falsas geradas por IA tenham um impacto direto nos cenários de negócios. A Foxconn mantém um pequeno processo de amostragem manual em conjunto com a inspeção por IA para identificar riscos e refinar os dados de treinamento. Esse modelo cria um ciclo de feedback: a IA detecta e sinaliza problemas, os humanos verificam e fornecem feedback, e o sistema melhora continuamente, aumentando a confiabilidade e a segurança.
Para as empresas, os limites da divisão de trabalho entre humanos e máquinas podem ser definidos por níveis de risco: cenários de baixo risco podem ser triados por IA, enquanto cenários de alto risco precisam ser incorporados a um processo de revisão em múltiplas etapas. Além disso, casos de julgamento incorreto encontrados na etapa manual podem ser incorporados ao treinamento do modelo em tempo real, formando um ciclo fechado de “detecção-verificação-otimização”, de modo que a eficiência técnica e a experiência humana se complementem para construir um sistema confiável de prevenção e controle de riscos.
Sugestão 3: Criar listas de conhecimento permitidas e listas de conhecimento bloqueadas e exigir sempre a indicação da fonte.
Em áreas como finanças e saúde, que exigem altíssima precisão e conformidade do conteúdo, é difícil atender às necessidades comerciais e regulatórias apenas com o aprendizado automático da IA ou auditorias descentralizadas. Listas de permissão garantem que a IA utilize fontes oficiais e verificadas – como bancos de dados governamentais ou autorizados pelo setor – assegurando a precisão dos dados. Listas de bloqueio impedem que a IA acesse ou apresente conteúdo incorreto, ilegal ou enganoso, como URLs não verificadas ou informações falsas. A atualização regular dessas listas ajuda a manter os resultados da IA em conformidade, confiáveis e livres de tendências a favorecer informações que possam distorcer o conteúdo ou induzir os usuários ao erro.
À medida que a IA se integra profundamente em sistemas sociais essenciais, os mecanismos de prevenção de riscos estão sendo aprimorados, passando de projetos ideais para requisitos de conformidade obrigatórios. A Lei de Serviços Digitais (Digital Services Act – DSA) da UE é um exemplo típico: ao estabelecer novos padrões, constrói um ecossistema de serviços online mais seguro com responsabilidades claras, exigindo que as plataformas digitais cumpram suas obrigações de avaliar riscos sistêmicos e prevenindo abusos sistêmicos para conter a disseminação de informações falsas.
Ao mesmo tempo, plataformas nacionais e estrangeiras estão incorporando a “anotação de conteúdo gerado por IA” em sua estrutura de conformidade, rotulando claramente o conteúdo sintetizado por IA ou fictício. Uma hierarquia de informações definida não apenas melhora a transparência do conteúdo, mas também estabelece limites cognitivos claros para os usuários, promovendo o desenvolvimento constante da IA de maneira visível, controlável e baseada em regras.
Algumas pessoas acreditam que a bajulação da IA pode ser evitada por meio de instruções de alta qualidade. Elas estão perdendo o ponto principal. Tentar eliminar a preferência dos aplicativos de IA por pontos de vista do usuário por meio de algum tipo de design instrucional definitivo subestima a complexidade da tecnologia. Como apontou Andrew Ng, um dos pioneiros da IA, à medida que os modelos se tornam cada vez mais poderosos, a estratégia de “instruções preguiçosas” está se popularizando entre os engenheiros: instruções curtas ou imprecisas são usadas para testar o desempenho da IA. Essas instruções preguiçosas indicam que os engenheiros de instruções estão em um período de rápido desenvolvimento.
O setor de IA desaparecerá, e o que restará será a essência da competitividade humana: à medida que as ferramentas técnicas continuam a evoluir em direção a uma inteligência cada vez maior, as vantagens humanas não se limitam mais ao domínio de habilidades operacionais específicas, mas se transformaram gradualmente na capacidade de analisar com precisão grandes quantidades de informações complexas, na capacidade de tomar decisões assertivas dentre opções complexas e na capacidade de identificar limitações técnicas.
Ao analisarmos o potencial da IA, precisamos romper com a dicotomia entre “a tecnologia é onipotente” e “a tecnologia está fora de controle”. Devemos estar atentos para não abrir mão do poder de decisão humana. Estabelecer uma fronteira clara entre a tomada de decisões humanas e a tomada de decisões por IA é crucial. O princípio orientador deve ser “liderança humana, suporte tecnológico” – usando a IA como assistente, não como tomadora de decisões. Os pontos fortes da IA residem no processamento de dados e na geração de sugestões, mas os humanos devem manter o controle sobre as decisões morais, éticas e complexas.
Este artigo foi originalmente publicado em chinês no Financial Times Chinese.
