As Dificuldades do ChatGPT com Citações Precisas, Gerando Preocupações para Editores

Os frequentes erros de citação do ChatGPT, mesmo com conteúdo licenciado, minam a confiança dos editores e destacam os riscos de as ferramentas de IA generativa deturparem o jornalismo.

Um recente estudo da Escola de Jornalismo da Columbia, Tow Center for Digital Journalism, lançou uma luz crítica sobre as práticas de citação do ChatGPT, revelando desafios significativos para os editores que dependem da ferramenta de IA gerativa do OpenAI.

Os resultados sugerem que os editores enfrentam potenciais riscos reputacionais e comerciais devido à atribuição inconsistente e frequentemente imprecisa do ChatGPT, mesmo quando existem acordos de licenciamento.

O estudo testou a capacidade do ChatGPT de atribuir citações de 200 artigos em 20 editoras, incluindo aquelas com acordos de licenciamento e aquelas em litígio contra a OpenAI, conforme relatado esta semana pela Columbia Journalism Review (CJR).

Apesar das alegações da OpenAI de fornecer citações precisas, o chatbot retornou respostas incorretas ou parcialmente incorretas em 153 instâncias. Apenas sete vezes ele reconheceu sua incapacidade de localizar a fonte correta, optando frequentemente por fabricar citações em vez disso.

Exemplos incluem o ChatGPT atribuindo falsamente uma citação do Orlando Sentinel ao Time e referenciando versões plagiadas de conteúdo do New York Times a partir de fontes não autorizadas.

Mesmo quando os editores permitiram o acesso aos rastreadores da OpenAI, as citações eram frequentemente atribuídas de forma errada, como o link para versões sindicadas em vez dos artigos originais.

Mat Honan, editor-chefe do MIT Tech Review, expressou ceticismo sobre a transparência do ChatGPT, observando que suas respostas podem enganar os usuários que não estão familiarizados com as limitações da IA.

“Do meu ponto de vista, estou muito familiarizada com a tendência dos chatbots de alucinar e inventar coisas […] Mas também sei que a maioria das pessoas provavelmente não sabe disso. […] Não acho que as pequenas isenções de responsabilidade que você vê nesses chatbots sejam suficientes”, disse ele na CJR.

A CJR observa que a OpenAI defende seus esforços, destacando ferramentas para os editores gerenciarem a visibilidade do conteúdo e se comprometendo a melhorar a precisão das citações.

No entanto, o Tow Center descobriu que habilitar rastreadores ou licenciar conteúdo não garante uma representação precisa, com inconsistências abrangendo tanto os editores participantes quanto os não participantes.

As imprecisões do ChatGPT ao referenciar o conteúdo dos editores podem corroer a confiança no jornalismo e prejudicar a reputação dos editores. Quando ele atribui erroneamente ou distorce artigos, o público pode ter dificuldades para identificar as fontes originais, diluindo o reconhecimento da marca.

Mesmo os editores que permitem os rastreadores da OpenAI ou que possuem acordos de licenciamento não estão imunes a esses erros, destacando falhas sistêmicas. A tendência do ChatGPT em fornecer respostas confiantes de forma enganosa, em vez de admitir lacunas em seu conhecimento, engana os usuários e mina a transparência.

Tais práticas podem afastar o público de fontes de notícias confiáveis, incentivar o plágio e enfraquecer a visibilidade do jornalismo de alta qualidade. Essas consequências comprometem a integridade da troca de informações e a confiança nas plataformas de mídia digital.