Pesquisa: ChatGPT e conteúdo de IA – As pessoas conseguem perceber a diferença?

As pessoas conseguem perceber a diferença entre escritores humanos e de IA e isso afeta sua confiança nas marcas?

A Inteligência Artificial (IA) agora pode criar confortavelmente imagens, músicas e textos que poderiam ter sido feitos por um ser humano talentoso. O mundo do conteúdo online está passando por uma grande mudança na década de 2020. Isto é fortemente impactado pelo chatbot generativo, ChatGPT, que está crescendo rapidamente, atingindo seu primeiro milhão de usuários em apenas cinco dias.

Embora os interessados ​​em tecnologia possam saber muito sobre IA e chatbots como o ChatGPT, isso não é de conhecimento comum para todos. Na verdade, algumas pessoas podem nem saber o quão sofisticado é o resultado das ferramentas de IA e se o que estão lendo online foi produzido por um ser humano ou por uma IA.

Para saber mais sobre este tópico, entrevistamos mais de 1.900 americanos para ver o que eles pensavam sobre o conteúdo de IA online, como isso impactou sua confiança nas marcas e, em última análise, se eles sabiam a diferença entre IA e conteúdo humano. Pedimos às pessoas que adivinhassem se o texto foi criado pela IA ou por humanos em conteúdo de saúde, finanças, entretenimento, tecnologia e viagens. Saiba mais sobre a metodologia deste estudo aqui.

Aqui está o que o público americano pensa sobre o conteúdo de IA online.

Principais conclusões

• Mais de 53% não conseguem identificar com precisão o conteúdo feito exclusivamente por chatbots de IA, como o ChatGPT. Isso sobe para 63,5% ao usar o modelo GPT-4.0 .
• Em média, o modelo de linguagem GPT-4.0 é 16,5% melhor que o GPT-3.5 para convencer as pessoas que a cópia gerada pela IA foi escrita por um humano.
• O conteúdo de saúde gerado por IA foi o que mais enganou os usuários , com 56,1% pensando incorretamente que o conteúdo de IA foi escrito ou editado por um humano.
• Os leitores adivinharam mais corretamente o conteúdo gerado por IA no setor de tecnologia , o único setor onde mais da metade (51%) identificou corretamente o conteúdo gerado por IA.
• Com o GPT-4.0, o conteúdo tecnológico também foi corretamente identificado como o mais gerado por IA (60,3%) .
• O conteúdo da IA ​​​​GPT-4.0 foi o mais indetectável quando se tratava de viagens , com 66,5% dos leitores pensando que o conteúdo foi escrito por humanos.
• Aqueles que estão mais familiarizados com ferramentas de IA , como ChatGPT, foram ligeiramente melhores na identificação de conteúdo de IA , no entanto, ainda acertaram apenas 48% das vezes.
• Apenas 40,8% das pessoas que não estavam familiarizadas com a IA generativa conseguiram identificar corretamente o conteúdo da IA .
• A maioria das pessoas (80,5%) acredita que os editores online que publicam blogs e artigos de notícias deveriam declarar explicitamente se a IA esteve envolvida na sua criação.
• Mais de sete em cada dez (71,3%) disseram que confiariam menos em uma marca se recebessem conteúdo gerado por IA sem serem informados .
• A maioria das pessoas (46,5%) disse que aceitaria que a IA as aconselhasse sobre temas de saúde e financeiros; no entanto, 42,9% disseram que só utilizariam esse conselho se um ser humano tivesse editado e revisto o conteúdo.

As pessoas podem dizer se o texto é criado pela IA?

Para responder rapidamente à questão principal deste estudo: não, as pessoas não conseguem distinguir entre conteúdo de IA e conteúdo escrito por humanos .

Em média, as pessoas só conseguiram identificar corretamente o conteúdo escrito por IA em 46,9% das vezes. Ao usar GPT-4.0 em vez de GPT-3.5, apenas 36,5% dos leitores foram capazes de identificar corretamente o conteúdo escrito por IA.

Isso variava de acordo com o tópico do conteúdo que estavam lendo, mas geralmente as pessoas conseguiam identificar IA quase metade das vezes. Isso significa que o conteúdo de IA é indetectável por mais da metade dos leitores.

No entanto, se aprofundarmos mais nisso, podemos ver que 36,3% das pessoas pensaram que o conteúdo de IA foi na verdade escrito por um ser humano, enquanto 16,7% pensaram que era conteúdo de IA editado posteriormente por um ser humano.

No final das contas, mais da metade (53%) leu conteúdo escrito por IA e presumiu que um humano esteve envolvido em algum momento – é assim que pode ser convincente quando sai da ferramenta antes que um escritor humano tenha adicionado qualquer talento e personalidade.

GPT-3.5 vs GPT-4.0: Qual modelo produz uma cópia mais convincente?

A versão original deste estudo foi realizada antes do lançamento do GPT-4.0 em 14 de março de 2023. Depois disso, atualizamos nossas descobertas entrevistando os leitores mais uma vez.

Usamos os mesmos tópicos e prompts, mas desta vez entrevistamos os entrevistados usando conteúdo produzido pelo ChatGPT com GPT-4.0 em vez do modelo 3.5.

Descobrimos que houve um aumento de 16,5% no número de pessoas que pensavam que o conteúdo gerado por IA era feito por humanos, quando usamos o GPT-4.0.

Usando o GPT-3.5, descobrimos que 53,1% das pessoas pensavam que o copywriting do ChatGPT era humano, enquanto usando o GPT-4.0, descobrimos que 63,5% das pessoas acreditavam que o conteúdo foi criado ou editado por um escritor humano.

O ChatGPT é melhor para escrever sobre determinados tópicos?

Uma questão que este estudo procurou responder é se o ChatGPT é melhor em escrever conteúdo mais humano com base em diferentes tópicos. A partir das nossas descobertas, parece que o chatbot de IA é melhor a escrever conteúdos de saúde mais convincentes e a sua escrita tecnológica é mais fácil de detectar pelo público em geral.

Aqui está uma visão geral de como o conteúdo de IA foi percebido pelo público em geral ao gerar textos sobre diferentes tópicos:

Como este estudo foi atualizado desde então, também podemos comparar os resultados do GPT-3.5 e do GPT-4.0 quando se trata de conteúdo sobre diferentes tópicos. Assim como o GPT-3.5, quando utilizamos o GPT-4.0, o modelo de linguagem foi mais detectado em conteúdo de tecnologia (39,7%).

O conteúdo de viagens foi o mais indetectável quando se tratava do GPT-4.0, já que 66,5% dos leitores acreditavam que era editado por humanos ou por humanos. Enquanto o conteúdo de saúde foi o mais indetectável quando se tratava de GPT-3.5 (56,1%).

Quão confiável é a cópia gerada pelo ChatGPT?

A tabela a seguir revela a porcentagem de pessoas que pensaram que a cópia gerada pelo ChatGPT foi feita por uma IA, um humano ou editada por um humano tanto no GPT-3.5 quanto no GPT-4.0.

Abaixo, dividimos ainda mais os setores para que você possa ver como o ChatGPT produz conteúdo com aparência humana sobre diferentes tópicos.

Quanto mais familiarizado você estiver com as ferramentas de IA, maior será a probabilidade de detectar conteúdo de IA... mas apenas ligeiramente

Aqueles que disseram estar familiarizados com ferramentas de IA, como ChatGPT, foram ligeiramente melhores em encontrar conteúdo de IA, no entanto, ainda acertaram apenas 48% das vezes.

Esta capacidade de identificar escrita de IA cai de 7,2% para 40,8% quando se olha para pessoas que afirmaram nunca ter ouvido falar de IA generativa, indicando que as pessoas podem ganhar a capacidade de ver tendências e padrões em conteúdo gerado por IA.

No geral, não houve diferença estatística entre homens e mulheres na detecção de conteúdo de IA.

Quão convincente é a escrita de IA em diferentes setores

Nosso estudo entrevistou pessoas para saber se o conteúdo que liam era produzido por uma IA ou não em cinco setores principais. A seguir está uma análise da pontuação das pessoas em cada gênero de conteúdo: entretenimento, finanças, viagens, tecnologia e saúde.

Os leitores poderiam identificar mais IA em conteúdo de tecnologia

Nossas perguntas sobre tecnologia deram aos usuários respostas a perguntas sobre telefones celulares, hardware de computador, tecnologia inteligente, IA e provedores de Internet.

Em média, 51% dos utilizadores conseguiram adivinhar corretamente se as respostas escritas pela IA foram definitivamente criadas pela IA, enquanto um terço (33%) pensou que o mesmo conteúdo foi feito por humanos. Os 16% restantes não tinham certeza, supondo que se tratava de uma forma de conteúdo de IA posteriormente editado por humanos.

No geral, o conteúdo tecnológico teve a maior percentagem (51%) de utilizadores que identificaram corretamente o conteúdo de IA. As mulheres eram ligeiramente mais propensas a identificar corretamente o conteúdo tecnológico escrito por IA do que os homens (52,4% vs. 49,9%).

Quando se tratava de conteúdo de tecnologia escrito por humanos, apenas 36% das pessoas conseguiram identificar que foi escrito por um humano, com a maioria (48,4%) convencida de que a IA o havia escrito, os 15,6% restantes pensaram incorretamente que um humano provavelmente o havia editado Conteúdo escrito por IA.

Conteúdo de entretenimento escrito por IA com maior probabilidade de enganar jovens de 18 a 24 anos

Quando se trata de redação de entretenimento, especificamente seções de texto que discutem filmes, teatro, videogames, streaming e música, 47,3% dos entrevistados foram capazes de identificar corretamente o conteúdo de IA. Aqueles com idades entre 18 e 24 anos eram mais propensos a pensar que o conteúdo escrito por IA foi escrito por um ser humano (41,1%) em comparação com a média geral de 36,3%.

Quando se tratava de conteúdo de entretenimento escrito por humanos, seguiu-se uma tendência semelhante, já que uma grande maioria (44,8%) pensou que devia ter sido escrito por uma IA, e um pouco menos (38,9%) adivinhou corretamente que era um escritor humano.

Essa confusão segue a tendência geral de que as pessoas não conseguem distinguir entre IA e conteúdo escrito por humanos.

Viagem

Quando se tratava de redação de viagens on-line, testamos os entrevistados com conteúdo sobre como encontrar voos e hotéis acessíveis, preparação para viagens ao ar livre, dicas para alugar carros e opiniões sobre como usar agentes de viagens.

Quase exatamente na média, 47% das pessoas identificaram corretamente o texto da IA, mas 35,9% disseram que foi escrito por um ser humano.

No entanto, o conteúdo de viagens criado por humanos polarizou bastante os leitores. A maioria (41,6%) acertou que o texto foi escrito por um humano e não por uma IA, porém uma quantidade semelhante (40,5%) de leitores achou que o mesmo conteúdo deveria ser feito por IA.

Finança

As pessoas conseguiram identificar bem o conteúdo de IA quando se tratava de financiar conteúdo, acertando cerca de 45,8% das vezes, no entanto, 37,2% ainda pensavam que o mesmo texto de IA tinha que ser feito por um ser humano.

Quando se tratava de conteúdo escrito por humanos, 42,5% estavam confiantes de que foi escrito por uma IA, enquanto 40,5% adivinharam corretamente que foi criado por uma mente humana.

Conteúdo de saúde gerado por IA conseguiu enganar 53,1% dos usuários

Quando se tratava de conteúdo de saúde, oferecemos aos usuários textos sobre custos de substituição de quadril, perigos do paracetamol, problemas de saúde mental, planos de condicionamento físico e exames preventivos de saúde.

Nesse caso, a maior parte dos leitores do estudo (38,4%) achou que o conteúdo de IA foi escrito por um ser humano, enquanto 43,9% estavam confiantes de que era IA. Os 17,7% restantes acreditavam que se tratava de um texto de IA editado por humanos.

Conteúdo de saúde criado por humanos e revisado por profissionais médicos não conquistou leitores. Geralmente, o conteúdo feito por humanos nesta área fez com que a maioria das pessoas (44,9%) pensasse que foi gerado por IA, enquanto 37,9% pensaram que foi criado por um ser humano. Curiosamente, isso significa que um pouco mais de pessoas pensaram que o conteúdo de saúde da IA ​​era mais humano do que o conteúdo escrito por humanos.

Dos cinco setores que analisamos neste estudo, o conteúdo de saúde gerado pela IA confundiu mais os usuários. Isto pode ser muito perigoso à medida que avançamos em direção a um mundo onde a IA provavelmente se inserirá em mais partes das nossas vidas, incluindo os cuidados de saúde.

Os mais jovens têm mais dificuldade em identificar conteúdo de IA

Em todo o estudo, geralmente, os entrevistados mais jovens foram os mais fracos na identificação de conteúdo escrito por IA , com apenas 2 em cada 5 (40,2%) dos jovens de 18 a 24 anos acertando. Enquanto aqueles com mais de 65 anos foram mais cínicos e identificaram corretamente o conteúdo de IA em mais da metade das vezes (52%).

As pessoas confiam no conteúdo escrito por IA?

Se os editores de conteúdo, como blogueiros, jornais e revistas, publicassem conteúdo de IA sem avisar os usuários (o que alguns fizeram, às vezes até cheios de erros), gostaríamos de saber o que o leitor comum pensaria sobre isso.

A maioria dos nossos entrevistados (80,5%) disse acreditar que as divulgações de IA deveriam ser a norma online e que os editores deveriam conscientizar as pessoas.

Não é surpreendente que 71,3% também tenham afirmado que confiariam menos numa marca se esta publicasse conteúdo de IA sem o declarar explicitamente. Os restantes 28,7% disseram que isso não afetaria a sua confiança numa marca, indicando que talvez nem todos precisem de saber de onde vem o seu conteúdo online.

No que diz respeito ao impacto que essas revelações podem ter sobre os leitores, a história foi semelhante. Uma maioria ligeiramente menor (67,8%) disse que confiaria mais numa marca se as divulgações de IA estivessem presentes num conteúdo online, enquanto pouco menos de um terço (32,2%) disse que isso não teria um impacto positivo ou negativo na sua confiança.

No geral, os dados indicam que a maioria das pessoas preferiria marcas que revelassem explicitamente como e onde a IA foi usada para criar o seu conteúdo. Ainda não se sabe se isso se tornará a norma no mundo do conteúdo online.

Metodologia

1.920 adultos americanos de todas as faixas etárias foram entrevistados e solicitados a decidir se um trecho de texto foi criado por IA, um humano ou IA e editado por um humano. Isso foi feito em 75 trechos de texto único, e 3.166 respostas foram coletadas para esta análise. Os dados da pesquisa foram coletados de 20/02/2023 a 26/02/2023.

Os entrevistados foram questionados sobre o quão familiarizados eles estavam com IA e conteúdo de IA. A maioria das pessoas nesta pesquisa já experimentou algum tipo de ferramenta de IA pelo menos uma vez, incluindo ChatGPT, mas pode não ser ChatGPT.

• 57,1% do nosso público já experimentou alguma forma de ferramenta de IA generativa pelo menos uma vez
• 41,1% já ouviram falar de alguma forma, mas nunca os usaram pessoalmente
• 1,8% nunca tinham ouvido falar de IA generativa antes de participar da pesquisa

Foram utilizadas 25 perguntas na análise com três respostas por pergunta: uma de IA (ChatGPT), uma escrita por um jornalista humano e outra criada por IA e depois editada por um redator humano profissional. As perguntas e respostas foram completamente aleatórias entre os usuários para que eles não pudessem ver mais de uma resposta por pergunta.

O conteúdo foi escolhido selecionando perguntas altamente pesquisadas (determinadas pelo volume de pesquisa do Google) nos setores de entretenimento, finanças, tecnologia, viagens e saúde.

O ChatGPT recebeu instruções para escrever como um especialista no tópico relevante (por exemplo, um jornalista de viagens ou um gerente financeiro) e explicar as respostas “de forma simples”. O conteúdo foi removido da resposta da IA ​​se ficasse óbvio que foi escrito por uma IA, como “OK, vou fingir ser um gerente financeiro e é isso que eu diria”. O conteúdo escrito por humanos foi proveniente de sites especializados que produziram conteúdo aprofundado sobre a respectiva questão. Quaisquer sites que divulgaram o uso de IA em seu conteúdo não foram utilizados para esta análise. Exemplos de perguntas e respostas dadas aos entrevistados podem ser encontrados aqui.

Atualização GPT-4.0 para estudar

Para avaliar as capacidades do GPT-4.0 no ChatGPT, entrevistamos 1.394 adultos americanos entre 22 e 25 de março de 2023. Eles responderam às mesmas perguntas sobre se achavam que um texto foi produzido por uma IA, um humano ou editado por um humano. Os tópicos e consultas foram os mesmos do estudo GPT-3.5, exemplos são dados na planilha acima.

Outros recursos de IA

Você pode até usar IA para ajudá-lo a criar um site hoje em dia! Confira nosso guia com os melhores construtores de sites de IA para obter mais informações.

Esta obra está licenciada sob uma Licença Creative Commons Atribuição 4.0 Internacional.