♭01. Quem controla o loop? Criatividade, IA e a defesa da singularidade
Entre atrofias cognitivas e estéticas vazias: por que precisamos colocar a IA no nosso loop, e não o contrário
Na edição passada, discuti a erosão do pensamento crítico, o sequestro da atenção e os riscos do anti-intelectualismo. Agora, avanço uma casa para falar da nossa relação com tecnologias que prometem ampliar nossa criatividade enquanto, ironicamente, ameaçam diluí-la.
Aviso: ainda estou afinando o “esquema” da newsletter. Como o texto rendeu, deixei algumas seções de fora desta edição.
Em cima do muro
Ser escritor e programador (conto essa história aqui) me coloca entre duas habilidades sedutoras: criar algo singular — como um romance ou um sistema — e automatizar tarefas chatas (inclusive as criativas, mas isso fica para outro dia) na esperança de recuperar algumas horas ou minutos. Parece uma combinação perfeita, mas no fim dá trabalho igual.
Essas escolhas também me colocam num eterno “em cima do muro” entre otimismo e pessimismo tecnológico (o Luli Radfahrer resume bem os conceitos de tecno-otimismo e tecno-pessimismo).
Faz algumas semanas, participei de um evento sobre “tendências e impactos da inteligência artificial na economia criativa”. Como é típico desses encontros voltados ao mercado, as palestras tinham, em geral, um viés bastante otimista (às vezes irritantemente motivacional). Enquanto isso, a plateia pendia entre o fascínio com as possibilidades da IA — um pouco como aqueles que, em 1895, teriam se espantado com a chegada do trem no filme dos irmãos Lumière (uma história que, aparentemente, não passa de fofoca, digo, rumor) — e a apreensão sobre o futuro dos seus empregos e habilidades.
Para puro deleite, aqui está uma versão restaurada de Lumière em 4K:
Entre as falas, no evento, saltou aos meus ouvidos a expressão “human in the loop” — o humano no circuito —, que eu certamente já tinha ouvido antes, sem dar muita atenção.
Quem é o human in the loop?
A ideia nasceu com os primeiros sistemas de automação, quando ficou claro que certas tarefas exigiam flexibilidade e discernimento humanos. Nos anos 1950 e 1960, engenheiros já constatavam que eliminar completamente o operador humano do circuito geralmente fracassava; gradualmente, consolidou-se a visão de que esse operador é parte essencial do loop de controle em sistemas complexos.
Diariamente, você cruza com humanos no loop mesmo sem perceber — provavelmente só embarca em um avião porque sabe que há um piloto e uma torre de controle, ou em um vagão da linha 4 do metrô de São Paulo ciente de que existe gente de olho, mesmo à distância.
Em 1983, um humano no loop salvou o mundo de uma hecatombe nuclear. Stanislav Petrov, tenente-coronel da defesa aérea soviética, ignorou um alerta automático de mísseis americanos (depois confirmado como falso). Ao julgar que se tratava de erro do sistema, Petrov interrompeu uma possível resposta nuclear automática que poderia ter desencadeado uma catástrofe global.
Em 2015, um documentário com Kevin Costner contou essa história:
Uma construção sutil e capciosa
Ter (ou ser) um humano no loop pode soar reconfortante, como no caso do avião: manteremos humanos no controle, supervisionando as máquinas, assim não seremos dominados por elas.
Mas essa expressão me atiçou justamente porque notei um ruído na sua construção. Observe o que ela sugere:
O processo principal é automatizado
O humano é um componente do sistema
Nossa função é supervisionar, julgar, intervir
O incômodo do human in the loop vem do fato de ele carregar um lado perverso, em sentido filosófico e se levado ao extremo, ao colocar o humano como mera peça dentro do loop da técnica — um componente necessário apenas para evitar falhas catastróficas, como um trem do metrô se espatifando na estação final.
A minha pergunta um tanto inocente é: será essa a relação que queremos estabelecer com a tecnologia? Por que somos nós que estamos no seu loop, e não o contrário?
Autoridade e responsabilidade; confiança e autonomia
O modelo human in the loop levanta questões sobre como dividimos autoridade e responsabilidade entre pessoas e sistemas inteligentes. O tráfego aéreo hoje depende tanto de sistemas automatizados quanto — como mostraram os recentes acidentes nos EUA — de controladores humanos bem pagos.
Fundamental nesse debate é a questão da confiança e autonomia: em que medida devemos acatar as recomendações algorítmicas antes de aplicar nosso próprio julgamento?
A presença humana oferece um contrapeso ético e contextual à frieza estatística das máquinas, e prevalece o entendimento de que avaliações moralmente complexas, como no caso de Petrov, exigem uma consciência capaz de perceber nuances que os algoritmos ignoram.
A newsletter Axios AI+ recentemente abordou esse tema. Atualmente, a supervisão humana é essencial em tarefas como revisar o trabalho final de IAs ou intervir em momentos críticos — embora nem sempre humanos sejam melhores decisores que algoritmos.
Enquanto isso, crescem as incertezas sobre quando a IA deve assumir o controle e quais riscos estamos dispostos a aceitar. Sam Altman, CEO da OpenAI, observou que ninguém defende (exceto talvez Elon Musk) que uma IA decida lançar armas nucleares, mas já existe consenso sobre usá-la para interceptar mísseis em tempo real.
Em paralelo, a difusão da IA traz o risco do excesso de confiança na automação. O automation bias demonstra que operadores humanos tendem a superestimar sistemas automatizados, muitas vezes aceitando suas decisões sem questionamento adequado.
Isso gera um paradoxo: incluímos humanos no circuito para garantir controle e segurança, mas se eles se tornam meros carimbadores das decisões das máquinas, esse benefício se esvai.
Não seria o caso, então, de inverter essa lógica para algo como "AI in the human loop" [IA no circuito humano]?
O vazio criativo e a estética Slop
O que tudo isso tem a ver com arte e literatura?
O crítico
, em um ensaio sobre a arte gerada por IA, descreve o surgimento do que ele chama de “Slop”, o estilo dominante da era dos algoritmos:Em vez de manifestos estéticos, temos plataformas na web. Elas têm máquinas para tomar grandes decisões—e as máquinas inventaram o estilo artístico dominante do nosso tempo. Ele se chama Slop. E está em toda parte. Tem música Slop e arte visual Slop e vídeo Slop. Há Slop suficiente para todos nós—porque as máquinas fazem Slop sem parar. Qualquer um pode ser um artista Slop. Você pode fazer Slop até não aguentar mais! É fácil: basta encontrar um bot de IA e dar um comando—quanto mais bizarro, melhor.
Aqui uma tentativa de entrar na onda Slop:
Há alguns dias, compartilhei que Extremo Oeste, meu romance, foi incluído na lista de leituras para o vestibular da Unicentro, em Guarapuava - PR. E reafirmei, como faço sempre que possível, que para mim a arte é fundamentalmente uma forma de diálogo — entre seres humanos.
É por isso que, mesmo utilizando chatbots diariamente, confio que a IA só vai efetivamente substituir artistas e escritores no dia em que não houver mais arte (spoiler: não vai acontecer tão cedo). Não por oposição à tecnologia, mas pela compreensão de que o valor essencial da criação artística está na expressão singular de uma consciência humana.
De novo Gioia:
A IA não possui um eu. Ela carece de pessoalidade. Não tem experiência de subjetividade. Então qualquer arte que ela crie inevitavelmente parecerá vazia e oca. Qualquer qualidade humana que ela possua será baseada em imitação, pretensão e engano. Nada disso é real. A IA nem mesmo tem um senso direto de objetividade—seu conhecimento dos objetos é todo em segunda mão, assimilado através de dados. Isso resulta em uma falta de profundidade ou significado sentido em qualquer trabalho artístico que ela crie. É por isso que a mediocridade é inevitável na era da IA.
Por mais fascinantes que sejam os resultados gerados por essas plataformas, tenho a sensação de eles que ocupam hoje um lugar que já foi dos bancos de imagem e trilhas sonoras royalty-free (agora provavelmente inundados por Slop). Mesmo com algum ganho de originalidade, os resultados me parecem sempre medianos. Veja bem: o mediano já resolve muitos jobs, mas está longe de qualquer excelência criativa.
Os modelos certamente evoluirão e ocuparão mais espaço, mas isso não muda a questão central: o que torna uma imagem (um texto, uma música) verdadeiramente significativa não é apenas sua composição formal (o que a IA replica bem), mas a história por trás dela. Uma criação simplesmente gerada por IA é uma criação sem história. Um prompt não é uma história.
Atrofia cognitiva e serendipidade perdida
Um estudo da Carnegie Mellon e da Microsoft indicou que pessoas que delegam tarefas à IA estão perdendo habilidades de raciocínio. Após analisar mais de 900 exemplos de profissionais que utilizam IA generativa, a pesquisa concluiu que quanto mais alguém confia nos resultados gerados, menos esforço cognitivo ela aplica, comprometendo a capacidade crítica:
Ao mecanizar tarefas rotineiras e deixar o tratamento de exceções para o usuário humano, você priva o usuário das oportunidades rotineiras de praticar seu julgamento e fortalecer sua musculatura cognitiva, deixando-os atrofiados e despreparados quando surgem exceções.
Uso chatbots e automações diariamente, inclusive para escrever essa newsletter. Um exemplo é a ferramenta Deep Research do ChatGPT, que utilizei para pesquisar sobre o conceito de “human in the loop”. Em alguns minutos, recebi um relatório detalhado incluindo links para as referências.
A eficiência do mecanismo é sedutora, mas se ganhei tempo ao delegar a pesquisa ao algoritmo, também abri mão de possíveis desvios produtivos e conexões inesperadas, comuns em uma pesquisa à moda antiga. O trade-off (ou equilíbrio) não é tão óbvio quanto pode parecer.
O filósofo Byung-Chul Han (que nem está entre as minhas leituras favoritas) argumenta que a busca obsessiva por produtividade nos conduz a uma “sociedade do cansaço”, na qual perdemos a capacidade de vivenciar o “tédio profundo” essencial para a criatividade genuína.
Quando delegamos à IA descobertas que antes fazíamos lentamente, nos privamos da contemplação que, para Han, é justamente o que nos permite resistir à lógica do desempenho. A eficiência algorítmica elimina o espaço onde o pensamento criativo nasce: nos desvios, nas pausas, nos tempos mortos que a sociedade contemporânea tenta a todo custo preencher.
Reposicionando o loop
, professor da Universidade da Pensilvânia e autor de Co-Intelligence, afirmou em uma postagem recente no X: Uma razão pela qual eu gostaria que mais pessoas orientadas para as humanidades se envolvessem com IA é que os modelos são escritores, treinados em palavras, produzindo palavras. Há pontos fortes e fracos nos modelos que só podem ser vistos se você se envolver profundamente com eles como escritores.
Mollick sugere um caminho que eu também defendo: não se trata de rejeitar a IA ou a automação, mas de posicioná-las consciente e criticamente dentro do nosso fluxo de trabalho criativo e intelectual. Como outros autores, vejo valor em utilizar tais ferramentas como auxiliares no processo criativo — não para substituir a essência da prática artística, mas para potencializar certas etapas do trabalho (como a pesquisa, que faz sentido para o caso específico dessa newsletter).
Há alguns dias, o escritor angolano José Eduardo Agualusa publicou em sua coluna n’O Globo um relato sobre experiências com o ChatGPT. O que inicialmente lhe pareceu “ridículo e decepcionante” ganhou nuances mais interessantes quando o autor começou a incorporar a ferramenta ao seu próprio universo:
Suspeito que o ChatGPT e outros instrumentos semelhantes serão cada vez mais importantes no dia a dia de escritores e artistas em geral. Contudo, serão sempre instrumentos — não autores. Um fotógrafo medíocre continuará sendo um fotógrafo medíocre, por mais sofisticada que seja sua câmera. Por outro lado, um grande fotógrafo conseguirá produzir imagens poderosas com uma câmera popular do século passado.
(A menção ao fotógrafo medíocre me remete a debates de uma década atrás sobre o uso do Adobe Lightroom)
A conclusão de Agualusa dialoga com o ponto que venho defendendo: a ferramenta pode ampliar o potencial criativo de quem já o possui. Um Fernando Pessoa usando IA criaria poemas geniais que ainda carregariam a sua assinatura, enquanto um poeta medíocre turbinado pelo chatbot continua produzindo poesia motivacional para o Instagram.
Como finaliza Agualusa, esperar que a IA produza arte significativa sem intervenção humana “é como esperar que um pincel, esquecido no estúdio de David Hockney, pinte sozinho ‘A Bigger Splash’”.
De novo por puro deleite (e alguma reflexão), veja esse trabalho de Anish Kapoor que passou recentemente pela Casa Bradesco, em São Paulo:
O loop que realmente importa
O verdadeiro desafio, portanto, não é decidir se devemos usar ferramentas de IA, mas determinar, com clareza e intenção, quem está no centro do loop. Essa inversão conceitual — de “human in the AI loop” para “AI in the human loop” — pode parecer sutil, mas carrega implicações profundas.
Não se trata de rejeitar a tecnologia. A questão está em preservar aquela singularidade essencial que o escritor George Saunders descreve tão bem em “A Swim in a Pond in the Rain”: nossa forma única de narrar o mundo a partir da experiência subjetiva:
No instante em que acordamos, a história começa: “Aqui estou eu. Na minha cama. Trabalhador dedicado, bom pai, marido decente, um cara que sempre dá o melhor de si. Puxa, como doem as minhas costas. Provavelmente por causa daquela academia idiota.”
E assim, apenas com nossos pensamentos, o mundo é criado. Ou, melhor dizendo, um mundo é criado.
Essa criação de mundo via pensamento é natural, sã, darwiniana: fazemos isso para sobreviver. Há algum mal nisso? Bem, sim, porque pensamos da mesma forma que ouvimos ou vemos: dentro de um espectro estreito, que favorece a sobrevivência. Não vemos ou ouvimos tudo o que poderia ser visto ou ouvido, mas apenas aquilo que nos é útil ver e ouvir. Nossos pensamentos são igualmente restritos e têm um propósito similarmente limitado: ajudar o pensador a prosperar.
(…)
Assim, a cada instante, cria-se um abismo ilusório entre as coisas como pensamos que são e as coisas como realmente são. E lá vamos nós, confundindo o mundo que criamos com nossos pensamentos com o mundo real. O mal e a disfunção (ou pelo menos a inconveniência) ocorrem na proporção da solidez com que uma pessoa acredita que suas projeções estão corretas e da energia com que age baseada nelas.
Talvez o verdadeiro risco não seja a IA se tornar mais humana, mas nós nos tornarmos mais vazios.
Como evitar isso? Insistindo para que a tecnologia permaneça a serviço de processos fundamentalmente humanos — a criação de significado, o diálogo através do tempo e do espaço, as descobertas não-programadas.
Porque, no final, o loop que realmente importa é aquele que conecta um ser humano a outro.
Para terminar, como esse texto começou em cima do muro, deixo mais um trecho de Saunders, falando do escritor e dramaturgo russo Tchékhov:
Em um mundo cheio de pessoas que parecem saber tudo, apaixonadamente, com base em poucas informações (frequentemente tendenciosas), onde a certeza é muitas vezes confundida com poder, que alívio é estar na companhia de alguém confiante o suficiente para permanecer inseguro (isto é, perpetuamente curioso).
Referências
The New Aesthetics of Slop (Ted Gioia, The Honest Broker)
How to Love the World More: George Saunders on the Courage of Uncertainty (Maria Popova, The Marginalian)
Study Finds That People Who Entrust Tasks to AI Are Losing Critical Thinking Skills (Noor Al-Sibai, Futurism)
AI is ‘beating’ humans at empathy and creativity. But these games are rigged (MJ Crockett, The Guardian)
A IA a serviço da poesia (José Eduardo Agualusa, O Globo)
Sociedade do cansaço (Byung-Chul Han)
Se você chegou agora
Sou Paulo Fehlauer, criado no oeste do Paraná e habitante de São Paulo. Estou terminando um doutorado em Teoria Literária na Unicamp e acabo de fazer uma pós em Jornalismo de Dados no Insper. Sou também programador, fotógrafo, produtor audiovisual e artista visual — talvez você tenha visto algum trabalho do Coletivo Garapa no Masp, MAM-SP, Sesc ou IMS.
Meu primeiro romance, Extremo Oeste, venceu o Prêmio Cepe em 2021, como Melhor romance, e o Jabuti em 2023, na categoria Escritor estreante. Veja o que diz o Leandro Karnal:
Novidades
Fui convidado a conduzir um dos módulos do CLIPE (Curso Livre de Preparação de Escritores), da Casa das Rosas, que está com inscrições abertas até 30/3. Fui aluno em 2017 e recomendo demais para quem quer exercitar a escrita. Essa edição é presencial e gratuita, mas a seleção costuma ser acirrada. Os outros professores dessa edição serão Reynaldo Damazio (coordenador), Carol Rodrigues, Carla Kinzo e Janine Rodrigues.
Sobre uso de IA
_ Declaro ter utilizado Claude Sonnet 3.7, ChatGPT e Perplexity para auxílio na composição e redação deste texto, e assumo total responsabilidade pelo seu conteúdo. Este aviso foi elaborado segundo as Diretrizes para o uso ético e responsável da inteligência artificial generativa. Se quiser saber mais sobre como usar a IA de forma produtiva, mande um alô:
Uma ótima discussão labiríntica, Paulo.
Aliás, para manter a "AI in the human loop”, acho interessante escritores compartilharem suas boas práticas com AI, como você trouxe em relação ao Deep Research e o Agualusa com os haicais e a descoberta de palavras em outras línguas com significados que não temos na nossa (aliás, me remeteu à beleza que foi me deparar com o livro Lost in translation: Um compêndio ilustrado de palavras intraduzíveis de todas as partes do mundo).
Como sugestão adicional de leitura ensaística-literária que dialoga com essas reflexões do hoje, deixo como recomendação o texto da conferência - do ontem, de 1967 - de Italo Calvino: Cibernética e Fantasmas (Notas sobre a Narrativa como Processo Combinatório).
Lá, o autor já perguntava: "teremos a máquina capaz de substituir o poeta e o escritor?"; constatava (ironicamente?) "que meu lugar poderá ser perfeitamente ocupado por um engenho mecânico.", defendia que "o momento decisivo da vida literária será a leitura. Nesse sentido, mesmo que entregue à máquina, a literatura continuará sendo um lugar privilegiado da consciência humana, uma explicitação das potencialidades contidas no sistema de signos de toda sociedade e de toda época."
E arrematava com uma valorização de aspectos unicamente humanos: "A máquina literária pode efetuar todas as trocas possíveis num determinado material: mas o resultado poético será o efeito particular de uma dessas trocas no homem dotado de uma consciência e de um inconsciente, isto é, no homem empírico e histórico; será o choque que se verifica só na medida em que, ao redor da máquina de escrita, existam os fantasmas ocultos do indivíduo e da sociedade."