Ninguém percebe de lugar nenhum – A inteligência artificial e a descoberta do observador

A quarta revolução é para dentro

Uma pessoa escreve um parágrafo e pede a um assistente de inteligência artificial que o melhore. O texto volta mais claro, mais elegante, talvez até com algumas palavras que ela própria não escolheria. Ela aprova.
Semanas depois, relê o que escreveu e já não sabe exatamente o que era seu e o que veio da máquina. Mais curioso ainda: ao começar o parágrafo seguinte, percebe que já está escrevendo um pouco como imagina que o assistente escreveria.

Não aconteceu nada de extraordinário. Ninguém a enganou, ninguém a obrigou a nada. Ainda assim, alguma coisa mudou na maneira como ela olha para o próprio texto — e talvez, pouco a pouco, na maneira como organiza as próprias ideias.

Cenas assim estão se tornando banais. E talvez digam mais sobre a época em que vivemos do que algumas das imagens mais conhecidas da chamada quarta revolução industrial: fábricas sem trabalhadores, algoritmos substituindo profissões, máquinas realizando tarefas antes reservadas aos seres humanos.

Há algo mais profundo acontecendo. A revolução não é apenas para fora. A quarta revolução é também para dentro.

As revoluções industriais anteriores transformaram, sobretudo, o mundo que percebíamos. Esta começa a alcançar o próprio ato de perceber. Interfere no que aparece diante de nós, no que recebe nossa atenção e, cada vez mais, nas palavras com que organizamos a experiência.

E produz um efeito inesperado: obriga-nos a perceber que nossa percepção sempre foi formada por alguma coisa. Nunca percebemos de lugar nenhum.

É sobre essa descoberta que quero falar. Interessa-me menos lamentar ou celebrar a tecnologia do que compreender o que ela torna visível sobre um fenômeno muito mais antigo: a maneira como cada um de nós se torna capaz de ver o mundo.

O sujeito que a filosofia política supôs pronto

Boa parte da filosofia política moderna foi construída sobre uma figura silenciosa: a de um sujeito que chega mais ou menos pronto à cena política.

Em Hobbes, Locke e, muito mais tarde, Rawls, encontramos diferenças enormes sobre liberdade, justiça, contrato e sociedade. Mas há algo que, em linhas gerais, já está lá antes que a discussão política comece: uma pessoa que percebe o mundo, possui interesses ou desejos e é capaz de formular algum juízo sobre aquilo que considera razoável.

A pergunta política vem depois: o que fazer com esse sujeito? Que direitos possui? Quanto poder pode ser exercido sobre ele?
A formação da própria percepção — o processo pelo qual alguém passa a enxergar o mundo de determinada maneira — ficou em grande medida fora dessa conversa. Foi entregue à psicologia, à pedagogia, à antropologia. Parecia algo anterior à política, quase um dado natural.

Há uma razão para isso. Durante muito tempo, os processos que formavam nossa percepção eram lentos, difusos e, em boa parte, anônimos. A língua materna, a cultura, a família, a religião, a escola. Tudo isso atuava sobre nós, evidentemente, mas não havia alguém numa sala de controle ajustando, pessoa por pessoa e em tempo real, aquilo que cada indivíduo deveria notar.

A formação do olhar simplesmente parecia acontecer.

Era um pouco como o ar. Todos respiramos, ninguém escolheu a composição da atmosfera e, na vida cotidiana, raramente perguntamos quem a definiu. Com a percepção ocorreu algo semelhante: por estar sempre presente e ser compartilhada, parecia não pertencer propriamente a ninguém.

Isso teve um custo teórico. Quando ninguém parece operar o processo, torna-se fácil esquecer que o processo existe. Tratamos o observador como ponto de partida, quando ele próprio é um resultado.
Não nascemos observadores prontos. Tornamo-nos observadores — sempre em relação com alguma coisa.

Somos animais que se interpretam

Charles Taylor descreveu o ser humano como um self-interpreting animal, um animal que se interpreta. A frase parece simples, mas contém uma tese importante.

Uma pedra não precisa compreender a si mesma para ser uma pedra. Com os seres humanos, a situação é diferente. Aquilo que sentimos — vergonha, orgulho, culpa, dignidade — depende, em parte, da maneira como compreendemos o que está acontecendo conosco.

Essa compreensão não chega depois da experiência, como uma legenda acrescentada a uma imagem já pronta. Ela participa da própria experiência.

Pense em alguém que vive durante meses com um cansaço persistente e conclui que está simplesmente sendo preguiçoso. Culpa-se. Um dia encontra uma palavra, uma explicação ou uma descrição que permite compreender aquele estado de outra maneira. Reconhece ali sua própria história.

A palavra não apenas nomeia o que já existia. Ela modifica a experiência. O que antes parecia falha de caráter pode passar a ser percebido como consequência de uma circunstância. A culpa perde terreno. A percepção de si muda.

Taylor chama atenção para outro aspecto decisivo: esse vocabulário não é inventado individualmente. Aprendemos com os outros as palavras para amor, vergonha, dignidade, humilhação, coragem. Pertencemos a uma comunidade linguística antes mesmo de termos condições de escolher conscientemente o que fazer com ela.

Isso não significa que sejamos marionetes da linguagem. Podemos criticar, recusar e reinventar as interpretações que recebemos. Fazemos isso o tempo todo. Mas fazemos sempre a partir de algum lugar e com ferramentas que, ao menos inicialmente, nos foram dadas.

Se Taylor estiver certo, a ideia de uma percepção neutra, à qual acrescentamos interpretações depois, começa a perder força. A interpretação já estava lá.

O horizonte que foi criado

Cornelius Castoriadis leva essa intuição do indivíduo para a sociedade.
Para ele, toda sociedade cria significações que ajudam a definir aquilo que aparece como real, desejável, normal ou possível. É o que chama de imaginário social.

Não se trata de imaginação no sentido de fantasia. Trata-se da rede de significados que faz certas coisas parecerem naturais e outras quase impensáveis: o que entendemos por família, sucesso, trabalho digno, autoridade, beleza, futuro.

Nascemos dentro desse horizonte. E, na maior parte do tempo, não o percebemos justamente porque enxergamos através dele.

É como usar óculos durante tanto tempo que esquecemos que existem lentes entre nossos olhos e o mundo. Às vezes uma viagem, uma conversa com alguém de outra cultura ou até a leitura de uma carta antiga é suficiente para que as lentes apareçam por um instante.

Castoriadis distingue, nesse contexto, heteronomia e autonomia. Na heteronomia, uma sociedade vive seu horizonte como se ele viesse de fora: dos deuses, da tradição, da natureza, de alguma ordem que não pode ser questionada. Na autonomia, começa a reconhecer que esse horizonte foi instituído por seres humanos e, justamente por isso, pode ser interrogado e transformado.

Autonomia, então, não significa escapar do imaginário social. Isso seria impossível. Significa algo mais modesto e, ao mesmo tempo, bastante exigente: perceber que aquilo que parece evidente tem uma história e poderia ser diferente.

Autonomia não é perceber sem influências. É também tornar-se capaz de perceber as influências que participam da formação do próprio olhar.

Ninguém percebe de lugar nenhum

Até aqui falei de linguagem e cultura. Mas a formação da percepção começa antes e vai mais fundo: passa pelo próprio corpo.

Humberto Maturana e Francisco Varela mostraram que o sistema nervoso não funciona simplesmente como uma câmera que registra um mundo já pronto. O organismo responde ao ambiente a partir de sua própria estrutura. Em outras palavras, aquilo que pode aparecer como diferença depende também de quem percebe.

Um sapo e um morcego não veem versões melhores ou piores do mesmo mundo. Cada organismo habita um mundo de distinções que sua própria organização torna possível.

Há experimentos perceptivos muito simples que mostram algo semelhante em nós. Sob determinadas condições de iluminação, podemos perceber uma cor que não corresponde diretamente à luz que está chegando daquele ponto. Vemos com nitidez algo que não está simplesmente “lá fora”, esperando para ser fotografado pela retina.
Nos seres humanos, a isso se acrescentam linguagem, história e convivência.

Maturana repetia uma formulação que, à primeira vista, pode soar quase óbvia: tudo o que é dito é dito por um observador. Mas a consequência não é pequena. Conhecer não é simplesmente reproduzir internamente um mundo pronto. É fazer surgir um mundo no próprio ato de distinguir.

António Damásio chegou a esse problema por outro caminho. Alguns de seus pacientes, após lesões em regiões cerebrais associadas ao processamento emocional, preservavam inteligência, linguagem e capacidade de raciocínio abstrato, mas tinham enorme dificuldade para tomar decisões práticas. Podiam passar um tempo desproporcional avaliando alternativas relativamente simples.

Faltava justamente aquilo que, durante séculos, foi tratado como possível obstáculo à razão: a emoção.
Isso sugere que a relevância das coisas não é determinada apenas por um cálculo abstrato. Antes de calcularmos conscientemente, o organismo já está marcando diferenças, atribuindo importância, sentindo.
Taylor, Castoriadis, Maturana, Varela e Damásio partem de tradições muito diferentes e não precisam ser transformados artificialmente em uma única teoria. O que me interessa é um ponto de aproximação entre eles: não existe observador neutro.

Percebemos a partir de um corpo, de uma linguagem, de uma cultura, de uma história e de premissas que compartilhamos com outros. O ponto de vista puro talvez nunca tenha existido. Apenas era mais fácil acreditar nele.

Quando a percepção se torna operável

Durante grande parte da história, a formação da consciência ocorreu de maneira relativamente silenciosa. Língua, cultura, corpo e convivência nos formavam, mas ninguém ajustava continuamente esse processo a partir de dados produzidos por cada indivíduo.

É aqui que algo muda.

Uma parte crescente da nossa experiência passa por interfaces capazes de observar comportamentos, registrar escolhas, aprender padrões e devolver o mundo de maneira personalizada.

Pense no mapa de navegação do celular. Conhecer uma cidade já significou aprender referências, errar ruas, reconhecer esquinas, perguntar caminhos, descobrir atalhos por acaso. Hoje seguimos uma seta azul. A cidade continua lá, evidentemente, mas a cidade que experimentamos passa a ser também aquela que o sistema organiza para nós: algumas rotas aparecem, outras não; alguns lugares tornam-se familiares, outros permanecem invisíveis.

Basta a bateria acabar no momento errado para percebermos quanto da nossa orientação já estava fora da cabeça.

Algo parecido acontece com a música. Os sistemas de recomendação podem ampliar extraordinariamente nosso acesso a artistas e estilos. Mas, à medida que aprendem o que nos faz continuar ouvindo, passam também a nos oferecer mais daquilo que reconhecem como compatível conosco.

Não é necessário que alguém imponha um gosto musical. O processo é muito mais sutil. O gosto pode ir sendo afinado até que a surpresa se torne menos frequente — e continuaremos dizendo, com absoluta sinceridade, que ouvimos apenas aquilo de que gostamos.

A diferença em relação às influências antigas não é que antes fôssemos livres e agora deixamos de ser. A língua não sabia quem éramos. A cultura não registrava cada gesto nosso. Um sistema digital pode fazê-lo.
Ele observa comportamentos, infere tendências e nos devolve uma parte do mundo recortada segundo essas inferências. E talvez aí esteja uma das questões mais delicadas: essa experiência não costuma parecer influência. Muitas vezes parece apenas que o mundo finalmente nos entende.

E aquilo que parece nos compreender muito bem tende a ser justamente aquilo que menos interrogamos.
Voltemos à pessoa que escrevia com o assistente de inteligência artificial. Talvez o problema nem seja saber quem escreveu determinada frase. Há algo mais interessante acontecendo: a ferramenta começa a participar do lugar a partir do qual a própria pessoa escreve, compara, escolhe e percebe.

Ela não é anônima como a língua e não age com a lentidão difusa da cultura. Responde imediatamente, aprende padrões, sugere caminhos. Além disso, foi construída por alguém, dentro de determinadas arquiteturas e com determinados objetivos.

Confesso que não sei dizer se o que acontece ali é perda ou apenas mudança.

Os mapas ajudam. As recomendações musicais podem ser deliciosas. Assistentes de inteligência artificial podem ampliar enormemente nossa capacidade de pesquisar, escrever e pensar. Condenar a tecnologia em bloco não nos levaria muito longe.

O ponto que me interessa é outro. Quando a formação da percepção se torna ajustável, mensurável e, em alguma medida, otimizável, ela deixa de parecer inteiramente natural.

O processo silencioso ganhou botões. E um processo que possui botões pode ser operado por alguém.

Uma consciência que pode ser perdida

Há um paradoxo nisso tudo. A mesma tecnologia que passa a intervir de maneira cada vez mais íntima em nossa percepção talvez esteja nos obrigando, pela primeira vez, a olhar diretamente para a própria percepção.

Enquanto os processos que formavam nosso olhar permaneciam silenciosos, era relativamente fácil imaginar um observador neutro. Quando surgem interfaces, configurações, sistemas de recomendação e modelos capazes de responder de maneira personalizada, essa ilusão fica mais difícil de sustentar.

A inteligência artificial não inventou o fato de que nossa consciência é construída em relação com o mundo e com os outros. Ela apenas tornou isso mais difícil de ignorar.

Talvez a revolução para dentro abra, portanto, uma possibilidade inesperada: a de desenvolver uma consciência mais aguda sobre a própria percepção. Perceber que nossa maneira de ver tem história, que algumas de nossas evidências foram aprendidas e que parte do horizonte diante de nós pode estar sendo organizada por outros.

Se Castoriadis estiver certo, há aí algo profundamente ligado à autonomia.

Mas possibilidade não é conquista. Existe um adversário bastante simples: a conveniência.

Há ainda uma dificuldade anterior. Quando estamos sendo influenciados — ou mesmo manipulados — raramente vivemos essa experiência como manipulação. Se percebêssemos claramente o mecanismo enquanto ele atua, parte de sua eficácia provavelmente se perderia. O que chega até nós costuma aparecer simplesmente como escolha, preferência, interesse ou evidência: “eu gosto disso”, “isso me interessa”, “foi isso que eu procurei”. Talvez uma das exigências desta nova revolução seja justamente aprender a desconfiar um pouco dessa transparência aparente da própria vontade. Não para imaginar que exista uma vontade pura, livre de qualquer influência, mas para reconhecer com mais atenção as forças que participam de sua formação.

E aqui aparece novamente o paradoxo. Quanto mais visíveis se tornam os mecanismos capazes de selecionar, recomendar e antecipar nossas escolhas, maior também pode ser nossa consciência de que aquilo que vemos nunca chega inteiramente sem mediação. A tecnologia que amplia a possibilidade de interferência talvez também nos obrigue a desenvolver uma espécie de atenção sobre a própria atenção.

As interfaces mais bem-sucedidas são justamente aquelas que desaparecem. Quanto mais fluida a experiência, menos razões temos para perguntar de onde veio determinada sugestão. A seta azul funciona tão bem que esquecemos que alguém — ou algum sistema — escolheu aquele caminho entre vários possíveis.
Às vezes me pergunto se a lucidez resiste a tanta facilidade.

Talvez perceber o próprio ponto de vista não exija nenhum gesto heroico. Não é preciso abandonar o telefone, recusar a inteligência artificial ou desconfiar de toda recomendação.

Pode começar de maneira muito menor. Perguntar por que uma ideia pareceu tão óbvia. Caminhar, de vez em quando, por uma rua que o mapa não sugeriu. Ouvir um álbum inteiro sem que o sistema escolha a próxima música. Voltar a uma frase e tentar descobrir de onde ela veio — não apenas quem a escreveu, mas que percurso fez até parecer nossa.

São gestos pequenos. Mas talvez seja justamente aí que uma questão filosófica deixa de ser apenas teórica.
A pergunta que a inteligência artificial coloca não é se conseguiremos viver sem influência das máquinas. Nunca vivemos sem influências. E ninguém percebe de lugar nenhum.

A pergunta é outra: continuaremos capazes de perceber de onde estamos percebendo?

Não tenho certeza de que essa capacidade venha pronta conosco. Talvez ela precise ser cultivada.
E talvez esta seja uma das ambiguidades mais interessantes da época que estamos começando a viver: a mesma tecnologia que pode tornar menos visíveis as mediações do nosso olhar também pode nos ensinar, se prestarmos atenção, que sempre houve lentes entre nós e o mundo.

Sobre a Autora:

Marianna Wahrlich é psicóloga e educadora, especialista em Bioética e formada em Antropologia Cultural na Matríztica, em Santiago do Chile, com Humberto Maturana. É doutoranda em Estudos Políticos e Humanitários na Universidade Fernando Pessoa, em Portugal, onde pesquisa os efeitos do poder algorítmico sobre a autonomia. Coordena o Instituto Veritas de Educação e Pesquisa.