Ricardo Abramovay – Revista Quatro Cinco Um: a revista dos livros – 08/03/2019
Três livros ainda inéditos no Brasil expõem o desencanto de pensadores com as promessas da inteligência artificial
A vigilância tornou-se a marca característica das sociedades contemporâneas ao final da segunda década do milênio. Não se trata de perseguição política, de arapongas ou de bisbilhotice, e sim de algo muito mais profundo, pervasivo e impactante: a vigilância se converteu em parte decisiva da nossa sociabilidade, ou seja, da maneira como nos relacionamos uns com os outros e com as coisas. E assim é porque a vigilância ocupa o epicentro do modelo de negócios das mais importantes empresas da economia contemporânea, ou seja, as de maior valor, de maior presença em nossa vida cotidiana, que concentram o cerne da inovação tecnológica e espalham pelo conjunto da sociedade o uso de dispositivos conectados ao ecossistema corporativo que lideram. O Estado não é seu principal vetor, embora tenha participado (às vezes ativamente, às vezes por omissão) em sua emergência.
“Compartilhamento” é a forma adocicada de sua apresentação pública. Os 510 mil comentários e as 136 mil fotos postadas no Facebook por minuto, as 40 mil buscas no Google por segundo (1,2 trilhão em 2018) ou os 60 milhões de fotos que sobem ao Instagram todos os dias nos perfis de seus 500 milhões de usuários diários são a matéria-prima da mais importante inovação tecnológica do século 21: a inteligência artificial.
O que caracteriza a vigilância não é só o sistema de captação de dados embutidos em nossos computadores, celulares e em todas as dimensões de nossa vida — quando fazemos compras, quando nos deslocamos de carro ou de transporte coletivo, e também os momentos em que estamos dentro de casa ou no trabalho. Tão importante quanto a captação desses dados é a capacidade daqueles que os usam de fazer inferências a respeito do nosso comportamento, abrindo caminho para que nos conheçam melhor e possam aplicar modelos às nossas atitudes com o objetivo de prever o que faremos.
O que foi caracterizado, há vinte anos, por Manuel Castells, em sua clássica trilogia, como a “sociedade da informação em rede”, converteu-se na “sociedade da vigilância em rede, que integra um conjunto de sensores embutidos não só nos dispositivos que identificamos como produtores de dados (computadores e celulares), mas também em equipamentos que se integram de maneira imperceptível para nós, com o objetivo não só de conhecer o nosso comportamento, mas, sobretudo, de interferir em nossa conduta como consumidores e cidadãos. A computação não é mais uma atividade específica: ela se tornou ubíqua.
Churchill dizia: ‘Moldamos os nossos prédios e depois eles nos moldam’. Isso se aplica às tecnologias que marcam as mudanças sociais, em qualquer época
É verdade que novas tecnologias têm sempre o impressionante poder de modificar a sociabilidade humana. Como mostra Robert Gordon em The Rise and Fall of American Growth [ascensão e queda do crescimento americano], a água encanada, a coleta de lixo, a eletricidade, o telefone, o rádio, a TV, o automóvel, o transporte de massas, os antibióticos e o raio X mudaram completamente a sociabilidade e a própria subjetividade dos habitantes dos países que puderam adotar essas transformações de forma generalizada, no início do século 20. Winston Churchill dizia: “Moldamos os nossos prédios e depois eles nos moldam”. É claro que isso se aplica às tecnologias que marcam as mais importantes mudanças sociais, em qualquer época. Elas sempre nos moldam de alguma forma, assim como os prédios de Churchill.
Mas a capacidade de nos moldar vinda das tecnologias contemporâneas, sobretudo da inteligência artificial, é inédita. Por mais que o automóvel, o elevador, os túneis e os viadutos alterem a nossa percepção sobre o espaço, as distâncias e os territórios, eles estão fora de nós, diferentemente dos dispositivos digitais, que não apenas colocam a vigilância no nosso bolso, no nosso corpo, na nossa casa, no nosso carro e nas ruas, mas usam-na para prever e, cada vez mais, determinar o que fazemos. São tecnologias que interferem de maneira direta e voluntária em nossa mente.
Três livros recentes, ainda não publicados no Brasil, estudam algumas das mais importantes dimensões desse fenômeno: a moldagem dos comportamentos humanos, a orientação da política na era da vigilância em rede e o lugar histórico da vigilância na evolução do próprio capitalismo.
Arquitetura do comportamento
Não existe em português uma boa tradução para o verbo que dá título ao livro de Brett Frischmann (da Villanova University e de Stanford) e Evan Selinger (do Rochester Institute of Tecnology), Re-Engineering Humanity. Engineering, em inglês, aproxima-se de um conjunto que inclui construir, influenciar, moldar, manipular e fazer. “Re-engenheirar” a humanidade não é simplesmente um meio de ampliar as vendas, com base nas informações coletadas sobre as preferências das pessoas oferecendo-lhes, nas palavras de Mark Zuckerberg, anúncios que lhes sejam relevantes. Na verdade, as informações permanentemente coletadas e analisadas por algoritmos, cujo funcionamento nos é completamente opaco, permitem que nossa conduta seja previsível e, justamente por isso, abrem caminho a uma interferência em nosso cotidiano que é inédita e atinge todas as esferas da vida social.
Em 2014, por exemplo, a Amazon patenteou um sistema que permite antecipar o que os clientes querem comprar, antes mesmo que eles próprios o saibam. A mágica está nas informações reunidas sobre cada um de nós e na análise que delas é feita. Essa é uma das explicações para a compra pela Amazon, em fevereiro de 2019, da Eero, uma start up que amplia o alcance das conexões de wi-fi e elimina os pontos cegos (ou surdos) no interior das residências. Boa notícia, salvo, como lembra matéria do Financial Times, o fato de que o dispositivo terá o condão de ampliar a quantidade e a variedade de dados domésticos que a Amazon recebe sobre os usuários da inovação, fortalecendo assim sua capacidade preditiva sobre o nosso comportamento e somando-se às informações já hoje fornecidas pelo robô doméstico Alexa, do qual já foram vendidos nada menos que 100 milhões de unidades. Somando-se Alexa, Siri (da Apple) ou Google Assistant, um quarto dos domicílios norte-americanos possui hoje um smart speaker. A eles podem-se acrescentar outros dispositivos de vigilância como as tvs inteligentes da Samsung, que não só respondem a comandos de voz, mas registram e armazenam as informações derivadas de conversas no local onde o aparelho se encontra. Ou, então, equipamentos capazes de informar a quem está em casa sobre o estado de espírito de um membro da família que vem chegando da rua.
A Amazon patenteou um sistema que antecipa o que os clientes querem comprar, antes que eles o saibam
Da mesma forma que o gps vai subtraindo das pessoas a capacidade de se localizar, serão cada vez mais frequentes os dispositivos voltados a substituir a nossa percepção, a nossa intuição e a nossa empatia por informações que orientam o nosso comportamento. A atenção moral e o cuidado com o outro são superados pelos resultados matematicamente certeiros da mineração de dados. Reduzem-se os custos de transação nas relações pessoais, mas essa redução, ao mesmo tempo, abre caminho para que a compreensão do outro seja terceirizada para as máquinas. As trocas pessoais são “re-engenheiradas”.
Em última análise, o caminho tomado pelas tecnologias digitais está desafiando a ideia-chave do Iluminismo de que somos indivíduos autônomos e responsáveis por nossas decisões. Claro que essas capacidades humanas são aprendidas e desenvolvidas na vida social. O problema é que as bases para uma formação individual voltada ao exercício da liberdade podem ser solapadas por dispositivos que, sob o pretexto de ampliar nossa mente, de operar como próteses cognitivas, acabam inibindo o nosso maior bem comum, que é a capacidade autônoma de conviver com os outros.
A conclusão é que um dos mais importantes desafios do século 21 está na liberdade de nos desconectarmos e de nos tornarmos independentes do poder, embutido nos dispositivos em que estamos imersos, de determinar quem somos e como nos relacionamos.
Engenheiros filósofos
Os impactos políticos das tecnologias de vigilância são estudados pelo advogado britânico Jamie Susskind, ex-assessor de Tony Blair e do senador Edward Kennedy, em Future Politics. Sua tese central é que as leis, nas sociedades contemporâneas, serão executadas (enforced) e estarão cada vez mais embutidas nos dispositivos digitais que usamos. É o veículo autônomo (e não seu condutor) que vai submeter-se aos limites de velocidade e à regulamentação para estacionar. O tema já havia sido estudado, desde 1999, nos trabalhos do advogado e ativista norte-americano Lawrence Lessig, que o sintetizou na fórmula “code is law”. Os programas digitais terão a força de determinar a nossa conduta.
Se, durante o século 20, se tratava de saber em que medida a nossa vida era determinada pelo Estado, pelo mercado e pela sociedade civil, agora a questão (que norteia o livro de Susskind) é outra: em que medida a nossa vida será determinada por poderosos sistemas digitais e em que termos esse poder será exercido.
A dominação — a capacidade de fazer os outros agirem segundo a vontade do dominador, na célebre definição de Max Weber — cada vez mais estará em códigos a partir dos quais nossos equipamentos trarão a instrução sobre o que podemos e o que não podemos fazer. No lugar das regulamentações escritas virão as prescrições programadas. A força, até aqui concentrada numa esfera pública (o Estado), vai se transferindo para a esfera privada, controlada pelos gigantes das tecnologias digitais. Assim, os que controlam essas tecnologias terão crescente poder sobre a vida social e, portanto, sobre o futuro da democracia e da liberdade.
Nos processos legislativos democráticos, as leis mudam com base em discussões públicas, orientadas por representantes eleitos, por mais que haja falhas nessa representação. No mundo da vida digital, a mudança é adaptativa, e, mesmo quando responde a pressões sociais (como a decisão do WhatsApp de reduzir para cinco o número de destinatários de mensagens encaminhadas simultaneamente), ela não passa por um debate público.
Mais que isso: a tradição liberal na política sempre exaltou o caráter experimental dos processos legislativos. Tanto Karl Popper quanto Friedrich Hayek sustentavam a impossibilidade de conhecer a vida social na sua totalidade e a importância do erro e de suas correções como expressões das virtudes da democracia. Ninguém poderia ter certeza de que possuía a solução correta para determinado problema, e por isso o debate democrático deveria ocupar o centro da vida política. A principal consequência política da nossa dependência dos dispositivos digitais é que eles abrem caminho a soluções políticas resultantes daquilo que pontificam os algoritmos e não dos representantes políticos.
Os algoritmos vão se tornando cada vez mais misteriosos conforme ganham autonomia no processo de aprendizagem das máquinas
A nossa própria percepção do mundo é cada vez mais controlada pelos sistemas digitais que filtram a maneira como nos informamos. Os mediadores humanos são substituídos por sistemas automatizados. Daí resulta, para Susskind, uma fragmentação social que bloqueia o próprio debate público. Contrariamente à expectativa inicial de seus pioneiros e de seus mais importantes teóricos, o alargamento esperado da nossa capacidade comunicativa e da variedade de informações que formam a nossa cultura política converteu-se nas bolhas de repetição e redundância a que o escrutínio minucioso e personalizado dos algoritmos nos submete. Tanto mais que os algoritmos, além de propriedade privada, vão se tornando eles mesmos cada vez mais misteriosos, conforme ganham autonomia no processo de aprendizagem das máquinas.
A opacidade das decisões tomadas pelos algoritmos chegou a tal ponto que a Darpa (a agência militar norte-americana onde nasceu a internet) criou um programa (Explainable Artificial Intelligence) para que os pesquisadores tentem entender as decisões resultantes dos processos autônomos de aprendizagem de máquinas. Pois é essa autonomia (das máquinas, não nossa!) que está desempenhando e vai desempenhar um papel cada vez mais importante na regulação das nossas atividades, ou seja, na política.
A mais importante conclusão de Susskind, inspirada por Tim Berners Lee, inventor da World Wide Web, é que o mundo precisa com urgência de “engenheiros filósofos”. Não se trata de uma opção tecnocrática que concentre ainda mais poder em alguns sábios, e sim da urgência de que o desenvolvimento tecnológico esteja organicamente vinculado a opções éticas não só sobre os impactos, mas também sobre o próprio sentido dos aparatos digitais em que nossa vida está mergulhada. E isso só se faz com amplo debate público.
Capitalismo de vigilância
Publicado em janeiro, The Age of Surveillance Capitalism [A era do capitalismo de vigilância], de Shoshana Zuboff — psicóloga e uma das primeiras mulheres a conquistar uma cátedra na escola de negócios de Harvard —, já foi comparado à Primavera silenciosa de Rachel Carson e até ao Capital de Marx. O evidente exagero deve-se à ambição de suas setecentas páginas. Zuboff procura nada menos que os fundamentos teóricos capazes de explicar a nova modalidade de capitalismo trazida pelos gigantes digitais e cuja essência pode ser assim resumida: se no capitalismo do século 20 o controle dos meios de produção era a base para a extração do trabalho humano em que se apoiam os ganhos empresariais, hoje os lucros corporativos provêm de um conjunto amplo e generalizado de meios de modificação do nosso comportamento.
Não é mais o trabalho, e sim a experiência humana, em todas as suas dimensões, que é apropriada e transformada em dados para servir de base para uma interferência cada vez maior na nossa vida. A marca central das sociedades contemporâneas (o que já havia sido antecipado de forma pioneira pela obra de André Gorz, que, infelizmente, Zuboff nem sequer menciona) não é mais a exploração do trabalho, e sim aquilo que Jürgen Habermas chamou de colonização do mundo da vida, ou seja, a transformação de nossas relações pessoais, de nossa intimidade, de nossa interação, em base para a acumulação capitalista por meio justamente da vigilância. No lugar de “modo de produção”, surgem dispositivos que criam “modos de modificação de comportamento”. O excedente econômico torna-se, assim, comportamental, e os ativos que permitem a extração desse excedente são ativos de vigilância, em que é fundamental o sistema ubíquo de computação que a internet das coisas está ampliando com velocidade estonteante.
Mas a vigilância está longe de ser um fenômeno fundamentalmente econômico. Psicóloga de formação, Zuboff conheceu pessoalmente B. F. Skinner durante sua graduação. Skinner concebia a liberdade humana como uma completa ilusão, derivada apenas da nossa ignorância. Caso tivéssemos instrumentos capazes de obter e analisar os dados em função dos quais agimos, veríamos, sustentava Skinner, que as nossas ações são sempre condicionadas a estímulos, incentivos, punições ou aos contextos que produzem esses estímulos. Assim, para Skinner, a liberdade e os valores básicos que o Iluminismo (sobretudo Kant) expressou na ideia de autonomia humana são fruto da nossa ignorância, e não virtudes que deveríamos exaltar. Essas ideias, publicadas por Skinner em Além da liberdade e da dignidade (1971), estão, mostra Zuboff, na raiz do capitalismo de vigilância.
Em nossa época, o excedente econômico torna-se comportamental, e os ativos que permitem a extração desse excedente são ativos de vigilância
É claro que estas linhas não fazem justiça à riqueza de dados e de explicações sobre essa obra, que já está marcando tão fortemente o debate sobre o significado histórico da revolução digital e de sua modalidade presente, que Zuboff denomina capitalismo de vigilância. Chama a atenção a escassez de menções a movimentos de resistência às práticas dos gigantes digitais contemporâneos. Da mesma forma, há uma hesitação no livro entre a ideia de que o que está em questão é o capitalismo (e não as tecnologias) e a ausência total de qualquer menção àquilo que poderia ser uma abordagem não capitalista do uso dos dispositivos digitais na vida social. Nada disso, porém, tira o imenso valor do livro.
Na verdade, os três livros aqui comentados exprimem o desencanto do pensamento contemporâneo com relação a dispositivos que vinte anos atrás prometiam abrir portas para a emancipação social. Mas, em comum, as três obras levantam a bandeira da liberdade e da autonomia humanas contra um sistema que, em nome da eficiência, reduz a nossa iniciativa, a nossa capacidade de ação independente e ameaça a nossa dignidade.
Frischmann, Brett; Selinger, Evan
Re-Engineering Humanity Cambridge University Press • 430 pp • R$ a definir
Susskind, Jamie
Future Politics Oxford University Press • 544 pp • R$ a definir
Zuboff, Shoshana
The Age of Surveillance Capitalism PublicAffairs • 704 pp • R$ a definer
https://www.quatrocincoum.com.br/br/resenhas/economia/sociedade-da-vigilancia-em-rede
