Será que queremos decisões que ninguém sabe explicar?

Já não é só um computador a seguir ordens, é um agente que decide sozinho os próximos passos. A Administração Pública portuguesa começa a testar sistemas automáticos com agentes para tratar processos, detetar fraudes, organizar filas de atendimento e apoiar decisões em áreas como a Segurança Social, os impostos ou a imigração. Promete-se rapidez, menos papel e menos espera, mas há um problema de fundo que o entusiasmo tecnológico costuma esconder e que toca no centro do nosso Estado de Direito.

Convém distinguir dois tipos de automação. Um é feito de regras claras, escritas por programadores a partir das leis. O outro é a Inteligência Artificial estatística, que aprende padrões a partir de milhões de casos anteriores, sem que ninguém tenha escrito uma regra para cada situação. 

O primeiro tipo parece-se com o modo como os juristas portugueses sempre raciocinaram, pois aplica-se a norma aos factos e chega-se à consequência prevista. O segundo funciona de outra forma, pois procura na experiência passada o caso mais parecido com o novo. Pode parecer semelhante ao raciocínio por precedente da common law anglo-saxónica, mas não é, porque o direito português nunca funcionou bem assim.

Vale a pena lembrar dois mecanismos antigos que ajudam a perceber a diferença. Até 1996 existiam os assentos, decisões do Supremo Tribunal de Justiça, que valiam como lei para todos os tribunais. O Tribunal Constitucional considerou isso inconstitucional, porque criar direito geral cabe apenas ao legislador e não aos juízes. Hoje existem os acórdãos de uniformização de jurisprudência, com mais autoridade, mas sem essa força obrigatória, pois um juiz pode decidir de outra forma se conseguir explicar porquê.

O que resta na prática é uma regra do Código Civil que pede ao juiz que tenha em conta os casos semelhantes, para que o direito seja aplicado de forma coerente. É um dever de coerência e não de obediência cega. Mas já aqui há um problema, pois quando se fala em jurisprudência dominante, quem garante que essa maioria existe mesmo e não é apenas a que convém a quem está a argumentar? Ninguém conta com rigor quantas decisões há em cada sentido.

Este é exatamente o problema que a Inteligência Artificial estatística agrava, sem qualquer disfarce. Um modelo treinado com dados antigos vai repetir os padrões que encontrar nesses dados, sejam eles justos ou não. Mas ao contrário de um juiz, que cita os casos em que se baseia, o sistema não explica por que um padrão prevaleceu sobre outro, nem permite perguntar se a amostra usada era representativa. O raciocínio existe, mas fica escondido em números, sem a explicação que sempre se exigiu ao direito português

Há ainda outra lição útil. Uma lei só pode ter efeitos retroativos se a solução que traz já cabia dentro do que a lei antiga permitia interpretar. Se traz algo de novo com o pretexto de esclarecer, é uma lei nova disfarçada e isso não é permitido sem mais escrutínio. Um sistema de Inteligência Artificial, que ajusta os seus próprios parâmetros com novos dados, nunca passa por um controlo parecido. Ninguém verifica se o padrão aprendido ainda cabe dentro da lei ou se está a criar uma nova regra, sem que ninguém tenha decidido isso conscientemente.

Chegamos ao problema central, que é a falta de transparência, enquanto base do Direito Administrativo. Um cidadão a quem é recusado um subsídio ou que é sinalizado para fiscalização, tem o direito de saber porquê. Como se explica uma decisão que resulta de milhares de cálculos estatísticos, sem uma norma clara por trás e sem sequer indicar quais os casos que a sustentam? Será que queremos leis sem juízes? Dizer que a máquina decidiu porque os dados assim indicavam não é uma explicação, é fugir à obrigação de explicar, escondida atrás de linguagem técnica.

O segundo problema é a responsabilidade, pois quando um funcionário decide mal, há uma cadeia clara de responsabilização, hierárquica, disciplinar e mesmo judicial. Quando é um algoritmo que erra, essa cadeia desaparece com facilidade. A empresa que vendeu o sistema diz que só forneceu uma ferramenta, o organismo público diz que confiou no que comprou e o funcionário que validou a decisão diz que não tinha formação para a pôr em causa.

Há um terceiro problema, que é o efeito destes sistemas sobre os próprios funcionários. Uma boa Administração Pública depende de pessoas capazes de perceber quando uma regra geral não serve bem para um caso concreto. Um sistema que dá sempre a mesma resposta e que desincentiva quem se afasta da sugestão da máquina, acaba por transformar o funcionário num mero robô confirmador automático e perde-se exatamente o julgamento humano atento ao contexto, que separa a boa da má Administração Pública.

Nada disto quer dizer que se deva rejeitar a automação do Estado. Quer dizer que a sua introdução não pode ser tratada como uma simples compra de tecnologia. É uma decisão institucional séria, que tem de respeitar a nossa tradição jurídica e os limites que essa tradição sempre nos impôs, mesmo nos seus próprios mecanismos de uniformização. Deve exigir que os algoritmos usados em decisões sobre direitos possam ser auditados. Deve garantir ao cidadão o direito real de pedir uma revisão humana a sério e não apenas simbólica. E deve manter no Estado a competência técnica para perceber o que compra, em vez de o deixar dependente para sempre de quem lhe vendeu a caixa negra.

O maior risco não está na tecnologia, em si. Está na tentação de usar a sua eficiência para fugir às exigências mais difíceis e mais essenciais do Estado de Direito, que são explicar as decisões, assumir responsabilidade por elas e manter um julgamento humano informado. Um Estado que automatiza sem repensar estas garantias e sem perceber os limites que a sua própria tradição jurídica sempre impôs, não está a modernizar-se, está apenas a entregar a sua autoridade a uma máquina a quem ninguém pode pedir contas.