Una-May O'Reilly: “Com a IA Adversarial vamos antecipar o que farão os agentes maliciosos”

A investigadora de origem canadiana, mas radicada nos Estados Unidos, Una-May O'Reilly é líder do Grupo ALFA (Anyscale Learning For All), do Laboratório de Ciência de Computação e Inteligência Artificial do MIT e veio a Portugal para a conferência Data Research Meetup by Magic, organizada pela Nova IMS – através da sua unidade de investigação, MagIC - Information Management Research Center. Surgiu assim a oportunidade para uns minutos com o DN, no campus desta universidade, para uma entrevista sobre machine learning na área da Inteligência Artificial Adversarial e cibersegurança, as suas áreas de trabalho. Mas rapidamente o encontro se transformou numa estimulante conversa (um pouco especulativa) sobre a inteligência humana e o futuro da computação..Nas suas palavras, e de uma forma simples, o que é Inteligência Artificial Adversarial? O que é este método de machine learning?Acho que é importante primeiro pensar sobre o que é a Inteligência Artificial. O objetivo é recriar a inteligência, como a conhecemos, com os computadores. Acho que o “artificial” se refere inteiramente ao software que escrevemos, que cria os serviços e as plataformas e as diferentes ferramentas que usamos da ciência da computação..Isso inclui uma inteligência lógica, mas também emocional?Acho que a inteligência tem muitas, muitas facetas diferentes. E o que os cientistas da computação têm feito é concentrar-se em certos aspetos, em certas facetas. Por exemplo, você e eu olhamos um para o outro e comunicamos através da visão e do que vemos um do outro. E há um setor enorme da IA, uma comunidade de pesquisa, que tenta descobrir como podemos fazer com que os computadores entendam imagens. E como poderão entender os vídeos. Também temos pesquisa de Inteligência Artificial sobre como entendemos a linguagem [que é algo] muito distinto. Acreditamos que só os seres humanos têm linguagem. Sabemos que há uma comunicação clara entre os outros animais na natureza, mas a linguagem parece ser exclusiva dos seres humanos. Assim, muito esforço foi feito para saber: podemos fazer máquinas capazes de entender a linguagem? Podem gerar linguagem? Podem ouvir a linguagem falada? Podem ler e escrever?.Esses são aspetos diferentes da inteligência. Para mim, há outro aspeto da inteligência que considero superimportante: a capacidade de aprender. Não sei se chamaria alguma coisa de “inteligência” se ela não fosse capaz de aprender. Essa é a razão pela qual eu procuro descobrir mais, nesse aspeto. .Ultimamente, tenho-me preocupado mais com uma faceta diferente da Inteligência Artificial, que é aquela que usa apenas num conjunto de circunstâncias. E é isso que é a Inteligência Artificial Adversarial: a que você usa quando compete..Muitas vezes, quando eu compito consigo, você torna-se meu adversário. Da mesma forma, a Inteligência Adversarial é o comportamento inteligente que você usa quando interage comigo numa competição. É o comportamento que eu uso quando interajo consigo nessas circunstâncias. E além desse comportamento, implica todo o planeamento, as decisões direcionadas para os objetivos que tomamos. São as estratégias que usamos quando estamos em competição uns com os outros. .Está a restringir a definição de inteligência para a treinar...Sim, aquela que vou tentar replicar. O meu objetivo é replicar a inteligência adversarial, não toda a nossa inteligência..E para isso aplica Teoria dos Jogos?Também tem a ver com isso. Quer dizer, a Teoria dos Jogos é uma espécie de abordagem matemática para pensar a competição. E, muitas vezes, nestas abordagens matemáticas simplificamos os jogos e simplificamos os movimentos que as pessoas podem tomar nos jogos e usamos a matemática para prever os prémios ideais. Estou menos preocupado com isso, porque acho essa abstração menos ligada ao comportamento adversário no mundo real, no mundo natural, ainda que tenha a ver com isso..Há diferentes tipos de competição. Você e eu podemos competir por um jogo, xadrez, por exemplo. Você joga com as peças pretas e eu com as brancas. Mas os movimentos [disponíveis] que você tem são exatamente os mesmos movimentos que eu tenho. Ambos temos uma rainha e um rei e temos peões. Esse é um tipo de competição adversarial, mas é menos interessante para mim. .As competições adversárias que me interessam, que acontecem no mundo real, são aquelas em que você tenta atacar-me e tento defender-me. E os movimentos você pode fazer ou as ações que pode praticar para me atacar são muito diferentes dos movimentos que eu tenho à disposição para me defender..E isso é o cenário típico na cibersegurança… Temos redes, temos os nossos telefones, que são um computador, temos desktops e temos a Internet das Coisas. Todos esses dispositivos são atacados por agentes externos. Estes podem ser apenas adolescentes sentados nos quartos da sua casa de família – que procuram na internet ferramentas e vulnerabilidades que são muito comummente usadas. A maioria dos sistemas informáticos estão protegidos contra elas, mas esses jovens atiram-nas cá para fora na esperança de atingir um sistema mal defendido..No mesmo ecossistema cibernético, temos também mercenários – pessoas que são realmente maliciosas. São quase organizados e até vendem os seus serviços na dark web. E fornecem serviços que permitem que os nossos sistemas informáticos sejam infiltrados..E bem no topo da pirâmide estão os atores de Estado. Estão muito bem-dotados de recursos, têm mais tempo e provavelmente planeiam as suas campanhas de forma muito mais deliberada. Provavelmente agem de forma um pouco diferente dos mercenários, que estão a tentar ganhar dinheiro. Os atores estatais têm objetivos diferentes. .Assim, por causa dos seus objetivos diferentes, todos estes atores têm ações diferentes. Pense então nesse espetro de ameaças, todos com diferentes conjuntos de ferramentas, diferentes formas de interromper os nossos serviços, diferentes maneiras de roubar os nossos dados, diferentes maneiras de nos exigir um resgate..Una-May O´Reilly: "Por vezes fazemos algo chamado caça cibernética. Quando eu sei de antemão os tipos de ferramentas que um determinado agente de ameaças pode usar, vou procurar no meu sistema pistas de que eles podem realmente ter começado uma campanha. E então posso começar a preparar a defesa para um ataque iminente."FOTO: Reinaldo Rodrigues.Criar mecanismos para nos defendermos é um jogo de gato e rato.É totalmente um jogo de gato e rato. De cada vez que pensamos em alguma maneira de os travar, eles pensam em algo novo. É isso que os torna inteligentes, certo?.E o que pode fazer o “lado do bem”?Temos de ser inteligentes também. Mas neste momento estamos numa postura reativa. Alguém ataca o nosso sistema e nós reagimos. Com a Inteligência Artificial Adversarial talvez possamos ser proativos. Porque ela permitir-nos-á encontrar antes do tempo essas novas estratégias, para que possamos antecipar o que os agentes maliciosos farão. E então poderemos realmente defender-nos de forma mais robusta e eficaz..Por que não estamos a fazê-lo agora?Bem, é um processo em pesquisa. Fazemos outras coisas para defender os nossos sistemas. Por vezes fazemos algo chamado caça cibernética. Quando eu sei de antemão os tipos de ferramentas que um determinado agente de ameaças pode usar, conheço os tipos de campanhas, as características das campanhas, vou procurar no meu sistema pistas de que eles podem realmente ter começado uma campanha. E se eu puder caçar essas pistas, então posso começar a preparar a defesa para um ataque iminente..Referiu as ameaças cibernéticas pagas por Estados. Acha que os “Estados bons”, chamemos-lhes assim, as democracias liberais, investem o suficiente na cibersegurança?Acho que a superfície vulnerável, infelizmente, dá vantagem ao atacante. Se considerar todas as vulnerabilidades potenciais de uma rede de computadores, elas estão por todo o lado… Desde logo, porque nem sempre mantemos o nosso software atualizado. E também porque as pessoas são uma vulnerabilidade nos sistemas – as suas palavras-passe podem ser roubadas..Assim, a área vulnerável que os defensores têm de proteger é enorme – eles nunca vão ter recursos suficientes para cobrir tudo. Não é que não estejam a fazer o suficiente; o que precisam é de ser capazes de direcionar os seus recursos de forma inteligente para onde acham que os ataques mais importantes, de alto custo, virão..E, na sua avaliação, como está a ser feito esse trabalho?Eu sou uma investigadora académica. Estou interessada no ecossistema de diferentes tipos de ameaças e diferentes tipos de defesas que são vendidas e que as pessoas usam nas suas redes. Temos deteção de malware, que podemos executar nos nossos smartphones, temos firewalls, os seus administradores de sistema têm diferentes meios de criar isolamentos nas suas redes, implantando diferentes mecanismos defensivos, e há todo um ecossistema dessas ferramentas no lado defensivo e um ecossistema no lado do ataque..O que estou a tentar fazer com a recriação das dinâmicas de ataque e defesa é poder jogar potenciais novas dinâmicas, novas coisas que vão acontecer para que eles possam informar os defensores com antecedência e os defensores possam fazer essas mudanças..Ao mesmo tempo, estamos à beira da revolução da computação quântica. Está apreensiva quanto a isso?Não sou especialista em computação quântica, mas acho que uma ameaça daí decorrente é a capacidade de hackear senhas e codificações. Hoje, muitas vezes mantemos os nossos dados nos nossos sistemas seguros, porque os encriptamos. Acho que a computação quântica pode colocar a criptografia em risco. .Mas o que me deixa acordada à noite é mais o que está a acontecer agora. Como sabe, temos enormes sistemas de dados em todos os lugares, redes e dispositivos. E ninguém tem um inventário completo deles. Ninguém tem um inventário sobre o software que eles têm a correr, se foi atualizado com todos os patches certos... Assim, há um enorme conjunto de sistemas vulnerável por aí. .É tentando perceber melhor como os ataques evoluem e melhoram de cada vez que as defesas melhoram. Essa é a minha questão-chave..Por vezes nem é preciso um ataque, basta um patch errado, como aconteceu com a CrowdStrike, que bloqueou milhões de máquinas da Microsoft. Como especialista em cibersegurança, como vê um caso destes?Devo esclarecer que não sou especialista em cibersegurança. Pode dizer que sou especialista em Inteligência Artificial e machine learning, e tentei aprender o máximo que pude para aplicar algumas dessas técnicas de IA que seriam aplicáveis à segurança cibernética. O que aconteceu [no caso da CrowdStrike] foi apenas uma vulnerabilidade no sistema. .Como se costuma dizer: o principal risco está sempre entre o ecrã e a cadeira...É a pessoa... certo. .Mas isso faz-me lembrar um caso que o precedeu, em que vale a pena pensarmos: um funcionário da Microsoft muito atento que notou, quando estava a criar uma nova compilação, que algo estava a correr em demasia e gerar menos logs. Então ele detetou, antes de o produto ser lançado, que alguém tinha entrado no código-fonte aberto de uma ferramenta, que todos usam quando carregam o novo software, e colocado uma backdoor que permitiria uma entrada maliciosa. E isto tinha escapado à atenção de todos..Como era uma parte de código aberto, muitas pessoas iriam usá-lo e ele estaria na cadeia de suprimentos de novos lançamentos. Era uma ameaça extrema. E, no entanto, foi apanhado apenas por sorte..Una-May O´Reilly: "Há uma grande área de vulnerabilidade que permite explorar esses modelos [os LLM]. Eles são, de certa forma, inseguros. E, na verdade, há muitos caminhos de ataque para os explorar." FOTO: Reinaldo Rodrigues.A integridade das nossas bases de código aberto é uma preocupação, uma grande preocupação! .Antes disto houve o ataque da SolarWinds, que também foi um ataque à cadeia de abastecimento. Era a segunda empresa que estava a entrar nas redes das pessoas e a receber muitos dos seus privilégios só porque elas estavam a tentar fazer algum tipo de atualização de software. Enquanto elas faziam essas atualizações, descarregavam a backdoor. .Estas ameaças são o resultado da evolução das ameaças do passado. Eu estou interessada nessa história evolutiva que deu origem a mais e mais ameaças ainda..Quase se poderia supor que as ameaças eram mais fáceis no passado, para que pudéssemos corrigi-las. Mas no minuto em que corrigimos estes, os atores mais inteligentes, aqueles cujo comportamento estou interessada em analisar, aprendem a fazer algo diferente. E eu estou interessada em aprender a fazer algo diferente de cada vez, para aumentar a qualidade da competição..E, ao mesmo tempo, tudo se torna mais inteligente, num processo evolutivo.Penso que sim, com certeza que o é. Acho que há muitos processos evolutivos diferentes em diferentes níveis e abstrações..Esses processos também se aplicam aos Large Language Models (LLM), como o ChatGPT ou o Gemini, agora tão na moda?O que nos preocupa com modelos de linguagem grandes é o mesmo que com os modelos de linguagem menores: quando os usamos, queremos que se comportem de forma segura para com os outros, mas também queremos mantê-los em segurança para que ninguém os prejudique, para que não prejudiquem os outros. Então, com todos esses modelos de machine learning, sejam eles mais antigos ou os mais atuais, estamos a pensar em segurança e proteção..E há uma grande área de vulnerabilidade que permite explorar esses modelos. Portanto, eles são, de certa forma, inseguros. E, na verdade, há muitos caminhos de ataque para os explorar..E acredita que eles precisam de ser mais regulados do que são neste momento?Praticamente não há regulamentação nos EUA. Acho que os regulamentos atuais que temos para outras coisas, como software ou outros produtos e serviços e responsabilidade com eles relacionada, podem não cobrir totalmente os casos que veremos surgir com modelos de linguagem. Particularmente, acho que a [criação de] deepfakes são um grande problema..Também a desinformação é um enorme problema. E eu não sei como vamos legislar para evitar essas coisas, mas certamente gostaria que pudéssemos..Entretanto, a União Europeia acaba de aprovar o AI Act, normas de regulação para o desenvolvimento ético da IA. O que acha disso?Não estou familiarizada o suficiente para comentar. Não li o documento, apenas ouvi falar dele, mas acho que neste momento é mais importante colocar algo em cima da mesa, e depois permitir que seja atualizado, do que não ter nada em cima da mesa..Há também alguma regulamentação da UE, por exemplo relativamente à proteção de dados, que em conjunto com o AI Act se pode argumentar serem prejudiciais para os consumidores. Um exemplo é a Apple não ter previsão para trazer os seus serviços de IA para a Europa, por eles não garantirem a conformidade com estas normas. Qual é a sua opinião sobre isso?Acho que a Apple é livre para fazer o que quiser com seus negócios. Penso que a questão interessante é: o que é que os europeus sentem que perdem e o que é que os europeus sentem que ganham com essa ação? E é realmente a isso que a lei responde, certo?.Responde ao que uma sociedade quer. Eu não sei a resposta a essa pergunta. Por exemplo, eu não sei se a experiência de navegação na internet é verdadeiramente diferente na Europa e nos EUA por causa do GPDR. Eu chego aqui, abro meu navegador e, de repente, fazem-me muitas perguntas sobre cookies e partilhas. Eu não tenho a certeza se responderia de forma diferente do que se não tivesse essa opção..Ao mesmo tempo, sente que sua experiência de navegação na internet aqui é mais aborrecida?Não, de forma alguma. Encontrei tudo o que quero. Estou à procura de coisas turísticas mundanas, informações sobre as comunidades a visitar..Então não se sentiu menos livre?Não, não senti. Mas sabe, essa questão de responder ‘Aceita os cookies?’ na maior parte do tempo, sou apenas humana. Às vezes tenho pressa e às vezes sinto que devia ter mais cuidado. Mas sou indiscriminada, ilógica e apenas humana quando se trata dessas questões. Eu não sei como alguém pode chegar a uma política pessoal realmente firme que diga sempre o que se deve fazer. Eu não..Quero dizer, eu gosto que haja proteção de dados, gosto do facto de as pessoas não manterem os meus dados. Penso que cedemos os nossos dados com demasiada facilidade para a nossa privacidade, mas será que sou coerente com a forma como devo lidar com isso? Também não sei. Eu posso ser uma cientista da computação e posso saber algo sobre segurança cibernética, que não é o mesmo que privacidade, privacidade de dados. É apenas uma experiência humana..Una-May O´Reilly: ,"Pode ser que a coevolução seja um processo que dá origem à inteligência, mas pode ser necessário ter um gene. Pode ter de se ter um sistema de genes, pode ter de se ter um corpo que transforme os seus genes e se desenvolva."FOTO: Reinaldo Rodrigues.Sei que uma das suas preocupações é também o impacto da Inteligência Artificial sobre o meio ambiente. E os atuais sistemas, especialmente os LLM gastam muitos recursos energéticos. Além disso, de cada vez que se cria uma nova geração, ou meia geração, tem de se deitar tudo abaixo para se começar o treino de novo…Sim, penso que o treino em termos de custo computacional é do outro mundo e, em seguida, a energia para alimentar todos esses computadores é chocantemente desmesurada. É um novo problema para a ciência da computação..É algo que temos de enfrentar e de descobrir soluções. Não sou especialista, mais uma vez, mas espero que surja uma comunidade preocupada em como reduzir o custo da formação e manter os modelos muito eficazes..Mas, novamente, isso virá de pressões, certo? Precisamos de ter incentivos e vários incentivos irão impulsionar à descoberta. Por exemplo, se a energia se tornar cara, será um incentivo para tornar o treino da IA menos dispendioso….Há alguns meses entrevistei o especialista informático francês Bertrand Meyer que é muito, muito cético em relação à Inteligência Artificial. Ele diz que a IA não é inteligência nenhuma, é incapaz de lhe dar uma resposta original – o que faz é apenas jogar pela lei das médias, faz uma amálgama das respostas que já foram dadas, e depois dá-lhe a melhor média das coisas que já foram dadas. Concorda com isso?Até certo ponto. Digamos que são modelos de aprendizagem automática, que aprendem correlações diferentes de parte dos dados e padrões complexos. Depois, nesta distribuição, a partir de todas as amostras, os modelos são treinados a serem capazes de interpolar – e a interpolação dentro de um sistema nunca é algo novo, é apenas pegar em coisas que estão no meio de duas coisas… preencher as lacunas. Mas se tiver uma distribuição massiva, tão grande, que as pessoas não conseguem dominá-la na sua cabeça, essa interpolação pode ser uma novidade para si..Mas na verdade não é original, nada verdadeiramente “novo”.O que é algo realmente novo?.Não sei. Picasso foi algo realmente novo? O que Picasso fez foi um processo criativo… Foram todos, houve um processo criativo muito humano..É onde eu estava a chegar…[Esse é o argumento de que] as máquinas não podem ser criativas porque estão apenas a interpolar. Mas se o meu argumento fosse que as máquinas capturaram os padrões e as correlações de uma distribuição massiva, massiva, massiva – que poderiam fazer, quando são treinados em tantos dados –, na verdade, quando interpolam, surge uma ideia que é nova. .Se for humano e estiver a usar o meu processo criativo, quiser expressar algo, sobre mim ou sobre o mundo, posso interagir com esta máquina. E esta máquina irá aumentar e trabalhar comigo para criar coisas ainda mais novas… Poderia possivelmente fazer coisas que nunca teria feito antes..Falámos sobre processo adversarial, deixe-me colocar-lhe outra ideia. E se pusermos duas máquinas a criar, criar-se-ia algo novo?Não sei… Porquê?.Teoricamente…Penso que convergiriam para algo semelhante, em vez de realmente divergirem..Reforçar-se-iam apenas uma à outra? É que uma das coisas que nós, sendo humanos, também estamos a fazer, como resultado de interagirmos uns com os outros, é coevoluirmos uns com os outros…Exatamente..Pelo que não seria possível um dia pôr as máquinas a fazer a mesma coisa? Acredito realmente que é um caminho para a inteligência e a Inteligência Artificial, pois um caminho para a inteligência foi a evolução natural: o processo evolutivo natural e, em particular, muitos processos coevolutivos….O que temos feito agora é dar às máquinas as nossas experiências na esperança de que um dia comecem a “pensar” (com muitas aspas) como nós. Mas não poderá ser possível desenvolver inteligência se colocarmos duas destas máquinas, primeiro, e depois um número exponencial destas máquinas a trabalharem umas com as outras? Colocá-las numa estrutura evolutiva onde compitam e depois serem selecionadas e depois terem algum tipo de replicação com variação... Sim, esta é a base do que acredito, que os algoritmos coevolutivos são um caminho para a inteligência. E penso que, em particular, os algoritmos evolutivos competitivos são… inteligência..Assim, provavelmente há um papel para descobrir como os modelos de linguagem funcionam em algoritmos coevolutivos. Quando o executamos [o algoritmo], ele precisa de obter duas amostras. E nós combinamos ou até mesmo tiramos uma amostra e criamos uma mutação dele. Normalmente apenas codificamos coisas no nosso algoritmo, mas agora podemos pegar num pedaço de código, digamos que o nosso algoritmo é o software em evolução, é um pequeno programa. Podemos pegar num programa e entregá-lo ao modelo de linguagem e dá-nos um novo programa….Este modelo de linguagem vai responder usando os padrões de todo o código que já viu. Será uma mutação muito mais informada e é uma forma muito entusiasmante de avançarmos. Com isto estamos a começar a fazer um processo evolutivo e a integrar modelos linguísticos… Por isso, sim, a sua intuição é muito forte..Indo contra mim próprio, na verdade. Se o processo fosse exequível, no reino da informática, os vírus já o tinham feito...… Sim, porque eles já estão em estado selvagem e a evoluir. É exatamente por isso que os estudei com algoritmos coevolutivos. É por isso que estudei estes vírus e estudo todos os ataques, porque coevoluem. Exatamente. .E a verdade é que os vírus não se tornaram inteligentes, certo?Mas são resultado de processos inteligentes. Portanto, pode ser que a coevolução seja um processo que dá origem à inteligência, mas pode ser necessário ter um gene. Pode ter de se ter um sistema de genes, pode ter de se ter um corpo que transforme os seus genes e se desenvolva. Talvez seja necessário ter essas complexidades nos algoritmos e ainda não as temos. Os algoritmos não estão concluídos. .O que significará que António Damásio, o neurocientista português, tem razão: é preciso ter um corpo para ter uma consciência. E inteligência!Mas neste momento o que temos são sensores, que nos permitem ver o mundo e sentir o mundo, e temos atuadores, que nos permitem mover-nos no mundo. E se criarmos estes mundos digitais, onde se pode sentir um ato, não poderemos ter também corpos digitais capazes de realizar as mesmas tarefas?…

Una-May O'Reilly: “Com a IA Adversarial vamos antecipar o que farão os agentes maliciosos”

Artigos Relacionados

Vídeo. Todo o eclipse nas imagens da ESA

Olhos voltados ao céu para contemplar o escurecer do sol

As imagens do eclipse pela Europa

Veja aqui todo o eclipse pelas câmaras das agências espaciais. Sol brilha sobre Portugal