IA: o "prompt injection" e a fraude na atividade jurídica

Tem chamado minha atenção, nos últimos dias, um termo que remete à utilização da inteligência artificial e aplicado indevidamente na área jurídica: "prompt injection". Pulei vários textos com esse termo até que ele me venceu pelo cansaço. De tanto que ele apareceu, parei para ler um deles hoje, publicado no Conjur.

A matéria tratou da utilização do tal do "prompt injection" em uma petição na justiça do trabalho. Lendo do que se tratava, percebi que o termo remete a uma manobra para enganar a parte contrária e o judiciário. Como se o fato, em si, já não fosse grave o suficiente, causou espanto a fragilidade dessa inteligência, ou a facilidade encontrada para manipulá-la.

Bastou inserir em petição inicial, texto oculto em fonte branca contendo instruções dirigidas ao sistema de IA, orientando que eventual contestação fosse elaborada de forma superficial e sem impugnação documental, independentemente do comando que fosse dado.

Então, aprendi que o termo representa uma "técnica que consiste na inserção de comandos ocultos em textos destinados a serem processados por sistemas de inteligência artificial, com o objetivo de influenciar ou distorcer suas respostas."

Ou seja, "trata-se de uma forma de manipulação particularmente sofisticada, porque opera em um plano invisível ao leitor humano, mas plenamente eficaz para modelos de linguagem, que interpretam tais comandos como instruções legítimas."

Mas, não contente com a definição acima, pedi para a própria IA, definir "prompt injection". Eis um trecho da resposta:

Em termos simples, o Prompt Injection é uma vulnerabilidade de segurança que ocorre quando um usuário consegue manipular um modelo de linguagem (LLM) para que ele ignore suas instruções originais e siga novos comandos, muitas vezes maliciosos. É o equivalente digital ao "esquecer tudo o que te disseram anteriormente" para forçar a IA a agir de uma forma que seus desenvolvedores não pretendiam. É o equivalente digital a dar um "nó" na lógica da IA, fazendo-a priorizar o que o usuário diz em vez do que o desenvolvedor estabeleceu como regra.

Não deixa de ser preocupante que uma inteligência tão sofisticada possa ser burlada de uma forma tão simples, bastando ocultar o comando que foi dado e, pronto, ele não está visível para a outra parte, é obedecido pela máquina e, assim, a contestação sobre a petição, feita pela IA, será rasa, sem análise documental. Afinal, foi o que foi pedido.

A boa notícia é que a manipulação "opera em um plano invisível ao leitor humano, mas é plenamente eficaz para modelos de linguagem, que interpretam tais comandos como instruções legítimas", apesar de ilegítimas. Isso permitiu que o modelo de IA utilizado pelo Tribunal Regional do Trabalho da 8ª Região detectasse a fraude.

*Trechos entre aspas e imagem: Conjur

Acesso ao texto: IA e processo judicial: IA e processo judicial: entre a fraude e o erro no prompt injection

_______________________

O presente artigo possui caráter informativo e genérico, não constituindo opinião jurídica para qualquer operação ou negócio específico.

Permitida a reprodução total ou parcial desde que citada a fonte.

Reginaldo Angelo dos Santos é Mestre em Direito pela EPD/SP. Especialista em Direito Empresarial pela FGV DIREITO/SP. Especialista em Direito Tributário pela PUC/SP. Graduado em Direito pela FMU SP. Membro da Comissão Especial de Direito Tributário da OAB/SP e do Centro Nacional para Prevenção e Resolução de Conflitos Tributários - CENAPRET. Pesquisador no Grupo de Pesquisa Soluções Adequadas de Solução de Conflitos em Matéria Tributária da FGV Direito SP. Advogado Tributarista e Professor Universitário em São Paulo.