O que é uma IA validável para a ANVISA?

O assunto do momento no mundo de Validação de Sistemas nas indústrias de ciências da vida é a Inteligência Artificial.

 

Muitas ferramentas novas, LLMs, chats, agentes de IA… fica difícil não se perder nesse mar de informações.

 

Alguns meses atrás também saiu a consulta pública ao anexo 22 do PIC/S que fala especificamente sobre IA. Apesar de ser só um rascunho, é um documento que trouxe muita luz a algumas dúvidas muito comuns:

 

→ Sistemas/modelos de IA podem ser validados?

→ Quais as características dos sistemas/modelos de IA para poderem ser validados?

 

Em outras palavras: o que é uma IA validável?

 

Como o Brasil é hoje um país membro do PIC/S, é muito provável que a ANVISA publique algo com as mesmas diretrizes por aqui no futuro.

 

Então vamos usar esse rascunho do anexo 22 como base para entender o que é uma IA validável perante à ANVISA.

Os LLMs podem ser validados?

 

É natural que a gente, hoje, associe inteligência artificial com os LLMs (Large Language Models), como o ChatGPT, Gemini, Claude, etc…

 

São ferramentas muito úteis, mas… é possível validá-los?

 

Resposta curta: não.

 

Esse tipo de inteligência artificial possui duas características que inviabilizam a sua validação. São modelos de IA:

→ Dinâmicos: se adaptam e continuamente aprendem com novas informações;

→ Probabilísticos: suas respostas são baseadas na probabilidade e são muito variáveis.

 

Para se validar um sistema tradicional, é necessário que seus resultados sejam previsíveis e estáveis. Num LLM, justamente por ser um modelo dinâmico e probabilístico, não temos essa previsibilidade e estabilidade.

 

Você confiaria numa pessoa imprevisível e instável para decidir se libera ou não um lote para o mercado?

 

Então como você poderia confiar numa IA para tomar decisões críticas BPx se essa IA é totalmente imprevisível e instável?

 

Por isso, LLMs ou quaisquer outros modelos de IA dinâmicos e probabilísticos estão fora de cogitação para tomar decisões sozinhos em contextos de impacto direto nas boas práticas.

 

Mas então… quais modelos podem ser validados?

Quais modelos de IA podem ser validados?

 

Indo na contramão dos LLMs, os modelos de IA que podem ser validados são aqueles que possuem as seguintes características:

 

→ Estáticos: não mudam sua estrutura e não aprendem com dados novos automaticamente;

→ Determinísticos: se a sua pergunta for sempre a mesma, a resposta será sempre a mesma.

 

Um modelo de IA ser estático e determinístico é um pré-requisito imprescindível.

 

São essas características que fazem com que o modelo seja estável e previsível. São essas características que fazem com que seja possível validar um modelo de IA.

 

Mas tem uma característica bônus que é muito importante ser avaliada na validação:

 

→ A interpretabilidade do modelo.

 

Para que nós, seres humanos, possamos confiar nas respostas de um modelo, costuma ajudar muito se conseguirmos entender como aquele modelo tomou suas decisões.

 

Não sei você, mas se eu entendo o porquê das coisas, eu costumo aceitar muito mais fácil.

 

Agora, se as decisões são uma caixa-preta (black box) onde você não consegue determinar como uma decisão foi tomada, fica difícil de confiar que a resposta é realmente a correta.

 

Existem várias formas de entender como um modelo toma uma decisão:

 

→ Ou o próprio modelo possui uma estrutura simples e fácil de entender;

→ Ou são utilizadas técnicas para explicar a tomada de decisão do modelo;

→ Ou o próprio modelo fornece uma explicação de como chegou naquela resposta.

 

Porém, existe um trade-off entre a interpretabilidade do modelo e a sua acurácia.

 

Modelos que são extremamente precisos são geralmente complexos e pouco interpretáveis.

 

Modelos mais simples são facilmente interpretáveis, mas costumam ter resultados menos precisos.

 

(Pois é. Nem no mundo da IA se pode ter tudo).

 

É necessário ter um certo equilíbrio, pois é desejável ter uma boa acurácia, mas também é importante ter um modelo explicável, especialmente porque esses modelos serão inspecionados pelos órgãos reguladores no futuro.

 

O modelo possui todas essas características? Ótimo, então você pode seguir para o processo de validação, pois esse modelo de IA é validável.

 

E se você quer ajuda para validá-lo, entre em contato conosco,  nós podemos ajudá-lo: https://kivalitaconsulting.com/