Angelo Cordeiro
A inteligência artificial já deixou de ser apenas uma promessa de transformação para se tornar também uma questão de responsabilidade. Conforme empresas incorporam modelos generativos e agentes autônomos às operações, surge um problema que vai além de impedir ataques: como explicar o que uma IA fez, reconstruir as decisões tomadas por ela e determinar quem responde quando algo dá errado? Na 10ª edição do Cyber Security Summit Brasil, realizada em São Paulo na segunda-feira (5), essas perguntas atravessaram as discussões sobre o novo momento da cibersegurança.
Na abertura do evento, David Cass, Global Chief Information Security Officer na Keyrock, partiu justamente do momento em que os controles falham: quando uma disputa chega aos tribunais. Segundo ele, processos envolvendo IA já deixaram o campo das hipóteses e incluem acusações relacionadas a direitos autorais, privacidade e responsabilidade sobre produtos, além de casos em que profissionais foram sancionados após sistemas generativos inventarem referências jurídicas.
Isso porque decisões aparentemente técnicas — como a forma de desenvolver, testar e documentar um modelo — podem se tornar evidências anos depois. “Mostre o seu trabalho”, resumiu Cass. Para ele, a documentação precisa acompanhar o desenvolvimento desde o início, e não ser reconstruída depois que um problema aparece. “Falamos de segurança e privacidade desde a concepção. A IA precisa ser defensável desde a concepção.”
A rastreabilidade ganha importância porque a responsabilidade não desaparece quando uma decisão é automatizada. “Você pode escolher trabalhar com determinados parceiros, pode escolher implementar determinados modelos de IA, mas nunca pode terceirizar a responsabilidade pela decisão que tomou”, alertou Cass. O mesmo vale para as respostas geradas pela tecnologia: “Verificar o resultado ainda é uma responsabilidade humana. Você não pode dizer: ‘Eu confiei na IA’.”
No Brasil, essa discussão também encontra respaldo regulatório. Durante a apresentação, Cass citou a Lei Geral de Proteção de Dados (LGPD) e a atuação da Autoridade Nacional de Proteção de Dados (ANPD) na proteção de informações pessoais, além das regras estabelecidas pelo Conselho Nacional de Justiça (CNJ) para o uso de inteligência artificial pelo Judiciário. Para as empresas, acompanhar essas movimentações é também uma maneira de antecipar o que poderá ser exigido de sistemas desenvolvidos hoje.
Na prática, porém, saber exatamente onde a IA está sendo utilizada já representa um desafio. Renato Jager, CTO do Oakmount Group, chama atenção para ferramentas de terceiros que incorporam modelos generativos em funções muitas vezes invisíveis para quem contrata o serviço. “As pessoas não sabem se está compartilhado, não sabem se está exposto”, afirma. Com agentes autônomos, a situação se torna ainda mais complexa: sistemas passam a ter suas próprias credenciais e capacidade de executar ações.
É por isso que David Cass defende uma arquitetura preparada para possíveis disputas. A recomendação é “registrar como uma testemunha, e não como um depurador”: além dos logs tradicionalmente usados por desenvolvedores, empresas deveriam preservar prompts, entradas, conteúdos consultados pelo sistema, versões, parâmetros operacionais, respostas e eventuais intervenções humanas. “Pense nisso como o seu gravador de voo”, comparou. O objetivo é permitir que uma decisão possa ser reconstruída posteriormente.
Nem sempre, contudo, essa reconstrução será simples. “A capacidade de auditoria externa é um problema”, reconhece Jager. “Se eu não escrevi o agente, eu não tenho acesso ao modelo dele.” É possível acompanhar informações ao redor de um incidente, mas entender exatamente como uma rede neural chegou a determinada conclusão pode ser muito mais difícil, especialmente quando a tecnologia pertence a um fornecedor.
Ao mesmo tempo, embora reconheça a importância dos controles, Jager argumenta que regras demais podem reduzir a velocidade da inovação e impedir benefícios que vão além de resultados financeiros, como avanços em saúde, alimentação ou infraestrutura. “Nós não temos como mensurar o que nós estamos colocando em risco e o que nós estamos perdendo”, afirma.
Para Maico Marques, cofundador e líder do Grupo SUMMIT, o avanço da IA também reforça a importância das habilidades humanas. Ele lembra que a primeira corrida pela tecnologia foi acompanhada pela expectativa de que sistemas pudessem assumir determinadas funções praticamente sozinhos. “Todo mundo acreditou no sonho de que a IA resolveria tudo.” A experiência, porém, mostrou a necessidade de estabelecer guardrails e manter pessoas capazes de orientar, supervisionar e, principalmente, explicar corretamente os processos executados pela tecnologia.
Essa capacidade passa também pela experiência acumulada dentro das equipes. “Uma pessoa que já foi para a guerra tem uma experiência muito melhor do que alguém que nunca teve problema algum”, afirma Marques, ao defender uma maior valorização dos profissionais que já enfrentaram incidentes de segurança. Para ele, esse aprendizado faz parte de um amadurecimento que ainda precisa avançar no mercado brasileiro, tanto do ponto de vista regulatório quanto cultural.
Antes de buscar respostas cada vez mais sofisticadas para novas ameaças, portanto, Marques acredita que as organizações precisam fortalecer seus próprios fundamentos. “O que a gente mais percebe é que o básico, muitas das vezes, não é bem feito”, afirma.
O desafio aumenta porque as regras não avançam na mesma velocidade. Rafael Narezzi, Chairman do Grupo SUMMIT, aponta que a IA está criando inovação mais rapidamente do que as organizações conseguem estabelecer políticas para controlá-la. “Você não consegue ter um controle estático num ambiente dinâmico.” A saída, segundo ele, não está em transformar a cibersegurança em obstáculo, mas em permitir que ela acompanhe a inovação e ajude o negócio a lidar com os riscos envolvidos nesse processo.
Para Narezzi, uma das ameaças ainda subestimadas está justamente na falta de visibilidade sobre o comportamento da própria IA. À medida que empresas criam e implementam novos sistemas, precisam lidar com alucinações, ações inesperadas e decisões que podem escapar do objetivo originalmente estabelecido. “Hoje, a gente está criando, criando, criando, mas sem controles. E isso vai ter uma consequência”, alerta. O desafio, portanto, deixa de ser apenas estabelecer regras para a tecnologia e passa também por entender como controlar sistemas que aprendem continuamente sobre seus usuários e sobre as próprias organizações.
É nesse cenário que Cass rejeita a ideia de que uma boa governança seja sinônimo de buscar sistemas infalíveis. Ao recordar sua experiência como regulador, ele afirma que sempre haverá espaço para melhorias. O que diferencia uma organização é sua capacidade de demonstrar que havia processos, documentação e critérios por trás das decisões tomadas.
“Nós não estamos esperando perfeição. Estamos esperando boa diligência e bons processos. Certifique-se de ter uma boa governança de forma geral, porque isso significa que você está implementando IA de uma maneira cuidadosa, confiável e responsável”, finaliza David Cass.
