A importância da governança de IA na jornada das empresas

O fato é que a IA generativa está aí e existe muito interesse em descobrir onde, como e quando a usar nos negócios. Acreditamos muito na aplicabilidade da Gen AI. Entretanto, não abraçamos o hype, mas propomos que seu uso tenha claros propósitos, objetivos bem definidos e expectativas de ROI realistas. Defendemos uma abordagem mais cautelosa. Fazer afirmações grandiosas sobre LLMs pode ajudar a vender software, cursos ou livros no curto prazo, mas no longo prazo, a aplicação impensada desses modelos por toda a organização pode levar a perdas significativas de produtividade.

A IA generativa apresenta, como toda tecnologia, riscos e oportunidades. As organizações devem adotar uma abordagem cautelosa para adotar LLMs. Os executivos devem considerar onde esta tecnologia realmente ajuda e resistir ao impulso de integrá-la a cada trabalho e tarefa em toda a organização. Para fazer isso, eles precisam compreender dois problemas centrais dos LLMs que são críticos em suas implicações de médio e longo prazo: 1) sua capacidade persistente de produzir falsidades convincentes (um LLM é otimizado para fluência e não acurácia) e 2) os prováveis ​​efeitos negativos a longo prazo do uso de LLMs em funcionários e processos internos. Quando combinadas, estas questões podem criar condições organizacionais propícias a falhas sistêmicas e difíceis de identificar, que podem degradar a eficácia organizacional se os casos de utilização de IA generativa não estiverem em um contexto gerenciado e continuamente monitorados.

A IA generativa pode gerar código de software, texto, áudio, imagens de alta fidelidade e vídeos interativos. Pode ajudar a identificar novos materiais e propor modelos moleculares que podem servir de base para encontrar drogas para doenças para as quais anteriormente não havia medicamentos adequados.

A percepção que observamos nos executivos é de um lado anseios por explorar a tecnologia, mas do outro, os receios de que os riscos possam ficar fora de controle. A dúvida é como identificar e balancear os riscos versus as oportunidades?

Os riscos associados à geração de IA vão desde resultados imprecisos e preconceitos incorporados nos dados de treinamento, até o potencial de desinformação em grande escala e influência maliciosa na política e no bem-estar pessoal. Também existe um grande o receio de criar problemas legais com violações de direito autoral e expor de forma indevida dados privativos da empresa e de clientes, criar inadvertidamente condições que permitam fraudes e violar aspectos regulatórios, de compliance e de auditoria, críticos para o negócio.

Estas questões podem prejudicar a implementação da IA ​​generativa, levando as empresas a interromper a experimentação, até que os riscos sejam melhores compreendidos. Muitas empresas acabam por despriorizar a adoção da tecnologia devido a esses questionamentos.

No entanto, ao adaptar abordagens já comprovadas de governança e gestão de riscos corporativos no uso da IA generativa, é possível avançar de forma responsável para capturar o valor da tecnologia. Isso também permitirá que as empresas usem a tecnologia enquanto o ambiente regulatório ​​continua a evoluir de forma acelerada. Construir uma política de governança e gestão de riscos adequada à cada empresa ajudará na proteção contra essas ameaças. Em termos práticos, podemos pensar nas seguintes atividades:

1. Compreender, de forma abrangente, o risco de exposições relacionadas ao uso da IA generativa, desenvolvendo uma visão abrangente da materialidade dos riscos relacionados com o uso da tecnologia em todos os casos de utilização. Criar uma gama de opções (incluindo medidas técnicas e não técnicas) para gerenciar esses riscos.

2. Estabelecer uma estrutura de governança que equilibre conhecimentos especializados e supervisão, com a capacidade de apoiar a rápida tomada de decisões, adaptando as estruturas existentes ao uso da nova tecnologia. Os projetos de IA generativa devem passar por esse crivo.

3. Incorporar a estrutura de governança de IA em um modelo operacional que se baseie na experiência de toda a organização.

Não existe ainda um manual de boas práticas, devido a estarmos lidando com uma tecnologia nova e imatura. Além disso, não é possível pensarmos em um conceito “one size fits all”. As especificidades de como implementar estas etapas e o grau de mudanças necessário para colocá-las em prática, variarão de acordo com o grau de maturidade digital, aspirações e a natureza de cada empresa.

Decidir como responder aos riscos internos deve ser o foco dos executivos C-level e conselhos. Esta decisão deve servir de base para a criação e a forma de como a organização vai comunicar os processos, métodos e técnicas de governança de IA aos seus funcionários e stakeholders.

As fontes principais de risco de entrada decorrentes da adoção da IA generativa são:

1. Ameaças à segurança, resultantes do aumento do volume e da sofisticação dos ataques de malware habilitado para a GenAI,

2. Riscos de terceiros, como parceiros de negócio e os próprios clientes, resultante de desafios na compreensão de onde e como os terceiros estão implementando a IA generativa, criando potenciais exposições,

3. Riscos de uso malicioso, resultante da possibilidade de maus atores criarem deepfakes convincentes que representem funcionários da empresa ou de marcas que resultem em danos significativos à reputação do negócio, e

4. Riscos de violação de propriedade intelectual (PI), resultante da inserção inadvertida de PI (como imagens, música e texto) nos data sets de treinamento e tornados acessíveis a qualquer pessoa que utilize a tecnologia.

Por exemplo, na questão da segurança, uma pesquisa recente mostrou que uma esmagadora maioria dos gestores de TI (97%) afirma que proteger a IA e os sistemas é essencial, mas apenas 61% estão confiantes de que obterão o budget de que necessitam. Apesar da maioria dos líderes de TI entrevistados (77%), afirmarem ter experimentado alguma forma de violação relacionada à IA (não especificamente aos modelos), apenas 30% implantaram uma defesa eficaz contra ataques aos seus sistemas que embarcam IA generativa. E apenas 14% estão planejando e testando defesas que façam frente à tais ataques.

A primeira ação prática que a empresa deve fazer será montar uma equipe multidisciplinar que identifique potenciais exposições a riscos, ancoradas no perfil de risco da organização. Essa equipe também deve analisar e compreender a maturidade e a prontidão do ambiente de controle e as capacidades técnicas e não técnicas que a organização possui para prevenir, detectar e, em última análise, responder aos riscos identificados. Isso deve incluir defesas cibernéticas e contra fraude, diligências em terceiros para identificar onde esses terceiros podem estar adotando IA generativa de forma que embutam altos riscos e a capacidade de limitar a extração de propriedade intelectual da empresa por mecanismos usados ​​para treinar grandes modelos de linguagem.

O resultado dessa análise deve ser uma compreensão clara e inequívoca de onde a organização enfrenta as maiores exposições potenciais de risco, bem como a maturidade e prontidão do seu atual sistema de proteção. Depois de realizar este exercício, a organização deverá ter um roteiro claro sobre onde e como reforçar as defesas e qual seria o ROI potencial destes esforços na mitigação desses riscos potenciais.

Dada a natureza evolutiva da IA generativa e das suas aplicações, as organizações terão de repetir continuamente esse esforço para identificar a sua exposição. Para a maioria das organizações, será importante atualizar este exercício pelo menos semestralmente até que o ritmo evolução tecnológica seja moderado e os ambientes de controle e as defesas tenham amadurecido.

O processo de governança de IA, demandará que para cada projeto que envolva IA generativa, será necessário analisar os riscos potenciais com adoção da tecnologia. Isto provavelmente vai exigir não apenas investimento de tempo e recursos, mas também uma mudança nos processos. Isso é essencial para que as organizações obtenham benefícios transformadores, sustentáveis ​​e de longo prazo. Erros e falhas podem minar a confiança dos executivos, funcionários e clientes, e desencadear um processo de frustração e, consequentemente, redução no nível de ambição da empresa, limitando de tal forma a adoção da tecnologia para apenas casos de utilização que sejam considerados de risco mínimo, mas que também podem não ser os mais adequados para capitalizar o verdadeiro potencial da tecnologia.

Cada caso de uso apresenta um perfil de risco diferente, refletindo tanto a natureza da tecnologia em si quanto o contexto específico da empresa em relação às especificidades da aplicação. Por exemplo um chatbot para uso interno tem riscos menores que um chatbot aberto aos clientes. Mas, mesmo aplicações internas podem incorrer em riscos. Imaginemos um cenário de uma empresa usando um LLMs para escrever um manual de regras dos funcionários. Embora os responsáveis pela tarefa devam verificar todo o manual com atenção, depois de ler algumas páginas de um texto coerente e que parece confiável, eles provavelmente irão folhear o resto. Se um erro for introduzido no manual, ele poderá demorar anos para aparecer. Imagine que um manual do funcionário gerado automaticamente omita detalhes importantes sobre práticas e penalidades por assédio sexual. Este tipo de risco não pode ser adequadamente quantificado ao nível da tarefa. É necessária uma avaliação holística, organizacional e longitudinal.

O ponto de partida para as organizações que implementam IA generativa é mapear os riscos potenciais associados a cada caso nas diferentes categorias de risco para avaliar a gravidade potencial do risco. Por exemplo, casos de uso que apoiam as jornadas do cliente, como chatbots para atendimento ao cliente, podem levantar riscos como preconceito e tratamento injusto entre grupos (por exemplo, por gênero e raça), preocupações com a privacidade de usuários que inserem informações confidenciais e riscos de imprecisão devido a alucinações de modelos ou informações desatualizadas. Ao realizar esta análise, é importante desenvolver uma métrica para calibrar as expectativas sobre o que constitui um alto risco versus um risco médio ou baixo.

Assim, por exemplo, uma aplicação que apoie um consultor de aconselhamento financeiro personalizado para os clientes de um banco, tende a ter uma classificação mais elevada na exposição ao risco de privacidade do que uma aplicação que automatiza modelos básicos de contratos.

É essencial que o responsável pelo caso de uso lidere a avaliação inicial dos riscos associados a ele (como parte da sua atribuição no papel de gerente de produto), baseado nos processos e métricas definido pela governança de IA. Isto promove a consciência dos riscos potenciais e a responsabilidade pela sua gestão quando o caso de uso for aprovado para desenvolvimento. Além disso, o grupo multifuncional deve revisar e validar as avaliações de risco para todos os casos de uso propostos na empresa.

Muitas mitigações de risco são de natureza técnica e podem ser implementadas e revisadas ao longo do ciclo de vida do projeto. Mas, existem categorias de mitigações não técnicas que as organizações devem considerar ao desenvolver casos de uso. Por exemplo, como tecnologia da IA generativa é imatura, é necessário ter um humano no loop, monitorando a tecnologia, principalmente ao interagir diretamente com os clientes finais. Isso deve ser assegurado nas especificações dos processos que adotam a IA generativa. Também na mitigação de riscos, deve ser avaliada se será necessário adotar a capacidade de indicar as fontes como parte da resposta à consulta, como por exemplo, em chatbots que explicam um produto a um cliente. Isso contribuirá para enfrentar os desafios da “explicabilidade” e aumentar a confiança geral nos resultados.

A utilização da IA generativa colocará novas exigências à maioria das organizações para adaptar as estruturas de governança para responder às exigências de aprovações e exercer supervisão. O CEO e a liderança sénior são responsáveis, em última instância, por garantir que a sua organização aplica uma governança sólida ​​ao longo de todo o ciclo de vida da aplicação que embuta IA. O CEO e a liderança sênior são responsáveis ​​por definir o tom geral e a cultura da organização. Ao dar prioridade à governação responsável da IA, envia a todos os funcionários uma mensagem clara de que todos devem usar a IA de forma responsável e ética.

O jurídico é fundamental na avaliação e mitigação de riscos que envolvam aspectos legais, garantindo que as aplicações de IA cumprem as leis e regulações pertinentes. As equipes de auditoria são essenciais para validar a integridade dos dados dos sistemas de IA e confirmar que os sistemas funcionam conforme pretendido, sem introduzir erros ou preconceitos. O CFO supervisiona as implicações financeiras, gerindo os custos associados às iniciativas de IA e mitigando quaisquer riscos financeiros.

Contudo, a responsabilidade pela governação da IA ​​não cabe a um único indivíduo ou departamento; é uma responsabilidade coletiva onde cada líder deve dar prioridade à responsabilização e garantir que os sistemas de IA são utilizados de forma responsável e ética em toda a organização.

Os fatores essenciais para uma boa governança de IA são:

1. Uma equipe multifuncional e responsável pelas análises dos projetos de IA generativa com relação aos riscos e aderência às práticas de governança. Este grupo deve incluir executivos C-level de negócios e tecnologia, bem como membros de governança de dados, privacidade, jurídico e de compliance. Deve ter um mandato para tomar decisões críticas sobre a gestão dos riscos dos casos de uso propostos e rever decisões estratégicas, tais como a seleção dos foundation models e a sua aderência à postura de risco da organização. Idealmente, este grupo deve ter um único indivíduo com poderes para lidar com a coordenação e a definição da agenda.

2. Diretrizes e políticas de “Responsible AI”. As organizações devem desenvolver um conjunto de princípios orientadores acordados com equipe executiva e pelo conselho, que orientarão a adoção da IA ​​e servirão como proteção para os casos de uso aceitáveis.

3. Talento e cultura de “Responsible AI”. O compromisso com uma IA responsável não pode ficar apenas no C-level. Precisa de se propagar por toda a organização, com responsabilização, capacitação e sensibilização adaptadas ao grau relevante de exposição das funções relevantes às tecnologias em relação às especificidades da organização. Deve ser desenvolvida e implementada uma formação básica nos princípios de uso de “Responsibe AI” para fomentar uma compreensão ampla da utilização da tecnologia e de como interagir com ela de forma segura.

A GenAI é promissora para tarefas em que é útil e produtivo gerar rapidamente muitas ideias não factuais. É fácil imaginar produtos tecnológicos que se concentrem nesses casos de uso de uma forma que facilite às organizações começarem com experimentação de aplicações direcionadas e de pequena escala. Os gestores devem estar atentos aos contextos onde a adoção de LLMs se revela útil, não adotando nem rejeitando cegamente a tecnologia.

A IA e a Gen AI tem o potencial de redefinir a forma como as pessoas trabalham. Embora a tecnologia esteja em rápido desenvolvimento, ela apresenta riscos que vão desde preocupações com a integridade dos dados de treinamento até o potencial de geração de resultados imprecisos ou maliciosos. Uma política de governança de IA é essencial. Isto permitirá a aplicação desta nova e excitante tecnologia de forma segura e responsável, ajudando as empresas a gerir riscos conhecidos, ao mesmo tempo que desenvolvem conhecimento e experiência para se adaptarem a riscos imprevistos à medida que as capacidades e os casos de utilização da tecnologia se expandam. Adotar e escalar a IA generativa de forma sustentável e responsável, é condição essencial para capturar todos os seus benefícios.

Leitura complementar:

1. “HiddenLayer’s 2024 AI Threat Landscape Report”, https://hiddenlayer.com/threatreport2024/

2. “The Cambridge Handbook of Responsible Artificial Intelligence”, https://www.cambridge.org/core/services/aop-cambridge-core/content/view/EF02D78934D18B9A22A57A46FF8FFAFC/9781009207867AR.pdf/The_Cambridge_Handbook_of_Responsible_Artificial_Intelligence.pdf?event-type=FTLA