“Prompt engineer”: uma função de futuro ou apenas oportunismo momentâneo?

Com o surgimento de sistemas de IA baseados em LLM, como o chatGPT e chatBing, começamos a ver discussões sobre novas “profissões” ou funções como a de “prompt engineer”. Mas, será que é uma tarefa que realmente vai ter sobrevida ou é apenas momentânea? Podemos até comparar os “prompt engineers” aos “especialistas em busca” nos primeiros dias do Google, que anunciavam técnicas secretas para encontrar os resultados perfeitos, e que, com o passar do tempo e o aumento da sua adoção pública, tornaram-se obsoletos.

E uma pergunta chave: agrega realmente valor? Talvez esses “prompt engineers” apenas exerçam a ilusão de controle. Ninguém sabe exatamente como esses sistemas responderão, e o mesmo prompt pode gerar dezenas de respostas conflitantes — uma indicação de que as respostas dos modelos não se baseiam na compreensão, mas na imitação grosseira da fala para resolver tarefas que eles não entendem.

O que quer que esteja conduzindo o comportamento dos modelos em resposta aos prompts não é um entendimento linguístico profundo. Eles estão apenas explicitamente nos dizendo o que acham que queremos ouvir ou o que já dissemos. Somos nós que interpretamos essas saídas e atribuímos significado a elas. Assim o surgimento da função “prompt engineer” pode levar as pessoas a superestimar não apenas o seu rigor técnico, mas também a confiabilidade dos resultados que qualquer um poderia obter de uma caixa preta enganosa e em constante mudança.

Mas é um mercado oportunista que começa a crescer. Já existem até cursos e marketplaces de prompts, como o “PromptBase”. Lá você encontra prompts para fotografias realistas de filmes antigos, instruções para ilustrações de ratos e sapos de contos de fadas e, sendo uma amostra típica da Internet, tem também uma vasta gama de sugestões pornográficas, como prompts para o Midjourney. Tem cadastrado mais de 70 “prompt engineers” e algumas startups começam a postar anúncios solicitando profissionais para essa vaga. A Anthropic, startup criada por ex-funcionários da Open AI abriu uma vaga onde a exigência é “must have a creative hacker spirit and love solving puzzles”, com salário de US$ 335.000,00 por ano!

Um sistema LLM é baseado nos conceitos de deep learning e um dos imensos desafios que esses sistemas apresentam, é serem caixas pretas e a falta de “explainability” (explicabilidade em português). São sistemas complexos e se configuram automaticamente, tornando impossível saber como eles chegaram a determinado resultado. Usar ferramentas de deep learning, como as LLM exigem uma grande dose de fé em seus resultados, uma vez que não podemos afirmar que suas respostas serão precisas e corretas. Afinal são sistemas probabilísticos por natureza. Tudo que podemos fazer é testar o sistema inúmeras vezes até que nos sintamos confiantes em suas respostas, mas não temos certeza que ele continuará acertando da próxima vez. No caso de um chatGPT o mesmo prompt pode em momento diferentes produzir resultados diferentes. Mudanças de algumas palavras ou uso de sinônimos pouco usados em uma língua também podem gerar resultados bem diferentes. Por isso os sistemas, conhecidos como “IA generativa”, são imprevisíveis, suscetíveis a divagar de uma forma que pode ser tendenciosa, beligerante ou bizarra. Eles também podem ser hackeados com algumas palavras bem colocadas, tornando sua onipresença repentina muito arriscada para uso público.

Além disso, eles podem ser enganados. Técnicas como “prompt injections” podem contornar as seguranças embutidas nos sistemas de LLM e produzir resultados maliciosos. Por exemplo, os artigos “Tricking ChatGPT: Do Anything Now Prompt Injection” e “Prompt Injection Threat is Real, Will Turn LLMs into Monsters” mostram como fazer isso. O estudo “More than you’ve asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models”, da universidade de Saarland, na Alemanha, concluiu que a ampla adoção e implantação de LLMs pode abrir uma nova superfície de ataque visando LLMs integrados a aplicativos e seus usuários. Funcionalidades dos LLMs demonstraram ser facilmente modulados por meio de comandos naturais, abrindo uma porta para uma possível exploração maliciosa via “prompt injection”. O “prompt injection” pode ser usado para coletar informações do usuário, transformando o LLM em um método para executar um ataque de engenharia social.

Um dos pesquisadores por trás do artigo, ilustrou um exemplo em que conseguiu que o BingChat coletasse as informações pessoais e financeiras dos usuários (“Indirect Prompt Injection on Bing Chat”). Ao forçar o bot a rastrear um site com um prompt incorporado oculto, o chatbot foi capaz de executar um comando que o fez se passar por um executivo de suporte da Microsoft vendendo Surface Laptops com desconto. Usando isso como disfarce, ele conseguiu obter o nome do usuário, ID de e-mail e informações financeiras.

O desafio é que existem poucas medidas de segurança que podem ser usadas para proteger os sistemas de LLM. Eles são projetados para receber prompts do usuário e processá-los da maneira mais eficiente, e quanto melhor for a capacidade dos LLMs de entender os prompts, maior será a superfície de ataque para os ataques de “prompt injection”.

A questão é que os “pompt engineers” podem ser usados de forma adequada, para criação de imagens e textos, mas também criar todo um ecossistema que impulsione o cibercrime. O aprofundado estudo de 84 páginas “Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations” da própria OpenAI alerta para essas questões.

Creio que devemos ser bem mais cuidadosos com o uso descontrolado da tecnologia. Seu uso inadequado pode causar sérios danos à sociedade. Por ouro lado, não devemos impedir seu avanço, pois a sociedade humana evolui com a evolução tecnológica.

Mas, talvez pudéssemos pensar em regulamentações que permitissem a pesquisa de IA, mas controlada com uma pausa na sua implantação de IA em larga escala (como por exemplo, chatbots liberados rapidamente para centenas de milhões de clientes) até que efetivamente comprovasse sua segurança.

A ideia seria usar o precedente adotado para a indústria farmacêutica. Novos medicamentos começam com pequenos ensaios clínicos e passam para ensaios maiores com um número cada vez maior de pessoas, mas apenas quando evidências suficientes são produzidas para que os reguladores acreditem que são seguros para essa ampliação do teste. Só após são liberadas para o mercado. Considerando que a nova geração de sistemas de IA demonstrou a capacidade de manipular humanos, as empresas de tecnologia poderiam estar sujeitas a um processo similar.

Creio que essa ideia deva ser discutida. Novas aplicações de IA que afetem de forma substancial a sociedade deveriam passar por critérios que avaliem e regulem o seu lançamento, com base em evidências de segurança cuidadosamente delineadas. Provavelmente também será necessária mais transparência sobre como as decisões sobre lançamentos desses produtos de IA são tomadas e como e quais critérios as empresas adotam para criar mecanismo de segurança e evitar que vieses sejam incorporados em seus resultados.