Publicações

O caso Grok e a responsabilização pela geração de imagens indevidas

A evolução das tecnologias de inteligência artificial generativa (IA) trouxe facilidades, mas também novos riscos aos direitos fundamentais. Recentemente, a ferramenta Grok, integrada à rede social X (antigo Twitter), tornou-se o centro das discussões devido às denúncias de seu uso para a geração e manipulação de imagens com conteúdo erótico ou sexual, sem consentimento das pessoas reais retratadas. Este artigo explica como essa tecnologia tem sido utilizada indevidamente, e como a legislação brasileira pode proteger as vítimas.

1. O que é o Grok
O Grok é um assistente de inteligência artificial generativa desenvolvido pela empresa xAI, de Elon Musk. Ele funciona de forma semelhante a outros chatbots (como o ChatGPT), sendo capaz de processar linguagem natural, responder perguntas e, principalmente, gerar ou editar imagens a partir de comandos de texto (prompts). Seu funcionamento está integrado diretamente à rede social X.

2. O uso indevido e os grupos mais afetados
Inúmeras reportagens foram publicadas neste mês de janeiro de 2026, com denúncias de uso do Grok para criar milhares de deepfakes com teor sexual, erótico e pornográfico.
A ferramenta de IA permitiu que usuários no mundo todo transformassem fotos comuns de pessoas reais vestidas em imagens de nudez ou eróticas (com biquíni ou lingerie), sem seu conhecimento ou consentimento. Os ataques de geração não autorizada de imagens sexualizadas atingiram massivamente mulheres adultas, além de envolverem crianças e adolescentes reais, em menor proporção.

3. Reação internacional e resposta da empresa
A gravidade do caso gerou respostas imediatas de autoridades ao redor do mundo. Foram solicitadas investigações e a adoção de medidas cabíveis em países como Reino Unido, Itália, França, Alemanha, Brasil, Índia e Malásia.
Diante da pressão internacional, a plataforma X e a xAI adotaram algumas medidas, mas que não são suficientes para combater a produção de conteúdos ilegais. Por exemplo, em vez de proibir a geração e edição de imagens de cunho sexual de terceiros, bloqueando os resultados, foi decidido apenas liberar o acesso para assinaturas pagas do serviço. Também afirmaram ter implementado bloqueios para impedir a criação de imagens de pessoas reais em trajes íntimos ou biquínis em países onde a prática é ilegal. Apesar das promessas, reportagens recentes mostraram que ainda era possível burlar sem muito esforço as travas para gerar conteúdos que sexualizam mulheres e crianças.
No Brasil, em 20 de janeiro, a Agência Nacional de Proteção de Dados (ANPD), o Ministério Público Federal (MPF) e a Secretaria Nacional do Consumidor (Senacon) do Ministério da Justiça e Segurança Pública expediram, em conjunto, recomendações à empresa controladora da plataforma X para a adoção de medidas imediatas que impeçam a geração e divulgação de conteúdos sexualizados indevidos.
As providências recomendadas pelas autoridades incluem impedir a geração de novos conteúdos dessa natureza, remover materiais já disponíveis, e suspender contas que produzem esse tipo de conteúdo. Essas medidas devem ser implementadas para todos os planos, versões e modalidades da ferramenta e, em caso de descumprimento ou de implementação insuficiente, poderão ser adotadas pelas três instituições medidas em sede administrativa ou judicial, inclusive aquelas previstas no art. 12 do Marco Civil da Internet, no art. 35 do Código de Defesa do Consumidor e no art. 52 da Lei Geral de Proteção de Dados, sem prejuízo de outras que se mostrarem necessárias.

4. Legislação brasileira e direitos violados
O uso da inteligência artificial generativa para criar imagens não autorizadas de teor sexual, erótico ou pornográfico atinge diversos direitos fundamentais garantidos pela legislação brasileira, como o direito à imagem, à privacidade, à segurança, à honra e à autodeterminação informativa, além de violar a dignidade da pessoa humana das vítimas.
No campo criminal, as condutas daqueles que criam e compartilham esse tipo de conteúdo ilícito podem ser enquadradas em diferentes crimes previstos no Código Penal, especialmente: (i) violência psicológica contra a mulher, com causa de aumento pelo uso da inteligência artificial (art. 147-B, parágrafo único); (ii) registro não autorizado da intimidade sexual (art. 216-B, parágrafo único); e (iii) divulgação de cena de estupro ou de cena de estupro de vulnerável, de cena de sexo ou de pornografa (art. 218-C).
Para crianças e adolescentes, a proteção é ainda mais rígida. O recém-aprovado ECA Digital (Lei 15.211/2025) impõe o dever de prevenir e mitigar riscos de exploração e abuso sexual no ambiente digital (art. 6º, inciso I), considerando que a manipulação de imagens de menores fere o princípio do melhor interesse da criança.
Além disso, há violação da Lei Geral de Proteção de Dados (LGPD – Lei 13.709/2018) quando fotos reais são usadas para criar deepfakes, por ser considerado tratamento indevido de dados pessoais. Por fim, sob a ótica do Código de Defesa do Consumidor (CDC – Lei 8.078/1990), o serviço fornecido é considerado defeituoso (art. 14), por não oferecer aos usuários a segurança que se espera de uma plataforma desse porte.

5. Quem pode ser responsabilizado
A responsabilidade jurídica alcança dois atores distintos. Em primeiro lugar, o próprio usuário do Grok que redigiu o comando (prompt) para gerar a imagem sexualizada pode ser responsabilizado pelos danos causados às vítimas. Este indivíduo poderá ser responsabilizado criminalmente pelos crimes apontados no tópico anterior, e poderá responder na esfera civil pelos danos morais causados à vítima. Os usuários que divulgam e compartilham as imagens também podem ser responsabilizados.
Já a empresa X (antigo Twitter) também responde pelos danos causados aos usuários. É possível alegar a responsabilidade objetiva da empresa (pelo risco da atividade, segundo o art. 14 do CDC), sem necessidade de demonstração de culpa, ou então alegar a responsabilidade subjetiva (por negligência, falha de segurança ou ausência de mecanismos de prevenção).
No recente julgamento do RE 1.037.396 (Tema 987), em que o Supremo Tribunal Federal decidiu sobre a responsabilidade das plataformas digitais no Marco Civil da Internet (MCI – Lei 12.965/2014), ficou decidido que as redes sociais têm responsabilidade sobre conteúdos criminosos gerados por terceiros: “O provedor de aplicações de internet será responsabilizado civilmente, nos termos do art. 21 do MCI, pelos danos decorrentes de conteúdos gerados por terceiros em casos de crime ou atos ilícitos, sem prejuízo do dever de remoção do conteúdo”. A comprovação do dano, nesses casos, independe da identificação do usuário.
Também foi estabelecida uma presunção de responsabilidade em casos de geração ou impulsionamento de conteúdo ilícito por robôs e chatbots: “Fica estabelecida a presunção de responsabilidade dos provedores em caso de conteúdos ilícitos quando se tratar de (a) anúncios e impulsionamentos pagos; ou (b) rede artificial de distribuição (chatbot ou robôs). Nestas hipóteses, a responsabilização poderá se dar independentemente de notificação”.
É importante destacar que o STF, também no Tema 987 de repercussão geral, previu a responsabilidade civil dos provedores de aplicações de internet em caso de falha sistêmica, entendida como aquela em que não são adotadas adequadas medidas de prevenção ou remoção dos conteúdos ilícitos que configurem as práticas de crimes graves previstas em rol taxativo, configurando violação ao dever de atuar de forma responsável, transparente e cautelosa.
Ou seja, segundo o STF, o provedor de aplicações de internet é responsável quando não promover a indisponibilização imediata de conteúdos de certos crimes, como por exemplo: (i) crimes praticados contra a mulher em razão da condição do sexo feminino, inclusive conteúdos que propagam ódio às mulheres (Lei nº 11.340/06; Lei nº 10.446/02; Lei nº 14.192/21; CP, art. 141, § 3º; art. 146-A; art. 147, § 1º; art. 147-A; e art. 147-B do CP); (ii) crimes sexuais contra pessoas vulneráveis, pornografia infantil e crimes graves contra crianças e adolescentes, nos termos dos arts. 217-A, 218, 218-A, 218- B, 218-C, do Código Penal e dos arts. 240, 241-A, 241-C, 241-D do Estatuto da Criança e do Adolescente).
Esse entendimento se aplica perfeitamente às recentes violações de direitos cometidas contra mulheres, crianças e adolescentes com a utilização do Grok.
Por fim, se a vítima quiser identificar o usuário na plataforma, o X (antigo Twitter) poderá ser notificado extrajudicialmente ou acionado judicialmente, para que forneça registros de conexão ou de acesso, com fundamento no art. 22 do Marco Civil da Internet.

6. Recomendações para proteção das vítimas e responsabilização dos culpados
Caso você ou algum familiar seja vítima de manipulação de imagem por IA generativa, recomenda-se que sejam seguidos estes passos:
1. Preserve as provas imediatamente: Registre o conteúdo antes de apagá-lo ou de solicitar a sua remoção. Para tanto, faça capturas de tela (prints) legíveis que incluam o perfil do autor, a imagem gerada e, especialmente, a URL (o link direto) da postagem;
2. Registre a autenticidade da prova: Se possível, utilize serviços como a ata notarial em cartório de notas, ou o serviço digital do e-Not Provas, desenvolvido pelo Colégio Notarial do Brasil (CNB), ou plataformas privadas de registro de prova digital, para evitar que a prova seja contestada judicialmente;
3. Denuncie na plataforma: Utilize os canais internos oficiais da plataforma de IA generativa ou rede social para notificar a violação e solicitar a remoção imediata do conteúdo. Guarde os comprovantes e protocolos desse contato;
4. Registre um Boletim de Ocorrência: Procure uma Delegacia de Crimes Cibernéticos ou faça o registro online para que a polícia possa solicitar a quebra de sigilo e identificar o usuário que gerou a imagem;
5. Acione órgãos de apoio: Utilize o Disque 100 para denunciar violações de direitos humanos, procure o Procon para denunciar a plataforma/rede social e procure a SaferNet Brasil para denunciar situações de violência em ambientes digitais;
6. Busque orientação jurídica: Procure auxílio jurídico especializado para obter a reparação pelos danos sofridos pela falta de adoção de salvaguardas mínimas de segurança, consentimento ou prevenção de abusos. Uma orientação adequada poderá permitir o ajuizamento de ações de indenização contra os usuários agressores e a plataforma/rede social.