Processo para Geradores de Imagens:

1. Entrada do Prompt:
   • Você digita um prompt descritivo, como “Um gato usando óculos de sol em uma praia ensolarada”.
2. Pré-processamento:
   • O sistema pode realizar algum pré-processamento no texto, como tokenização, remoção de caracteres especiais, ou tradução para um formato que o modelo possa entender.
3. Codificação do Texto:
   • O prompt é codificado em uma representação numérica que o modelo pode processar. Isso geralmente envolve a conversão do texto em embeddings, que são vetores de números que capturam o significado semântico do texto.
4. Geração da Imagem:
   • Para GANs: O gerador do GAN recebe o embedding do texto e começa a criar uma imagem. O discriminador avalia a imagem gerada, e o gerador ajusta seus parâmetros com base no feedback do discriminador. Esse processo é iterativo até que a imagem atinja um nível satisfatório de realismo.
   • Para Transformadores: O modelo de transformador processa o embedding do texto e gera a imagem passo a passo, refinando-a através de múltiplas camadas de atenção e feed-forward.
   • Para Modelos de Difusão: O modelo começa com ruído aleatório e gradualmente refina a imagem através de um processo de denoising, guiado pelo embedding do texto.
5. Pós-processamento:
   • A imagem gerada pode passar por um pós-processamento para melhorar a qualidade, como ajustes de cor, contraste, ou remoção de artefatos.
6. Exibição do Resultado:
   • A imagem final é exibida na interface para você visualizar.

Processo para Geradores de Vídeos:

1. Entrada do Prompt:
   • Você digita um prompt descritivo, como “Um cachorro correndo em um parque”.
2. Pré-processamento:
   • O sistema realiza pré-processamento no texto, similar ao processo para imagens.
3. Codificação do Texto:
   • O prompt é codificado em embeddings que capturam o significado semântico do texto.
4. Geração do Vídeo:
   • Para RNNs: O modelo gera sequências de frames, onde cada frame é gerado com base nos frames anteriores e no embedding do texto.
   • Para 3D CNNs: O modelo processa o embedding do texto e gera frames que capturam tanto as características espaciais quanto temporais.
   • Para Transformadores: O modelo gera frames sequencialmente, refinando-os através de múltiplas camadas de atenção e feed-forward.
5. Pós-processamento:
   • O vídeo gerado pode passar por pós-processamento para melhorar a qualidade, como ajustes de frame rate, resolução, ou remoção de artefatos.
6. Exibição do Resultado:
   • O vídeo final é exibido na interface para você visualizar.