Sobre a Aula
Processo para Geradores de Imagens:
- Entrada do Prompt:
- Você digita um prompt descritivo, como “Um gato usando óculos de sol em uma praia ensolarada”.
- Pré-processamento:
- O sistema pode realizar algum pré-processamento no texto, como tokenização, remoção de caracteres especiais, ou tradução para um formato que o modelo possa entender.
- Codificação do Texto:
- O prompt é codificado em uma representação numérica que o modelo pode processar. Isso geralmente envolve a conversão do texto em embeddings, que são vetores de números que capturam o significado semântico do texto.
- Geração da Imagem:
- Para GANs: O gerador do GAN recebe o embedding do texto e começa a criar uma imagem. O discriminador avalia a imagem gerada, e o gerador ajusta seus parâmetros com base no feedback do discriminador. Esse processo é iterativo até que a imagem atinja um nível satisfatório de realismo.
- Para Transformadores: O modelo de transformador processa o embedding do texto e gera a imagem passo a passo, refinando-a através de múltiplas camadas de atenção e feed-forward.
- Para Modelos de Difusão: O modelo começa com ruído aleatório e gradualmente refina a imagem através de um processo de denoising, guiado pelo embedding do texto.
- Pós-processamento:
- A imagem gerada pode passar por um pós-processamento para melhorar a qualidade, como ajustes de cor, contraste, ou remoção de artefatos.
- Exibição do Resultado:
- A imagem final é exibida na interface para você visualizar.
Processo para Geradores de Vídeos:
- Entrada do Prompt:
- Você digita um prompt descritivo, como “Um cachorro correndo em um parque”.
- Pré-processamento:
- O sistema realiza pré-processamento no texto, similar ao processo para imagens.
- Codificação do Texto:
- O prompt é codificado em embeddings que capturam o significado semântico do texto.
- Geração do Vídeo:
- Para RNNs: O modelo gera sequências de frames, onde cada frame é gerado com base nos frames anteriores e no embedding do texto.
- Para 3D CNNs: O modelo processa o embedding do texto e gera frames que capturam tanto as características espaciais quanto temporais.
- Para Transformadores: O modelo gera frames sequencialmente, refinando-os através de múltiplas camadas de atenção e feed-forward.
- Pós-processamento:
- O vídeo gerado pode passar por pós-processamento para melhorar a qualidade, como ajustes de frame rate, resolução, ou remoção de artefatos.
- Exibição do Resultado:
- O vídeo final é exibido na interface para você visualizar.