Presets para Modelos

Presets são conjuntos de parâmetros e instruções que controlam o comportamento do modelo, permitindo maior consistência nas respostas e adequação às necessidades de diferentes contextos de aplicação.

O Que é um Preset?

Um preset é uma configuração predefinida de parâmetros e instruções que definem como o modelo de linguagem deve processar as entradas e gerar suas saídas.

Os presets facilitam a reutilização de configurações em diferentes interações e aplicações, garantindo que o comportamento do modelo siga um padrão desejado.

Estrutura do Preset

A seguir, explicamos cada campo presente no JSON do preset, com exemplos de uso e orientações de configuração.

Campos Gerais

• id (integer): Identificador único do preset, utilizado para referenciar e gerenciar diferentes presets.
• active (boolean): Indica se o preset está ativo e disponível para uso. Quando false, o preset não será aplicado.
• name (string): Nome exclusivo do preset, utilizado para identificá-lo de forma amigável e compreensível.

Parâmetros de Geração

Os parâmetros de geração afetam diretamente a maneira como o modelo responde às entradas fornecidas.

• temperature (float): Controla a aleatoriedade da resposta. Valores baixos resultam em respostas mais determinísticas, enquanto valores mais altos permitem respostas mais variadas.
  Exemplo: null (sem especificação, utiliza valor padrão)
• maximum_length (integer): Define o comprimento máximo da resposta gerada, em número de tokens. Um valor nulo permite que o modelo siga seu próprio limite padrão.
  Exemplo: null (sem especificação, utiliza valor padrão)
• top_p (float): Define o valor de nucleus sampling, que limita as opções de geração a um subconjunto de tokens cuja soma de probabilidades cumulativas não ultrapassa o valor de top_p.
  Exemplo: null (sem especificação)
• frequency_penalty (float): Penaliza a repetição de palavras no texto gerado com base na frequência com que essas palavras já apareceram.
  Exemplo: null (sem penalidade)
• presence_penalty (float): Penaliza a inclusão de termos que já foram usados, incentivando o modelo a gerar novas ideias ou tópicos.
  Exemplo: null (sem penalidade)

📘

Nucleus sampling

É uma técnica de geração de texto que, através do parâmetro top_p, limita a escolha de tokens pelo modelo a um subconjunto cuja soma de probabilidades atinja um valor definido (por exemplo, 90% com top_p=0.9).

Isso permite que o modelo escolha apenas entre as opções mais prováveis, tornando a resposta mais controlada e fluida, sem considerar tokens muito improváveis

Prompts

Os prompts são instruções fornecidas ao modelo de linguagem, orientando-o sobre como processar as perguntas e gerar respostas.

• template_prompt (string): Representa o modelo para a pergunta do usuário. Pode incluir placeholders para que a pergunta específica seja dinamicamente inserida.
  Exemplo: "{QUESTION}" (onde {QUESTION} será substituído pela pergunta real do usuário)
• template_system_prompt (string): Permite configurar o comportamento do modelo ao responder consultas, utilizando variáveis dinâmicas para personalizar o conteúdo com base nos dados fornecidos pelo _AI Search.

Essas variáveis são preenchidas automaticamente com informações dos resultados da pesquisa (search), garantindo que o modelo responda com informações específicas e relevantes.

Configurações de Linguagem e Tom

• tone (string): Define o tom de voz que o modelo deve usar ao gerar a resposta, o que pode variar de técnico a casual, formal ou informal, dependendo do público-alvo.
  Exemplo: "Engenheiro técnico" (um tom de voz técnico e objetivo)
• language (string): Especifica o idioma no qual a resposta deve ser gerada.
  Exemplo: "Português"

Tipo e Backend

• type (string): Define o tipo de interação para o qual o preset foi criado. Pode ser CHAT, COMPLETION, ou outro, dependendo do contexto de uso.
  Exemplo: "CHAT"
• backend (string): Especifica a plataforma ou tecnologia usada para processamento do modelo de linguagem.
  Exemplo: "CHATGPT" ou qualquer outro backend disponível.
• model (string): Nome ou versão do modelo de linguagem a ser utilizado.
  Exemplo: "models/text-bison"

Boas Práticas

Prompts Claros e Objetivos: Certifique-se de que os prompts são concisos e fornecem orientações claras ao modelo.

Configuração Balanceada de Parâmetros: Ajuste a temperature e o top_p para encontrar o equilíbrio ideal entre criatividade e precisão nas respostas.

Testes Frequentes: Realize testes com diferentes inputs para garantir que o preset gere as respostas desejadas em uma ampla variedade de cenários.