A seção Tokens do relatório oferece uma análise detalhada do número de tokens processados por pergunta (Requisições da API) para cada modelo da sua conta.

Os tokens processados representam as unidades de texto efetivamente utilizadas em cada interação, considerando tanto o tamanho da pergunta enviada pelo usuário quanto o tamanho da resposta gerada pelo modelo.

Com essas informações, os usuários podem monitorar e otimizar o consumo de tokens, além de solicitar recomendações personalizadas da equipe de suporte da Nama para melhorar o desempenho dos modelos.

Essas recomendações podem incluir desde a alteração do componente de Busca (AI-Search) ou do LLM utilizado em um modelo específico da sua conta até ajustes na quantidade de chunks processados em cada pergunta.

Linha do tempo das Requisições API

A linha do tempo das Requisições API apresenta visualmente o total de requisições de API com base no período selecionado, facilitando a análise de padrões e tendências.

Linha do tempo dos Tokens Processados

Já a Linha do tempo dos Tokens Processados exibe o total de tokens processados com base no período selecionado, facilitando a análise de padrões e tendências.

Principais Modelos

A seção Principais Modelos do relatório oferece uma visão detalhada e organizada dos modelos mais utilizados na sua conta, com base no consumo de tokens processados.

Essa tabela permite que você identifique quais modelos estão demandando mais recursos e como eles estão sendo utilizados. As colunas apresentadas são:

Consumo: Mostra o percentual de tokens processados que cada modelo consumiu em relação ao total da sua conta. Essa métrica ajuda a identificar quais modelos têm maior impacto no uso de recursos.
Modelo: Exibe o nome do modelo, facilitando a identificação e organização dos diferentes modelos em uso.
Dataset: Indica o conjunto de dados (dataset) atrelado ao modelo, ou seja, a base de conhecimento que ele utiliza para gerar respostas.
Tokens Processados: Apresenta a quantidade total de tokens processados pelo modelo, considerando tanto as perguntas enviadas pelos usuários quanto as respostas geradas
Requisições de API: Mostra o número total de requisições feitas para o modelo, indicando a frequência de uso.

Consumo

Como funciona o consumo de créditos?

Cada interação com a IA consome créditos, e a quantidade usada depende do tamanho da solicitação e da tecnologia envolvida.

Como os créditos são calculados?

O consumo de créditos depende da quantidade de tokens processados e do tipo de tecnologia utilizada.
A fórmula é simples:

• Tokens processados × (Multiplicador do Modelo de IA + Multiplicador da Busca Semântica).
• Modelos de IA Generativa (responsáveis por criar respostas) têm multiplicadores diferentes:
  GPT-4o-mini (2), O3-mini (7), O1-mini (7), GPT-4o (17), O1 (100).
• Modelos de Busca Semântica (que localizam informações) também influenciam no consumo:
  AI-Search-v1 (1), AI-Search-v2 (2).

Exemplo prático:

Imagine que sua consulta gere 4.000 tokens e você esteja usando os modelos GPT-4o-mini + AI-Search-v1.

1. O multiplicador do GPT-4o-mini é 2.
2. O multiplicador do AI-Search-v1 é 1.
3. Somamos: 2 + 1 = 3.
4. Multiplicamos pelo número de tokens: 4.000 × 3 = 12.000 créditos consumidos.

Se você tem um saldo de 54 milhões de créditos, isso permitiria aproximadamente 4.500 mil requisições nesse cenário.

Qualquer dúvida, entre em contato com nosso time através do [email protected].