GPT4 Turbo — O que você precisa saber.

Sam Altman at OpenAI DevDay https://www.youtube.com/watch?v=U9mJuUkhUzk

Semana passada aconteceu o OpenAI Dev Day. Vamos a um resumo dos anúncios feitos no evento em relação ao GPT4 Turbo:

• Aumento do tamanho do contexto: Agora com 128 mil tokens, o que equivale a mais ou menos 300 páginas.
• JSON Mode: Respostas em formato JSON válido, o que certamente é valioso para desenvolvedores. O Langchain e o LlamaIndex possuem OutputParser, que visam converter as respostas em JSON, assim como também é possível especificar no prompt que se deseja a saída no formato JSON. Mas ter isso definido de maneira mais clara é bem legal.
• Função: Agora é possível executar várias chamadas de funções em paralelo. Quando não há dependência entre elas e o modelo detecta que, baseado no prompt, duas ou mais funções são necessárias, ele retornará para a aplicação a lista de funções a executar em paralelo, agilizando a geração de respostas
• Parâmetro Seed e respostas consistentes: Muito útil para a avaliação e monitoramento de qualidade, permite definir um parâmetro seed, o que faz com que as respostas sejam geradas de formas reproduzíveis. Ainda em Beta.
• RAG: Agora será possível enviar seus documentos para a OpenAI e eles serão utilizados para gerar respostas. Ou seja, eles implementaram o Retrieval Augmented Generation integrado ao modelo. Há várias discussões aqui, que vão desde a privacidade até lock-in, passando pelo papel dos vector databases. Escreverei em breve sobre isso.
• Abril de 2023. O GPT-4 Turbo agora possui conhecimento de documentos até Abril de 2023.
• Integração com outros modelos: O GPT-4 Turbo está integrado a outros modelos, como o DALL-E3 e o Text to Speech (TTS). Isto faz com que, por exemplo, se possa pedir, via prompt, a geração de uma imagem a ser gerada pelo DALL-E3. Além disso, a GPT-4Turbo também é Multimodal, possui a capacidade de ler” imagens e entender seu conteúdo.
• Whisper V3: Uma nova versão deste modelo de reconhecimento de voz. O mais legal aqui é que ele continua sendo Open-Source. (sim, dá pra rodar localmente!)
• Fine Tuning: Permite usar um volume maior de tokens. Mas não está Generally Available ainda, usuários devem solicitar acesso
• Custom Models: Dedicado a criar modelos específicos, com acesso a ajuste de todas as camadas do treinamento, desde dados até hiper parâmetros, com apoio da OpenAI. Voltado completamente ao setor corporativo e clientes selecionados (como foi dito, não vai ser barato fazer isso).
• Limites de uso: Será possível gerar o dobro de tokens por minuto e ainda solicitar aumento de cotas de consumo de requisições.
• Proteção de Direitos Autorais: Há uma proteção sobre a utilização de conteúdo proprietário, chamado Copyright Shield. O mais interessante aqui é que ele aproveita para dizer que os dados proprietários e dados utilizados no chat “Enterprise” não são nunca usados no treinamento de modelos.
• Preço: Os preços para os tokens de entrada foram reduzidos em 3x e os de saída em 2x. Ou seja: USD 0.01 por 1000 tokens de entrada e USD 0.03 por 1000 tokens de saída. O preço do GPT-3.5-Turbo também foi reduzido.

Alguns pontos aqui merecem um aprofundamento e análise, o que farei em breve.

Confira o Keynote completo aqui: https://www.youtube.com/watch?v=U9mJuUkhUzk

#OpenAI #GPT4Turbo #GENAI #IAGenerativa