Índice
Hoje (18/4) a Meta anunciou os dois primeiros modelos da próxima geração do Llama, o Meta Llama 3, prontos para serem utilizados de forma abrangente. Esta nova versão inclui modelos de linguagem pré-treinados e ajustados, com parâmetros 8B e 70B, capazes de atender a uma grande variação de necessidades. Seguindo a tradição de apoio à comunidade de código aberto, a Meta disponibilizou o Llama 3 para a comunidade. Isso também significa que o Meta AI, inteligência artificial presente nas redes sociais da empresa, também será melhorado, inclusive com a capacidade de criar imagens em tempo real no WhatsApp. Veja mais!
Conheça o Llama 3
Com o Llama 3 a empresa pretende desenvolver modelos abertos que rivalizem com os melhores modelos de linguagem proprietários disponíveis atualmente, como é o caso do GPT-4. Foi priorizado o feedback dos desenvolvedores para aprimorar a utilidade geral do Llama 3, de acordo com a Meta, “mantendo o compromisso com a liderança no uso responsável e na implementação de Grandes Modelos de Linguagem (LLMs)“.
Seguindo os princípios do código aberto, foi adotada uma abordagem de lançamento antecipado e frequente, permitindo à comunidade acessar e contribuir para o desenvolvimento desses modelos em tempo real. Os modelos baseados em texto que foram introduzidos hoje são apenas os primeiros da série Llama 3. A visão para o futuro ainda inclui a expansão do Llama 3 para oferecer suporte multilíngue e multimodal, aumentar a capacidade de contexto e aprimorar continuamente o desempenho em todos os aspectos-chave dos LLMs, como raciocínio e codificação.
Em conformidade com a abordagem de design no Llama 3, a Meta optou por uma arquitetura de transformador decoder-only, que é uma escolha padrão. O Llama 3 emprega uma tokenização com um vocabulário expandido de 128 mil tokens, resultando em uma codificação de linguagem mais eficiente e, consequentemente, um desempenho do modelo aprimorado. Para otimizar a eficiência de inferência dos modelos Llama 3, a empresa incorporou a técnica de atenção de consulta agrupada (GQA) em dois tamanhos diferentes: 8B e 70B. Durante o treinamento, as sequências utilizadas têm um comprimento de 8.192 tokens, e uma máscara é aplicada para garantir que a autoatenção permaneça dentro dos limites do documento.
Para treinar o melhor modelo de linguagem, é fundamental contar com um conjunto de dados de treinamento grande e de alta qualidade. Em consonância com nossos princípios de design, investimos consideravelmente em dados de pré-treinamento para o Llama 3. Este modelo é pré-treinado em mais de 15 trilhões de tokens, todos provenientes de fontes disponíveis publicamente. Nosso conjunto de dados de treinamento é sete vezes maior do que o utilizado para o Llama 2 e inclui quatro vezes mais código.
Em preparação para futuros casos de uso multilíngue, mais de 5% do conjunto de dados de pré-treinamento do Llama 3 consiste em dados de alta qualidade em idiomas diferentes do inglês, abrangendo mais de 30 idiomas. No entanto, a Meta não espera alcançar o mesmo nível de desempenho nessas línguas como o obtido no inglês.
Para assegurar que o Llama 3 seja treinado com dados da mais alta qualidade, foi desenvolvida uma série de pipelines de filtragem de dados. Estes pipelines incluem o uso de filtros heurísticos, filtros para conteúdo impróprio, técnicas de desduplicação semântica e classificadores de texto para avaliar a qualidade dos dados. As versões anteriores do Llama são eficazes na identificação de dados de alta qualidade, então foi utilizado o Llama 2 para gerar os dados de treinamento para os classificadores de qualidade de texto que alimentam o Llama 3.
Além disso, a Meta ainda utilizou experimentos para determinar as melhores maneiras de mesclar dados de diferentes fontes no conjunto de dados final de pré-treinamento. Estes experimentos permitiram selecionar uma combinação de dados que garante que o Llama 3 tenha um bom desempenho em uma variedade de casos de uso, incluindo perguntas triviais, STEM (ciência, tecnologia, engenharia e matemática), codificação, conhecimento histórico, entre outros.
Comparação com o Llama 2
Os novos modelos Llama 3, com parâmetros de 8B e 70B, representam um avanço em relação ao Llama 2, estabelecendo um novo padrão para modelos LLM nessas escalas. A Meta afirma que devido a melhorias tanto no pré-treinamento quanto no pós-treinamento, os modelos pré-treinados e finetunados por instrução são atualmente os líderes indiscutíveis na escala de parâmetros de 8B e 70B.
As otimizações em procedimentos de pós-treinamento resultaram em uma redução das taxas de rejeição errônea, além de aprimorarem o alinhamento e aumentarem a diversidade nas respostas dos modelos. Ainda foram observadas melhorias significativas em recursos como raciocínio, geração de código e orientações futuras, tornando o Llama 3 ainda mais adaptável e direcionado.
Durante o desenvolvimento do Llama 3 houve uma análise do desempenho do modelo, tanto em benchmarks padrão quanto em cenários do mundo real. Para garantir uma otimização eficaz para aplicativos práticos, foi criado um novo conjunto de avaliação humana de alta qualidade. Este conjunto consiste em 1.800 prompts que abrangem 12 casos de uso principais, incluindo solicitação de conselhos, brainstorming, classificação, resposta a perguntas fechadas, codificação, escrita criativa, extração, personificação de personagens/personas, resposta a perguntas abertas, raciocínio, reescrita e resumo.
Para evitar o ajuste excessivo (ou overfitting, termo mais utilizado) acidental dos modelos a este conjunto de avaliação, até mesmo as próprias equipes de modelagem da Meta não têm acesso a ele. O gráfico apresentado mostra os resultados agregados das avaliações humanas nessas categorias e prompts, comparando o desempenho do Llama 3 com os modelos Claude Sonnet, Mistral Medium e GPT-3.5.
Como o Llama 3 melhora o Meta AI
Devido ao avanço alcançado com o Meta Llama 3, a empresa anuncia a expansão internacional do Meta AI — lembrando que o recurso era exclusivo dos Estados Unidos. Chegando como um forte concorrente de modelos já existentes, o Meta AI agora está disponível para mais pessoas em todo o mundo, permitindo que usuários do Facebook, Instagram, WhatsApp e Messenger desfrutem desta tecnologia gratuita para realizar uma variedade de ações, criar conteúdo e acessar informações em tempo real.
O Meta AI foi inicialmente revelado durante o Connect no ano passado, e agora os usuários em países como Austrália, Canadá, Gana, Jamaica, Malawi, Nova Zelândia, Nigéria, Paquistão, Cingapura, África do Sul, Uganda, Zâmbia e Zimbábue também podem aproveitar seus benefícios. Como parte da expansão do Meta AI, agora as pessoas também poderão acessá-lo em meta.ai, na versão web.
Está planejando sair à noite com os amigos? Peça ao Meta AI para recomendar um restaurante com uma vista incrível e até mesmo com opções veganas. Está organizando um passeio para o fim de semana? Peça ao Meta AI para encontrar shows para o sábado à noite. Está se preparando para uma prova? Peça para o Meta AI explicar como funcionam as características hereditárias. Está se mudando para seu primeiro apartamento? Peça ao Meta AI para “imaginar” a estética que você deseja e o assistente gerará algumas fotos de inspiração para sua mobília.
Meta explicando um pouco como a IA pode te ajudar
O Meta AI também estará disponível diretamente na função de pesquisa do Facebook, Instagram, WhatsApp e Messenger. Isso significa que você pode acessar informações da internet em tempo real sem precisar alternar entre aplicativos. Por exemplo, imagine que você esteja planejando uma viagem com amigos em um chat em grupo do Messenger. Com a pesquisa no Messenger, você pode pedir ao Meta AI — impulsionado pelo novo Llama 3 — para encontrar voos do local origem, ao destino, e descobrir os fins de semana menos movimentados para visitar. E claro, tudo isso sem precisar sair do aplicativo Messenger.
As pessoas também terão a capacidade de acessar o Meta AI enquanto estiverem navegando em seus Feeds do Facebook. Se você encontrar uma publicação que desperte seu interesse, poderá solicitar mais informações diretamente ao Meta AI a partir dessa publicação, realmente como se fosse uma pesquisa comum no Google, só que dentro de uma publicação no Facebook.
A Meta está acelerando o processo de geração de imagens para permitir que as pessoas criem imagens em tempo real a partir de texto, utilizando o recurso Imagine do Meta AI. A implementação deste recurso iniciou em versão beta hoje, disponível no WhatsApp e na experiência web do Meta AI nos Estados Unidos. Quando começarem a digitar, as pessoas verão uma imagem aparecer instantaneamente. Essa imagem evoluirá a cada poucas letras digitadas, permitindo que observem como o Meta AI dá vida à sua ideia em tempo real.
De acordo com a empresa, essas imagens geradas apresentam uma nitidez e qualidade aprimoradas, oferecendo uma melhor capacidade de incluir texto nas imagens. Além disso, ele fornecerá sugestões para aprimorar a imagem, permitindo que você continue refinando a partir do ponto de partida inicial. Ao encontrar uma imagem, basta pedir ao Meta AI para animá-la, adaptá-la para um novo formato ou até mesmo transformá-la em um GIF para compartilhar com seus amigos.
Embora essas atualizações sejam específicas para o Meta AI no Facebook, Instagram, WhatsApp, Messenger e na Web, é importante lembrar que o Meta AI também está disponível nos Estados Unidos para os óculos inteligentes Ray-Ban Meta, e em breve no Meta Quest — dispositivos de realidade virtual da Meta.
Transparência com código aberto e segurança
O potencial da tecnologia de IA generativa realmente pode melhorar a experiência dos usuários nos produtos da Meta e para o ecossistema em geral. Ainda assim, outro ponto que deve ser abordado é a garantia que isso seja feito de forma responsável e segura. Por isso, a empresa está tomando medidas para avaliar e mitigar os riscos em todas as etapas do desenvolvimento e implementação da IA. Isso inclui a integração de salvaguardas no processo de design e lançamento do modelo base do Llama, bem como o apoio ao ecossistema de desenvolvedores para promover práticas responsáveis.
Por isso, com o Llama 3, foi adotada uma abordagem sistemática que integra salvaguardas em todas as fases do desenvolvimento. Isso significa que foram aplicados cuidados especiais em processos de treinamento e ajuste, além de oferecer ferramentas que capacitam os desenvolvedores a implementar modelos de forma responsável.
Essa abordagem não apenas fortalece os esforços em IA responsável, mas também reflete a visão de inovação aberta, capacitando os desenvolvedores a personalizar seus produtos de maneira segura para beneficiar seus usuários. A Meta também conta com o Guia de Uso Responsável, uma fonte importante para os desenvolvedores, fornecendo diretrizes para a construção de produtos.
Como explicamos quando lançamos o Llama 2, é importante ser intencional na concepção dessas medidas, pois há algumas delas que só podem ser implementadas de forma eficaz pelo provedor do modelo, e outras que só funcionam de forma eficaz quando implementadas pelo desenvolvedor como parte de sua aplicação específica.
Reforça a empresa
Desde o lançamento do Meta AI no ano passado, a marca tem continuamente melhorado a experiência em várias áreas:
- Foram refinadas as respostas do Meta AI para questões políticas e sociais, incorporando diretrizes específicas para esses tópicos. O objetivo é oferecer uma variedade de pontos de vista relevantes sobre um tema, respeitando as intenções do usuário ao fazer perguntas específicas.
- Inclusão de instruções e respostas específicas para torná-lo mais útil, usando modelos de recompensa para orientar seu comportamento.
- É avaliado o desempenho do Meta AI em benchmarks e através de testes com especialistas humanos, abordando quaisquer problemas identificados em um processo contínuo.
- Salvaguardas no nível das solicitações e respostas, incluindo filtros e classificadores para garantir que as interações estejam alinhadas com as diretrizes e sejam seguras.
- Ferramentas de feedback para os usuários compartilharem suas experiências, permitindo-nos melhorar continuamente o desempenho do Meta AI.
E você, o que achou da novidade? Mal podemos esperar para chegar ao Brasil, não é mesmo? Conta pra gente o que você achou nos comentários!
Veja também:
Google Fotos libera edição de imagens com IA gratuita para todos os usuários.
Com informações de: Meta [1], [2] e [3].
Revisado por Glauco Vital em 18/4/24.
