Meta e Microsoft anunciam a nova geração do modelo de IA Llama

Meta e Microsoft anunciam a nova geração do modelo de IA Llama

· Hoje, as empresas Meta e Microsoft revelam a disponibilidade do Llama 2, a nova geração do modelo de linguagem de acesso livre da Meta;

· Llama 2 é gratuito para investigação e uso comercial.

· A Microsoft e a Meta estão a expandir uma parceria de longa data, sendo a Microsoft a parceira eleita para o Llama 2.

· O Llama 2 é uma tecnologia de acesso aberto e conta com o apoio de um conjunto de empresas de tecnologia, da academia e de decisores políticos, que acreditam numa abordagem de inovação aberta para as tecnologias de IA atuais.

· A Meta está empenhada em construir com responsabilidade e disponibiliza os recursos para quem quiser utilizar o Llama 2 de forma igualmente responsável.

Os desenvolvimentos recentes em Inteligência Artificial (IA), em particular a IA generativa, estão a demonstrar o que os especialistas já defendem há muito tempo – estas tecnologias têm o potencial de ajudar as pessoas a fazer coisas incríveis, a criar uma nova era de oportunidades económicas e sociais, e dar aos criadores e empresas novas formas de expressão.

A Meta acredita que uma abordagem aberta, de open-access, é a forma correta para o desenvolvimento dos modelos de IA atuais, especialmente aqueles do espaço generativo, onde a tecnologia está a avançar rapidamente. O modelo IA aberto pode beneficiar todos: as empresas, empreendedores ou investigadores têm acesso às ferramentas a uma escala que seria difícil construírem sozinhos, com o apoio de uma poderosa estrutura computacional. É um mundo de oportunidades para experimentar e inovar, e ainda, para beneficiar a economia e a sociedade.

E a Meta acredita que o acesso aberto também é mais seguro, sendo que uma comunidade de investigadores e developers pode testar e identificar os problemas das tecnologias rapidamente. Ao ver como estas ferramentas são usadas por outras pessoas, as próprias equipas da Meta podem aprender, melhorar e corrigir as vulnerabilidades.

A ciência aberta e a colaboração com parceiros académicos e da indústria estão no centro dos desenvolvimentos IA da Meta. Dezenas de grandes modelos de linguagem, como o ‘Falcon’ introduzido pelos Emirados Árabes Unidos, já foram lançados e estão a impulsionar o progresso de developers e investigadores. Estes modelos estão a ser usados pelas empresas como ingredientes principais para novas experiências de IA generativas. A Meta ficou especialmente impressionada com a procura registada para aceder ao Llama 1, com mais de 100 mil solicitações de acesso ao modelo de linguagem, e com uma diversidade imensa de soluções desenvolvida.

Agora, a Meta está pronta para partilhar a próxima versão do Llama 2 e disponibilizá-la gratuita para investigadores e para uso comercial, incluindo pesos de modelo (model weights) e código inicial para o modelo pré-treinado, assim como versões de conversação ajustada (fine-tuned). Como Satya Nadella anunciou no palco do Microsoft Inspire, a Microsoft é o parceiro eleito pela Meta para a comercialização do Llama 2 e para expandir a IA generativa. A partir de hoje, o Llama 2 estará disponível no catálogo de modelos de IA do Azure, permitindo que os developers que usam o Microsoft Azure aproveitem as ferramentas nativas da nuvem para filtragem de conteúdo e recursos de segurança. O Llama 2 também é otimizado para ser executado localmente no Windows, oferecendo aos developers um fluxo de trabalho contínuo à medida que trazem experiências de IA generativas para clientes em diferentes plataformas. O Llama 2 estará disponível através da Amazon Web Services (AWS), Hugging Face e outros fornecedores.

Os utilizadores têm beneficiado da parceria de longa data da Meta com a Microsoft: as duas empresas introduziram um ecossistema aberto para estruturas de IA intercambiáveis; conceberam investigações para promover o estado da arte em IA; colaboraram para dimensionar o PyTorch — o principal framework de IA criada pela Meta e pela comunidade de IA — no Azure; e juntaram-se a um grupo que suporta o framework da Partnership on AI para ação e partilha coletiva. Esta parceria estende-se para fora da IA e também para o metaverso, onde estão a ser construídas experiências imersivas para o futuro de trabalho e do lazer.

A parceria entre as duas empresas foi ampliada, e a Microsoft e a Meta estão a sustentar uma abordagem de inovação aberta para fornecer maior acesso a tecnologias de IA fundamentais para beneficiar negócios em todo o mundo. Não são apenas a Meta e a Microsoft que acreditam na democratização do acesso aos modelos atuais de IA. Existe uma ampla variedade de simpatizantes que também acredita nessa abordagem: há empresas que estão entusiasmadas em criar novos produtos com o Llama 2; fornecedores de serviços cloud que vão incluir o Llama 2 nas suas ofertas; e instituições que colaboram com a Meta para uma implementação segura e responsável de grandes modelos generativos.

Foco em responsabilidade

A ciência aberta promove a transparência. Embora a IA tenha trazido grandes avanços para a sociedade, também existem riscos. A Meta está empenhada em construir com responsabilidade e fornece uma série de recursos para ajudar as pessoas que vão utilizar o Llama 2:

· Exercícios Red-Teaming: Os modelos ajustados (fine-tuned) foram red-teamed, isto é, testados quanto à segurança por equipas internas e externas. A Meta trabalhou para gerar prompts contraditórios para facilitar o ajuste do modelo. Além disso, foram contratados especialistas para realizar testes adversários externos nos modelos ajustados para identificar lacunas de desempenho de forma semelhante. Esses processos de ajuste de segurança são interativos; o investimento em segurança continua e vão ser lançados novos modelos.

· Transparência: Os métodos de ajuste e avaliação são explicados detalhadamente, assim como identificadas as suas eventuais falhas. A estrutura de transparência está localizada no research paper, e revela os desafios e problemas desta tecnologia, as mitigações adotadas e os desenvolvimentos futuros que possam ser explorados.

· Guia de Responsabilidade: a Meta criou um guia para indicar aos developers as melhores práticas para o desenvolvimento responsável e avaliações de segurança. O guia reflete sobre as pesquisas atuais sobre IA generativa responsável, conforme debatido na indústria e na comunidade de IA.

· Política de uso aceitável: a política implementada proíbe certos casos de uso do Llama 2 para garantir que seja utilizado de maneira justa e responsável.

A Meta também criou iniciativas que tiram partido da visão e da criatividade dos indivíduos, investigadores e developers em todo o mundo, para obter feedback sobre o desempenho dos modelos.

· Desafio Llama for Social Impact: em breve vai ser lançado um desafio para compreender como o Llama 2 pode ajudar a resolver alguns dos maiores problemas do mundo. Entidades públicas, sem fins lucrativos e com fins lucrativos, vão ser incentivadas a usar o Llama 2 para enfrentar desafios ambientais, educacionais e outros desafios globais. As regras do desafio estarão disponíveis brevemente.

· Comunidade de pesquisa de IA de inovação aberta: hoje também é lançado um novo programa de parceria para investigadores académicos que visa aprofundar a compreensão do desenvolvimento responsável e da partilha de grandes modelos de linguagem. Os investigadores podem inscrever-se para entrar numa comunidade de profissionais que partilha conhecimento sobre esse tópico fundamental, e é esta comunidade que vai delinear a agenda de investigação para o futuro.

Ao longo da sua história, a Meta tem experimentado os benefícios da ciência aberta. Os engenheiros da empresa desenvolveram e partilharam as estruturas que agora são os padrões do setor, como o React (o framework líder para criar aplicações móveis e da Web) e o PyTorch, que agora é o framework padrão para IA. Esta é a infraestrutura comumente usada pela indústria de tecnologia. A abordagem da partilha aberta vai apoiar o desenvolvimento de uma IA generativa mais útil e segura.

Mark Zuckerberg, CEO da Meta: “We’re partnering with Microsoft to introduce Llama 2, the next generation of our open source language model. Llama 2 will be available for free for research and commercial use. Meta has a long history of open sourcing our infrastructure and AI work -- from PyTorch, the leading machine learning framework, to models like Segment Anything, ImageBind, and Dino, to basic infrastructure as part of the Open Compute Project. This has helped us build better products by driving progress across the industry. Open source drives innovation because it enables many more developers to build with new technology. It also improves safety and security because when software is open, more people can scrutinize it to identify and fix potential issues. I believe it would unlock more progress if the ecosystem were more open, which is why we’re open sourcing Llama 2. Today we’re releasing pretrained and fine-tuned models with 7B, 13B, and 70B parameters. Llama 2 was pretrained on 40% more data than Llama 1 and has improvements to its architecture. For the fine-tuned models, we collected more than 1 million human annotations and applied supervised fine-tuning and reinforcement learning with human feedback (RLHF) with leading results on safety and quality. You can download these models directly, or through our preferred partnership with Microsoft you can access these models through Azure along with Microsoft’s safety and content tools. There is also an optimized version you can run locally on Windows. I’m looking forward to seeing what you all build!”