A OpenAI acaba de anunciar uma ferramenta que detecta automaticamente quais as partes de um Modelo de Linguagem de Grande Dimensão (LLM) são responsáveis por comportamentos.
É uma ferramenta que simula os comportamentos dos neurónios num LLM, dividindo os modelos em componentes individuais. A ferramenta analisa sequências de texto para determinar quais os neurónios que são activados com mais frequência. Em seguida, gera uma explicação utilizando o mais recente modelo de IA gerador de texto da OpenAI, GPT-4. A ferramenta é de código aberto e está disponível no GitHub para que outros a possam explorar e aperfeiçoar.
A ferramenta funciona através da execução de sequências de texto e da procura de exemplos em que um neurónio específico é frequentemente activado. Em seguida, mostra estes neurónios altamente activos ao GPT-4 e pede-lhe que gere uma explicação. Especificamente, a ferramenta pede ao GPT-4 para prever como o neurónio se pode comportar. Em seguida, compara essas previsões com o comportamento desse neurónio no mundo real para verificar a sua exactidão. A ferramenta é capaz de explicar o comportamento de cada neurónio no GPT-2 e também classificar essa explicação com base no seu comportamento real quando solicitado.
Quais são as vantagens da ferramenta?
Alguns dos benefícios da ferramenta são:
- Pode ajudar os investigadores a compreender como as LLMs funcionam internamente e quais são as funções dos seus componentes.
- Pode ajudar os programadores a depurar e melhorar as LLMs, identificando e corrigindo erros ou distorções no seu comportamento.
- Pode ajudar os utilizadores a confiar e interagir com as LLMs, fornecendo explicações para os seus resultados e acções.
- Pode ajudar a sociedade a garantir a segurança e a ética dos LLMs, tornando-os mais transparentes e responsáveis.
A precisão das explicações geradas pela ferramenta pode variar em função de vários factores, tais como
- A qualidade e quantidade dos dados utilizados para treinar o LLM e a ferramenta. Se os dados forem ruidosos, incompletos ou tendenciosos, as explicações podem ser inexactas ou enganadoras.
- A complexidade e diversidade da tarefa que o LLM está a realizar. Se a tarefa envolver várias etapas, domínios ou modalidades, as explicações poderão ser incompletas ou vagas.
- A fiabilidade e validade do método de simulação utilizado pela ferramenta. Se a simulação não captar com precisão o comportamento do neurónio em diferentes contextos, as explicações podem ser incorrectas ou inconsistentes.
De acordo com um estudo recente efectuado por investigadores da OpenAI, a ferramenta consegue atingir uma precisão média de 76,4% em 13 tarefas do BIG-Bench Hard, uma referência para a avaliação de LLMs. No entanto, esta exactidão pode cair significativamente quando a ferramenta é enviesada ou manipulada através da alteração das características de entrada.
Outros artigos interessantes
Navegue nas nossas sugestões.Outros Artigos
A Worldcoin, a criptomoeda que vai mudar o mundo
A Worldcoin é uma nova moeda digital que pretende criar o maior ecossistema de cripto de sempre, através da distribuição Read more
O que é a inteligência artificial ? O ChatGPT veio revolucionar o mundo mais que a Revolução Industrial
O que é a inteligência artificial ? A inteligência artificial (IA) é a capacidade que uma máquina tem de reproduzir Read more
A Solução Final para Limpar Qualquer Mancha!
Existem vários produtos e métodos que podem ser usados para remover a gordura, como: Bicarbonato de sódio: este ingrediente pode Read more
Os Aquedutos de Catalloc são uma das Obras de Engenharia Hidráulica mais Incríveis do Mundo
Os Aquedutos de Catalloc são uma das obras de engenharia hidráulica mais impressionantes do mundo, construídas no meio do deserto Read more
Trabalho na área de tecnologia e informática desde 1993 e na área de internet como blogger e webmaster desde 2004. Adoro tecnologia, gadgets, cinema e viagens. Adoro investigar e escrever sobre tecnologias, viagens e carros.
Publicar comentário