chatGPT já explica como pensa e como cronstroi um Raciocínio

A OpenAI acaba de anunciar uma ferramenta que detecta automaticamente quais as partes de um Modelo de Linguagem de Grande Dimensão (LLM) são responsáveis por comportamentos.

É uma ferramenta que simula os comportamentos dos neurónios num LLM, dividindo os modelos em componentes individuais. A ferramenta analisa sequências de texto para determinar quais os neurónios que são activados com mais frequência. Em seguida, gera uma explicação utilizando o mais recente modelo de IA gerador de texto da OpenAI, GPT-4. A ferramenta é de código aberto e está disponível no GitHub para que outros a possam explorar e aperfeiçoar.

A ferramenta funciona através da execução de sequências de texto e da procura de exemplos em que um neurónio específico é frequentemente activado. Em seguida, mostra estes neurónios altamente activos ao GPT-4 e pede-lhe que gere uma explicação. Especificamente, a ferramenta pede ao GPT-4 para prever como o neurónio se pode comportar. Em seguida, compara essas previsões com o comportamento desse neurónio no mundo real para verificar a sua exactidão. A ferramenta é capaz de explicar o comportamento de cada neurónio no GPT-2 e também classificar essa explicação com base no seu comportamento real quando solicitado.

Quais são as vantagens da ferramenta?

Alguns dos benefícios da ferramenta são:

• Pode ajudar os investigadores a compreender como as LLMs funcionam internamente e quais são as funções dos seus componentes.
• Pode ajudar os programadores a depurar e melhorar as LLMs, identificando e corrigindo erros ou distorções no seu comportamento.
• Pode ajudar os utilizadores a confiar e interagir com as LLMs, fornecendo explicações para os seus resultados e acções.
• Pode ajudar a sociedade a garantir a segurança e a ética dos LLMs, tornando-os mais transparentes e responsáveis.

A precisão das explicações geradas pela ferramenta pode variar em função de vários factores, tais como

• A qualidade e quantidade dos dados utilizados para treinar o LLM e a ferramenta. Se os dados forem ruidosos, incompletos ou tendenciosos, as explicações podem ser inexactas ou enganadoras.
• A complexidade e diversidade da tarefa que o LLM está a realizar. Se a tarefa envolver várias etapas, domínios ou modalidades, as explicações poderão ser incompletas ou vagas.
• A fiabilidade e validade do método de simulação utilizado pela ferramenta. Se a simulação não captar com precisão o comportamento do neurónio em diferentes contextos, as explicações podem ser incorrectas ou inconsistentes.

De acordo com um estudo recente efectuado por investigadores da OpenAI, a ferramenta consegue atingir uma precisão média de 76,4% em 13 tarefas do BIG-Bench Hard, uma referência para a avaliação de LLMs. No entanto, esta exactidão pode cair significativamente quando a ferramenta é enviesada ou manipulada através da alteração das características de entrada.