A Microsoft investe pesadamente em modelos de inteligência artificial com experiência em compreensão de linguagem natural (NLU). Para tanto, a empresa adquiriu startups estudando processamento de linguagem natural (NLP) e também possui uma licença exclusiva para o modelo de linguagem GPT-3 da OpenAI. Agora, a gigante da tecnologia de Redmond anunciou que seu modelo de IA superou os humanos em benchmarks SuperGLUE.
SuperGLUE é considerado um benchmark difícil, pois testa uma variedade de operações NLU, como responder a perguntas quando dada uma premissa, inferência de linguagem natural e resolução de co-referência, entre muitas outras. Para enfrentar este benchmark, a Microsoft atualizou seu modelo Decoding-Enhanced BERT with Disentangled Attention (DeBERTa), e o impulsionou para ter um total de 48 camadas de transformação com 1,5 bilhões de parâmetros.
Como resultado, o modelo DeBERTa único agora pontua 89,9 no SuperGLUE, enquanto o modelo de conjunto com 3,2 bilhões de parâmetros pontua 90,3. Ambas as pontuações são ligeiramente mais altas do que a linha de base humana de 89,8, o que significa que o modelo tem um desempenho melhor do que os humanos.
É importante notar que este não é o primeiro modelo a superar as linhas de base humanas. O modelo "T5 + Meena" desenvolvido pela equipe do Google Brain pontuou 90,2 apenas alguns dias atrás, em 5 de janeiro. No entanto, o DeBERTa da Microsoft superou esse modelo em 6 de janeiro.
Seguindo em frente, a Microsoft observou que está integrando o DeBERTa ao modelo de representação de linguagem natural Microsoft Turing (Turing NLRv4), o que significa que ele será utilizado pelos clientes no Bing, Office, Dynamics e Azure Cognitive Services. A empresa afirma que o fato de seu modelo usar menos parâmetros do que a solução do Google significa que ele é mais eficiente em termos de energia e mais fácil de manter porque é mais fácil de compactar e implantar. Continuou dizendo que:
DeBERTa superando o desempenho humano no SuperGLUE é um marco importante em direção à IA geral. Apesar de seus resultados promissores no SuperGLUE, o modelo não está de forma alguma alcançando a inteligência de nível humano da NLU. Os humanos são extremamente bons em alavancar o conhecimento aprendido em diferentes tarefas para resolver uma nova tarefa com nenhuma ou pouca demonstração específica da tarefa. Isso é conhecido como generalização composicional, a capacidade de generalizar para novas composições (novas tarefas) de constituintes familiares (subtarefas ou habilidades básicas de resolução de problemas). Seguindo em frente, vale a pena explorar como fazer DeBERTa incorporar estruturas composicionais de uma maneira mais explícita, o que poderia permitir combinar computação neural e simbólica de linguagem natural semelhante ao que os humanos fazem.
fonte: Traduzido por @neigrando do artigo original: "Microsoft's AI model has outperformed humans in natural language understanding" de janeiro de 2021.