Programas poderosos de inteligência artificial baseados em texto funcionam armazenando quantidades gigantescas de dados (com ênfase em palavras e conversas nesse caso) e com algoritmos para prever o melhor encadeamento de uma frase. São chamados de grandes modelos de linguagem (LLM, na sigla em inglês).
O professor da Unifesp Álvaro Machado Dias, futurista e neurocientista, explica que no treinamento de um software são feitas perguntas para o chatbot como "o que é um cilindro?" e técnicos elaboram as próprias respostas.
"Caso a resposta do chatbot não seja correta, são inseridas as corretas no sistema para ensiná-lo. Isso é repassado para outras situações automaticamente."
Apesar de já usarem uma modalidade que consegue depreender o contexto de uso das palavras, permitindo textos mais bem concatenados, programas anteriores não respondiam tão bem ao usuário ou ainda soavam muito artificiais. O ChatGPT aprendeu a conversar de uma forma mais próxima de um humano.
Machado Dias diz que o diferencial desse programa é o emprego de uma técnica que entende como a linguagem funciona: o reforço de aprendizado por feedback humano (RLHF, na sigla em inglês).
Engenheiros aplicam métodos de "recompensa" e "punição" para ensinar ao sistema as formas mais desejáveis de interação. É um processo de sintonia fina.
"Na prática, os engenheiros ordenam as respostas dadas pelo algoritmo de acordo com a sua relevância e estimulam o programa a aprender as preferências listadas na ordenação para aumentar a relevância das produções textuais. O resultado é dado na forma de textos que parecem mais profundos e significativos do que os das alternativas", diz o professor da Unifesp.
O ChatGPT foi também treinado para admitir erros, contestar premissas incorretas e rejeitar pedidos inapropriados.
Mas um professor da Universidade da Califórnia conseguiu que o sistema escrevesse um código de programação para dizer que apenas homens brancos ou asiáticos formam bons cientistas.
Referência: https://www.bbc.com/portuguese/geral-64297796