Provavelmente você já deve ter passado pelo desafio de deixar o cubo de Rubik, mais conhecido como cubo mágico, com as cores das faces iguais. Durante essa experiência, ao menos no início, certamente deve ter tido dificuldades para desvendar uma maneira de atingir o objetivo. Saiba que a equipe da OpenAI desenvolveu uma mão robótica para solucionar o desafio, mesmo com situações adversas, as quais nunca havia lidado, ocorrendo enquanto os movimentos estavam sendo realizados.

O sistema de redes neurais desenvolvido para a mão robótica, tem sido treinado desde maio de 2017, passando por diversas simulações. Ao longo dos testes, foi utilizado um código de aprendizagem idêntico ao OpenAI Five, que consiste na utilização de uma equipe de robôs de jogos que são desafiados por jogadores humanos.

O sistema de redes neurais desenvolvido para a mão robótica, tem sido treinado desde maio de 2017, passando por diversas simulações. Ao longo dos testes, foi utilizado um código de aprendizagem idêntico ao OpenAI Five, que consiste na utilização de uma equipe de robôs de jogos que são desafiados por jogadores humanos. Porém, não foi utilizado somente este código para completar o desafio do cubo, foi implementado uma nova técnica chamada de Automatic Domain Randomization (ADR), que permite que o robô consiga lidar com situações inesperadas durante os treinamentos.

De acordo com a equipe da OpenAI, a nova solução encontrada mostra que:

A aprendizagem por reforço não é uma ferramenta apenas para tarefas virtuais, podendo também resolver problemas do mundo físico, que exige destreza sem precedentes.

O obstáculo mais difícil que a equipe se deparou, foi a questão da necessidade de criação de ambientes que trariam situações que se aproximassem de eventos do mundo real que poderiam vir a ocorrer. Segundo a equipe da OpenAI:

Fatores como fricção, elasticidade e dinâmica são incrivelmente difíceis de medir e modelar para objetos tão complexos quanto os cubos de Rubik ou mãos robóticas.

Apesar de ser bem interessante a tecnologia utilizada pela OpenAI, parecendo ser algo totalmente inovador, a equipe de pesquisadores deixa claro que o hardware utilizado na mão robótica não é algo recente, e no caso da companhia, o projeto é utilizado a 15 anos. A real inovação, está na maneira como foi feita a abordagem do software, que acabou trazendo uma maior eficiência para a resolução do desafio do cubo mágico. Para chegar ao objetivo, foi utilizado a aprendizagem por reforço, o algoritmo de Kociemba para realizar a escolha das etapas da solução, focando especialmente na percepção e manipulação de objetos.

Fonte: openai, sapo