Pesquisadores Apresentam Estrutura de Blockchain para Democratizar o Aprendizado Profundo por Reforço

Uma equipe de pesquisadores, liderada pela Universidade Concordia, anunciou ontem um novo framework baseado em blockchain para tornar o aprendizado por reforço profundo (DRL) mais acessível.

DRL, um ramo da IA que combina aprendizado profundo e aprendizado por reforço, provou ser valioso em indústrias como jogos, robótica, saúde e finanças. No entanto, devido à sua complexidade, ele permanece fora do alcance de muitas pequenas empresas e indivíduos.

Para preencher essa lacuna, os pesquisadores desenvolveram um framework de DRL como Serviço (DRLaaS) com base em crowdsourcing, que permite aos usuários acessar serviços relacionados ao DRL, incluindo treinamento e compartilhamento de modelos.

Esse novo framework permite que os usuários utilizem a expertise e as capacidades computacionais de trabalhadores que podem treinar modelos de DRL em seu nome. Além disso, os usuários podem se beneficiar de modelos pré-treinados compartilhados por trabalhadores, que podem então ser personalizados por meio de métodos de transferência de conhecimento.

Construído em um Consórcio Blockchain, este framework garante transparência e rastreabilidade na execução de tarefas. O sistema utiliza contratos inteligentes para gerenciar a alocação de tarefas, e os modelos são armazenados usando o Sistema de Arquivos Interplanetário (IPFS) para manter a integridade dos dados.

Ao utilizar a tecnologia blockchain, o framework aborda preocupações relacionadas a falhas de servidor e manipulação de dados.

De acordo com o autor principal, Ahmed Alagha, o aspecto de crowdsourcing aumenta a acessibilidade, permitindo que mais pessoas participem no desenvolvimento de soluções DRL.

“Com este framework, qualquer pessoa pode se inscrever e construir um histórico e perfil. Com base em sua experiência, treinamento e avaliações, podem ser atribuídas tarefas que os usuários estão solicitando”, disse Alagha.

As autoras afirmam que a descentralização do sistema também reduz o risco de falhas catastróficas e diminui os custos associados ao treinamento de modelos DRL.

Elas afirmam que, ao distribuir os esforços computacionais entre várias máquinas, o sistema oferece resistência contra falhas de servidor ou ataques cibernéticos, uma melhoria significativa em relação aos sistemas centralizados tradicionais.

A co-autora Jamal Bentahar, orientadora da tese de Alagha, enfatizou que este serviço democratiza o acesso às soluções DRL.

“Para treinar um modelo DRL, você precisa de recursos computacionais que não estão disponíveis para todos. Você também precisa de expertise. Esta estrutura oferece ambos”, observou Bentahar.

Os detalhes completos deste framework podem ser encontrados em seu artigo de pesquisa, publicado em Information Sciences, que destaca o design do framework e suas possíveis aplicações.