Em um bate-papo simultâneo com duas pessoas, você e seu companheiro de conversa não estão sozinhos. No interím entre o envio da mensagem e sua exibição na tela, alguém mais já leu e interpretou o que foi escrito. Este alguém é a inteligência artificial que atua na moderação das falas no Habbo.

Esta não é uma tecnologia da Sulake, mas de uma companhia terceirizada e especializada no uso de robôs inteligentes para moderar comunidades online, a Two Hat. Com as soluções da empresa, a moderação humana do Habbo foi praticamente extinta.

Community Sift

O software responsável pela tarefa de moderação se chama Community Sift. De acordo com a empresa, o software é uma solução completa de moderação de conteúdo em nível empresarial que apresenta danos on-line, incluindo cyberbullying, abuso, discurso de ódio, ameaças violentas e exploração infantil.

Um diagrama publicado no site PubNub demonstra como a ferramenta funciona em um processo genérico – pois não é específico do Habbo.

Em resumo, as mensagens enviadas pelo usuário podem ser revisadas pelo Community Sift para avaliar o teor do seu conteúdo e outras variáveis de metadados. Com as informações, o conteúdo do usuário é avaliado em uma etapa em que a inteligência artifical atua para compreender o contexto, a reputação do usuário e o risco que o conteúdo oferece para a comunidade. Caso o conteúdo represente alguma ameaça para a comunidade, será, então, enviado para revisão humana, de modo a tomar a decisão mais adequada, como um alerta ou banimento.

No Habbo, a tabela progressiva de punição complementa o processo.

A partir da tabela, o sistema da Sulake integrado ao Community Sift, ao receber a informação sobre um conteúdo malicioso, de maneira automática determina qual será a próxima sanção do usuário, baseado em seu histórico de comportamento. Por isso, a participação da comunidade que denuncia mensagens indevidas é fundamental.

Para a Sulake, a implementação da solução da Two Hat não tem como objetivo principal o aprimoração da segurança em suas comunidade, mas a diminuição dos custos com a moderação humana – e isso está descrito em um estudo de caso para Two Hat.

Cerca de 70% da carga de trabalho da moderação foi reduzida. Os esforços da moderação restantes vão para a revisão de CFHs (pedido de ajuda, também conhecido como relatórios gerados pelo usuário) que, em sua maioria, não são acionáveis, já que os usuários não estão sendo expostos a conteúdo impróprio. Isso está devolvendo tempo aos nossos moderadores, que são capazes de se envolver com a comunidade e, de outra forma, focar na experiência do usuário.

Giorgo Paizanis, ex-diretor de produto do Habbo

Guerra de robôs

Desde a demissão massiva dos funcionários da Sulake que atuavam na moderação, em 2017, aumentaram as críticas dos usuários sobre a segurança do Habbo. Uma delas é o fato de que o sistema atual não responde a emergências como antes, que causa a sensação de que nada acontece após uma denúncia válida.

O tweet abaixo é apenas um dos muitos casos já relatados no Twitter.

Mas o caso acima é peculiar: os usuários que publicam dezenas de mensagens ofensivas em poucos segundos, na verdade, são robôs. Basicamente, algum usuário malicioso programa diversas contas para circular em quartos públicos e enviar mensagens como spam.

Geralmente, estes robôs permanecem em um quarto público por até 1 segundo, envia mensagens e logo se retira do quarto. Esta estratégia dificulta que um usuário incomodado possa calar o robô ou reportá-lo para o sistema de moderação.

O relato de casos como este são justamente o que contribuem para o aprimoramento da inteligência artificial e da segurança de usuários no Habbo, mas para isso, o fator humano é uma parte fundamental para o processo.

Na prática, a inteligência artificial da moderação está lutando contra um exército de robôs de usuários maliciosos. Em meio a esta guerra, estão os usuários que visitam o hotel apenas em busca de um passatempo agradável e seguro.