Por que é impossível concordar sobre o que é permitido

Em grandes plataformas, é impossível ter políticas sobre questões como moderação, spam, fraude e conteúdo sexual com as quais as pessoas concordem. David Turner fez um jogo simples para ilustrar como isso é difícil, mesmo em um caso trivial, No Vehicles in the Park. Se você ainda não jogou, recomendo jogar agora antes de continuar a ler este documento.

A ideia por trás do site é que é muito difícil fazer com que as pessoas concordem sobre quais regras de moderação devem ser aplicadas a uma plataforma. Mesmo se você pegar um exemplo muito mais simples, quais veículos devem ser permitidos em um parque, dada uma regra e algumas instruções sobre como interpretar a regra, e depois fazer um pequeno conjunto de perguntas, as pessoas não conseguirão concordar. Ao fazer a pesquisa sozinho, uma das primeiras reações que tive foi que as perguntas não foram escolhidas para serem particularmente incômodas e há muitos casos extremos sobre os quais Dave poderia ter perguntado se quisesse tornar isso um desafio. E, no entanto, apesar de não tornar o inquérito particularmente desafiante, não existe um amplo acordo sobre as questões. Os comentários sobre a pesquisa também indicam outro problema com as regras: é muito mais difícil chegar a um acordo do que as pessoas imaginam. Se você ler comentários sobre interpretação de regras ou moderação em lagostas, HN, reddit, etc., quando as pessoas sugerem uma solução, a grande maioria das pessoas irá sugerir algo que qualquer pessoa que tenha feito moderação ou prestado atenção em como a moderação funciona sabe que não pode funcionar, o equivalente à moderação de “Eu poderia construir isso em um fim de semana”. É claro que vemos isso também no jogo de Dave. O principal comentário da HN, o comentário mais consensual e um sentimento muito comum em outros lugares é:

Estou fascinado pelo fato de que minha conclusão é exatamente o oposto do que o autor pretendia.

Para mim, a resposta a todas as perguntas foi cristalina. Sim, você pode se perguntar academicamente se uma estação espacial em órbita é um veículo e se está no parque, mas a intenção óbvia do sinal não poderia ser mais clara. Carros/caminhões/motocicletas não são permitidos e, obviamente, policiais e ambulâncias (e caminhões de bombeiros) que fazem seu trabalho não precisam seguir a sinalização.

Portanto, se este é um exemplo de como as regras de moderação de conteúdo não são claras de serem seguidas, está conseguindo exatamente o oposto.

E alguém concordando responde com:

Exatamente. Há uma clara maioria nas respostas.

Depois de passar pela pesquisa, você obtém um gráfico que mostra quantas pessoas responderam sim e não a cada pergunta, e é daí que vem a “maioria clara”. Em primeiro lugar, penso que não é correcto dizer que existe uma maioria clara. Mas mesmo supondo que existisse, não há razão para pensar que a existência de uma maioria significa que a maioria das pessoas concorda com você, mesmo que você assuma a posição majoritária em cada votação. Na verdade, dada a aparência “intricada” do gráfico da maioria por pergunta, seria extraordinário se estar na maioria para cada pergunta significasse que a maioria das pessoas concorda com você ou que há qualquer conjunto de posições com as quais a maioria das pessoas concorda. Embora você possa construir um conjunto de dados artificial onde isso seja verdade, seria muito surpreendente se isso fosse verdade em um conjunto de dados natural.

Se você olhar os dados (que não estão disponíveis no site, mas Dave ficou feliz em repassá-los quando perguntei), até o momento em que extraí os dados, não havia nenhum conjunto de respostas com o qual a maioria dos usuários concordasse e nem chegou perto. Retirei esses dados logo depois de postar o link para HN, quando a grande maioria das respostas eram leitores de HN, que são mais homogêneos que a população em geral. Apesar destes fatores facilitarem a concordância, o conjunto de respostas mais popular foi selecionado apenas por 11,7% das pessoas. Esta é a posição que o principal comentador diz ser “óbvia”, mas é uma posição minoritária, não apenas no sentido de que apenas 11,7% das pessoas concordam e 88,3% das pessoas discordam, quase ninguém mantém uma posição com apenas uma pequena discordância desta posição alegadamente óbvia. A 2ª e a 3ª posições mais comuns, representando 8,5% e 6,5% dos votos, respectivamente, são semelhantes e apenas discordam sobre se um tanque não funcional da era da Segunda Guerra Mundial que faz parte de um memorial viola ou não a regra. Além disso, aproximadamente 1% das pessoas ocupam a 4ª, 5ª, 6ª e 7ª posições mais populares, com cada posição menos popular tendo menos de 1% de concordância, com uma queda bastante rápida a partir daí também. Assim, 27% das pessoas concordam com significativamente mais do que 1% dos outros usuários (o usuário médio concorda com 0,16% dos outros usuários). Veja abaixo um gráfico de como isso se parece. As opiniões são ordenadas das mais populares às menos populares, com as mais populares à esquerda. Uma escala logarítmica é usada porque há tão pouca concordância sobre as opiniões que um gráfico em escala linear parece alguns pontos acima de zero seguidos por um monte de zeros.

Outra forma de analisar estes dados é que 36.902 pessoas expressaram uma opinião sobre o que constitui um veículo no parque e apresentaram 9.432 opiniões distintas, para uma média de ~3,9 pessoas, por opinião distinta expressa. ou seja, o acordo médio do usuário é de aproximadamente 0,01%. Embora as médias sejam, em média, utilizadas em demasia, uma média funciona como um resumo para expressar o nível de concordância porque, embora tenhamos um pequeno grupo de opiniões com concordância muito superior à média de 0,01%, para “manter” a média, esta deve ser compensada por um número gigantesco de pessoas que têm ainda menos concordância com outros utilizadores. Não há como ter uma concordância média baixa com uma concordância real elevada, a menos que isso seja compensado por uma discordância ainda maior e vice-versa.

No HN, em resposta ao mesmo comentário, Michael Chermside fez o comentário razoável, mas não muito votado,

> Para mim, a resposta a todas as perguntas foi clara.

Isso não é particularmente surpreendente. Mas você pode estar fazendo a pergunta errada.

Se você quiser saber se as regras são claras, então acho que a pergunta certa a fazer não é “As respostas são claras para você?” mas “Pessoas diferentes produzirão as mesmas respostas?”.

Se tivéssemos uma queda acentuada no gráfico em determinado ponto, isso sugeriria que quase todo mundo tem o mesmo ponto de corte; em vez disso, vemos uma curva muito suave, como se diferentes pessoas lessem esta regra MUITO SIMPLES E CLARA e ainda não concordassem sobre quando ela se aplica.

Muitas (e provavelmente a maioria) das pessoas têm excesso de confiança ao prever o que outras pessoas pensam que é óbvio e muitas vezes assumem incorretamente que outras pessoas terão os mesmos pensamentos e acharão as mesmas coisas óbvias. Isto é mais verdadeiro no caso de questões altamente tensas que resultam em lutas amargas sobre moderação do que no simples exemplo de “não haver veículos no parque”, mas mesmo este exemplo simples demonstra não só a dificuldade em chegar a um acordo, mas a dificuldade em compreender como é difícil chegar a um acordo.

Para usar um exemplo de outro contexto mais carregado, considere qualquer esporte e se um jogador é considerado ou não jogando limpo ou fazendo jogadas sujas e deve ser censurado. Poderíamos olhar para muitos jogadores diferentes de muitos esportes diferentes, então vamos escolher arbitrariamente Draymond Green. Se você perguntar a qualquer fã sério de basquete que não seja fã dos Warriors, quem é o jogador mais sujo da NBA hoje, você encontrará um acordo geral de que é Draymond Green (embora algumas pessoas defendam Dillon Brooks, então se você quiser um acordo quase uniforme, você terá que perguntar pelos dois melhores jogadores mais sujos). E, no entanto, se você perguntar a um fã dos Warriors sobre Draymond, a maioria não terá problemas em explicar cada jogada suja dele. Portanto, se você deseja obter um acordo uniforme para uma questão que é muito mais direta do que a questão “proibido veículos no parque”, como “é correto pisar no peito de outro jogador e usá-lo como trampolim para saltar no ar? além de uma centena de outras jogadas sujas”, você descobrirá que, para muitas dessas perguntas aparentemente óbvias, um grupo considerável de pessoas terá divergências extremamente fortes com a resposta “óbvia”. Quando você se afasta de um exemplo artificial e abstrato, como “nenhum veículo no parque” para uma questão do mundo real com a qual as pessoas têm ligações emocionais, geralmente se torna impossível chegar a um acordo, mesmo em casos em que terceiros desinteressados ​​concordariam, o que observamos já ser impossível mesmo sem apego emocional. E quando você se afasta dos esportes e passa a abordar questões com as quais as pessoas se preocupam ainda mais, como a política, as divergências ficam mais fortes.

Embora as pessoas possam “concordar em discordar” sobre se um tanque não funcional da era da Segunda Guerra Mundial que faz parte de um memorial viola ou não a regra “proibido veículos no parque” (resultando em um par de posições que representa 15% dos votos), na realidade, as pessoas muitas vezes têm dificuldade em concordar em discordar sobre o que os estrangeiros considerariam diferenças de opinião muito pequenas. Questões carregadas são muitas vezes fractalmente controversas, causando desacordo entre pessoas que têm opiniões quase idênticas, tornando-as significativamente mais difíceis de chegar a acordo do que o nosso exemplo “sem veículos no parque”.

Para escolher um exemplo do mundo real, considere Jo Freemanuma feminista que, em 1976, escreveu sobre sua experiência de ser cancelada por pequenas diferenças de opinião e como isso infelizmente era comum no Movimento (usando o termo “descartado” e não “cancelado” porque o cancelamento ainda não havia entrado em uso comum e, na minha opinião, “descartado” é o melhor termo de qualquer maneira). Nos quase cinquenta anos desde que Jo Freeman escreveu “Trashing”, a propensão dos humanos de criticar diferenças mínimas e tentar destruir qualquer um que não concorde completamente com elas não mudou; para um exemplo recente e paralelo, a experiência semelhante de Natalie Wynn.

Para pessoas com opiniões distantes no espaço das opiniões comuns, as diferenças de opinião entre Natalie e as pessoas que pedem que ela seja deplataforma são bastante pequenas. Mas, essas “pequenas” diferenças de opinião não apenas resultaram em pessoas pedindo que Natalie fosse deplataforma, como também pediram que ela fosse agredida fisicamente, doxada, etc., e sugeriram o mesmo tratamento sugerido para seus amigos e associados, bem como pessoas que realmente não se associavam a ela, mas falavam publicamente sobre assuntos semelhantes e não a cancelavam. Mesmo agora, anos depois, ela ainda recebe ligações para ser deplataforma e espero que isso continue até o fim da minha vida (quando escrevi isso, anos depois do evento discutido por Natalie, fiz uma pesquisa no Twitter e encontrei um longo tópico de alguém reclamando sobre como Natalie é um ser humano horrível pela suposta transgressão discutida no vídeo, datado de 10 dias atrás, e é fácil encontrar mais desses discursos). Não vou tentar descrever a diferença de posições porque as posições são próximas o suficiente para descrevê-las exigiria algo como 5 mil a 10 mil palavras (em oposição a, digamos, um político de esquerda versus um político de direita, onde a diferença é flagrante o suficiente para ser descrita em uma frase ou duas); você pode assistir a hora no vídeo de 1h40m dedicado ao tema se quiser saber todos os detalhes.

A questão aqui é apenas que, se olharmos para quase qualquer pessoa que tenha opiniões públicas sobre questões carregadas, o espaço de opinião é fractalmente controverso. Nenhuma grande plataforma pode satisfazer as preferências dos usuários porque eles discordarão sobre qual conteúdo deve ser moderado fora da plataforma e qual conteúdo deve ser permitido. E, claro, esse problema aumenta à medida que a plataforma fica maior.

Se você está procurando trabalho, a Freshpaint está contratando (remoto nos EUA) em engenharia, vendas e recrutamento. Isenção de responsabilidade: posso ser tendencioso, já que sou um investidor, mas eles parecem ter encontrado a adequação do produto ao mercado e estão crescendo rapidamente.

Agradecimentos a Peter Bhat Harkins, Dan Gackle, Laurence Tratt, Gary Bernhardt, David Turner, Kevin Burke, Sophia Wisdom, Justin Blank e Bert Muthalaly pelos comentários/correções/discussão.