3.4 Princípios do Design de Experimentos

#experimentos

No trabalho com organizações, não existe outro caminho que não envolva uma abordagem iterativa e experimental. Quando nos deparamos com os sistemas complexos que são as organizações, temos à nossa frente uma “Caixa Preta”.

O conceito de Caixa Preta, como popularizado pela Cibernética, define algo que possui um funcionamento interno que não é observável e nem definível em sua totalidade. Quando observamos um sistema, isso é sempre uma abstração.

No máximo podemos observar os inputs (o que entra) e outputs (o que sai) dessa caixa, mas estamos limitados no que podemos afirmar sobre o que tem lá dentro. Essa humildade nos coloca sempre um pé atrás, pensando que aquilo que funcionou em uma organização similar, pode muito bem não funcionar nessa. Por isso precisamos sempre experimentar.

Princípios de Design

Considere

Esses princípios podem ser considerados ao desenhar experimentos de qualquer natureza.

Toda intervenção deve estar conectada a uma tensão
Busque pontos de alavancagem em todos os níveis hierárquicos da organização
Considere as relações de poder e aspectos políticos ao selecionar intervenções
Utilize ciclos curtos de experimentação e feedback para avaliar intervenções
Ajuste e adapte as intervenções continuamente com base no feedback do sistema
Priorize mudanças tangíveis e concretas ao invés de apenas mudanças cosméticas
Estimule a participação ativa de todos os envolvidos na intervenção
Todo experimento deve propor uma mudança na camada dos 2.3 Artefatos Culturais

O FOCO ESTÁ NAS MUDANÇAS ESTRUTURAIS

O tipo de experimentos que estamos falando só poderia ser naquilo que chamamos de estrutura, que afeta diretamente os 2.3 Artefatos Culturais . Podemos propor experimentos que alteram regras, manuais de operação, instruções, rituais, formatos de reuniões, símbolos, acordos, objetos, papéis, espaços formais de decisão, políticas sobre distribuição de autoridade ou de recompensas, etc. Essa riqueza de possibilidades é fundamental, pois sabemos que ao mapearmos tensões em uma organização, enxergamos conexões entre diversos temas e possíveis relações de causa e efeito que não são óbvias.

UM EXPERIMENTO ESTÁ ATRELADO A PELO MENOS UMA HIPÓTESE.

Consideramos importante explicitar a(s) hipótese(s) para abrirmos espaço para conversas que possam melhorar o experimento antes mesmo dele começar e aprendizados após rodar o experimento. É fácil criar experimentos que seguem modinhas (exemplo clássico atual é o de OKRs) sem ter clareza da hipótese.

EXPERIMENTOS PARALELOS

É muitas vezes saudável rodar vários experimentos em paralelo. Eles podem até ser baseados em teorias ou hipóteses diferentes e até concorrentes. Claro que em muitos casos diferentes pessoas devem conduzir cada experimento, para evitar sobrecarga.

SEGUROS O SUFICIENTE PARA FALHAR

Eles devem ser seguros para falhar, significa que se eles falharem, você deve ser capaz de sobreviver às consequências e se recuperar. O diagrama abaixo aponta alguns atributos que podem ser avaliados em um experimento para entender o quão seguro e fácil é executá-lo. Quanto mais à esquerda em cada atributo, mais o experimento é seguro e fácil.

Existe uma infinidade de configurações possíveis apenas nesses atributos. O objetivo não é desenhar apenas experimentos fáceis e extremamente seguros e nem impossíveis e de alto risco, o jogo envolve refletir sobre como sua ideia de experimento está em cada um desses atributos e evitar uma visão ultra-pessimista ou ingênua.

FALHAS SÃO IMPORTANTES

Uma porcentagem deve falhar, se não, caso contrário, você está se contentando com pouco, seu espaço de busca provavelmente é muito pequeno.

BUSCAMOS COERÊNCIA

Cada experimento deve ser coerente, não apenas um chute aleatório. Essa coerência precisa ter relação com algum estudo, investigação ou mapeamento do sistema.

MONITORAR O IMPACTO

Você não inicia nenhum experimento a menos que possa monitorar seu impacto continuamente, ou pelo menos ao final de um ciclo razoável de experimentação. Ideia simples, mas que com frequência é esquecida.

AMPLIFICAR E ABAFAR

À medida que o experimento vai dando certo ou errado, você precisa trabalhar com estratégias de amplificação ou abafamento, ou seja ampliar e contagiar outras áreas da organização com aquela prática ou parar de fazer aquilo que seria o abafamento.

DESENHANDO UM EXPERIMENTO

Para desenhar um um bom experimento duas condições são importantes. A primeira é identificar bons locais para intervir no design organizacional (leia mais sobre heurísticas de intervenção aqui). A segunda condição é conhecer um repertório amplo de práticas ou padrões de design organizacional. A criação é um ato de re-combinação de coisas que já existem mais do que uma iluminação divina.

Para ajudar no desenho de um experimento, você pode utilizar algum template ou canvas que te lembre do que é necessário descrever para ter um bom desenho.

Você pode ver o nosso canvas de experimento aqui.

Mas aqui vamos ver como poderiam ser canvas de expeirmento em geral. Algumas das coisas que podem estar nesse canvas:

Descrição da tensão que você quer tratar
Desenho do experimento
Hipótese(s)
Participantes
Tempo ou duração esperada
Custo
Método de validação ou monitoramento

Seguem alguns exemplos extraídos de diferentes fontes.

SOBRE A VALIDAÇÃO DE HIPÓTESES

A dedução parte de uma premissa geral para chegar a uma conclusão específica, por exemplo: "todos os homens são mortais, Sócrates é homem, logo, Sócrates é mortal".

Já a indução parte de exemplos específicos para chegar a uma conclusão geral, por exemplo: "vários gatos que vi têm pelos brancos, logo, todos os gatos têm pelos brancos". Ambas são formas úteis de raciocínio, mas a abdução é diferente.

A abdução é um tipo de raciocínio que parte de hipóteses ou inferências plausíveis para explicar um fenômeno ou um conjunto de fatos. É como se fosse um palpite educado, que não parte e nem tem a pretensão de apontar uma verdade única, mas sim possíveis relações de causalidade a serem testadas e verificadas, para só então se tornarem uma hipótese confirmada (ou não), a depender do feedback coletado depois de testar.

Imagine que você esteja trabalhando com uma equipe de atendimento ao cliente que está enfrentando altos níveis de rotatividade. Na fase de observação e coleta de histórias, você ouviu várias narrativas de membros da equipe que apontavam para problemas de comunicação interna e falta de feedback sobre o desempenho. Na fase de mapeamento, você notou uma tensão em torno da falta de reconhecimento pelo trabalho realizado.

Usando o pensamento abdutivo, você pode fazer uma inferência sobre qual é o problema , como: "Talvez a equipe de atendimento ao cliente não esteja recebendo feedback suficiente sobre o desempenho e, como resultado, não se sente valorizada e motivada em seu trabalho, levando à alta rotatividade." Nós nunca poderemos realmente verificar se essa inferência é real ou não. Mas podemos fazer experimentos, como o estabelecimento de rituais e processos de feedback e reconhecimento, e depois checar se as histórias que as pessoas contam mudaram.

Conduzimos experimentos baseados em uma hipótese, mas não queremos induzir ou chegar em uma explicação geral de como as coisas funcionam naquela organização. Isso seria o uso de um raciocínio indutivo. Para explicar melhor, imagine o seguinte conjunto de experimento e hipótese:

Experimento: Fazer antes de cada reunião do time uma rodada de check-in.

Hipótese: Se as pessoas forem chamadas para trazer como elas estão chegando na reunião, elas estarão mais atentas, presentes e conectadas, diminuindo a dispersão e a falta de foco.

Depois de rodar o experimento e avaliarmos a participação das pessoas, bem como quantas vezes elas saem do foco em cada momento da reunião, podemos chegar a conclusão que ok, tivemos sucesso com o experimento. Podemos até dizer que “validamos” a hipótese, mas não podemos dizer que sempre que fizermos rodadas de check-in vamos obter esse resultado. E não podemos também, após a análise de centenas de reuniões em dezenas de times que fizeram check-in e obtiveram esse resultado, afirmar que um time específico irá reagir da mesma maneira.

No primeiro caso estaríamos fazendo uso de um raciocínio indutivo e no segundo caso um raciocínio dedutivo. Nenhum desses métodos se aplicam em sistemas complexos como organizações, o que precisamos é do raciocínio abdutivo. Nele, não existe verdade absoluta, a incerteza é inerente e toda explicação é uma explicação boa até que deixe de ser.

Então, a “validação” da hipótese é sempre temporária e frágil. Mas isso não limita o uso de uma abordagem iterativa, pelo contrário, só torna ela mais confiável e minimamente segura em um ambiente de tamanha incerteza.

#experimentos