Até onde fazer discovery?

Uma das características principais de uma empresa é que ela é um ambiente complexo (eu já falei muito sobre isso aqui, aqui e aqui), ou seja, ninguém consegue enxergar e controlar todas as variáveis que ali habitam e se relacionam simultaneamente, de forma que os resultados dessas interações são imprevisíveis.

Isso quer dizer que não conseguimos prever o futuro com assertividade. Na verdade, somos muito ruins em tentarmos prever qualquer coisa porque somos seres convictos, limitados e enviesados e queremos confirmar aquilo que mais nos parece certo, porque o que nos parece certo nos faz gastarmos menos energia e nos sentirmos mais seguros (Kahneman, D.).

A Booking.com, a qual é uma das empresas que mais tomam decisões baseadas em experimentação aplicadas a métodos científicos rigorosos, falha em 9 de cada 10 experimentos que realiza (Thomke, S.). Isso significa que, de cada 10 hipóteses que eles acreditam estarem certos, 9 se provam erradas, ou seja, se eles tivessem se baseado somente na opinião das pessoas, estariam errados 90% das vezes.

É exatamente por isso que a descoberta de produto foi criada. Precisávamos de uma forma de diminuirmos o risco de estarmos errados em nossas decisões, e assim parar de jogar dinheiro no lixo fazendo algo que não traria retorno nenhum.

E é justamente esse fator de risco que nos responde à pergunta feita no título desse artigo.

Basicamente, precisamos fazer discovery até que consigamos diminuir a incerteza na tomada de decisão para um nível aceitável de risco de estarmos errados no caminho da geração de valor para os usuários e retorno para o negócio.

Isso nos faz concluir que a discussão primordial não é sobre tempo, mas sim sobre risco versus retorno.

Isso também nos faz concluir que discovery é um investimento e que se bem usado, pode potencializar e muito o retorno ou evitar o desperdício. O problema acontece quando é mal usado.

Discovery é investimento

Toda mudança que planejamos fazer em nosso produto tem um custo. Foi depois de 2001, com o advento da agilidade, que o discovery começou a se popularizar como parte do processo de desenvolvimento de software produtos e portanto, também passou a compor esse custo.

Lá em 2002, o Scott Ambler cunhou o termo Cost of change (Custo da Mudança) para ilustrar quanto dinheiro está envolvido nas etapas que compõem o desenvolvimento de um produto, ainda naquela época, chamando a etapa de discovery de levantamento de requisitos.

De fato, como observamos no gráfico a seguir:

o custo da mudança aumenta e muito quando algo já está em produção. É por isso que se a gente colocar algo no ar que os clientes não enxergam valor, além de não termos retorno, dependendo da equipe envolvida, gastamos também muito dinheiro.

O discovery se torna então muito importante porque, como observamos no gráfico, é o momento mais barato para a gente descartar uma hipótese. É por isso que eu disse que o discovery deveria ser visto como investimento e não custo. Claro, se bem feito.

O problema é que em muitas empresas, inclusive dentro dos meus próprios times, em outras empresas que trabalhei ou fui advisor, começamos a ver discoveries muito longos. Os motivos para isso vão desde a não ter uma visão sobre investimento e retorno, processos muito engessados, problemas complexos demais que deveriam ter sido quebrados em partes menores, não ter noção nenhuma sobre negócios, falta de estrutura de dados, relacionamento com o restante da empresa, entre outros.

Discoveries longos são sempre proibitivos?

Costumo dizer que se você precisa de muito tempo para entender um problema, ou você o quebra de alguma forma, ou é melhor procurar outro para resolver porque ele não irá valer o investimento.

Imagina que ficamos 3 meses fazendo discovery e as pessoas envolvidas têm um salário total de R$ 300.000,00 por mês. Pois bem, gastamos quase 1 milhão de reais e ainda não trouxemos nenhum retorno, porque ainda teremos que passar pela fase de delivery que por si só pode demorar um bocado também, digamos que mais 2 meses. No total, foram 5 meses para colocar a nossa hipótese no ar e de fato aprendermos algo.

Esse tipo de situação faz com que o gráfico do custo da mudança fique da seguinte maneira:

Ou seja, o que era relativamente barato para descartar hipóteses com baixo potencial de retorno, acaba se tornando caro e, além disso, encarece mais ainda as outras etapas. Nesses casos, o discovery acaba virando custo e não investimento.

💡
A maneira como decido continuar ou não uma descoberta de produto é baseada na incerteza que existe no cenário que estou lidando. 

É por isso que o discovery não pode ser tratado como qualquer processo e precisamos nos preocupar com eficiência também. Mesmo a discussão temporal não ser a primordial, como disse antes, ter checkpoints bem definidos para falar sobre os aprendizados em critérios claros para descartar uma hipótese com a menor quantidade de investimento possível deveria ser preocupação número um de uma pessoa de produto.

Por muitas vezes não nos atentarmos que discovery também custa dinheiro, que o termo acabou ficando ridicularizado no mercado.

A ridicularização do discovery

Uma vez, estava eu em uma reunião executiva e escutei a seguinte frase

"Estamos parecendo uma universidade. A gente só estuda!"

Eu nem preciso dizer que a frustração que me bateu foi enorme. Mas esse foi um momento divisor de águas na minha carreira em gestão de produto. Levei alguns dias para refletir e chegar a conclusão de que a dor que senti era da incompetência de estar gastando rios de dinheiro da empresa e não chegando a lugar nenhum.

Tudo bem, no dia joguei a culpa em meu pensamento para os executivos que não entendiam nada sobre gestão e descoberta de produto, como a maioria de nós o fazemos ao sentirmos uma dor grande como a que senti. Mas o fato é: fizemos meses de discovery que não nos levaram a lugar nenhum. Era a gente que não estava entendendo de negócio no final das contas.

Estávamos tratando discovery como um processo rígido a ser seguido e pior, presos na complexidade e loucura do dia a dia, seguindo a multidão com a cabeça abaixada. Product managers sem tempo para pensar, atolados em reuniões o dia todo. Muito trabalho em progresso paralelo. Muitos caminhos e pouca estratégia.

E sim, a culpa era minha. Eu estava deixando isso acontecer. Eu estava contribuindo para a ridicularização do discovery. Toda vez que falávamos que iríamos precisar fazer discovery, estávamos tão desacreditados que acabávamos tomando topdown.

💡
Basicamente, precisamos fazer discovery até que consigamos diminuir a incerteza na tomada de decisão para um nível aceitável de risco de estarmos errados no caminho da geração de valor para os usuários e retorno para o negócio.

O discovery tem se tornado algo ridicularizado em muitas empresas e por muitos stakeholders porque falamos pouco a língua do negócio e agimos como se fôssemos os donos da verdade. Discovery não foi feito para ser infinito. Cobramos o tempo todo que o delivery seja acelerado, mas deixamos o discovery de lado, acontecendo indiscriminadamente, como se não custasse dinheiro.

Se você quer que o discovery seja bem-visto na empresa e que você de fato possa usá-lo da maneira correta quando necessário, o caminho é criar mecanismos para encontrar o equilíbrio entre retirar a incerteza suficientemente para levar o risco para um patamar aceitável ou descartar ideias que realmente não valiam o investimento.

Incerteza como fator primário de decisão

A maneira como decido continuar ou não uma descoberta de produto é baseada na incerteza que existe no cenário que estou lidando.

Se preciso melhorar um indicador que está ruim e não sei praticamente nada sobre o que o está fazendo estar nessa situação, isso me diz que a incerteza está muito alta, então isso me diz que preciso diminuir a incerteza.

Se estou responsável por expandir a receita da base e já tenho um bom perfil e feedbacks constantes dos meus usuários, já tenho um canvas da proposta de valor bem montado, tenho um histórico de pesquisas, dados de mercado e dos usuários, a incerteza não está alta e levantar hipóteses vai ser até bastante simples. Só preciso diminuir um pouco mais com testes, sejam A/B sejam protótipos ou outros tipos de testes.

Se quero criar um relatório que oferecerei para os meus usuários que é o mais pedido na minha comunidade de clientes e já existe um estado da arte sobre o que precisa estar nele, a incerteza é muito baixa. Só precisarei testar a usabilidade.

Como vocês podem ver, ao analisar caso a caso, alguns elementos sempre vão nos ajudar a entendermos o nível de incerteza que temos em algo. Pensando nisso, criei o diagrama abaixo que mostra na minha visão a escala que precisamos considerar ao analisarmos o quanto sabemos ou não de um problema, ou iniciativa:


Eu usava essa escala, para que, de maneira mais metódica, conseguisse decidir por parar ou não um discovery nos checkpoints semanais, ou quinzenais que fazíamos para falar sobre o que havíamos aprendido até ali. Vamos olhar para cada nível separadamente.

Nível de incerteza Baixa

O problema ou iniciativa já foram resolvidos anteriormente pela indústria, ou seja, há estado da arte disponível. Há também dados, pesquisas com usuários e testes que evidenciam a necessidade e só é preciso encontrar a melhor solução no contexto do produto.

A quantidade de discovery que precisamos fazer nesse nível será pequena. No geral, levantar hipóteses ou tomar decisões de decisões será muito fácil. O ideal aqui será validar com testes de usabilidade ou testes A/B.

Descarte rapidamente as hipóteses que falharem nos testes ou itere na solução. Há conhecimento e estado da arte, então não perca tempo reinventando a roda. Vá ao básico e coloque em produção o mais cedo possível. Colete feedback e itere até que o resultado esperado seja atingido.

Nível de incerteza Média

O problema ou iniciativa não são conhecidos em sua totalidade, mas existem dados e uma base de conhecimento disponíveis e de fácil acesso para buscar o entendimento do problema ou evidenciar a necessidade da iniciativa.

É bem provável que grande parte dos nossos problemas ou iniciativas caiam nesse nível. A quantidade de discovery que precisamos fazer nesse nível dependerá muito do tipo de problema ou iniciativa que temos na mão.

Pode ser que queiramos assumir o risco que temos na mão porque o impacto não será tão alto, visto que temos um certo grau de evidência. No geral, o ideal é realizar algumas pesquisas com usuários para validar se a necessidade realmente existe e de fato casa com a nossa base de conhecimento.

💡
Se preciso melhorar um indicador que está ruim e não sei praticamente nada sobre o que o está fazendo estar nessa situação, isso me diz que a incerteza está muito alta, então isso me diz que preciso diminuir a incerteza.

Reduzida um pouco da incerteza, se fizermos como no nível anterior e testarmos rapidamente, já teremos uma boa base de conhecimento para decidirmos com um risco menor.

É muito importante que encontremos um equilíbrio entre risco e retorno, porque no geral, levar para um nível de incerteza muito baixo custará muito caro. Se quisermos fazer o negócio andar, precisaremos conseguir assumir riscos de maneira consciente. Lance cedo, acompanhe os feedbacks e itere até chegar no resultado esperado.

Nível de incerteza Alta

O problema ou iniciativa não são conhecidos em sua totalidade e não existem dados e uma base de conhecimento disponíveis e de fácil acesso para buscar o entendimento do problema ou evidenciar a necessidade da iniciativa.

A quantidade de discovery que precisamos fazer nesse nível é alta porque não temos uma base de conhecimento anterior para nos suportar. Isso significa que precisaremos no mínimo descer a incerteza para o nível médio.

Para isso, precisamos falar com os usuários e medir pelo menos as principais ações do nosso produto, o que pode levar um certo tempo.

Decidir nesse nível sem reduzir a incerteza, certamente, carregará um risco alto de estarmos errados. Nesse caso, compartilhar e deixar claro os riscos é fundamental.

Nível de incerteza Altíssima

O problema ou iniciativa não são conhecidos e não existem dados e uma base de conhecimento disponíveis e de fácil acesso para buscar o entendimento do problema ou evidenciar a necessidade da iniciativa. Só existem opiniões.

A quantidade de discovery que precisamos fazer nesse nível é muito alta. Inclusive, o ideal é começarmos montando um business plan ou pelo menos estimando o tamanho da oportunidade, porque a incerteza é tão grande que para investirmos tempo tentando entender o problema, a estimativa de retorno precisa ser promissora.

É preciso descer aqui no mínimo para o nível médio para conseguir diminuir o risco em um nível aceitável.

Decidir aqui nos baseando somente nas opiniões carregará um risco muito alto que, certamente, precisará ser compartilhado. No mundo ideal, não enxergo nenhum cenário em que deveríamos tratar nossas decisões como roletas russas. No mundo real, a realidade é outra. Se isso acontecer, se certifique de medir atentamente os resultados e, na pior das hipóteses, gere aprendizado.

Menor é melhor

Qualquer problema que você classifique com um grau de incerteza altíssimo deveria ser quebrado de alguma forma. Trabalhar com problemas complexos demanda uma dificuldade de encontrar causa e efeito muito grande.

Por isso, precisamos trazer nossos problemas para uma esfera que nos dê mais clareza e que consigamos manipular e entender pelo menos algumas variáveis. No geral, não conseguimos trabalhar com a complexidade, precisamos no máximo de cenários complicados e idealmente, cenários claros.

Quebre os problemas e tente conseguir criar um ferramental suficiente para que você consiga testar rápido as suas hipóteses. Ter um ambiente que permite experimentação, fácil acesso aos usuários e dados disponíveis irá fazer com que dificilmente a incerteza chegue num nível altíssimo.

Seu objetivo ao fazer discovery é de fato potencializar o ROI das suas iniciativas. Por isso, não ignore a eficiência. Crie checkpoints temporais para falar sobre os aprendizados e ajustar o plano. Equilibre o risco entre médio e baixo na medida do possível.

Levante a cabeça na loucura do dia a dia e se questione se você realmente tem os melhores processos de discovery e se não está seguindo um by the book que não faz sentido para o seu cenário. Seja capaz de lidar com o desconforto de assumir riscos e mude a direção o mais cedo possível.

Os melhores PMs não tornam o discovery custos para as empresas, mas sim, bons investimentos.

Referências