O Product Camp começou com a palestra do Will Sertorio, Product Design Manager da Revelo, compartilhando boas práticas para empoderar times de Produto. De acordo com o palestrante, é importante que os times tenham metas semanais de aprendizados.
Quando um dos participantes perguntou sobre a frequência ideal de experimentos, Will comentou que é interessante colocar como meta experimento por semana. Alguns fluxos do produto têm um número menor de usuários, então a sugestão é a adaptação dependendo do contexto e comportamento, podendo resultar em um experimento a cada duas semanas, por exemplo.
É essencial estimular que as equipes de Produto e Tecnologia saibam fazer as perguntas corretas para o tipo de aprendizado que esperam ter. O Product Designer trouxe uma dica de framework para compartilhar com todos os produteiros e produteiras do Product Camp.
Esse framework facilita a estratégia, pois ao definir as perguntas, fica mais evidente para os times de Produto e Tecnologia qual é o melhor método. A partir disso, devem definir as evidências, hipóteses e duração do experimento para acompanhar a validação e o sucesso do aprendizado.
Mesmo que seja um desafio, os ciclos de aprendizado precisam ser rápidos, pois quanto antes os resultados forem analisados, mais ágil é o encaminhamento da solução.
Will Sertorio compartilhou alguns resultados, como: envolvimento da equipe de Produto e Desenvolvimento no andamento das métricas, maior velocidade em testar e tracionar produtos e também a influência da cultura de Produto em outras áreas da empresa.
Dica 3: Acompanhe diariamente os resultados. Veja, primeiramente, se a distribuição de tráfego está sendo por volta de 50% para cada variante, assim você evita margem de erro e pontos cegos durante o experimento.
Ao realizar um teste A/B, o Product Manager deve ter em mente a evolução do acompanhamento da taxa de conversão para as duas variantes e também quais são os alarmes que poderiam alertar uma devida pausa no teste, assim você terá agilidade para tomar decisões e mitigar impactos negativos.
A metodologia Simple Sequential Testing recomendada pelos palestrantes é uma forma de análise que permite parar o experimento antes de atingir o tamanho da amostra mínimo, ou também conhecido como sample size em inglês, caso uma variante com desempenho muito melhor seja identificada.
Como essa metodologia funciona:
Se B-A atingir 2/N, pare o teste e declare B como vencedor. Se B+A atingir N, pare o teste e declare que não há vencedor.
O principal benefício de utilizar a metodologia Simple Sequential Testing é identificar a variante que performa melhor antes mesmo de atingir o tamanho da amostra mínimo.
Dica 4: O esforço tende a ser mais importante que o impacto na priorização de experimentos. Isso ocorre porque, em experimentação, é muito mais fácil medir esforço que impacto. Essa estratégia tem um alto grau de imprevisibilidade. Neste caso, se você for testar um framework para priorização dos testes, contabilize o esforço com um peso maior.
Para facilitar, a construção de cadência é fundamental e ter experimentos de tamanhos parecidos é o recomendado. Quanto mais hipóteses você testar, maior será o conhecimento adquirido.
Dica 5: Procure engajar seu time no trabalho de CRO (Conversion Rate Optimization, ou otimização da taxa de conversão, em português), pois dá resultado para o negócio. Ao desenhar o roadmap, inclua a camada de experimentação como parte essencial do planejamento.
João e Fernanda, palestrantes dessa talk sobre testes A/B e experimentação, compartilharam uma planilha para brainstorm de otimização. O objetivo é envolver o time no planejamento dos testes, criação de hipóteses e métodos para engajá-lo no processo, dando contexto e visibilidade do desempenho e resultados.
Dica 6: A experimentação nem sempre remove a fricção das coisas. Por isso, o papel do gerente de produto envolve se atentar às métricas que vêm depois da aquisição, como o engajamento das pessoas, por exemplo.
Dica 7: Muitas vezes as calculadoras online são mais que suficientes para a análise de resultados:
Dica 8: Baseie seus experimentos em hipóteses. Faça os testes que você acredita, não precisa testar tudo só pelo fato de testar. Além disso, é muito fácil fugir do foco do experimento quando ele não tem uma hipótese definida.
Outro ponto interessante comentado pelos palestrantes foi: se é óbvio, não é experimento.
Para documentar os testes e ter um histórico claro do processo, os palestrantes compartilharam uma sugestão de template de experimentação que os profissionais de produto possam utilizar.
Para fechar o bate-papo, a mensagem final que ficou é: os experimentos nunca falham. Ou você ganha, ou você aprende.
A última palestra do primeiro dia do Product Camp 2020 foi com a Product Manager da Microsoft, Sunanda Saxena, que compartilhou direcionamentos e métodos para receber e interpretar feedbacks dos clientes como forma de impulsionar o crescimento do Produto.
Sunanda iniciou sua palestra com as seguintes frases:
“Your most unhappy customers are your greatest source of learning” Bill Gates
“If you do build a great experience, customers tell each other about that. Word of mouth is very powerful” Jeff Bezos
O feedback do cliente é o que impulsiona o crescimento do Produto. E quando se fala em crescimento do Produto, ou Product Growth, as métricas variam de negócio para negócio. A depender do Produto, pode ser mais usuários, mais cadastros, mais receita ou mais retenção, por exemplo.
Independente da sua métrica de crescimento, uma vez que você foque em solucionar dores e ter clientes satisfeitos, mais leais eles serão. Tudo o que você e seu time de Produto e Tecnologia precisam fazer é criar produtos que resolvem dores, não porque é legal ou porque a liderança pediu.
O processo de atuar com o ciclo de feedbacks se baseia em transformar outputs em inputs que otimizam seu produto. Confira os principais passos a seguir.
Pergunte
Organize
Aja
Monitore
Lembre-se: clientes felizes compartilham sua experiência com o mundo, seja através de boca a boca, compartilhamento de artigos ou depoimentos. Aproveite seus clientes felizes para fazer estudos de caso e atrair novos clientes. Afinal, voltamos à ideia inicial desse texto: o feedback do cliente é o que impulsiona o crescimento do seu Produto.
O primeiro dia do Product Camp trouxe muitas informações relevantes para os profissionais de Produto, deixando as expectativas altas para as palestras subsequentes. Confira neste artigo como foi o segundo dia!
O Product Camp começou com a palestra do Will Sertorio, Product Designer Manager da Revelo, compartilhando boas práticas para empoderar times de Produto. De acordo com o palestrante, é importante que os times tenham metas semanais de aprendizados.
Frequência de experimentos
Quando um dos participantes perguntou sobre a frequência ideal de experimentos, Will comentou que é interessante colocar como meta experimento por semana. Alguns fluxos do produto têm um número menor de usuários, então a sugestão é a adaptação dependendo do contexto e comportamento, podendo resultar em um experimento a cada duas semanas, por exemplo.
É essencial estimular que as equipes de Produto e Tecnologia saibam fazer as perguntas corretas para o tipo de aprendizado que esperam ter. O Product Designer trouxe uma dica de framework para compartilhar com todos os produteiros e produteiras do Product Camp.
Framework para definição do método
Esse framework facilita a estratégia, pois ao definir as perguntas, fica mais evidente para os times de Produto e Tecnologia qual é o melhor método. A partir disso, devem definir as evidências, hipóteses e duração do experimento para acompanhar a validação e o sucesso do aprendizado.
Ciclos rápidos de aprendizado
Mesmo que seja um desafio, os ciclos de aprendizado precisam ser rápidos, pois quanto antes os resultados forem analisados, mais ágil é o encaminhamento da solução.
Will Sertorio compartilhou alguns resultados, como: envolvimento da equipe de Produto e Desenvolvimento no andamento das métricas, maior velocidade em testar e tracionar produtos e também a influência da cultura de Produto em outras áreas da empresa.
Dica 3: Acompanhe diariamente os resultados. Veja, primeiramente, se a distribuição de tráfego está sendo por volta de 50% para cada variante, assim você evita margem de erro e pontos cegos durante o experimento.
Ao realizar um teste A/B, tenha em mente a evolução do acompanhamento da taxa de conversão para as duas variantes e também quais são os alarmes que poderiam alertar uma devida pausa no teste, assim você terá agilidade para tomar decisões e mitigar impactos negativos.
A metodologia Simple Sequential Testing recomendada pelos palestrantes é uma forma de análise que permite parar o experimento antes de atingir o tamanho da amostra mínimo, ou também conhecido como sample size em inglês, caso uma variante com desempenho muito melhor seja identificada.
Como essa metodologia funciona:
Se B-A atingir 2/N, pare o teste e declare B como vencedor. Se B+A atingir N, pare o teste e declare que não há vencedor.
O principal benefício de utilizar a metodologia Simple Sequential Testing é identificar a variante que performa melhor antes mesmo de atingir o tamanho da amostra mínimo.
Dica 4: O esforço tende a ser mais importante que o impacto na priorização de experimentos. Isso ocorre porque, em experimentação, é muito mais fácil medir esforço que impacto. Essa estratégia tem um alto grau de imprevisibilidade. Neste caso, se você for testar um framework para priorização dos testes, contabilize o esforço com um peso maior.
Para facilitar, a construção de cadência é fundamental e ter experimentos de tamanhos parecidos é o recomendado. Quanto mais hipóteses você testar, maior será o conhecimento adquirido.
Dica 5: Procure engajar seu time no trabalho de CRO (Conversion Rate Optimization, ou otimização da taxa de conversão, em português), pois dá resultado para o negócio. Ao desenhar o roadmap, inclua a camada de experimentação como parte essencial do planejamento.
João e Fernanda, palestrantes dessa talk sobre testes A/B e experimentação, compartilharam uma planilha para brainstorm de otimização. O objetivo é envolver o time no planejamento dos testes, criação de hipóteses e métodos para engajá-lo no processo, dando contexto e visibilidade do desempenho e resultados.
Dica 6: A experimentação nem sempre remove a fricção das coisas. Por isso, o papel do gerente de produto envolve se atentar às métricas que vêm depois da aquisição, como o engajamento das pessoas, por exemplo.
Dica 7: Muitas vezes as calculadoras online são mais que suficientes para a análise de resultados:
Dica 8: Baseie seus experimentos em hipóteses. Faça os testes que você acredita, não precisa testar tudo só pelo fato de testar. Além disso, é muito fácil fugir do foco do experimento quando ele não tem uma hipótese definida.
Outro ponto interessante comentado pelos palestrantes foi: se é óbvio, não é experimento.
Para documentar os testes e ter um histórico claro do processo, os palestrantes compartilharam uma sugestão de template de experimentação que você pode usar.
Para fechar o bate-papo, a mensagem final que ficou é: experimentos nunca falham. Ou você ganha, ou você aprende.
A última palestra do primeiro dia do Product Camp 2020 foi com a Product Manager da Microsoft, Sunanda Saxena, que compartilhou direcionamentos e métodos para receber e interpretar feedbacks dos clientes como forma de impulsionar o crescimento do Produto.
Sunanda iniciou sua palestra com as seguintes frases:
“Your most unhappy customers are your greatest source of learning” Bill Gates
“If you do build a great experience, customers tell each other about that. Word of mouth is very powerful” Jeff Bezos
O feedback do cliente é o que impulsiona o crescimento do Produto. E quando se fala em crescimento do Produto, ou Product Growth, as métricas variam de negócio para negócio. A depender do Produto, pode ser mais usuários, mais cadastros, mais receita ou mais retenção, por exemplo.
Independente da sua métrica de crescimento, uma vez que você foque em solucionar dores e ter clientes satisfeitos, mais leais eles serão. Tudo o que você e seu time de Produto e Tecnologia precisam fazer é criar produtos que resolvem dores, não porque é legal ou porque a liderança pediu.
O processo de atuar com o ciclo de feedbacks se baseia em transformar outputs em inputs que otimizam seu produto. Confira os principais passos a seguir.
Pergunte
Organize
Aja
Monitore
Lembre-se: clientes felizes compartilham sua experiência com o mundo, seja através de boca a boca, compartilhamento de artigos ou depoimentos. Aproveite seus clientes felizes para fazer estudos de caso e atrair novos clientes. Afinal, voltamos à ideia inicial desse texto: o feedback do cliente é o que impulsiona o crescimento do seu Produto.