[Música]

Izabela Olá. Este é o 21º episódio do Movimento UX e esta temporada tem o propósito de aprofundar em UX Research.

O convidado de hoje é o Caio Gama, User Experience Researcher no Nubank. Ele tem formação em Ciência da Computação, trabalhou como desenvolvedor back-end por oito anos e traz uma visão bem interessante sobre como podemos mesclar dados de uso e técnicas qualitativa e quantitativa para conhecer as pessoas que usam os produtos e serviços que vamos investigar.

Também falamos sobre como ele fez a transição de desenvolvedor para a pesquisador UX, o dia a dia no Nubank, dicas para você começar a usar data no processo de pesquisa e muito mais.

Esse episódio tem o apoio do TESTR, a plataforma completa de testes de usabilidade ágil. A gente sabe que rodar pesquisa no tempo do produto é um super desafio e o TESTR entrega todo o processo de testes com usuários de forma automatizada, incluindo o recrutamento, execução, recompensa aos participantes e também relatório com resultados. E isso tudo em uma média de 48 horas. Para saber mais informações e também para ganhar três participantes extras na contratação de qualquer plano, é só acessar: aqui.

E mais uma dica bem rápido: vocês sabiam que vem aí o primeiro livro sobre UX Research em português? As autoras Denise Pilar, Cecília Henriques e Elizete Ignácio lançaram uma campanha de pré-venda com várias opções para contribuir e recompensas bem legais. Eu já apoiei e garanti o meu livro. Os últimos exemplares dessa pré-venda estão em Dá uma olhada. Corre que é só até dia 1º de março!

As músicas desse episódio são do produtor Richard Garrel com o seu projeto Aeoner.

Lembrando que todas as informações e links que falei também estão em movimentoux.com.

Então vamos lá! Eu sou a Izabela de Fátima e essa é a segunda temporada do Movimento UX.

---

Izabela Oi, Caio. Tudo bom? Muito obrigado pelo seu tempo e pela presença aqui no Movimento UX.

Caio Oi Iza, tudo bem sim. Eu que agradeço pelo convite, viu?

Izabela Imagina. É muito legal falar com você. A sua formação é em Ciência da Computação e você também trabalhou como desenvolvedor back-end por alguns anos. Como que você começou a trabalhar com pesquisa?

Caio A faculdade de Ciência da Computação é bem ampla. Eu tive aula desde eletrônica até gerenciamento de produto, então eu tive um aspecto muito grande de informação. Dentro da graduação eu tive matérias voltadas para interação homem-computador, o HCI. Isso acabou ficando na minha cabeça porque esse curso é mais voltado para ensinar desenvolvedores a fazerem softwares que não fossem tão ruins e ensinar as pessoas a lidar com máquinas. A minha graduação é um pouco antiga então naquela época o computador não era que nem hoje, não tinha notebook e os Macintosh não eram tão disponíveis como hoje em dia.

A gente tinha que aprender como usar o computador, usar uma máquina, para poder ensinar as pessoas a usarem máquinas. Foi daí que veio o pezinho no design, eu sempre quis trabalhar com design. Lá em 2004/2005, não sei se você vai lembrar dos primórdios da internet, a gente não era desenvolvedor ou designer, era webmaster. Eu caía nessa aí, eu fazia site e eu tinha que fazer o design também. Lá onde eu cresci, em Santos, não tinha faculdade de design, então eu uni o útil ao agradável. Nessa graduação aprendi um pouco sobre isso, sobre HCI, sobre interação das pessoas com computadores e usava esse meu background de interesse em design para ir de pouquinho em pouquinho conseguindo esse espaço empresas.

Eu acho que na época que eu trabalhava como desenvolvedor o meu cargo era de um desenvolvedor back-end mas hoje em dia ele seria chamado de UX Developer. Eu era desenvolvedor mas eu sempre puxava esse pezinho para design, para tomar cuidado com a interação das pessoas com o site. Como eu sempre trabalhei em local pequeno, com poucas pessoas, eu sempre dava uma força para o pessoal de design. E às vezes nem tinha designer então eu fazia essas coisas.

Izabela Interessante, muito legal sua história. Por que você decidiu seguir esse caminho de trazer a perspectiva das pessoas que usam os sites que você estava criando, os softwares, para a equipe?

Caio Foi uma perspectiva bem interessante que eu tinha. Como eu disse, sempre trabalhei em empresas pequenas mas que as pessoas que consumiam o site ficavam dentro da empresa. Sempre tive muito acesso às pessoas que estavam utilizando o que eu fazia. Era sempre um choque você fazer um site que achava que estava bom, um sisteminha que achava que estava bom, e você sentar do lado da pessoa e a pessoa não conseguir nem cadastrar alguma coisa. Era sempre bom mas era assustador de olhar e ficar desesperado. Estava cumprindo todos os requisitos, estava cumprindo todas as necessidades básicas, mas a pessoa não conseguia usar porque o botão estava com uma label estranha, porque a pessoa não entendia o contexto, não entendia o que estava pedindo ali e assim por diante.

Foi daí que veio a vontade de voltar para essa parte da faculdade e começar a explorar essas coisas. Foi aí que eu descobri, lá fora, o termo UX, que era mais entender a experiência das pessoas que estão utilizando o site, mais produzir um site usável, do que um site bonito. Foi daí que eu comecei a botar o pezinho cada vez mais na área de experiência e na área de pesquisa.

Izabela Bacana. Como foi essa sua transição de desenvolvedor para pesquisador UX? Conta para a gente os desafios, como que você é fez para chegar lá.

Caio Bacana. Os desafios foram muitos. O primeiro foi me manter atualizado porque, como eu não tinha a graduação de design nem uma base de UX, tirando aquele pouquinho de HCI, estudar era muito difícil. Eu não sabia onde estudar, como estudar e se eu estava estudando a coisa certa. Depois foi questão de conseguir um espaço nas empresas que eu trabalhava. Sempre que eu ia para uma empresa nova falava: eu desenvolvo, mas eu quero muito trabalhar com design, se vocês um dia tiverem um espacinho, por favor, me considerem como uma opção.

Eu trabalhei um tempo no Moip – é um gate de pagamento – e lá eu tive essa possibilidade. Eles precisavam de alguém que fizesse o design criativo do que estavam desenvolvendo e eu estava lá na época. Eu demonstrei interesse e o pessoal aceitou que eu fizesse a primeira versão para ver como ia ficar. Fui de pouquinho em pouquinho conseguindo esse espaço até eu conseguir uma vaga de pesquisa propriamente dito.

Izabela Essa primeira vaga de pesquisa vamos chamar de pesquisa full-time. Foi na Moip?

Caio Não, na Moip eu fiquei como UX Designer, mas rapidamente percebi que eu não era uma pessoa muito veloz para produzir visual. Acabei achando melhor ficar só com o que eu entendia de fato, que era pesquisa.

Izabela Onde foi o seu primeiro trabalho com pesquisa full-time e como para você virar essa chave?

Caio Meu primeiro trabalho com pesquisa full-time foi no Viva Real e foi bem divertido virar essa chave porque era bem o que eu queria, o que eu estava tentando construir de pouco em pouco ao longo desses anos. Eu brincava que era o trabalho que eu sempre quis, eu consegui chegar onde eu queria chegar que era trabalhar com pesquisa. Pode ter demorado um pouquinho, mas consegui.

Izabela Que alegria ouvir isso.

Caio Foi bem emocionante quando fui aprovado. Foi bem legal.

Izabela Se você tivesse tido a oportunidade de fazer algo diferente nessa sua transição, o que seria?

Caio Acho que ficar mais próximo da comunidade de design. Eu nunca fui de frequentar eventos, até ia mas ficava no meu canto lá. Teria me aproximado mais da comunidade e talvez eu tivesse tentado ser mais ativo na busca de uma vaga, ter abordado mais pessoas sobre a disponibilidade de vagas de pesquisa.

Izabela Isso é um ponto que eu quero que a gente aprofunde, mas eu vou deixar um pouquinho mais para frente. Eu queria que a gente falasse um pouco mais sobre quando você virou essa chave. Que skills você percebeu que você precisaria desenvolver?

Caio As skills que eu mais sente falta quando eu migrei full-time de desenvolvedores para pesquisador foram mais skills de design porque eu tinha muito pouco conhecimento em retratar aquilo que eu conseguia pesquisar. De início foi isso que eu mais senti falta porque o resto, a questão de entrevista, a questão dos métodos de pesquisa, eu conseguia estudar por fora e praticar por fora, ter acesso a material acadêmico e livros. Agora, a questão de design, de visual, é muito difícil de você reproduzir quando você não tem com quem compartilhar. Você fica na sua bolha e isso pra mim foi um impasse muito grande no começo porque eu não sabia até onde ia meu trabalho na hora de entregar material de pesquisa, eu não sabia me comunicar direito com os designers.

Uma das coisas que me ajudou muito foi que esse meu trabalho como desenvolvedor me mantinha muito perto de gerar dados e era um negócio que eu sempre gostei de acompanhar. Eu estava sempre olhando as métricas de funil, as métricas de acesso e comportamento dos serviços que eu acabava criando. Isso era muito valioso para mim como desenvolvedor e também quando fui fazendo a migração para a pesquisa e para o design foi algo que me trouxe um olhar diferente. Eu entendia como que as coisas estavam, entre aspas, quebrando, então era mais fácil de propor soluções. Isso veio muito a calhar quando eu comecei a efetivamente botar o pé dentro de pesquisa.

Izabela Muito legal ouvir isso, Caio, porque eu acho que seu background muito interessante, acho muito legal poder ouvir como você faz pesquisa com essa perspectiva. Hoje você é pesquisador no time de design do Nubank.

Caio Isso mesmo.

Izabela Como que vocês fazem a pesquisa na empresa? Como que a pesquisa está estruturada na empresa?

Caio Aqui no Nubank a gente segue aquele modelo de tribes, squads e chapters. No caso da pesquisa, ela não é um chapter, ela é uma guilda. Tm diversas pessoas da empresa, de diversos backgrounds diferentes, que fazem pesquisa. No meu caso, eu fico dentro do time de design. Eu sou, digamos assim, o subchapter de design.

Como eu te disse, aqui no Nubank a pesquisa é uma guilda, significa que a gente tem diversas pessoas realizando a pesquisa, em diversas áreas. Essas pessoas não são pesquisadoras full-time, elas têm algum outro trabalho, alguma outra execução no dia a dia, mas elas têm um interesse muito grande em realizar pesquisa dentro da área de atuação delas, dentro do chapter delas, dentro do squad delas. E eu fico dentro do time de design, faço especificamente pesquisa de produto, design e auxilio alguma dessas outras pessoas que fazem pesquisa aqui no Nubank.

Izabela Em quais áreas ou times essas pessoas que também fazem pesquisa, nem sempre full-time, estão inseridas?

Caio Aí varia um pouquinho, Iza. A gente tem pessoas desde a ouvidoria até, por exemplo, squads de produtos específicos. É bem plural mesmo, é bastante gente.

Izabela Muito legal ouvir isso. Entrando mais na sua atuação, você então trabalha no time de design. É só você ou tem outras pessoas?

Caio Para te dar um pouco do histórico, aqui dentro do Nubank o time de design sempre fez bastante pesquisa. A gente tem alguns designers que tem um background muito bom em pesquisa e faziam isso antes de eu entrar. Hoje todos os designers têm a liberdade para fazer pesquisa, tanto que eu não sou a única pessoa que realiza. Em alguns momentos eu auxilio eles a fazer e não necessariamente executo full-time, eu auxilio e eles vão para campo. Além de mim, temos uma estagiária. A Beatriz é estagiária de design e ela ajuda todos os times. Fica um tempo em cada time, em cada subtipo de design, e hoje ela está ajudando em pesquisa também.

Izabela Bacana. E qual é a vantagem, na sua opinião, de ter pesquisadores focados em design, em produto, ao mesmo tempo que tem em outras áreas? Por que você acha que isso acontece, que faz sentido?

Caio Eu acho que dentro de design a gente tem duas vantagens. Uma é eu ter uma empatia. A gente tem falado bastante que enquanto designers somos muito empáticos. É muito fácil para a gente entender as pessoas a fundo. Outra é que design costuma ser uma disciplina bem horizontal, a gente costuma passar por todas as etapas da jornada, tanto do produto quanto da pessoa, e essa mistura para mim é muito interessante. É uma química que gera resultados muito bons.

Izabela Como é a sua atuação, o seu dia a dia, no time de design?

Caio Muda muito de semana para semana, eu não tenho nenhum calendário fixo. Apesar de ajudar o time de design como um todo, eu fico dentro de um squad. A minha atuação principal é dentro desse squad e eu costumo dizer que o meu papel lá dentro é trazer a voz do usuário que está lá fora para dentro do squad, é manter essa ponte constante com ele. O meu dia a dia está sendo engajar tanto com o designer quanto com o PM para ver quais são as necessidades que eles estão sentindo, olhar para o futuro também e começar a planejar a pesquisa, executar algum tipo de entrevista, ficar de olho nas métricas que a gente tem para começar a trazer mais valor para o time.

Fora isso, com o chapter de design a gente tem alguns alguns eventos fixos. Quinzenalmente, por exemplo, a gente sempre faz algumas entrevistas um pouco mais soltas, mais livres e mais exploratórias do que seguindo um roteiro fixo. A gente gosta de manter um contato constante com os nossos usuários.

Izabela Muito bacana. Como é que vocês fazem para isso acontecer? O que é o bastidor disso, desses encontros quinzenais, por exemplo?

Caio Essas conversas quinzenais são bem bem exploratórios. A gente tem uma data específica onde a gente entra em contato com algumas pessoas. Hoje a gente está focando bem específico no tópico da NuConta, então a gente entra em contato com essas pessoas que já são usuários NuConta. Como que funciona? Como eu disse, é uma pesquisa bem exploratória, é mais para a gente manter contato com essas pessoas e estar conhecendo o dia a dia delas. O que eu costumo fazer é, alguns dias antes, entro em contato com os designers, os PMs, os canais no Slack que têm interesse nesse tipo de público e aviso: galera, quarta-feira que vem a gente vai falar com esse pessoal, quem tiver alguma dúvida, quiser testar alguma coisa, me fala, já deixa aqui na thread que a gente já começa a montar um pseudo-roteiro e já começa a ver o que precisa para testar. Às vezes precisa fazer um protótipo, às vezes precisa só as telas estáticas e às vezes a gente faz uma ligação e não recebe a pessoa aqui, a gente só liga para as pessoas e conversa com elas sobre alguns tópicos.

Izabela Além desse trabalho de pesquisa contínuo, como vocês decidem o que deve ser investigado e como vocês priorizam os projetos?

Caio Aí, Iza, depende muito de squad para squad. O squad que eu estou hoje, como que eu faço? Eu acompanho bastante as métricas que a gente tem dos usuários, troco bastante ideia com o PM e com os designers deste squad para a gente ver quais são as próximas coisas que a gente quer desenvolver, quais são as coisas que já estão no backlog para poder já começar a se planejar tanto para executar para agora quanto para o futuro. Agora, nos outros squads acaba variando muito do acordo entre o designer e o PM, como que eles, entre muitas aspas, tomam conta dos squads.

Izabela Como que é a visão um pouco mais macro? Você está contando do dia a dia, né? Vocês atuam de uma forma mais macro e com uma visão mais a médio e longo prazo, tendo em vista que o Nubank sempre tem lançamentos de produtos, de novas features?

Caio Também varia um pouco do squad. A gente tem um planejamento de médio e longo prazo, que corre em paralelo com o que a gente está executando no momento. Tem pesquisas que têm impacto no agora. As pesquisas que têm impacto a médio e longo prazo são feitas em paralelo e muito alinhadas com os designers e os PMs, alinhadas na visão de futuro que aquele squad quer entregar. Às vezes a meta é atingir lá longe, então a gente já começa agora fazer uma pesquisa que ajude a dar embasamento para o squad chegar lá longe.

Izabela Como é o processo de pesquisa com dados? Por exemplo, quando você começa uma investigação do comportamento dos usuários com dados, qual é o passo a passo?

Caio Não tem um passo a passo muito bem definido até porque nas empresas em que eu passei fazia isso diferente da forma com que eu faço aqui, dadas as ferramentas que as empresas têm. Aqui no Nubank eu conheço muito olhando para o nosso Amplitude, não sei se você conhece a ferramenta. Eu começo muito olhando para o Amplitude para ver o que tenho lá, quais são os dados de comportamento que tem na ferramenta. Dali eu começo a criar um mini-entendimento de como as pessoas estão usando o nosso produto, para que elas estão entrando, o que elas estão fazendo e assim por diante. Depois de olhar o Amplitude, eu costumo olhar algumas informações na sua base de dados – são informações anônimas, não tenho acesso a quem são as pessoas mas tenho acesso a alguns comportamentos – para entender mais a fundo o que o Amplitude estava me dizendo. O Amplitude é só uma camada muito simples de integração da pessoa com um aplicativo e na nossa base de dados eu consigo ter alguns detalhes a mais.

Izabela Sobre essa questão da sua leitura de dados na base que não está relacionada ao Amplitude, que essa camada mais superficial, como é que isso acontece no seu dia a dia? Como que é o seu envolvimento? Vou usar uma expressão: você que entra no matagal e vai cortando para fazer essa exploração e levantar as possibilidades de correlação, como é que é isso?

Caio Aqui no Nubank a gente tem muitos times preocupados com dados. Eles já disponibilizaram para a empresa inteira algumas ferramentas que facilitam o acesso aos dados. A gente tem o Metabase dentro e eu consigo fazer algumas querys nos dados que a gente tem. Além disso eu uso uma ferramenta chamada Júpiter Notebook, que é como se fosse um caderno físico, onde eu consigo emular Python. Dentro desse caderno, com o Python, eu consigo também acessar essa base e gerar algumas análises mais complexas, mais profundas, que eu não consigo no Metabase, por exemplo. Então varia muito de situação para situação, depende do quão a fundo eu tenho que ir. Como você falou, às vezes eu preciso entrar no matagal e sair desbravando porque ninguém nunca procurou esse tipo de informação ou nunca procurou esse tipo de correlação. Mas muitas vezes é acessar o Metabase e alguém ter feito essa query para mim antes, vou lá dar uma caçada. Se ninguém fez, eu faço na mão. E às vezes o próprio Metabase não me permite fazer as correlações que eu quero, fazer os joints que eu quero, então eu acabo indo direto para o Python mesmo e fazendo na mão.

Izabela Você já comentou que também faz entrevistas. Como funciona essa questão de usar quanti e quali, tem algum caso que você começa com quanti e vai para quali e outro caso que é quanti e depois quali? Não sei se é melhor a gente chamar quanti ou análise de rastros de uso do produto. Mas como funciona esse processo tão completo e tão rico?

Caio Vamos tentar tirar uma confusão. Quando fala quanti em pesquisa a gente fica pensando muito em surveys, em formulários online e offline, esse tipo de coisa. Também tem a parte da análise de dados, que a gente chama de análise quantitativa. São duas vertentes, a gente segue as duas e aplica dependendo da pesquisa.

Tem pesquisa que a gente começa com uma quali, mais exploratória, porque a gente não faz ideia do que está esperando encontrar. Pode ser um público novo, pode ser um público que a gente já conhece mas se tratando de uma feature nova. A gente vai lá, conversa com essas pessoas e às vezes levanta um questionário online para poder validar essas informações que encontrou. Outras vezes, se tratando de públicos já conhecidos, que a gente já tem aqui dentro de casa essas análises de dados, essa parte mais quantitativa de análise vem muito a calhar para a gente começar a construir um entendimento: quem são as pessoas que abrem o aplicativo, quem são as pessoas que usam cartão, quem são as pessoas que têm NuConta e tem um cartão, quem são as pessoas que fazem transferência? Essas informações a gente já tem aqui dentro na forma de dados e a gente encontra e faz correlações, fazendo análise. Dessas análises a gente começa a levantar hipóteses, levantar suspeitas, para onde a gente vai para entrevistas qualitativas ou outros métodos qualitativos.

Izabela Qual a diferença entre trabalhar com quanti e com data?

Caio Eu acho que trabalhar com quanti e trabalhar com data são coisas muito semelhantes e ao mesmo tempo muito distante. O mundo quantitativo é um universo que vai desde as surveys, que são uma ciência por si só, até eu desenvolver algoritmos preditivos de machine learning para poder definir o desflorestamento na floresta amazônica para os próximos cinco anos. São mundos muito grandes, têm técnicas simples – não menosprezando –, têm técnicas muito acionáveis (como, teste A/B, uma survey e uma correlação simples), até coisas muito complexas como redes neurais. É um negócio difícil tirar essa ambigüidade em uma conversa de alto nível. A gente tem que acabar entrando e falando de técnica. Eu acho que não faz sentido para um designer ser alguém que consegue executar e ir a fundo na parte teórica de redes neurais porque é um conhecimento específico. Vai ter um valor muito grande para o designer? Vai, mas eu acho que tem mais valor em você entender e conseguir consumir do que de fato conseguir executar. Agora, conseguir fazer correlações, simples e múltiplas, eu acho que tem muito valor para o designer e pesquisador, além de entender, conseguir executar também.

Izabela Que técnicas você mais usa no dia a dia e por quê?

Caio O que eu mais faço no dia a dia seria ficar olhando para esses dados que a gente tem e tentar encontrar hipóteses, tentar encontrar especulações, além de entrevistas. Entrevistas, entenda: por telefone, presencial, teste de habilidade e assim por diante.

Izabela Você falou que tem uma rotina na qual você fica olhando para os dados. Como você faz para monitorar, se essa é a melhor palavra, os dados relativos ao que as pessoas já estão usando hoje e, ao mesmo tempo, ter insights para o direcionamento de novos produtos, que é uma coisa que o Nubank faz constantemente?

Caio Eu acho que é uma pergunta que tem duas respostas. Eu fico olhando para os dados mas não quer dizer que eu fique lá só olhando para os números, tipo a telinha no Matrix. Eu fico olhando para perguntas específicas. Como está sendo o uso digital feature? Como está sendo o uso de tal funil? Fico monitorando informações específicas com frequência. Agora, como que eu uso essas informações para ver novas features vai, por exemplo, de algumas ferramentas que a gente tem aqui dentro. A gente usa o Product Board e lá a gente coleta feedback de usuários. Faço um paralelo entre o que as pessoas estão pedindo e como elas estão usando nossos produtos. Elas estão pedindo muito uma feature X e eu vejo que já estão solucionando essa feature dentro do nosso produto de alguma outra forma, então já começa a gerar idéias para sugestões de novos produtos.

Izabela Tem alguma técnica para baixar os dados, por exemplo, e explorar essas correlações e também entre as variáveis? Como é que você faz isso no dia a dia?

Caio Eu acho que uma técnica para baixar os dados depende muito do local onde você está. Se você tiver acesso à base de dados da sua empresa, você simplesmente entra lá e com o SQL e usa para fazer uma extração simples. Se não tiver, você pede para um analista de dados da sua empresa que ele provavelmente vai passar o arquivo csv para você trabalhar. Agora, fazer a análise já começa a demandar conhecimentos de matemática, de estatística e um pouco de alguma linguagem de programação ou de alguma linguagem específica para fazer análise. O Excel já resolve muito disso, ele é muito bom para fazer correlações simples, se a variável A e a variável B crescem na mesma tendência. O Excel já é muito bom pra fazer isso. Quando você começa a adicionar múltiplas variáveis, acho que vale a pena sair do Excel e ir para o Python, para uma outra linguagem mais robusta.

Izabela Você sabe onde coletar os dados?

Caio Eu acho que é um pouco parecido com a questão qualitativa. Coleta de dados existe tanto em quanti quanto em quali, só que de formas diferentes. Na parte quali eu preciso saber qual é o método de pesquisa que vou utilizar para ter o acesso àquele dado da forma mais pura possível ou da melhor forma possível. Já em quanti, eu preciso saber qual a base de dados que está aquele dado, preciso saber se aquele dado foi normalizado, se já foi tratado de alguma forma, se sofreu alguma alteração, assim por diante. Te respondendo e não te respondendo, é difícil saber sempre onde está aquele dado, principalmente em uma empresa do tamanho do Nubank, que é muito grande e gera muita informação. Eu acabo consultando alguma funcionalidade de dados que a gente tenha que me fale, por exemplo, o evento de login se chama “login” e está na base A.

Izabela Pensando nesse seu mix de técnicas e com essa sua visão holística das formas que a gente tem para conhecer as pessoas, as técnicas que você usa para conhecer o comportamento dos usuários são diferentes das que você usa para testar hipóteses, por exemplo?

Caio Eu gosto de acreditar que é tudo uma questão de complemento. Falando de técnicas, eu acho que essas técnicas para testar hipóteses e as técnicas para conhecer pessoas são diferentes mas têm o mesmo meio. Vou te dar um exemplo para não ficar tão ambíguo. Uma entrevista de profundidade pode servir tanto para conhecer o comportamento quanto para validar uma hipótese. O mesmo se aplica para técnicas quantitativas. Eu posso fazer uma análise de dados para poder começar a ter um sentimento de como essas pessoas estão se comportando e utilizando o aplicativo e eu posso fazer uma análise de dados para poder ver resultados de um teste A/B ou mensurar se o que a gente fez teve o impacto esperado e assim por diante.

Izabela Existe algum momento do produto que faz mais sentido usar um tipo de abordagem do que que outra, por exemplo, qualitativa e quantitativa? Isso acontece?

Caio Eu não sei se tem relação mais com um momento do produto ou se com a quantidade de conhecimento que a gente tem sobre aquele usuário. Acho que quando a gente já tem alguma base de conhecimento, a gente pode começar a explorar um pouco através de métodos quantitativos. Agora, se eu não tenho nada de informação sobre aquela pessoa é óbvio que eu posso ir lá e fazer uma desk research, ler materiais que outras pessoas já geraram sobre esse tipo de conhecimento, mas nada melhor do que você sentar com uma pessoa que vai utilizar o seu produto, que passa pelos problemas que você quer solucionar e falar com ela cara a cara. Acho que mais do que o produto, seja o seu conhecimento sobre o seu usuário.

Izabela Apesar de você ter dito que não tem uma fórmula, que depender muito da situação, como que você combina técnicas de pesquisa qualitativa e quantitativa para investigar a experiência do usuário?

Caio Iza, para tentar te explicar de uma forma um pouco mais simples eu vou tentar usar o iFood como exemplo, tudo bem? Imagina que eu entro no Amplitude do iFood e começo a ver que tem certos comportamentos muito drásticos. Eu vejo que tem pessoas que entram todo dia no iFood para pedir uma janta, tem pessoas que entram só de final de semana e só perdem no sábado, tem pessoas que entram de final de semana e pedem sexta sábado e no domingo. Eu começo a encontrar comportamentos muito distintos, muito visíveis. Imagino que também tenha aquelas pessoas que só entram quando tem algum tipo de desconto, algum tipo de promoção. Com essa informação eu já começo a entender um pouquinho que tipo de comportamento as pessoas podem ter. Tem aquela pessoa que não cozinha em casa, tem uma pessoa que de final de semana não quer se preocupar com louça e assim por diante. Daí eu começo a criar hipótese e começo a criar especulações, para ver como eu posso conversar com essas pessoas já tendo uma base de conhecimento.

Izabela Que tipo de problemas ou investigações são mais adequadas para as técnicas quali e quando faz mais sentido utilizar as técnicas quanti? Dá alguns exemplos para a gente, por favor.

Caio Eu particularmente não gosto de seguir nenhum livro, nenhum guia passo a passo. Acho que vai um pouquinho de momento a momento, Acredito que técnicas qualis sejam muito boas para a gente mensurar intenção e entender o que as pessoas gostariam de fazer, o que elas estão procurando fazer, como elas vão fazer e assim por diante. Já as técnicas quanti gosto de usar mais para mensurar ação. Um teste A/B para poder mensurar quem foi para onde, uma análise de dados na base para saber quem fez o quê. Enquanto em entrevistas a gente até pode mensurar esse tipo de ação, através de um teste de um protótipo, mas a escala é tão pequena que um teste A/B seria mais verdadeiro mais real aos dados. Meio que fazendo um sumário, eu gosto de levar dessa forma: pesquisas qualitativas para mensurar a intenção e entender o comportamento mais a fundo e pesquisas quantitativas para mensurar ação e ter uma visão mais marco desse comportamento.

Izabela Quando eu escolho ou opto por fazer uma survey e quando faz mais sentido olhar para a base de dados?

Caio Iza, eu acho que depende do tipo de informação que você está querendo. Tem informação que a gente tem na base, imagina que no iFood é o endereço da pessoa ou o último pedido. Agora tem informações que a gente não tem e que precisa extrair na hora, aí a survey facilita muito o acesso a esse montante de informação em volume razoável. Só que surveys são uma ciência por si só. Quando eu digo uma ciência, digo uma ciência de diversas bifurcações. Tem aquela vertente mais acadêmica onde o linguajar é mais robusto, mais quadrado e extremamente preocupado com enviesar a comunicação, com qual termo usar e qual termo não usar, e tem uma vertente um pouco mais leve que começou a reparar que pessoas não entendem mais esse linguajar tão rebuscado, que as pessoas não entendem tanto uma diferença entre ter e usar, que trata as pessoas com uma vertente mais humana e menos experimental, meno um experimento científico por um experimento científico.

Izabela Interessante, muito legal. Você pode dar alguns exemplos de cenários nos quais o Nubank usa teste A/B?

Caio A gente costuma usar muito teste A/B para validar hipóteses que são mais fáceis de validar no campo do que por pesquisa. Por exemplo, se a gente tem uma dúvida se comunicar de forma X ou de forma Y em um call to action vai ter impacto, ao invés de eu fazer isso em uma survey ou fazer isso em entrevistas, como o custo de desenvolver isso é tão baixo, a gente opta por desenvolver e fazer um teste A/B para ter essa gama de aprendizados do que testar isso de forma offline.

Izabela O teste A/B serve mais para o micro, elementos menores, ou vocês olham também para o macro, por exemplo uma tela toda?

Caio Tanto para o micro quanto para o macro. A gente costuma ver trade ofs, tempo de desenvolvimento versus qualidade do aprendizado. Nessas horas, no teste A/B, a gente tem muito ganho da significância estatística. A gente já vai ser capaz de mensurar quantos por cento da base teve preferência pela versão A versus a versão B. Vai ter um valor muito rico porque a gente para de falar de intenção e começa a falar de ação. No teste A/B eu mensuro ação e não intenção. Em momentos em que a gente precisa mensurar esse tipo de coisa é onde a gente vai.

Izabela O teste A/B é feito por você ou pela equipe de dados, como é que funciona essa sua ação no dia a dia?

Caio Depende muito do squad. Acho que não posso entrar muito em detalhes porque é uma resposta sabonete, depende muito, mas varia muito de squad para squad. Tem squad onde eu participo, tem squad que tem analistas próprios para fazer isso, tem squad onde o PM toma conta dessa dessa responsabilidade e assim por diante.

Izabela Bacana. A questão de optar por survey ou o teste A/B, tem a questão da ação e da intenção, né?

Caio Eu acho que, como exemplo, o teste A/B é muito bom para mensurar ação. Eu consigo saber quantos por cento das pessoas conseguiram concluir aquele call to action fidedignamente. É um dado real. Já em uma survey a gente consegue mensurar qual é a intenção da pessoa lidando com aquele produto, fica mais um aspecto interpretativo e não em um aspecto real da conclusão da tarefa.

Izabela Muito legal. Como usar dados e definir parâmetros para analisar uma experiência que pode ser subjetiva, como quando a pessoa conseguiu realizar a atividade de por exemplo realizar um pedido no aplicativo, e a gente conseguir descobrir se aquela experiência foi positiva ou negativa?

Caio Bacana. Eu gostei que você usou um termo muito técnico, que foi parâmetro. Para a gente definir sucesso precisa de parâmetros para entender o que é sucesso. Uma experiência de sucesso dentro do iFood pode ser pedir jantar em menos de um minuto e meio. Como que a gente chegou nesse um minuto e meio, foi através de análise de dados ou de conversar com pessoas e chegar a uma conclusão sensata? Metrificar a experiência é um negócio muito complicado. A experiência não está só em dados, ela está em qualidade também. Mensurar qualidade através de performance acho que a gente pode dizer que é, entre aspas, um tabu. Eu posso terminar o fluxo em 35 segundos e não estar satisfeito com esse fluxo, então acho que é um complemento de informações. Eu preciso conhecer as pessoas pra eu poder criar esses parâmetros e poder definir qual seria o tempo ideal de conclusão de um fluxo, tentar entender qual seria o tempo ideal de interação entre a pessoa e o aplicativo, para depois começar a mensurar isso na nossa base. Senão eu posso estar mensurando com base na minha expectativa e não no que o usuário de fato espera do produto.

Izabela Muito legal, muito bacana mesmo. Como você materializa pesquisa e transforma os insights em acionáveis para os produtos e serviços?

Caio Eu gosto muito de trazer o designer e o squad para dentro da pesquisa. A gente costuma transmitir a pesquisa ao vivo para o squad e o designer está participando comigo para a gente poder digerir essa informação de forma coletiva e não que eu termine a pesquisa, gere um documento e encaminhe para as pessoas. Isso não quer dizer que eu não faça isso. Quando termina a pesquisa eu gero uma documentação e essa documentação vai com comportamentos encontrados dentro da pesquisa. Não gera por cima uma lista de acionáveis, gera uma lista de comportamentos que a gente encontrou. Os acionáveis são criados junto com o time, principalmente quando eu não faço parte do squad porque daí eu tenho menos contexto do que o resto do time para poder gerar uma solução.

Izabela Interessante, faz bastante sentido. Você pode citar alguns exemplos de materialização, de acionáveis que vocês criam?

Caio Um pouco desse meu background da Ciência da Computação me fez tender mais para relatórios de comportamento do que outros tipos de documentação. A entrega simples, digamos assim, é um documento no Word ou no Google Docs de cinco ou seis páginas relatando tudo que a gente encontrou, mas isso não quer dizer que não gere materiais acompanhem. Além dessa entrega desse documento, às vezes tem uma jornada do usuário, às vezes tem um documento mais bem desenhado sobre o que a gente encontrou para poder digerir melhor a informação. Já precisei fazer uma timeline explicando todas as interações entre a pessoa e o produto, assim por diante. Eu acho que o entregável varia muito da situação.

Izabela Eu acompanho as publicações do time de design no Medium e eu já vi que vocês fazem personas em alguns casos. Eu queria que você contasse mais sobre isso e se vocês usam dados para criar personas, como é esse equilíbrio entre o que as pessoas falam que fazem por meio das entrevistas com o que a gente de fato nota que elas fazem?

Caio Persona é um assunto bem sensível. Cada designer que você conversar vai ter uma experiência e uma expectativa sobre personas, cada área da empresa que você falar também vai ter uma experiência e expectativa com personas completamente diferente. No time de design a gente usa personas como ferramenta de empatia. Elas até tem alguns aspectos que vêm de dados, mas a gente não torna eles transparentes. A gente não fala que as personas foram feitas em cima de tais e tais dados. A gente leva como uma ferramenta de empatia e mostra comportamento daquele grupo de usuários e como isso impacta no produto.

Izabela Tem algum momento do produto ou caso que você acha que faz mais sentido usar personas ou não?

Caio Eu acho que depende mais do momento e do seu conhecimento do seu usuário do que a técnica pela técnica. Acho que fazer uma persona em um momento muito cedo no produto pode não te dar tantos insights quanto você simplesmente sentar e conversar com essas pessoas e entender mais a fundo as necessidades dela. É claro que pela entrevista, por exemplo, você vai começar a criar um padrão de comportamento, mas eu acho que pegar esse comportamento desde cedo acaba sendo muito tendencioso, muito viciante. Para te responder a parte dos dados, aqui a gente de vez em quando usa dados para ambientar essas personas, mas não são a raiz, não são o status quo dessa persona.

Izabela O Nubank tem um cenário no qual a gente está falando de uma base de milhões de pessoas. Um produto mobile a gente sabe que o contexto de uso pode influenciar como a pessoa está utilizando features, serviços. Nesse caso, você acha que faz sentido pensar personas para toda a base ou personas mais em momentos da jornada? Como vocês lidam com essa questão dessa dinamicidade da base?

Caio Aí, Iza, eu acho que a resposta depende. Eu não posso entrar nos detalhes aqui do Nubank mas eu acho que em produtos muito grandes, muito amplos, você ter uma persona para tudo, pensando em um país tão grande quanto o Brasil, é meio que maluquice. Nosso comportamento aqui em São Paulo é muito diferente do comportamento lá em Rondônia, onde eu cresci. Fica muito estranho tentar normalizar isso numa persona só e em uma jornada só, que às vezes muda muito de localização para localização. Ao mesmo tempo em que ter personas por momentos da jornada, dependendo do quão grande for a sua jornada, você pode acabar com dezenas de personas. Acho que tem que ser uma mistura muito bem pensada e muito bem planejada dado produto, do tamanho do escopo e todo esse monte de informação que a gente tem aqui.

Izabela De uma maneira geral, Caio, sobre o seu trabalho de fazer a pesquisa no time de design acontecer, o que você acha que tem dado certo e o que não tem dado certo?

Caio O que eu acho que tem dado certo são as entregas. A gente tem conseguido trazer o squad para dentro da pesquisa. As entregas deixaram de ser um documento que vai na mesa de alguém e passaram a ser um ciclo, um fluxo. A gente tem conseguido tirar aquela afobação da pesquisa ter que ser entregue para ontem ou para hoje, e poder ter aí um tempinho de de maturação em alguns casos. O que realmente não tem dado certo é o time ser enxuto desse tamanho, tanto que a gente está com vaga aberta de pesquisa lá no nosso site. Isso é muito um reflexo do trabalho que o time de design já fazia de pesquisa e agora a gente está pegando de mostrar o valor de pesquisa para o resto da empresa, então é o negativo que vem como positivo, é o negativo que vem do interesse das pessoas em pesquisa.

Izabela Muito bom ouvir isso. Eu tenho notado que a oferta de vagas de UX Research tem aumentado desde o ano passado. Aquela coisa, algumas com descrição das atividades não tão coerentes ao papel de um profissional de UX Research e algumas que fazem sentido, mas acho que de maneira geral é curioso essas vagas estarem aumentando. Por que você acha que está acontecendo no mercado? Você tem notado também esse aumento da oferta?

Caio Tenho, sim. Quando eu consegui a primeira vaga como pesquisador, como UX Researcher, era a única vaga que tinha visto o ano inteiro. Agora eu tenho visto cada vez mais. Eu acho que é o reflexo de duas coisas. Do valor que isso tem sido entregue lá fora, essa vaga já existe lá fora tem anos e anos mas está começando a ser importada, as pessoas estão começando a ver o valor lá de fora. E também o valor dos profissionais aqui dentro. Conforme pessoas com um entendimento maior vão chegando em posições de liderança, tanto de design quanto de produto, vai se fazendo a necessidade de trazer pesquisadores porque essas pessoas já trabalharam com pesquisadores antes e entendem o valor desse trabalho.

Izabela Qual o principal desafio de trabalhar com pesquisa no Brasil?

Caio Eu acho que o principal desafio de trabalhar com pesquisa no Brasil ainda é tirar a ambiguidade do trabalho que a gente faz. Tem bastante pessoa que tem me procurado muito para ajudar a definir a vaga porque não faz muita idéia de qual é a diferença de um UX Researcher para um UX Strategist para um UX Designer. Como o design ainda está se definindo aqui no Brasil, design de produto principalmente – e pesquisa está dentro desse guarda-chuva, a gente gosta de brincar que esse guarda-chuva de UX é um guarda-sol do tamanho de Copacabana –, então é muito difícil você explicar para um recrutador ou uma pessoa que nunca teve um contato com um pesquisador, como é o trabalho no dia a dia e qual o valor que ele entrega. Eu acho que essa é a diferença da área lá fora. Como já tem tempo de execução, as pessoas já começaram a entender esse tipo de mentalidade. Sem falar que pesquisa por pesquisa existe há centenas de anos, décadas no mínimo. Lá fora eu ouço falar de pesquisa não só de design, não só de marketing, mas pesquisa de desenvolvimento e de outras formas também. Tem os paralelos que se traçam com pesquisa de produto. Eu acho que a gente não tem muito esse costume aqui, só empresas gigantes fazem isso.

Izabela Interessante. Quais skills você recomenda desenvolver para quem tem mais experiência com qualitativa e quer incluir dados no dia a dia?

Caio Eu acho que a coisa mais importante é parar de ter medo da matemática. Eu ouço bastante o pessoal brincando que design é humanas. Eu acho que o design é um misto de humanas e exatas. O primeiro passo é perder o medo da matemática. Não precisa ser matemática complexa, a matemática básica já resolve muita coisa. O Excel é o rei das fórmulas, ele já tira essa necessidade de decorar um monte de fórmulas. Além da matemática, eu acho que é aprender as ferramentas básicas. Começar a entender para que serve o Amplitude, para que serve uma ferramenta de análise de dados, para que serve o SQL, como eu uso o SQL e assim por diante. Eu acho que naturalmente o designer já é curioso, já tem uma capacidade lógica muito poderosa, eu só acho que falta se acostumar com as ferramentas que entregam esse tipo de dado, esse tipo de informação.

Eu acho que pra começar a botar o pé na parte mais quantitativa, tirando claro a parte de surveys que é uma ciência por si só, é entender como fazer uma pergunta, entender como tratar uma pessoa em um questionário sem enviesar e sem ter uma linguagem muito robusto etc, isso é outra coisa. Agora, a parte mais de análise de dados, acho que a gente tem que começar perdendo o medo da matemática e da estatística. Quando eu digo matemática e estatística, não digo nada avançado nada muito profundo. Entender o superficial, o que é uma média, o que é uma moda, como eu pego uma mostra, assim por diante, já vai gerar muito valor para o seu trabalho. Por mais que você não execute, você vai conseguir conversar com pessoas que falam de dados de uma forma mais coerente. Além disso eu acho que vale a pena começar a olhar as ferramentas que tem no mercado que te dão acesso aos dados. Eu vejo que o designer, além da parte emocional, já tem um raciocínio lógico poderoso. Às vezes eu vejo que só falta acesso à ferramenta e superar esse trauma, esse medo da matemática como se fosse um monstro. Pareceu muita coisa mas eu vejo como um passo bem fácil de se tomar.

Izabela Muito bom ouvir isso, é bastante animador. Tem pessoas que trabalham como data ou fontes de informação que você recomenda a gente acompanhar?

Caio Eu acho que as principais pessoas para você acompanhar são os times de data da sua empresa. Senta com eles e troca uma ideia. Eu acho que são dois grandes aprendizados: 1. você começar a ter um contato com a área de dados da sua empresa, que vai ser muito rico e 2. você abre essa ponte entre essas duas áreas, que vai ter um valor muito poderoso.

Izabela E livros, você recomenda algum?

Caio Claro, eu acho que um livro que me ajudou muito a entender e ter um respaldo não é nem um livro sobre estatística aplicada e sim aquele "Como mentir com estatística". Ensina muito a interpretar os dados que eu estou lendo, que estão me passando, do que como de fato executar. Isso já é uma troca do modo de pensar muito poderosos. Se eu consigo ler, quer dizer que logo logo eu consigo começar a fazer, mesmo que devagar. Para começar a fazer tem alguns da O'Reilly, que eu não lembro de cabeça mas acho que é "Data-driven Design". É muito bom e dá um contexto muito interessante sobre como começar a utilizar dados dentro do mundo design.

Izabela Caio, eu já tomei mais de uma hora do seu tempo e quero agradecer muito pela sua participação. Foi muito rico, aprendi muito com você. Espero que a gente possa conversar outras vezes sobre esse tema que eu acho que é um tema bastante interessante e rico.

Caio Bacana, Iza. Eu que agradeço o convite, fiquei muito feliz de poder participar. Primeira vez que participo de um podcast assim e eu achei bem interessante. Se você quiser conversar é só me procurar, fica à vontade, e vai ser um prazer poder continuar conversando contigo sobre o assunto no futuro.

Izabela Que ótimo, Caio. Muito obrigada e até a próxima.

Caio Eu que agradeço. Tchau, tchau.

---

[Música]

Estamos chegando ao fim deste terceiro episódio. Espero que você tenha gostado!

Esta edição teve o apoio do TESTR, que é uma plataforma completa de testes de usabilidade ágil. O TESTR entrega todo o processo de testes com usuários de forma automatizada, incluindo o recrutamento, execução, recompensa aos participantes e também relatório com os resultados. Isso tudo em uma média de 48 horas. Agora você não tem mais desculpa para dizer que não dá para rodar pesquisa na sprint. Você que acompanha o Movimento UX tem a vantagem de ganhar três participantes extras na contratação de qualquer plano. É só acessar: aqui.

Obrigada por ouvir até aqui e até já.

[Música]