[Música]

Izabela Olá!

Olá! Esse é o vigésimo terceiro episódio do Movimento UX e esta temporada tem o propósito de conversar com as pessoas que lideram pesquisa em UX no Brasil e no mundo. A convidada de hoje é a Ana Rafaela, UX Researcher no YouTube, em San Bruno/Califórnia

Ela tem um perfil bem legal: é formada em Ciência da Computação e trabalhou como desenvolvedora de software por alguns anos antes de se dedicar exclusivamente em pesquisa. A Rafaela trabalha há muitos anos em empresas como GoPro, Cisco e Try Consultoria.

Neste episódio falamos sobre a dinâmica de trabalho dela com pesquisa global no time de Advertising do YouTube, o uso de repositório para aprendizados de pesquisa, dicas pra quem quer trabalhar em outro país e muito mais.

E uma notícia que nos deixa bastante animados: a Hotmart é a patrocinadora deste episódio e incentiva a produção de conteúdo sobre UX Design e Research.

A Hotmart é pioneira e líder na América Latina na venda de produtos digitais, atua nas áreas de educação à distância, marketing digital e fintech. Está em amplo crescimento internacional e o desafio de desenvolver produtos globais.

E a boa notícia é que tem várias vagas pros times de design e de desenvolvimento. Então se você é designer de produto ou desenvolvedor com habilidades em UX, pesquisa e interface, mora em Belo Horizonte minha cidade do coração, ou topa viver em terras mineiras, pode se cadastrar no banco de talentos pelo link bit.ly/vagasdahotmart.

As músicas que estão no início e no fim deste episódio são parte do projeto Aeoner do produtor Richard Garrell.

Lembrando que todas as informações e links que falei estão em movimentoux.com.

Então vamos lá… Eu sou a Izabela de Fátima e essa é a segunda temporada do Movimento UX.

---

Izabela Ei Rafaela, tudo bem?

Rafaela Tudo ótimo.

Izabela Muito obrigada pelo seu tempo e pela presença aqui no Movimento UX.

Rafaela Eu que agradeço a oportunidade.

Izabela Para começar, eu queria que você me contasse um pouco sobre você e como começou a trabalhar com pesquisa para design.

Rafaela A minha trajetória começou um pouco diferente, talvez, da maioria dos pesquisadores, pelo menos dos pesquisadores que eu conheço, porque eu comecei na computação. Eu sou formada em Ciências da Computação e eu fui engenheira desenvolvedora por cinco anos, fazia código, eu era programadora. Trabalhava para o SERPA, que é um serviço de processamento de dados do Brasil. Para falar de porque eu entrei em user experience tem que falar o que eu estava fazendo da computação. Quando entrei na computação, queria ajudar as pessoas a usar a tecnologia. Eu queria melhorar a vida das pessoas por meio da tecnologia, por meio de programas. Depois de trabalhar cinco anos na área, me toquei que não estava ajudando ninguém, que o meu software não era tão legal assim, que as pessoas não estavam sabendo usar. Depois de me envolver com a área de requisito dentro desse papel de desenvolvedora, eu comecei a ir para os clientes e perguntava quais os requisitos do software e o que eles queriam no software. Eu fazia exatamente o que eles pediam e eles ainda não estavam felizes. Não era o que eles queriam, não ajudava a vida deles. Eles basicamente continuavam fazendo as mesmas tarefas, não estava ajudando nada a melhorar o processo de ninguém e ninguém sabia usar. Foi quando um amigo me falou de usabilidade. Inclusive quando ele me falou, eu pensei que estava falando de reusabilidade, que dentro da computação é quando você faz códigos de maneira que você consiga reutilizar. Ele me explicou o que era porque eu não tive uma disciplina na computação sobre isso, aliás, deveria ter tido. Eu achei que seria ótimo aprender a ser designer, então eu queria ser designer. Eu larguei tudo e fui fazer mestrado em Interação Humano-Computador na Carnegie Mellon nos Estados Unidos. Foi aí que eu aprendi o que era, comecei a estudar um pouco mais de psicologia, coisa que eu adorava, mas era mais um hobby. Sempre fui interessada em entender como seres humanos pensam e comportamento humano, adorava estudar textos de psicologia. Na verdade, estava na intenção de ser designer, mas comecei a ver essa coisa de pesquisa e me apaixonei, né? Porque para mim é uma felicidade tão grande quando eu comecei a entrevistar usuários e eu via que descobria coisas que nem eles próprios sabiam que era necessidade deles. Aí que eu me toquei que é assim que você tem que perguntar, fazia tanta pergunta leading. Como fala isso em português que eu queria aprender?

Izabela Que já está enviesando, que está levando ele a responder algo que você quer.

Rafaela Eu não sabia que estava perguntando as coisas da maneira errada. Não sabia que o usuário não sabe necessariamente o que ele quer e que usuários não são designers. Eu lembro meu primeiro dia de aula que o professor chegou na aula de metodologias de pesquisa e escreveu no quadro bem grande “Is not the users fault”, a culpa não é do usuário. Pronto, eu me apaixonei. Eu sabia que não era do usuário, nunca foi.

Então foi assim, desde então eu meio que larguei a computação. No mestrado eu ainda codifiquei um pouco porque a gente tinha que fazer o projeto do início até o final. Depois que me formei eu trabalhei em Portugal, em uma empresa de tecnologia. Eu era uma equipe de um UX, fazia tudo. Fiz a pesquisa, fiz o design, eu fiz o protótipo, eu codifiquei. Foi a última vez que eu codifiquei, em 2011. Hoje em dia não sei mais nem o que é um código, mas o conhecimento fica. A gente sempre sabe como pensar de maneira engenheira.

Izabela Como foi focar em pesquisa e fazer esse twist, virar a chave?

Rafaela Eu queria ser designer, mas esse curso que tem na Carnegie Mellon de Masters em HCI, faz você passar por todas as fases ligadas a user experience. Inclusive, várias pessoas que se formam nesse curso terminam como prototipadores. Eles são ainda codificadores, mas trabalham muito próximo à equipe de ux para trabalhar só com protótipo.

Eu achei que ia só para a parte de design, mas eu comecei a ver que eu não gostava muito dessa fase. Quando chegava nessa fase depois da pesquisa dava preguiça e eu era muito perfeccionista, nunca gostava do que eu tinha feito o design, sempre achava um problema com tudo que eu fazia. Eu vi que era realmente mais pesquisadora do que designer e resolvi focar nessa área quando eu me mudei para o Brasil de volta.

Eu trabalhei lá Try Consultoria e Pesquisas e aprendi muito porque estava fazendo só pesquisa. Da Try eu já vim para cá pro vale, já me rotulei como pesquisadora e não peguei mais nenhum trabalho de design.

Izabela E como que essa sua experiência, com a sua formação em Ciência da Computação e o seu trabalho com desenvolvedora de software, contribuiu para seu trabalho como pesquisadora?

Rafaela Ótima pergunta porque eu queria falar sobre isso. Contribuiu muito porque eu vejo o papel do pesquisador como uma ponte entre o designer e o engenheiro, o desenvolvedor. Normalmente são pessoas que pensam de maneira muito diferente e têm esse gap, não conseguem se comunicar e tem uma certa relação de ódio um entre o outro. Eu veja a pesquisa como uma maneira de unificar isso de comunicar. O engenheiro é muito bom em resolver problemas, mas talvez não tão bom em identificar problemas. Então, como eu fui engenheira, eu consigo entender e tenho uma capacidade maior de conversa com o pessoal da engenharia. Ao mesmo tempo também tenho treinamento em design e eu consigo pensar mais abstratamente. Outra coisa que ajuda também é entender código, né? Então assim, às vezes você chega para o engenheiro “eu queria fazer isso aqui, vamos mudar isso aqui porque os usuários não estão entendendo” e sempre tem aquele engenheiro que tenta engabelar, dizendo que demora muito ou é muito complicado. Como eu entendo, eu consigo dizer que não é complicado. Quando eles sabem que eu tenho uma formação em engenharia não tentam mais me enganar. Tem aquele choque inicial, mas depois tem um certo respeito que é ganho. Eu acho que ajuda bastante também.

Izabela Muito legal ouvir isso. Hoje você é UX Researcher no YouTube. Qual o seu papel?

Rafaela Eu trabalho com a equipe de ads, anúncios, propaganda. Não sei como faria a tradução, mas a gente trabalha com parte de propaganda do YouTube. Não só do YouTube, mas como todos os serviços do YouTube.: music, kid, tv. Não sei se esses serviços já chegaram no Brasil, mas tem vários serviços. E como a gente está trabalhando com toda a propaganda que aparece nesse serviço, nos aplicativos, eu tenho que me comunicar com todas as equipes de UX do YouTube. Tudo o que a gente faz precisa ser em colaboração com eles. Para explicar a parte que a gente trabalha eu tenho que explicar como funciona o YouTube.

Nós temos três usuários básicos. Os criadores, que são o que o pessoal chama de YouTubers, que estão fazendo vídeo e postando. Os viewers, quem assiste. E nós temos advertisers, que são as empresas que anunciam no YouTube. A minha equipe é responsável pela parte dos viewers, de quem está assistindo, e o nosso papel é fazer com que as propagandas não sejam uma coisa que disturba muito as pessoas. Como é propaganda, a gente sabe que não dá pra ser “Ah meu Deus, eu amo propaganda”. Também não temos controle sobre que conteúdo a propaganda vai ter. A minha equipe – os designers, pesquisadores, product managers – trabalha com os formatos dos anúncios.

Antigamente a gente tinha só um anúncio de vídeo. Agora existem alguns vídeos têm dois seguidos. Fizemos um estudo para entender se seriam recebidos com muito ódio ou pouco ódio. Estou brincando. O YouTube se preocupa muito com com os nossos viewers e com a percepção que nossos usuários têm da plataforma. A gente não é evil, como as pessoas podem pensar, que só queremos colocar propagandas a todo o custo. O objetivo da gente, principalmente da parte de pesquisa, e o meu papel, é estudar qual o impacto que tem no usuário de termos esses novos tipos de propaganda – porque também não é só vídeo, temos vários outros tipos de propaganda nessas plataformas.

Izabela Só dando um passinho para trás, em qual YouTube você está hoje? Em qual lugar do mundo? Não te perguntei isso ainda.

Rafaela Sim, verdade. Estou em San Bruno, que é o headquarters.

Izabela A equipe que você acabou de mencionar está aí também ou está espalhada?

Rafaela A gente está dividido um pouco. Tem gente em Los Angeles, tem o pessoal da equipe dos anunciantes que está mais concentrada em Zurique, na Suíça, e temos também algumas pessoas em Mountain View. Essa parte de ads é um pouco híbrida entre YouTube e Google. Aliás, cabe ressaltar que YouTube e Google são a mesma empresa. Eu sei que algumas pessoas sabem disso e todo mundo aqui no Vale do Silício sabe, mas já tive várias experiências de pessoas que não sabem. Então, por causa disso, várias pessoas da nossa equipe da parte de propaganda do Google estão também em Mountain View. A gente tem reuniões em vários lugares diferentes, e tem várias reuniões também remotas.

Izabela Você está mais ou menos uns dois anos no YouTube. O que mudou no seu trabalho durante o tempo no YouTube? Desde o início da sua experiência você está envolvida com ads? Se você pudesse fazer uma timeline desde o dia que você chegou no YouTube até hoje, teve alguma mudança notável no seu escopo?

Rafaela O escopo, na verdade, não mudou. Eu estou nessa equipe desde que eu entrei, mas teve uma curva de aprendizado muito grande porque eu nunca mexi com marketing, nunca mexi com propaganda. Não sabia nada disso, eu vim da GoPro, que é uma câmera. Eu estava estudando como as pessoas fazem vídeos, storytelling, coisas desse tipo. Não tinha nada a ver com propaganda. Eu tive que aprender a linguagem e como a empresa se organiza com relação a isso. Teve uma curva bem grande. Fora isso, eu acho que na questão do escopo o que muda é que a gente tem que trabalhar com várias equipes diferentes dentro do YouTube. Eu mudei de equipe algumas vezes. Não é que eu mudei de equipe, eu mudei os projetos. Eu já tive projeto com o YouTube TV, já projeto com o YouTube Music, eu tive projetos com outras equipes. E dentro também da parte de formato dos anúncios, nós temos coisas específicas. Por exemplo, alguns anúncios são o que a gente chama de branding, são anúncios que a gente está contabilizando só o tempo de visualização, não importa o que o usuário vai fazer com que o anúncio. Nós temos o direct response, que são anúncios que a gente tenta procurar uma convergência, está procurando número de cliques, número de pessoas que convertem, que compram ou baixam aplicativos. Eu andei em vários projetos diferentes e eu pude ver um pouquinho de cada coisa, mas sempre dentro da parte de viewers e sempre dentro da parte de anúncios.

Izabela Voltando até mais no contexto da sua atuação, você já contou que está no time de viewers. Eu queria entender um pouco mais como que é a estrutura do contexto no qual está inserida, por exemplo, o seu trabalho é mais vinculado à rotina de algumas squads ou você tem uma atuação mais horizontal?

Rafaela No Google os objetivos são definidos por quarter. Então depende muito, varia muito pelo quarter e em qual projeto vou estar. Eu tive ano passado um projeto na Índia. Eu tive muitos stakeholders, muito mais do que o normal. Normalmente a gente trabalha, se for um projeto pequeno, uma coisa mais tática, trabalha normalmente com um designer e um product managers. Se o projeto é grande como esse da Índia, que foi mais de estratégia e que a gente não tinha muita informação, uma coisa bem qualitativa com pesquisa de campo e etnográfica, aí envolveu vários departamentos e vários cargos diferentes. Os engenheiros foram mais envolvidas, pessoal de marketing também foi envolvido porque quando você lida com anúncios o marketing de certa forma está envolvido também. E a gente também teve que trabalhar com o pessoal que trabalha com os anúncios, os advertisers, e com os creators também.

Izabela Neste momento você está inserida, não sei se você pode falar, em qual projeto e em qual estrutura?

Rafaela Eu não posso falar do projeto, mas eu posso falar que eu tenho trabalhado mais com esses anúncios de direct response. Os formatos que levam o usuário a ter uma ação, que não é necessariamente são só uma propaganda que você vê, tem alguma forma de você interagir com o anúncio.

Izabela Como que os pesquisadores estão organizados na empresa?

Rafaela Nós somos menos de cem, não sei exatamente quantos ao certo nós somos, mas cada equipe tem certa quantidade de pesquisadores. Eu não sei se posso falar exatamente como as s se estruturam lá dentro, mas nós temos alguém que é responsável, por exemplo, só pela parte de comentários, alguém que é responsável pelos criadores e a experiência com a postagem e como eles vão postar, tem um time só para lives. Então eles estão organizados por produtos dentro do YouTube. Quando a gente pensa em YouTube pensa que é só uma coisa, mas quando você vê lá dentro tem várias. A gente tem a cada duas semanas, com todos os pesquisadores, uma reunião onde a gente apresenta metodologias, não necessariamente focado nos resultados, mas o que a gente aprendeu com as metodologias, o que funcionou ou que não funcionou e eu acho extremamente válido para o crescimento da gente. E eles também são muito organizados, toda semana tem uma newsletter dizendo quais são nas pesquisas do dia. Tenho muito orgulho de ser parte dessa equipe de pesquisadores.

Todo os nossos deliverables tem um formato padrão. Claro que a gente pode modificar, mas tem pelo menos uma linguagem padrão. Tem um site que tem todos os exemplos: esse é um exemplo de um e-mail para você convidar pessoas para assistirem as ações, esse é um e-mail para compartilhar rapidamente. Então tem várias exemplo de apresentações e modelos que você pode usar. Acho que isso é muito válido também.

Izabela Deve ser uma fonte riquíssima de aprendizado e de troca também. Dá para sentir o seu orgulho ouvindo você contar. Muito bom, fico muito feliz com essa oportunidade de te ouvir. Sobre o time de pesquisa, como que vocês se organizam do ponto de vista de técnicas? Por exemplo, eu tenho notado que algumas equipes se dividem em generalista, quem faz quali e quanti, ou generalista que vai fazer mais quanti ou ser especialista de quali, ou também outras equipes se dividem com pessoas que tem um perfil mais de descoberta e outro mais de validação e usabilidade. Como é que vocês estão nesse contexto?

Rafaela Não sei se é no Google inteiro, mas eu noto muito no YouTube que tende mais ao especialista do que um generalista. Eu sou qualitativa, temos um pesquisador quantitativo na nossa equipe, mas são menos. Nós temos bem mais qualitativos do que quantitativos, mas nós também temos vários engenheiros que são data analyst. O YouTube, como o Google também, trabalha muito com A/B testing, a gente faz muito do que eles chamam de experiments, então eu acho que por conta do pesquisador qualitativo poder trabalhar com esses analistas de dados, acaba que não necessariamente a gente precisa de um quantitativo sempre, mas nós temos também pessoas específicas trabalhando com pesquisa quantitativa e normalmente são pessoas com PhD e inteligentíssimas. Aliás, todo mundo lá é muito inteligente, eu não sei nem o que estou fazendo lá.

O que eu noto também é que quando o pesquisador consegue fazer os dois e é bem generalista, nesse caso, na atuação eles acabam fazendo só um dos dois e normalmente é o que a equipe precisa mais. Então, digamos que eu sou um generalista, mas na minha equipe só tem qualitativos. Eu vou atuar mais na parte quantitativa para poder fazer o balanço. Agora, com relação ao tipo de pesquisa, eu acho que é esperado de todos que você possa fazer todo tipo de pesquisa, tanto a coisa mais reativa, mais tática, como um estudo de usabilidade, como uma coisa mais de fundação, como estratégica. Uma coisa que nós temos no YouTube, que é bem mão na roda, é uma equipe chamada rapid research science, que é uma equipe de pesquisadores que o trabalho é fazer pesquisas usabilidade e eles têm um formato específico. São sempre seis usuários, eles fazem na quarta-feira, todo o processo de pesquisa é feita em uma semana. A gente contacta eles para ver quando eles têm disponibilidade, normalmente no começo do trimestre, para saber como eles estão organizados, a gente faz a requisição e tem resultados em uma semana. Claro que tem os limites, eles têm uma fórmula pronta, tem um certo número de perguntas que eles podem cobrir, são sempre seis usuários e o perfil dos usuários não pode ser algo muito difícil, tem que ser uma coisa mais genérica porque toda semana estão fazendo pesquisas.

Quando a gente tem estudos assim, de usabilidade ou de QA ou de alguma coisa assim mais simples, a gente tenta usar esse recurso porque tenta priorizar o nosso tempo para coisas que requerem um pouco mais de tempo e habilidades.

Izabela Eles que fazem o recrutamento também?

Rafaela Nós temos uma equipe de recruiter, que eu acho ótimo também porque na GoPro eu tinha que fazer meu próprio recrutamento e agora estou achando ótimo.

Izabela Eu acho que esse é o sonho de todo pesquisado. Eu também faço meu próprio recrutamento.

Rafaela Nossa, muito bom, não tenho palavras para agradecer. Eu sempre agradeço meus recrutadores e eles falam que sou pessoa que mais agradece de todos. É porque eu já passei pela situação de ter que recrutar e agendar. Acaba que você não tem nem tempo de preparar o script porque você está toda preocupada se a pessoa vai vir ou não vai.

Essa equipe que faz a rapid research, eu não sei se eles vão pelo recrutamento da gente, dos pesquisadores, ou se eles têm a data base própria. Eu acho que eles têm uma equipe dedicada para esse tipo de recrutamento.

Izabela Fantástico. Com relação às pesquisas de marketing e as pesquisas mercadológicas, vocês também fazem ou tem pesquisadores que são especialistas em marketing, em mercado?

Rafaela Nós estamos. Dependendo do produto nós temos o product specialist, que trabalham também com a parte de pesquisa, de marketing. A gente tenta focar só em user experience mesmo. Agora, como eu estou na área de anúncios, a linha é muito tênue. Várias vezes um product manager vem para mim e me faz uma pergunta de algo que eles querem saber dos usuários e eu tenho que dizer para eles que isso é mais marketing, que não é muito de user experience. Então, como o meu produto é um pouco diferente, a gente não tem muito product specialist na parte de anúncios, a gente trabalha muito com a equipe de vendas. O pessoal de sales, que está vendendo esses slots, eles têm a própria equipe de marketing. Esse é o pessoal que faz normalmente esse tipo de pesquisa para a nossa equipe. Eu sei que em outras equipes, por exemplo, a equipe de música, vai ter um especialista nisso que trabalha com a equipe de marketing para música.

Izabela Interessante. Como que costuma ser seu processo de pesquisa? Conta de uma maneira geral quais são os passos desde que você inicia um projeto até a entrega dele.

Rafaela Tem dois processos básicos que acontecem. Eu trabalho muito próximo dos designers. Às vezes os designers têm uma curiosidade, estão trabalhando em uma coisa nova e querem uma validação mais rápida. Nesse caso, ele vêm até mim e eu proponho uma pesquisa mais rápida com eles. Nesse ponto, eu envolvo o product manager mais para eles saberem. A gente está fazendo isso, você tem alguma outra pergunta que a gente não não incluiu aqui, etc.. Eu tento sempre manter todo mundo informado. Uma vez que eu tenho todas as perguntas, eu envolvo os engenheiros para a gente tem uma priorização e mudar se o escopo estiver ficando muito grande, o que normalmente acontece porque todo mundo quer colocar as perguntas. Eu converso com os engenheiros, com o products managers e os designers, sempre favorecendo mais o que o designer quer saber porque ele que veio até mim. Se for sessões em laboratório eu mando o convite para a equipe toda de engenharia, de produto e todas os designers da minha equipe. Se alguém quiser assistir, fazer anotação. Normalmente, eu dou uns mínimos, mas é coisa minha mesmo. Eu digo quem tem que assistir no mínimo tantas sessões. Aí depois a gente tem um debrief, normalmente diário, onde eu anoto os insights maiores. Tento no final da semana mandar algo rápido só para a equipe inicial, poucas pessoas porque eu não analisei ainda a informação total. Aí trabalho depois da análise e faça normalmente um relatório que é, na verdade, uma apresentação. A gente faz nossos relatórios em slides mesmo, usando o Google slides. Esse é o processo mais simples para algo rápido.

também as pesquisas mais estratégicas. Nesse caso, eu vou ter uma reunião com o product manager e eu tento entender as necessidades dele. Como vão ser usado esses resultados porque se é uma coisa muito aberta a gente tem que começar a focar, o que pode ser parte da minha equipe, o que seria parte do marketing. Tem um processo de priorização das perguntas também. E eu trabalho também com deadlines. Quando o product manager vem para mim e pede o mundo, normalmente eles pedem o mundo inteiro, precisa saber quais são os planos deles, que tipo de informação eles precisam e quando. A partir disso eu posso divide a pesquisa em várias pesquisas, eu não preciso fazer tudo em uma pesquisa grande. Quanto mais informação eu der para ele mais rapidamente, mais contente eles vão ficar com a nossa equipe, mais eles vão voltar e vão querer fazer de novo.

O que já aconteceu comigo, não no Google necessariamente, mas na minha carreira, é que quando a gente faz uma pesquisa muito grande, que quer cobrir todo o mundo e todas as perguntas, demora para ter os resultados. Em uma outra oportunidade o product managers não vem mais até [a área de] pesquisa porque acha que é muito complicado e vai demorar muito tempo e tudo mais. Nsse processo mais parcial eu crio o que eu chamo de research program em vez de research plan, um programa de pesquisa que tem várias e várias pesquisas dentro. Dessa forma eu posso entregar o que eles precisam no tempo que eles precisam.

Izabela Bacana, muito bacana. Sobre o tempo que você chama de algo mais rápido e algo mais demorado? Como vocês trabalham?

Rafaela Eu acho que rápido seriam três semanas, no mínimo, a um mês. O mais demorado eu acho que seria, por exemplo, esse da Índia que foram seis meses por causa de todo o planejamento. A gente fez o diário antes de ir lá, fez entrevistas, trabalhamos com a agência local. Sempre que envolve agências locais demora um pouco mais. Acho que demorou uns seis meses para esse e ainda está correndo assim, a gente não terminou tudo que a gente queria fazer. Não estou mais nesse projeto, mas ainda temos outros pesquisadores que foram alocados.

Izabela Ou seja, se a gente está falando de pesquisa de usabilidade, que já tem uma infraestrutura montada para fazer aquilo acontecer com dias para ter um protótipo e para a quantidade de perguntas, aí é uma semana. Fora isso, que não é de usabilidade, umas três semanas.

Rafaela Isso porque é uma semana para planejar, uma semana para conduzir e uma semana de análise, com apresentação no final. Dependendo do assunto que vai ser estudado é preciso envolver outras pessoas, aí começa a ter... Digamos que se for uma pesquisa que não tem muita discórdia, a gente consegue fazer em uma semana. A gente chama aqui de “too many cooks in the kitchen”. Se tiver muita gente no meio começa a ficar mais difícil de ser uma coisa rápida.

Izabela Entendo. Que técnicas você usa com mais frequência?

Rafaela Eu tento evitar laboratório. Bastante. Apesar de ter feito várias pesquisas de laboratório, tento evitar porque o que eu estou estudando são anúncios. É difícil das pessoas se comportarem de maneira natural, o que elas realmente iriam fazer quando elas veem um anúncio estando sendo pagas para estarem lá. Eu tento evitar, apesar de eu fazer.

O que eu faço mais, que eu acho que funciona melhor, estudo de diário com uma parceria com os engenheiros porque eu consigo fazer um A/B testing. Na verdade não seriam A/B testing porque normalmente quando eu faço esses diários de uso tem mais de uma condição. Eu consigo colocar cada grupo para ver um certo tipo de condição e eu faço um estudo de diário de duas semanas e no final eu consigo realmente ver qual foi o impacto que aquela mudança teve. Se eu só chamar eles, pro laboratório, eu não confio muito. Se for coisa simples, se for coisa de usabilidade, entendimento, eles entendem o que podem fazer, se for affordance, dá para fazer em lab. Se for algo mais da percepção, será que vai ser muito chato pro usuário, eles vão notar ou não, aí tenho que fazer estudo de uso mesmo.

Também já fiz home visit quando já estava trabalhando com a equipe do YouTube para a TV. A gente estava querendo estudar como o usuário está assistindo, onde está o controle remoto, estão perto do celular ou não. Nesse caso a gente teve que visitar as casas, mas normalmente eu diria que é entrevista em pessoa e diário de uso.

Izabela Como você costuma documentar e organizar os aprendizados de pesquisa?

Rafaela No Google, e no YouTube também porque é unificado, nós temos um repositório de todos os relatórios e apresentações que foram feitos. É responsabilidade do pesquisador colocar nesse repositório. Você pode pesquisar por qualquer coisa, por palavra-chave, nesses relatórios e você consegue ver. A palavra-chave você também, como pesquisador, que tem que colocar. Pode até ter coisa no repositório que você não acha porque a palavra-chave não foi tão chave assim.

Fora isso, não temos realmente uma maneira de organizar essas informações. Na nossa equipe a gente não trabalha com personas porque fica muito difícil documentar todos os tipos de pessoas que assistem YouTube. Na verdade, é o mundo inteiro, Fica um pouco complicado fazer isso, mas é algo que estava querendo fazer, sabe. Eu queria ter uma base de dados com esses insights.

Tem algumas iniciativas, dependendo do produto. Por exemplo, tem uma equipe que trabalha só apps, anúncio sobre aplicativos. É uma equipe grande porque tem representação no Google, no YouTube na parte de adwords. Os pesquisadores se reúnem mensalmente, tentam conversar sobre o que a gente está achando em nossas pesquisas. A gente está tentando fazer um mapeamento disso aí, mais ainda está muito inicial. Não tem muita coisa fora o repositório, não. Mas o repositório ajuda pra caramba. É a minha base para fazer o literature review, que seria uma revisão de literatura.

Izabela Acho que seria uma revisão do histórico de pesquisa. Seria como se eu fizesse uma desk research, como se eu fosse ver o que já foi publicado sobre aquele tema.

Rafaela Exatamente. Você faz um relatório que combina todas as coisas que já foram descobertas para não reinventar a roda, mas é um trabalho extra porque você tem que ler tudo aquilo e condensar.

Izabela Apesar de ser um trabalho extra, eu imagino que deve ser extremamente interessante para o seu ponto de partida começar com mais embasamento. A gente que trabalha com pesquisa em empresa, muitas vezes as perguntas que estão pedindo para a gente responder, provavelmente em algum outro momento, alguma outra tribo, alguém já deve ter pesquisado e investigado algo que possa nos dar uma evidência de alguma coisa. Ao mesmo tempo, deve ser muito legal também

Rafaela Eu concordo, é o meu primeiro ponto de partida. Eu não mencionei no meu processo de pesquisa, mas sempre é meu primeiro ponto de pesquisa. Comecei uma pesquisa nova, conversei com o product manager e tenho uma lista de mil perguntas que eles querem que eu responda. A primeira coisa que eu faço é ir nesses repositórios e ver o que já foi respondido. Volto para o product manager e digo que para essas perguntas a gente já fez algum tipo de pesquisa e estão aqui os relatórios. Às vezes, dependendo do tempo que eu tenho, eu faço uma apresentação para ser mais fácil o consumo porque se eu só mandar os links, eles não vão ler, necessariamente. Eu sempre faço isso para evitar de perguntar a mesma coisa duas vezes. Às vezes eu acho uma pesquisa que foi, por exemplo, de 2010. Apesar de já ter a informação, eu escrevo que a gente sabe disso de 2010, mas que cabe uma validação. A gente precisa reavaliar e ver se não mudou nada porque já se passaram nove anos.

Izabela Como é esse repositório? É como se fosse um Google Drive no qual vocês colocam os keynotes e PDFs junto com tags?

Rafaela Não é um Drive, é como se fosse um sistema mesmo. Alguém construiu um sistema e você tem um campo de busca por palavras-chave. Quando você recebe os resultados, vem como as tags e o link para aquele arquivo com uma pequena introdução. Quando você vai inserir sua pesquisa, você tem que inserir qual a equipe, quando foi, quais foram os researchers envolvidos, se teve mais alguém envolvido – porque você pode pesquisar também por pessoa. Às vezes você sabe que fulaninho fez uma pesquisas três anos atrás e você não está achando, você pode ver tudo o que aquela pessoa já postou.

Izabela Interessante. As palavras-chaves são as tags que vocês colocam ou também tem a possibilidade de se buscar dentro do documento da pesquisa?

Rafaela Não, são só tags que a gente coloca. Existe uma ferramenta auxiliar, que eu acho que a maioria das pessoas não sabe ou talvez nem use, que você submete o arquivo e essa ferramenta dá as palavras-chaves. Essa ferramenta está olhando realmente dentro do documento, mas normalmente acho que não é assim que as pessoas fazem. As pessoas colocam a palavra-chave porque também já está no final da sua pesquisa e você quer começar a pesquisa nova.

Izabela Alguém já está te chamando para outra, eu imagino. Como é que você faz para que os aprendizados da pesquisa sejam refletidos no produto?

Rafaela Tem algumas coisas que eu faço, mas eu acho que é um constante aprendizado para melhorar isso. Algumas coisas que têm funcionado comigo, é logo no início envolver o product managers porque ele que no final do dia vai poder realmente fazer alguma mudança. Desde o início eu pergunto o que é que eles querem, por que eles querem essa pesquisa? O que vai acontecer, digamos que a gente tenha várias hipóteses, se for validada ou invalidada? O que vai refletir no produto? Quais datas que eles precisam dessa informação? Toda essa parte inicial que eu faço ajuda muito a envolver o product manager na pesquisa. No final, quando eu tenho os resultados, eu já sei como ele vai usar. Quando estou fazendo meu relatório, eu tento fazer de uma maneira que seja de fácil consumo, não só para o product manager, mas para audiência deles, para quem eles estão tentando levar essa informação. Se eu fizer a vida dele um pouco mais fácil, mais fácil também deles usarem os resultados no produto.

Outra coisa que ajuda muito é sempre fazer uma metodologia híbrida e combinar não só a pesquisa qualitativa que estou fazendo com os números. Os números não mentem. A gente tenta trabalhar com os cientistas de dados, com A/B testing, os experiments, que quem fazem são os engenheiros. Quando você tem o que está acontecendo pelos números e as análises de log, com o porquê está acontecendo, é muito mais rico e convence muito mais do que se eu só dizer que falei com dez pessoas e eu acho que elas não vão entender certas coisas ou é essa a maneira que eles estão se comportando. Se eles estão vendo pelos números, em conjunto, eles têm mais confiança de agir naquele insight.

Izabela Bem interessante Quando você vai trabalhar em parceria com cientistas, como é essa troca com relação ao planejamento, o programa de testes dos testes A/B?

Rafaela Eu acho que cada equipe tem uma maneira diferente de trabalhar. Na minha, a gente ainda está tentando descobrir qual a maneira mais afetiva. Duas coisas podem acontecer: ou o engenheiro lança hoje o teste porque o product manager pediu e às vezes a gente não é nem informado. Às vezes a gente pede para eles lançaram, dependendo de quando é um processo maior. Dependendo do que a gente quer, pode ser que seja só uma modificaçãozinha de alguma coisa que já foi lançada ou pode ser algo mais complicado. Se for mais complicado, a gente tem que ter a aprovação para o uso de recurso e do tempo deles e tudo mais. É quando é valiosa a minha experiência com engenharia também porque eu posso conversar com eles e dizer que é simples, a gente pode fazer rapidamente

É uma coisa meio orgânica, a gente ainda está tentando descobrir como esse processo deve ser feito. Às vezes a gente já tem um experimento e algo acontece. A gente vê os números que geram a pergunta, uma pergunta de pesquisa, e aí eu faço a pesquisa para entender o que está acontecendo. E às vezes acontece contrário. Faço a pesquisa qualitativa primeiro e aí a gente lança o teste e vê o que está realmente acontecendo.

Izabela Entendi. Esse é um ponto que me chama muita atenção também. Às vezes a gente faz uma pesquisa quali e você tem algumas evidências de que um caminho, por exemplo, ser interessante, mas vai para o teste A/B e o resultado mostra que, na verdade, não é comprovado que aquilo seria o melhor. Ou seja, não sei se vou falar a expressão certa, mas é como se fosse uma irrelevância estatística. Fica aquela dúvida: quando parar, quando que de fato ter uma visão de números que não tem uma relevância estatística pode nos ajudar a tomar uma decisão? Essa é uma dúvida que já tem um tempo que eu ando em looping tentando saber como lidar melhor e eu ainda não sei.

Rafaela Se você descobrir, me diga. Às vezes acontece de você fazer uma pesquisa em que você diz que os usuários gostaram, por exemplo, mais do design B. Aí você lança o teste e o que tem a melhor performance é o A. Acontece que o A foi o mais odiado durante as pesquisas qualitativas. Eu acho que entra sempre a questão de qual pergunta você está tentando responder com a metodologia porque se um usuário está dizendo que prefere anúncio X, não quer dizer necessariamente que ele prefere porque acha o design melhor ou a usabilidade melhor. Não quer dizer que vai ser o que ele vai ciclar mais ou assistir mais.

Eu acho que, as vezes que eu vi acontecendo essa inconsistência, foi quando as perguntas não estão... Aliás, não é a mesma pergunta, então por isso que você não pode comparar. Eu tive muitas discussões com engenheiros sobre isso porque eles dizem que confiaram na pesquisa, então pesquisa não serve para nada. Em usabilidade, os usuários sabem usar mais esse, mas eles estão clicando em outro por outro motivo, que eu não sei ainda. Se você quiser, a gente pode fazer uma pesquisa para tentar descobrir o porquê disso estar acontecendo. Mas as perguntas não são a mesma, não dá para comparar. A gente fala que “it’s not apples to apples”, não dá para comparar uma laranja com uma maçã.

Izabela Qual o principal desafio de trabalhar com pesquisa hoje no seu seu ponto de vista?

Rafaela Eu acho que o principal desafio hoje é o desafio que foi sempre um desafio, que não muda. A questão do número de participantes e se é representativo ou não é representativo do problema e se é estatisticamente válido ou não é estatisticamente válido. Eu acho que o mais difícil é convencer e receber um entendimento quando os seus stakeholders não entendem. Tentar explicar o que é uma metodologia versus outra, até dá para tentar contornar na parte de evangelização. Na minha experiência, não sei se é também porque trabalhei na área de tecnologia, tem sido essa parte dos números. É sempre difícil de tentar uma mudança baseada em algo que dez participantes disseram, principalmente se você estiver desenvolvendo para uma audiência grande. Eu trabalhei também na Cisco, muitos usuários. GoPro, muitos usuários no mundo todo. Por isso que eu comecei a usar mais técnicas híbridas para poder valorizar um pouco mais o qualitativo, mas eu acho que o qualitativo não é muito valorizado e as pessoas valorizam muito mais os stakeholders, muito mais o quantitativo.

Izabela O que você levaria em consideração para medir o nível de maturidade de UX Research em uma empresa? A gente está falando de uma empresa qualquer.

Rafaela Eu acho que uma coisa bem prática, que eu acho que você vai até rir, é se eles têm uma equipe de recrutamento. Risos. Porque para você ter uma equipe dedicada para recrutar participantes é porque você realmente sabe que é importante.

Então, assim, tem vários níveis, né?! O primeiro nível é: você tem pesquisadores alocados para UX? Ou seja, não é o seu engenheiro ou designer que está fazendo a pesquisa. A empresa mais madura que trabalhei foi o YouTube porque eles têm esse serviço de apoio, porque realmente a qualidade da pesquisa aumenta muito quando você não tem que se preocupar com isso. Então eu vejo isso como um sinal; é uma coisa simples, mas acho que é um sinal de que a empresa está realmente dedicada a isso.

Agora tem outras coisas né, por exemplo: a pesquisa está envolvida no processo? Existem alguns requisitos antes de você fazer um launch, um lançamento de produto. São requisitos de User Experience ou de pesquisa que precisam passar antes de você lançar? Ou eles vão só olhando bug? Porque tem muita empresa que só quer saber se tem bugs. E quem olha bugs é o engenheiro. Então, funciona ou não funciona? Acontece que aquele engenheiro sabe exatamente como a coisa funciona, então não vai achar os problemas, né? Eu acho que é isso, mais ou menos.

Izabela O que que você viu, leu, ou ouviu sobre pesquisa que mais influenciou a forma que você trabalha?

Rafaela Acho que foi um livro que chama It's Our research que é, inclusive, de um Googler. Eu não sei o nome dele agora.

Izabela Acho que é o Tomer Sharon, é que eu sou muito fã dele, então eu tenho esse livro dele. E que é a mesma pessoa dos Nuggets.

Rafaela Ah, é? Eu nem sabia… Meu Deus que vergonha. Mas eu sou péssima de nomes, leio vários livros e nunca sei o nome do autor. Mas esse livro eu eu, eu trabalhei em empresas que era muito difícil fazer tudo. Eu colocava todo o meu trabalho naquela apresentação, ia apresentar e nada acontecia. E aí o que eu fazia era só reclamar, porque ninguém me entende. Era aquele pesquisador injuriado, que achava que as pessoas não gostavam de mim e que só fazia reclamar, porque os engenheiros não me entendem, o pessoal de produto não me entende, não brigam pelo usuário. E aí eu li aquele livro. E o livro diz: se ninguém está usando seus achados de pesquisa, a culpa é sua como pesquisadora. E aí eu parei de reclamar e pensei o que que eu posso fazer durante o meu processo para que a minha pesquisa não seja em vão? Porque parte do pesquisador é esse convencimento, você tem que convencer porque é você que vai contar a história, você que é o storyteller. Então se eu não to contando uma história boa, eles não vão aceitar, né? Então acho que isso foi o que mudou mais a minha maneira de trabalhar, de tomar responsabilidade pelo processo inteiro, não só de fazer a pesquisa mas de fazer com que a pesquisa seja usada.

Izabela Muito bom ouvir isso. Como e onde você se informa sobre pesquisa ou sobre pesquisa para design?

Rafaela Eu costumava ir em vários eventos, estou numa posição privilegiada porque estou no Vale do Silício. Aqui tem evento quase todo dia sobre design e sobre pesquisa e aí eu via as palestras, mas eu tenho que confessar que não tem ido desde que eu entrei no Google porque a gente tem tanta coisa interna. Tem essa apresentação dos pesquisadores que eu te falei que acontece de duas em duas semanas e eu simplesmente não tenho tempo de ficar indo mais nos eventos. Eu prefiro até aprender pelos meus colegas porque são problemas parecidos, né? Eu tô rodeada de pessoas brilhantes. Nunca fui muito nem de ouvir podcasts. Eu costumava ouvir o UXmatters, mas também parei. Eu tenho uma conta no Audible da Amazon. Eu não leio mais livros, só escuto livros, tenho uma assinatura e pego livros de UX. A maioria dos meus livros são técnicos. É assim que eu me informo, mas eu sei que preciso me informar mais.

Izabela Quais habilidades você recomenda desenvolver para quem quer trabalhar com UX Research em uma empresa como YouTube?

Rafaela Quantitativa, se você é qualitativo. E qualitativa, se você quantitativo. Eu acho que é importante a parte híbrida quando você está lidando com empresas que tem essa quantidade de usuários, que é o mundo todo, em que você precisa combinar os dois.

Izabela E para trabalhar com Research em outro país e em uma empresa do nível do YouTube? E também como se diferenciar nos processos? Você que já passou por isso e já está há alguns anos trabalhando fora, o que você deixaria de dica para quem tem essa vontade?

Rafaela Eu acho que não seria bem uma habilidade. O que eu noto é que o caminho fica mais fácil quando você tem uma educação superior no país que você quer trabalhar. O fato de eu ter feito um mestrado aqui foi o que me possibilitou voltar. Na verdade, eu voltei para cá porque uma das minhas colegas de mestrado tinha uma vaga. Ela estava saindo e precisava de alguém com a mesma formação, e perguntou se eu queria ir. Antes, eu estava tentando e não conseguia, mas isso é para os Estados Unidos porque a questão do visto é complicada. Eu não posso falar, não sei muito como é na Europa, mas sei que na Inglaterra é difícil também porque estava tentando.

Eu acho que se você quer realmente trabalhar fora, fazer um curso fora, não precisa nem ser um mestrado necessariamente, ajuda muito. Fazer um curso em uma faculdade conhecida, acho que ajuda bastante para você começar a carreira. Até porque você aprende a fluência no inglês. Para você fazer pesquisa em outro país você precisa dominar a língua cem por cento porque você vai falar com aqueles usuários e uma minúcia no que você falar pode mudar o que você entende e o que o usuário entende também. Primeira coisa seria, em questão de habilidade, fluência na língua. A segunda seria fazer um curso, algo que possa lhe abrir a porta. Por exemplo, eu sou formada na Universidade Federal do Ceará e ninguém sabe o que é isso aqui. Não foi isso que me fez entrar, foi mais o fato de eu ter ido para Carnegie Mellon.

Outra coisa que ajuda, que eu já vi algumas pessoas tendo sucesso, é você se envolver realmente no mercado de UX e ser um evangelizador do seu país, mas começar a ir para conferências internacionais e apresentar nessas conferências internacionais. Você vai também conseguir a visibilidade e o visto fica mais fácil porque nos Estados Unidos tem um tipo de visto que é aplicado só para quem já apresentou em palestra, que é o que eles chamam de habilidades extraordinárias. Tem uma série de requisitos e uma delas é você ser uma grande celebridade, digamos assim, dentro da área. Aí você consegue um green card até com mais facilidade.

Izabela Olha, Rafaela, eu acho que agora a gente passou por tudo. Falei um tempão com você. Foi super rico, super legal mesmo.

Rafaela Ah, nossa, obrigada!

Izabela Muito obrigada pelo seu tempo e por fazer parte do Movimento UX.

---

Izabela Estamos chegando ao fim deste episódio e espero que você tenha gostado!

Essa edição teve o patrocínio da Hotmart, pioneira e líder na América Latina na venda de produtos digitais e atua nas áreas de educação à distância, marketing digital e fintech. Está em amplo crescimento internacional e o desafio de desenvolver produtos globais.

E a boa notícia é que tem várias vagas pros times de design e de desenvolvimento. Se você é designer de produto ou desenvolvedor com habilidades em UX, pesquisa ou interface, mora em Belo Horizonte, minha cidade do coração, ou topa viver em terras mineiras, pode se cadastrar no banco de talentos pelo link bit.ly/vagasdahotmart.

Obrigada por ouvir até aqui e até o próximo episódio!