Как не надо проводить исследования, или 20 способов, как их провалить

Мы — четыре продакт менеджера, с разным бэкграундом из технологических компаний, которые объединились для написания гайда по продуктовым исследованиям. Этот гайд — наша совместная продуктовая работа после окончания курса обучения у Валерии Розовой.

Сначала мы думали что напишем классический гайд по исследованиям, где расскажем нашим дорогим читателям об основах исследований, классической теории, о том что правильно, а что — нет.

Но в процессе работы над гайдом и интервью с продактами мы поняли, что уровень знаний у продакт менеджеров очень неплохой: теорией они обладают, как и что делать правильно - знают, и учить с нуля не нужно. Зато мы обнаружили, что продакты в процессе работы совершают довольно много ошибок и часто работают по уже изученному и понятному для них сценарию, не выходя за рамки комфорта. Так мы поняли, что было бы полезно написать гайд, посвященный наиболее частым ошибкам, разобрать их причины и дать советы, как их избежать.

Мы разбираем ошибки в том порядке, в котором они возникают при проведении исследований: что-то случается на начальных этапах, а что-то в процессе проведения исследований или при анализе результатов. Мы включили в гайд и немного теории, описывали, как и что делать правильно. Однако для получения более подробной информации вам потребуется углубиться в самостоятельный поиск информации по заинтересовавшей вас теме.

Предупреждаем! - наш гайд не претендует на замену полноценного обучения или не позволит вам получить научную степень в области исследований. Также он не сделает из вас ведущего исследователя. Наша цель - помочь вам понять, как продакт может проводить эффективные исследования и дать базовые навыки для работы с ключевыми методологиями исследований.

<<intensiv-product-discovery>>

Кому предназначен этот гайд

На протяжении всего процесса создания этого гайда, мы стремились сделать его полезным для всех - от новичков в мире продуктовых исследований до опытных продактов и специалистов. Таким образом, вне зависимости если вы впервые сталкиваетесь с проведением исследований или уже обладаете определенным опытом, но хотите углубить свои навыки и знания, этот гайд точно для вас.

Для того чтобы сделать наш гайд действительно полезным, мы провели всесторонние исследования. В частности, мы:

• Общались с экспертами в области исследований, продактами и CPO из различных секторов, включая e-commerce, финтех, edtech, medtech и даже из сервиса по подбору психологов.
• Прошлись по интернету в поисках лучших материалов, связанных с проведением исследований.
• Запустили опрос среди сотен продактов, чтобы получить их инсайты.

Цель этого гайда -  обозначить наиболее распространенные ошибки, подчеркнуть ценность исследований для работы продакта и дать практические советы по их предотвращению.

Структура гайда

Наш гайд построен таким образом:

• Во-первых, мы обсудим появление потребности в исследовании и цели исследования. Это поможет вам понять, когда и почему исследования необходимы в продуктовой работе.
• Затем, мы перейдем к обсуждению выбора правильного исследования и пройдем через важные шаги подготовки и дизайна вашего выбранного исследования. Этот раздел подчеркнет важность тщательного планирования перед началом работы.
• После этого мы рассмотрим этапы проведения исследований и сбора результатов, чтобы вы могли уверенно проводить исследования и эффективно интерпретировать результаты.
• И наконец, мы погрузимся в практическую сторону, обсуждая, как внедрять результаты исследований в практику и как эффективно встраивать исследования в продуктовый цикл. Это поможет вам применять полученные знания на практике и сделать ваш продукт еще лучше.

Поехали!

Что есть исследовательский цикл

Для начала начнем с базового представления исследовательского цикла:

Перед тем как двигаться дальше и рассматривать конкретные случаи, нам также нужно понять когда и почему вообще может возникнуть потребность в проведении исследований.

Что должно случиться что бы у продакта появилась потребность в проведении исследования

Согласно мнению наших респондентов, запрос на исследование появляется когда:

• Нужно запустить новый продукт/направление/большую фичу
• Появились проблемы (например, падают или не растут метрики, конкуренты растут лучше вас)
• Руководство/коллеги/клиенты приходят с запросом на новый функционал
• Государство приносит красок в вашу жизнь (например, меняет законы или приходит с новой иннициативой)

Теперь, когда мы определили триггеры возникновения потребностей в исследованиях, давайте подробнее рассмотрим, как оформить возникший запрос в конкретную задачу.

#valerie

Глава 1. Про цели исследования

Итак, у вас есть проблема и вы решили провести исследование. Обычно, в этот момент возникает большой соблазн пропустить важнейший этап формулирования цели исследования и сразу перейти к выбору метода исследования. Не делайте так (ну пожалуйста).

Ниже мы приводим типичные ошибки, которые совершают продакты на данном этапе:

Ошибка 1: У вас вообще нет цели исследования или вы формулируете цель в процессе исследования

Исследования не помогут вам, если вы не будете четко понимать, чего вы хотите от них.

Цель исследования - это главный вопрос, на который должны ответить результаты исследования. Критично важно сформулировать этот вопрос перед началом исследования.

Что характеризует хорошую цель?

• Цель достижима в процессе исследования.
• Есть ясное понимание её измерения в конкретных единицах.
• Результаты можно использовать в последующих действиях работы.

Формулируя цели исследования, начинайте их с глаголов совершенного вида, например "оценить", "сравнить", которые далее сопровождаются конкретные и измеримые примерами того, что будет являться результатом вашего исследования.

Также стоит ограничить количество целей, которые вы определяете в рамках одного проекта. Лучше сфокусироваться на одном или паре параметров, таким образом сокращается вероятность искажения результатов исследования.

Вот примеры целей исследования, попробуйте определить какие из них являются валидными:

• Необходимо провести исследование, которое подтвердит что котики ненавидят ждать свой корм.
• Провести опрос среди пользователей агрегатора авиабилетов, слоган которого вы можете пропеть в голове, который позволит понять, при каких условиях люди предпочитают покупать авиабилеты заранее.
• Если поменять формат оплаты доставки на сайте маркетплейса, пользователи будут оставлять больше заказов.
• Оценить, откажутся ли более 50% ваших друзей исследователей прочитать ваш гайд по исследованиям во время своего отпуска.

Давайте рассмотрим каждую цель.

• Наблюдать за котиками: цель благородная, но не является валидной из-за невозможности собрать достаточную статистику и неясности условий.
• Агрегатор авиабилетов: хорошая цель. Ограниченная аудитория, ясный вопрос и потенциал для применения результатов.
• Смена формата оплаты: из этого можно сделать хорошую цель, если указать что это за маркетплейс, прописать дизайн изменения формата оплаты, добавить предполагаемое увеличение кол-ва заказов и требуемое время эксперимента. Можно проверить через A/B тестирование и измерить результаты.
• Друзья и гайд: условно валидная, если есть много друзей-исследователей. Неприменима из-за невоспроизводимости. Лучше просить отзывы о гайде, а не проверять отзывчивость друзей.

Ошибка 2: Вашу гипотезу невозможно протестировать

Формулируя исследование, все взаимосвязанные с ним цели и гипотезы должны поддаваться проверке в реальных условиях.

Собрать всех котиков мира — задача непосильная. Даже если у вас тысяча друзей-исследователей, вероятность что они будут в отпуске в одно и то же время близка нулю.

При постановке цели нужна конкретика, проверяемость и актуальность. Не забывайте о главном — исследование должно приносить пользу и давать ответы на важные вопросы. Ищите истину через призму практичности и применимости. И помните, котики вас любят, даже если они ненавидят ждать свой корм.

Наверняка, вы когда-либо писали что-то вроде этого:

• Дизайн A улучшит общий пользовательский опыт.
• Функция B повысит вовлеченность пользователей.
• Дизайн страницы авторизации нормальный.

Но как вы будете измерять улучшение пользовательского опыта или вовлеченность пользователей? Что такое нормальный дизайн страницы?

<<rozova-guide>>

Вам нужно быть более конкретным. Гипотеза, которую вы проверяете,  включает в себя конкретное воздействие, которое можно измерить.

Поэтому держите два наиболее применимых шаблона для формулирования гипотез:

1. Начнём с супер простого шаблона:

• Мы уверены, что [бизнес-результат/метрика]будет достигнут_а, если [пользователь/группа пользователей]получит [пользу]от [функции]

Большинство шаблонов похожи на этот, посмотрите сами:

• Мы уверены, что [создание этой функции][для этих людей] приведет к [данной выгоде].Мы поймем, что достигли успеха, когда получим [результаты/сигналы с рынка/метрик продукта].
• Если мы сделаем следующий функционал в продукте [описание функционала]это повлияет на метрику продукта [описывается изменение в продукте].

Базово любой шаблон должен содержать в себе:

• Планируемое изменение в продукте/конечный бизнес-результат;
• Определение целевой аудитории эксперимента;
• Описание внедряемого функционала,

Внимание! Шаблон не должен включать в себя определение нужного метода исследования. Не нужно подводить гипотезы под заранее выбранный метод. Наоборот - метод исследования определяется на основании отобранных гипотез таким образом, чтобы наилучшим и оптимальным образом протестировать их. Этот шаг делается после того, как вы соберете гипотезы и мы разберем его подробнее в главе №2.

Предложить вы конечно можете, но ключевое слово - можете, это уже дело исследователя принять такой метод или использовать другой 🙂

2. Наиболее исчерпывающим форматом является DIBB - (Data -> Insight -> Belief -> Bet), отлично описанным в этой статье.

Шаблон для формулировки гипотез и целей по DIBB выглядит следующим образом:

и расшифровывается как:

Данные (Data)

• Мы видим, что ____ (факты, статистика, наблюдения, результаты customer development и т.п.).

Инсайты (Insight)

• Из данных следует, что ____ (выводы, инсайты).

Гипотеза/вера (Belief)

• Основываясь на инсайтах, предполагаем, что если мы ____ (выполняем действие), получим ____ (результат и сроки).

Ставка (Bet)

• Готовы инвестировать ____ (ресурсы) и предпринять ____ (активности) для проверки гипотезы.
• Критерием успеха считаем ____ (метрика) не менее ____. При успехе - следующий шаг ____. При неуспехе - ____.

У разных подходов к формулированию гипотез и целей исследования есть свои преимущества. Выбор метода зависит от ваших задач, контекста и доступных ресурсов. Главное - результаты должны быть измеримыми и позволяющие принимать решения по улучшению продукта или услуги.

Ошибка 3: У вас есть “секретная” цель - вы проводите исследование, чтобы доказать вашу правоту

Иногда, исследование становится способом подтвердить свою правоту и получить дополнительные основания для поддержки вашей позиции. Мы, как люди, инстинктивно ищем одобрение и подтверждение наших взглядов от окружающих, часто стремясь минимизировать вопросы и критику наших выводов.

Однако стоит помнить, что исследование не только подтверждает или опровергает ваши предположения, но и помогает расширить понимание предмета исследования. Часто важные открытия происходят тогда, когда исследователи открыты для неожиданных результатов и новых путей исследования.

Ошибка 4: Вы не проверяете результаты предыдущих исследований

Прежде чем начинать новое исследование, стоит проверить, можно ли ответить на ваши вопросы в рамках уже проведенного исследования. Этот шаг не занимает много времени и иногда может привести к значительной экономии времени, если вы сможете найти ответы на свои вопросы.

Где искать:

• В прошлых отчетах пользовательских тестирований, результатах интервью и обратной связи от пользователей.
• В вашей аналитике (если она имеется!) - смотрим данные о поведении пользователей, включая метрики удержания, конверсии и использования функций.
• Копаем в обращения, отзывы, комментарии и оценки от наших клиентов, возможно ответ лежит на поверхности.
• Гуглим! - ищем отчеты и исследования в вашей отрасли, часто похожие исследования могли провести ваши конкуренты и/или аналитические агентства.

Тщательно исследуйте и анализируйте доступные вам источники данных, чтобы убедиться в необходимости нового исследования. Проверка предыдущих исследований поможет вам сэкономить кучу бабок и времени, а также сосредоточить усилия на новых и актуальных аспектах разработки продукта.

#subscribe

Глава 2. Про подбор подходящего метода исследования

Не A/B тестом единым

Disclaimer: Если у вас есть специалист по исследованиям, то доверьте ему вопрос выбора метода исследования, не лоббируйте свои личные интересы, а используйте сильные стороны коллеги специалиста.  

Мы, продакт менеджеры - люди занятые, и часто совмещаем в команде несколько ролей. Нам некогда тратить время на рефлексию, нужно действовать четко и быстро. Поэтому мы оптимизируем свою работу, ищем быстрые способы решения задач, используем понятные нам инструменты и отсекаем все лишнее. Иногда даже слишком. Вот к чему это приводит:

Ошибка 5: использование только знакомых и понятных методов исследования

‍На интервью мы чаще всего слышали про глубинные интервью и AB тестирования. Чуть реже продакты рассказывали про usability тестирование и сбор обратной связи через индексы удовлетворенности. Многие команды налаживают у себя процесс проведения любимых и понятных исследований и не рассматривают другие методы.

Конечно, использование знакомых инструментов облегчает нам работу над продуктом и при правильном использовании дает качественную информацию. Но зачем ограничивать себя зоной комфорта?

Вот чем поможет использование новых видов исследования:

• Личный рост: осваивая новые инструменты, мы растем как профессионалы, в процессе приобретаем не только рабочую информацию, но и прокачиваем свои софт и хард скилы. Также новые инструменты позволят вам работать с нестандартными ситуациями и легко адаптироваться к работе над новыми продуктами - вы сможете подобрать более подходящий метод исследования.
• Развитие продукта: применение новых методов исследования позволяют заглянуть в суть исследуемой проблемы с других сторон и обнаружить факты, которые ранее были скрыты. Вы получите более глубокое понимание своего продукта, целевой аудитории, их потребностей и мотивации. Так вы сможете найти неочевидное ранее решение проблемы и возможно сэкономите ресурсы разработки неэффективных решений.

Мы предлагаем выйти за пределы привычного и пополнить свой инструментарий новыми видами исследований.

Для начала собьемся по терминам:

Классификация методов исследований:

Качественные методы исследований используются для сбора и анализа неструктурированных субъективных данных с целью получить глубокое понимание человеческого опыта, понимание социальных явлений, мнений и предпочтений. Например, Контент-анализ, Глубинные интервью, Метод наблюдения за процессом, целевой аудиторией или действиями пользователей, Usability-тестирование.

Количественные методы ориентированы на получение статистически значимых результатов, используются для сбора и анализа объективных данных, которые могут быть измерены и количественно выражены. Часто эти методы используются для верификации результатов, полученных в ходе проведения качественных исследований. Примеры исследований: опрос, AB-тестирование и его подвиды, реклама или рассылка, многовариативное тестирование, анализ данных и метрик.

Критерии выбора метода исследования:

Мы считаем, что в большей степени на выбор подходящего метода исследования влияет стадия запуска продукта или процесса, а также вопросы и цели, которые свойственны каждой отдельной стадии.

• На начальной стадии формирования идеи команде важно определиться с выбором направления и формата, больше узнать о своих будущих пользователях и рынке, на котором будет работать продукт. Вы отвечает на вопрос “что делать, как решить задачу”. Поэтому здесь подойдут те виды исследования, которые раскроют как можно больше информации, связанной с идеей продукта и контекста его будущего использования. Тут важно как можно глубже погрузиться в контекст проблемы, которую призван решить ваш продукт, чтобы разработать решение, которе сможет найти market fit.
• На стадии разработки первых версий продукта ваши вопросы сужаются, важно сосредоточиться на характеристиках продукта и его дизайне. Вы отвечаете на вопросы “как сделать” и поэтому важно сверять дизайн продукта с тем, как видит его пользователи, отслеживать правильность направления, в котором вы двигаетесь.
• Когда продукт или сервис уже запущен и у него есть история версий и достаточное количество пользователей, вас интересуют вопросы роста и улучшения качества продукта. Вы работаете над метриками и ищите способы воздействовать на них.

Мы подготовили таблицу для определения подходящего метода исследования в зависимости от стадии вашего продукта или сервиса, ключевых вопросов и целей:

Также при выборе метода исследования не забудьте оценить свои ресурсы. В зависимости от размера вашей команды, компании, в которой вы работаете, временных и денежных ресурсов, опыта участников, доступа к платным инструментам и базе данных, вам будет проще или сложнее применять виды исследований. Часто имеет место отсутствие времени и загруженность команды. Эти факторы необходимо учитывать при выборе инструмента и оценивать, насколько реально реализовать исследование в вашей ситуации. Чтобы оценить сложность выбранного метода, предлагаем подробнее погрузиться в каждый и оценить сложность их реализации самостоятельно.

Если ресурсов недостаточно, лучше подобрать менее сложное исследование или воспользоваться прокси - уже проведенными кем-то исследованиями по вашей теме или схожей с вашей темой. Также не стоит избегать метода поиска best practice и реализовать хорошее проверенное на рынке решение на ранних стадиях развития продукта.

Глава 3. Подготовка к проведению выбранного исследования

Итак, цели поставлены, методы определены, самое время начать подготовку к проведению исследования. При подготовке важно определить действия, которые будет выполнять команда, и установить правильную последовательность их выполнения. Кроме того, необходимо предусмотреть альтернативные варианты для непредвиденных сценариев развития событий.

Общая подготовка

Согласно нашим экспертам, продакты совершают всего одну ключевую ошибку при проведении большинства исследований, а именно:

Ошибка 6:  Продакт-менеджеры, которые запрашивают проведение исследования у выделенной команды специалистов, часто предоставляют неполные и/или недоработанные вводные данные

Для устранения данной проблемы мы рекомендуем пользоваться брифами.

Бриф - это документ, содержащий всю необходимую информацию о исследовании.

В зависимости от компании, состав и формат брифа может меняться, но базово должен содержать в себе:

• Цель исследования: Четко определенная цель исследования позволяет команде исследователей понять, какую информацию нужно собрать и какие вопросы нужно исследовать, чтобы достичь поставленных целей. Про постановку цели мы говорили в главе 2.
• Контекст возникшего запроса: В брифе следует описать проблемы и задачи бизнеса, которые стали причиной запроса на исследование. Это помогает команде исследователей понять контекст и цели исследования, а также провалидировать их и, при необходимости, улучшить.
• Данные о целевой аудитории: Бриф должен содержать хотя бы базовую информацию о целевой аудитории и ее характеристиках. Продакту необязательно экспертно знать все данные о своей аудитории, но как минимум можно описать базовые портреты требуемых респондентов.
• Расписание и дедлайны: Важным элементом брифа является указание расписания и дедлайнов для проведения исследования. Это помогает команде исследователей планировать свою работу и обеспечивает выполнение исследования в установленные сроки.
• Дополнительные материалы и ресурсы: В брифе можно указать дополнительные материалы и ресурсы, которые могут быть полезны для проведения исследования. Это может включать предыдущие исследования, отчеты, аналитику и т. д.

Опционально, в брифе, продакт может самостоятельно предложить методы исследования, предоставить расширенное описание целевой аудитории, посчитать стат значимость, описать желаемый формат отчетности для получения результатов и прочие ништяки. Хороший бриф от продакта существенно облегчает работу команды исследователей и ускоряет процесс исследования.

Отдельно хочется разобрать подготовку к такому популярному методу продуктового исследования как A/B тестированию:

Из наших бесед с респондентами мы не выявили проблем с проведением A/B тестирования (с точки зрения методологии) у наших респондентов, и это прекрасно! Однако, чтобы избежать возможных ошибок и убедиться, что вы не нарушаете алгоритм проведения этого метода исследования, предлагаем следующий чеклист для подготовки к A/B экспериментам:

✔️ Определите цель: Из опыта прошлых глав, мы уже умеем ставить цель, но помним что в А/Б тестах мы тестируем лишь один параметр, чтобы точно определить его влияние на результаты. Определите этот параметр и связанную с ним метрику. Что именно вы планируете отслеживать во время теста? Это может быть количество кликов, время проведенное на странице, процент открытий и т.д.

✔️ Не забудьте поставить "охранительные" метрики (guard metrics). Их задача - не только отслеживать возможное ухудшение ключевых метрик, но и контролировать другие важные параметры, которые могут быть затронуты изменениями. Они помогают убедиться, что изменения, которые вы вносите, не приводят к нежелательным последствиям в других аспектах ваших сервисов или продуктов.

✔️ Разработайте ваши варианты (A и B) для получения результатов по выбранной метрике: Что изменилось? Новый функционал? Кнопка? Цвет? Зафиксируете! Для простоты, можно описать варианты А/Б тесты в следующем формате:

• Гипотеза: к примеру, если мы добавим эмоджи в наши нотификации, наши клиенты станут открывать их в 2 раза чаще!
• Вариант А: клиентам из группы А будут приходить нотификации без эмоджи
• Вариант Б: клиенты из группы Б получат нотификации с эмоджи
• Ожидаемое улучшение: метрика “открытие нотификаций вырастет в 2 раза” в варианте Б.

✔️ Определите размер выборки: Так, варианты готовы, но сколько людей нужно для того что бы результаты считались валидными? Для этого нужно посчитать размер выборки и его статистическую значимость результатов. Воспользуйтесь онлайн калькулятором (к примеру, калькулятором Evan Miller) или попросите команду исследователей и/или дата аналитиков помочь при более сложных экспериментах.

✔️ Определите план тестирования: Как и где вы планируете проводить А/В тест? Задайте себе следующие вопросы:

• Место проведения: Будет ли это происходить на основном сайте, в приложении или в каком-то другом месте?
• Временные рамки: Определите длительность тестирования. Срок зависит от статистической значимости, которую нужно сначала вычислить. Это важно и может сэкономить много времени поскольку при требовании большой выборки, сроки проведения теста могут быть непрактичными.
• Ресурсы: Какие ресурсы вам понадобятся для проведения этого теста? Будут ли вам нужны люди из команды, дополнительное оборудование или программное обеспечение?

✔️ Сформулируйте механизм разделения трафика и сбора данных: Определите, как будет происходить распределение трафика и какие данные будут собираться. Проанализируйте следующие аспекты:

• Разделение трафика: Как будет распределен трафик между вариантами А и Б? Определите, будет ли это равное распределение или вы планируете использовать другой подход.
• Сбор данных: Как будет настроена система сбора данных? Убедитесь, что она может надежно отслеживать выбранные вами метрики и обеспечивает точность и целостность данных.

✔️ Проверьте что параллельно не идет никаких тестов!!!
При планировании и запуске A/B теста, критически важно убедиться, что на том же сегменте пользователей не проводятся другие тесты. Проведение нескольких экспериментов одновременно может привести к перекрестному воздействию тестов и исказить результаты. Так, изменения, вызванные одним тестом, могут влиять на поведение пользователей в другом тесте. Это не только может привести к неверным выводам, но и затруднит интерпретацию полученных результатов.

Глава 4. Проведение исследований & сбор результатов  

Приступаем к самому долгожданному – проведению исследованию и сбору результатов. К этому моменту все подготовительные этапы пройдены и мы находимся в полном понимании, для чего мы проводим исследование. Также мы предполагаем, что хорошо проработали все материалы, подготовили план проведения исследований и конечно же не совершили в них ошибок.

Участвовать или делегировать – вот в чем вопрос!

Участие в исследованиях, особенно качественных, важно для продактов и членов команды. Так вы сможете увидеть те подробности, которые замыливаются во время работы над продуктом, посмотрите на свой продукт или сервис глазами его пользователей и главное - вы поверите результатам, которые сами обнаружите. Профессионализм и знание всех особенностей вашего продукта - это, конечно хорошо, но иногда профессиональная деформация мешает увидеть оптимальное решение и создать простой, но работающий продукт.

Однако, в процессе проведения исследований продакт менеджеру стоит сдерживать свой пыл и участвовать в исследованиях в роли наблюдателя, как можно больше абстрагироваться от предмета изучения, наблюдать и воспринимать.

Вот какие ошибки нужно отследить, чтобы получить качественные результаты исследований, если вы лично участвуете в исследованиях. Начнем с глубинных интервью:

Ошибка 7: Не расслаблять респондента перед проведением интервью

Возможно вы замечали, что некоторые люди ведут себя на интервью скованно, не выказывают эмоции или отвечают на вопросы односложно. В такой ситуации начинает казаться, что время потрачено впустую и вы не получили от респондента никаких инсайтов.

Чтобы избежать такого исхода нужно “разогреть” собеседника в начале интервью. Вам поможет small talk: помимо стандартного знакомства спросите у собеседника, как прошел его день, поговорите о погоде, пошутите, если уместно. 10 минут, проведенных за отвлеченной беседой не по теме исследования расслабят вашего собеседника и наладят контакт между вами. Это поможет вам провести качественное интервью.

Как провести разогрев:

Задайте общие вопросы для установления контакта:

• “Как проходит ваш день сегодня? Как у вас дела?”
• “В каком городе вы находитесь? Какая у вас сегодня погода?”
• “Что сейчас интересного у вас происходит?”
• “Как давно вы работаете (вставьте профессию)?”

На все эти вопросы вы также можете ответить респонденту в ответ, немного рассказать о себе или обсудить с ним какую-то ситуацию. Обязательно введите респондента в курс дела, чтобы он понимал, как пройдет беседа и чувствовал себя увереннее:

• Расскажите про цели встречи, зачем вы проводите интервью и о чем будет идти речь.
• Уточните, есть ли у респондента вопросы перед началом интервью.

Ошибка 8: Показывать свою реакцию на ответы респондента

Мы все существа социальные и при беседе склонны вербально и невербально показывать свои эмоции собеседнику. Это влияет на беседу и поведение респондента. Показывая свое согласие и несогласие с собеседником вы можете сместить ответы собеседника, он может начать рассказывать такую информацию, которые вы одобряете своей реакцией и не углубляться в те подробности, которые, как ему кажется, вы не одобряете. В такой ситуации вы можете получить подтверждение своих предположений, но не выявите реальных инсайтов. Это ошибка второго рода - ложноотрицательное заключение — ситуация, когда принята неверная нулевая гипотеза.

Самый худший сценарий - начать спорить с респондентом насчет его точки зрения, доказывать свою и вступать с ним в конфликт. Не нужно выказывать свое личное мнение или реальное положение дел в вашем продукте - это не цель исследования. Вступив с респондентом в конфликт, вы не узнаете о продукте ничего полезного и зря потратите свое время, не говоря уже о подпорченной репутации себя и компании.

Как вести себя на интервью:

• Еще до начала интервью примите на себя роль исследователя - нейтрального члена команды, который не стремится что-то доказать, защитить репутацию компании или доказать свою идею. Вы можете так и представиться своему респонденту: “Добрый день, я социолог и провожу исследования по вопросу X”. Сейчас важно послушать респондента и открыть скрытые факты. Это возможно сделать только если вы сможете подойти к исследованиям в спокойном состоянии без личных эмоций.
• Не показывайте эмоций. Никаких. Не хвалите респондента, не одобряйте его ответы, не качайте и не кивайте головой, следите за мимикой. Ваше лицо должно быть достаточно дружелюбным и  нейтральным. Если респондент пошутил, конечно же стоит посмеяться, но смеяться над ответом респондента нельзя. Старайтесь не подживать губы, не закатывать глаза и не вздергивать бровями. Ваша роль - это в меру эмпатичный и тактичный слушатель.
• Можно быть в роли участника команды. Если бороться с эмоциями сложно, то лучше начать с не менее важного: участвуйте в роли напарника, слушайте и фиксируйте информацию. Это крайне полезно и времени на эмоции не остается.

Следующие ошибки типичны, как для качественных, так и для количественных исследований:

Ошибка 9: Задавать вопросы, которые заставляют респондентов отвечать “правильно”

Иногда мы формируем вопросы так, что они становятся похожи на вопросы из теста на проверку знаний или компетентности.

В такой ситуации респондент начинает чувствовать, что его тестируют или проверяют его IQ. Сформулированные таким образом вопросы не дадут вам никакой информации о реальной ситуации или отношения к исследуемому вопросу и даже могут ввести вашего собеседника в стресс, что повлияет на достоверность полученных ответов.

Например, при проведении интервью для написания этого гайда нам нужно было понять, какие ошибки совершают продакты при проведении глубинных интервью. Мы могли бы по-разному сформулировать вопросы для получения ответа на этот вопрос. Вот один из таких вопросов.

Неправильно: “Расскажи, как ты обычно проводишь глубинное интервью?”

• этим вопросом мы побуждаем респондента вспомнить теоретическую базу, собраться и проговорить все этапы проведения глубинных интервью. Наш продакт не хочет ужарить лицом в грязь, ведь он компетентный специалист и знает, как и что делать правильно. Поэтому он расскажет, как правильно провести интервью, но этот рассказ не отражает реальную ситуацию того, как на самом деле он проводит исследования и не раскроет нам, совершает ли он ошибки в практике или нет. По итогам, мы получаем смещенную информацию и немного стрессующего респондента, который может зажаться в следующих вопросах.

Правильно: “Давай вернемся к твоему последнему глубинному интервью. Расскажи, как и что вы делали по шагам”

• таким вопросом мы наводим респондента на мысли о прошедшем исследовании. Такая формулировка наводит его на воспоминания о конкретном событии и меньше похожа на тестирование теоретических знаний. Вероятность того, что он будет откровенно врать и приукрашивать для нас снижается.

Другой пример: допустим, мы хотим узнать информацию о привычках нашей целевой аудитории и запускаем количественный опросник. Мы включаем вопросы о здоровом образе жизни респондентов и формулируем его так:

Неправильно: “Как часто вы занимаетесь спортом?”Варианты ответов:

• Не занимаюсь
• 1-2 раза в неделю
• 2-3 раза в неделю
• 3-5 раз в неделю
• > 5 раз в неделю

Поздравляем, вы получите очень осознанных и спортивных респондентов, которые часто занимаются спортом (и врут). Такой вопрос давит на людей, им хочется быть лучшей версией себя, входить в число спортивных и здоровых людей. Поэтому они вспомнят свои лучшие годы, когда они часто ходили на тренировки, и могут преувеличить информацию.

Правильно: “Сколько раз вы занимались спортом за последние 2 недели?”

• респондентам довольно легко вспомнить, что они делали в последние пару недель и пересчитать количество раз. Такой вопрос с меньшей вероятностью сместит ответы в большую сторону.

Чтобы избежать этой ошибки, стоит проверить, что вопросы в дизайне вашего исследования достаточно нейтральны, не давят на респондентов и не заставляют отвечать на них “социально приемлемыми” или единственно правильными ответами.

Ошибка 10: Заниматься поиском доказательств собственных предположений

Речь идет про те случаи, когда команда занята поиском подтверждения своих гипотез, не обращая внимания на альтернативное мнение или противоречия в ответах респондента. Не стоит использовать исследования для доказательства своей правоты.

Вот способы избежать эту ошибку:

• Работайте над исследованиями вместе с командой: чем больше участников, тем больше мнений и фильтров на смещение в сторону одного личного мнения. Команда сможет включить в исследование менее субъективные гипотезы и вопросы, а в ходе получения информации проконтролировать, что учтены разные точки зрения. Также вы можете вести интервью с напарником, который сможет задать дополнительные вопросы или отследить, что точка зрения респондента считана без искажений.
• Используйте helicopter view: постарайтесь абстрагироваться от собственного опыта и убеждений, включите в себе исследователя и посмотрите на получаемую информацию с чистого листа. **Иногда наш профессионализм и опыт мешает нам увидеть неочевидный выход из ситуации, потому что мы сконцентрированы на том, что знаем годами и не смотрим на вопрос под другим углом. Исследования - это способ выдернуть себя из контекста и понаблюдать, открыть знакомое заново.
• Не игнорируйте альтернативное мнение респондента и коллег, прислушайтесь и постарайтесь узнать, что стоит за ним. Возможно, вам откроются скрытые мотивы, которые приведут вас к новому решению.

Проведение количественных исследований

Ошибка 11: Не ждать окончания эксперимента и делать преждевременные выводы

Например, вы начали проводить исследование, запустили тест и получили 30 одинаковых ответов, подтверждающих гипотезу. Кажется, что ответов много и можно делать выводы, зачем ждать?

Существует несколько причин, почему нельзя делать преждевременные выводы и не ждать окончания эксперимента:

• Недостаточная статистическая значимость: Выводы, сделанные до окончания эксперимента, базируются на ограниченном объеме данных, что делает статистическую интерпретацию результатов сложной. Чтобы быть уверенными в достоверности и значимости результатов, необходимо собрать достаточное количество данных.
• Смещение выборки: Если вы сделаете выводы на основе неполной или нерепрезентативной выборки, ваши результаты могут быть смещены и необъективны. Важно иметь достаточно данных, чтобы обеспечить надежность и точность выводов.
• Возможные изменения: В ходе эксперимента могут возникнуть непредвиденные ситуации или изменения условий, которые могут существенно повлиять на результаты. Ожидание окончания эксперимента дает возможность учесть все факторы и получить более полное понимание ситуации.
• Пропущенные эффекты: Если вы сделаете выводы до окончания эксперимента, вы можете упустить некоторые важные эффекты или тенденции, которые проявятся только при длительном наблюдении или анализе. Только после полного завершения эксперимента можно быть уверенным, что учтены все факторы и эффекты.

Чтобы получить достоверные и точные результаты, необходимо дождаться окончания эксперимента, чтобы иметь полные данные и учесть все факторы, влияющие на результаты. Это поможет избежать ошибок, сделать объективные выводы и принять обоснованные решения на основе полученных данных.

Ошибка 12: Докручивать эксперимент в процессе проведения исследования

Если вносить в эксперимент изменения по ходу тестирования, руководствуясь соображениями “Я понял, вот такой вариант будет лучше протестировать, давайте сразу внесем изменения”, то всю первую часть эксперимента нужно выкинуть и не учитывать в результатах. Потом сразу же нужно пересмотреть все подготовительные материалы, перечитать и переделать гипотезы и начать эксперимент заново. Иначе вы получаете бессмысленный ком данных, на основании которого можно сделать неверные выводы.

Ошибка 13: Тестировать все и сразу

Очень хочется сэкономить время и протестировать несколько изменений в продукте за 1 раз на одном экране. Так делать не стоит, потому что части одного продукта часто связаны и влияют на восприятие респондентов совместно. Если тестировать сразу несколько изменения на одном экране на одних и тех же респондентах, то нельзя сделать вывод о влиянии отдельного изменения. Вы, конечно, можете получить положительный результат и улучшить показатель, на который хотите повлиять, но в этом случае вы все еще не контролируете, что именно повлияло на конверсию

Тестирование нескольких изменений одновременно проблематично по нескольким причинам:

• Взаимодействие переменных: Сложно определить, какие изменения влияют на результаты при одновременном тестировании.
• Сравнивать результаты с контрольной группой становится сложнее, когда все переменные тестируются сразу.
• Анализ данных и выявление связей между переменными сильно затрудняется  при одновременном тестировании.
• Ограниченные ресурсы: Тестирование всех переменных одновременно требует значительных ресурсов.
• Репликация и повторяемость: Последовательное тестирование позволяет более точно повторить эксперименты и воспроизвести результат

Вернемся к вопросу в начале главы: можно ли делегировать проведение исследований или команда должна проводить исследования только самостоятельно.

Мы придерживаемся следующего видения: погружение в процесс исследования приносит больше пользы продакт менеджеру при работе над продуктом. Когда мы сами составляем вопросы и готовим дизайн исследования, проводим исследование и наблюдаем за респондентами, анализируем данные, то получаем куда больше информации и более глубокое понимание исследуемой темы. Более того, результаты таких исследований чаще принимаются во внимание и используются в работе по мнению наших респондентов.

Но мы понимаем, что живем в неидеальном мире и по разным причинам команды не всегда имеют возможность принять непосредственное участие в исследовании. Если вы лично не собираетесь участвовать в результатах исследования и делегируете это отделу исследования или выносите на аутсорс, следует отследить следующие опасности:

Ошибка 14: Вы воспринимаете исследователя, как соперника, а не соратника и видите в нем кого-то опасного, кто может разрушить ваши планы

Важно понять, что исследователь  -  ваш самый лучший компаньон в получении инсайтов для разработки продукта. Это профессионал, обладающий фундаментальными компетенциями в области исследований, которые позволяют получать настоящие знания об окружающем мире.

Проработайте вопрос доверия профессионалам в области сбора данных и не палите их ресурс зря. Подумайте, в чем причина того, что вы не доверяете вашему исследователю и решите эту проблему.

Исследователь - это не конкурент, с ним надо работать в паре, использовать результаты и задавать вопросы, если какие-то выводы из исследований вам кажутся сомнительными или непонятными. Отдельная команда исследователей сэкономит вам время и ресурсы только в том случае, когда вы вложитесь в изучение результатов проведенного исследования.

Ошибка 15: Не делайте выводы, опираясь только на часть собранных данных и игнорируя остальной собранный массив информации

Эта ошибка похожа на описанную ранее и связана с искажением восприятия. Если исследователь выбирает только определенные данные, которые подтверждают его субъективные взгляды или гипотезы, это может привести к неправильным выводам и ошибочным действиям.

Будьте особенно внимательны к возможным искажениям при анализе данных. Старайтесь быть объективными и не искажать результаты под свои предположения или ожидания. Проведите анализ с учетом различных точек зрения и подходов и лучше читать результаты вместе с командой.

Глава 5. Внедрение результатов в практику. Как использовать исследования в работе над продуктом. Зачем встраивать исследования в продуктовый цикл

После этапа анализа результатов исследования, наступает этап на котором вы внедряете полученные знания в жизнь и меняете мир.

К сожалению, часто исследования заканчиваются ничем. Почему так происходит? Здесь возможны следующие варианты:

Ошибка 16: Результаты исследования не внедряются в жизнь, потому что исследование изначально не могло ни на что повлиять

Перед началом любого исследования стоит задать вопрос, есть ли у вас ресурсы что-то менять в зависимости от результатов исследования. Если нет - в проведении исследования нет никакого смысла.

Ошибка 17: Вы получили результаты, но не знаете, что с ними делать

Перед началом исследования стоит подумать о возможных результатах и придумать, что вы будете делать в случае каждого из них. Например, представьте, что вы уже провели опрос и придумайте цифры, которые вы получили. Что вы будете делать дальше с этими результатами?

Ошибка 18: Вы проводили исследование ради исследования, потому что вам кто-то сказал или потому что это модно и все делают исследования

У любого исследования должна быть четкая и понятная вам цель. Не стоит проводить исследование из-за давления кого бы то ни было, все равно это не приведет к реальным результатам, а только к иллюзии того, что вы классная команда и делаете исследования как и другие классные команды.

#chatbot

Процесс исследований в компании

Завершить этот гайд хочется еще одной важной темой - процессом работы с исследованиями. Итак, какие ошибки возможны на этом этапе?

Ошибка 19: У вас нет плана исследований, исследования происходят время от времени

Исследования - это значимая часть продуктовой работы. Каждый раз, когда вы принимаете решение, не проводя исследование без объективной причины - вы принимаете необоснованное решение, опираясь на предположения или устаревшую информацию.

Работайте по исследовательскому циклу и делайте исследования всегда, когда это необходимо. Это значительно снизит риск ошибочных решений.

Классический исследовательский цикл выглядит следующий образом:

• Формулируем гипотезу
• Проверяем гипотезу (качественно, потом количественно)
• Разрабатываем MVP
• Выкатываем на Production, анализируем результаты на практике

На этом цикл не заканчивается. Используйте полученные результаты для поиска идей дальнейших исследований. Возвращайтесь к проведенным ранее экспериментам, смотрите как меняется продукт - не останавливайтесь на достигнутом результате. Успех достигается постоянным прогрессом, а не удовлетворением статус-кво.

Ошибка 20: У вас нет удобно организованной базы исследований и никто не помнит результаты исследований

По мере проведения исследований, вопрос организации базы знаний становится крайне важным. Чтобы исследования влияли на реальный мир, важно держать уже полученные результаты под рукой.

Убедитесь, что структура вашей базы данных продумана, есть классификация или теги, которые позволяют легко находить нужную информацию. Также следите за регулярным пополнением вашей базы результатами свежих исследований.

Помимо базы данных, подумайте, как можно распространить самые важные знания, полученные из исследований. Например, вы можете распечатать ключевые цитаты пользователей на плакатах и развесить их на стенах в офисе. Также полезно включать такие находки в регулярные Демо команды, чтобы работать с коллегами в едином информационном пространстве.

<<prodakty-kompanii-uchenikov>>

Заключение

Ну что же, наш гайд подошел к концу. Мы рассказали вам о самых частых ошибках, напомнили, к каким последствиям эти ошибки приводят и что можно делать, чтобы их предотвратить.

Надеемся, что помогли вам отрефлексировать ваш собственный путь в исследованиях. Наверняка, в каких-то ошибках вы узнали себя, а где-то обрадовались, что вы все делаете правильно.

Подводя итог, хочется отметить, что большинство ошибок, которые совершают продакты в исследованиях очень человеческие и часто связаны с невнимательностью и нашим бешеным темпом жизни. Ничего страшного, мы все страдаем от этого, и главное, что мы можем делать - это работать над ошибками, прокачивая наши знания и осознанность.

Круто, если вы осознаете ваши ошибки и начнете работать над ними, становясь все более грамотным и справедливым экспертом. Изучите теорию еще раз (в том числе учебник по социологии!), практикуйтесь, признавайте ошибки и исправляйте их. Просите обратную связь от коллег и профессиональных исследователей, наблюдайте за коллегами и рефлексируйте.

Это поможет не только проводить исследования правильно, но и в принципе сделает вас лучшей версией себя и прокачает ваши скиллы продакт менеджера!

Как мы писали гайд

Кто работал над гайдом: Савицкая Полина, Сергей Бегишев, Наталья Горевая, Даниил Седунов.

Для гайда наша команда провела полноценное исследование, чтобы основываться не только на открытых данных, но и получить более достоверную и релевантную информацию от целевой аудитории.

Тип исследования: качественные исследования.

Методы исследования: кабинетное — анализ открытых источников информации, глубинные и экспертные интервью, опросы.

Респонденты: Благодарим ребят за помощь в проведении исследований! Мы проводили интервью с респондентами из 3 основных групп:

• Продакт менеджеры;
• CPO/руководители;
• Эксперты, профессиональные UX исследователи.

Сферы и компании, в которых работают респонденты: Fintech (СБЕР, Tinkoff, VTB, Ozon (банк)), Edtech (Яндекс Практикум), Medtech, e-com (Wildberries, Яндекс.Маркет, Avito), Development.

Количество проведенных интервью: 16.

Наши рекомендации по источниками и литературе:

Фундаментальное чтение:

• ‍Understanding Your Users: A Practical Guide to User Research Methods ‍
• Спроси маму: Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут?‍
• Как создать продукт, который купят. Метод Lean Customer Development

Статьи:

• ‍What is A/B Testing? The Complete Guide: From Beginner to Pro‍
• Principles of effective surveys design from Stripe‍
• Forming Experimental Product Hypothesis‍
• Pitfalls in Product Experimentation‍
• Как правильно интегрировать исследования пользователей и рынка в вашу продуктовую команду ‍
• 4 Product Research Methods & When To Use Each ‍
• The Complete Guide to Mastering the 6 Most Critical Types of Research for Any Research Endeavor ‍
• You can’t always get what you quant: Bringing numbers to life through user research

Видео и интервью:

• ‍How to do user interview from Google Ventures‍
• Cognitive biases and the questions you shouldn’t be asking by Cindy Alvarez‍
• Школа менеджмента — Продуктовые исследования. Иван Замесин