НОВОЕ😍 Рабочие процессы, структура компании, шаблоны и холст. Обновление Shtab 3.0 ➜
Попробовать бесплатно
Аналитика и данныеСтатистикаПродуктовая аналитика

Многомерное тестирование (MVT)

Эксперимент, в котором одновременно проверяется несколько элементов и их комбинаций, а не одно изменение.

КРАТКО
Многомерное тестирование — это расширенный A/B-тест: вместо одного варианта против другого проверяется сразу несколько элементов на странице (заголовок, кнопка, картинка) и их комбинации. Так можно за один эксперимент понять, какая совокупность изменений работает лучше всего. Цена — нужны заметно большие выборки и аккуратная статистика, иначе шум быстро убивает результат.
СИНОНИМЫ:многомерное тестированиемультивариантный тестмногофакторный тестMVTMultivariate Testing

Многомерное тестирование — мощный, но дорогой инструмент. Его используют тогда, когда нужно понять не «что лучше», а «как элементы влияют друг на друга».

Как устроено

  • Выбирают 2–3 элемента (например, заголовок, кнопка, изображение).
  • По каждому — 2–3 варианта. Общее число комбинаций — их произведение.
  • Пользователи равномерно распределяются по всем комбинациям.
  • Разбирают и каждый элемент отдельно, и их взаимное влияние.

Что важно

  • Нужна большая выборка: каждая комбинация должна получить достаточно пользователей.
  • Чем больше элементов и вариантов, тем выше риск ложных «значимых» эффектов из-за множества сравнений.
  • В сложных случаях многомерный тест часто заменяют последовательностью обычных A/B-тестов.
КОГДА ПРИМЕНЯТЬ
  • На страницах с большим трафиком и понятным целевым действием
  • Когда хочется понять взаимное влияние нескольких изменений
  • Когда команда уже умеет правильно проводить обычные A/B-тесты
КОГДА НЕ СТОИТ
  • На страницах с ограниченным трафиком — выборки на каждую комбинацию не хватит
  • Когда есть всего одна гипотеза изменения — обычный A/B-тест надёжнее и проще
ПРИМЕР

Посадочная страница с конверсией 4% и 200 000 визитов в месяц. Команда хочет проверить три варианта заголовка и два варианта изображения. Многомерный тест с 6 комбинациями даёт за месяц достаточный объём данных, чтобы увидеть: лучшая комбинация — конкретный заголовок плюс конкретное изображение, причём вместе они работают лучше, чем сумма отдельных эффектов. Это не было бы видно в последовательных A/B-тестах.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Перед запуском многомерного теста честно посчитайте, хватает ли трафика на все комбинации. Если на каждую достаётся меньше пары тысяч пользователей в неделю, обычно лучше провести серию A/B-тестов: они проще, надёжнее и меньше вводят в заблуждение на маленьких выборках.

Попробовать бесплатно

Вопросы про «Многомерное тестирование (MVT)»

Многомерный тест позволяет увидеть взаимное влияние изменений, которое нельзя поймать последовательными A/B-тестами. Обычный тест сравнивает варианты по одному и просто не замечает такие сочетания. Если несколько элементов работают только вместе, покажет это лишь многомерный тест. Но за это приходится платить большой выборкой и более сложной статистикой.

Ещё из «Аналитика и данные»

Вся категория →
ARPU и ARPPU (средняя выручка на пользователя)

ARPU — средняя выручка на пользователя. ARPPU — средняя выручка на платящего пользователя.

Business Intelligence (бизнес-аналитика)

Совокупность процессов и инструментов сбора, хранения и визуализации данных для принятия деловых решений.

DAU, WAU, MAU (активная аудитория за день, неделю и месяц)

Количество уникальных активных пользователей за день, неделю и месяц соответственно.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатноВсе термины