Генеральная совокупность и выборка
Зачем это нужно
Любое исследование изучает немногих, а выводы делает о многих. Мост между «кого спросили» и «о ком вывод» — центральное понятие всей исследовательской кухни.
Как это работает
Генеральная совокупность — все, о ком мы хотим сделать вывод (все пользователи приложения, все покупатели категории). Выборка — те, кого реально изучили; сколько человек в неё вошло, называют размером выборки и обозначают латинской буквой n (от лат. numerus — число). «n = 400» читается «опросили 400 человек» — это обозначение общепринято, и дальше оно встретится и в отчётах, и в статьях. Вывод переносится с выборки на совокупность, только если выборка репрезентативна — похожа на совокупность по важным признакам. Ключевая ловушка: размер не заменяет репрезентативность — миллион ответов из одного соцсеть-пузыря хуже тысячи случайно отобранных. Золотой стандарт — случайный отбор, где у каждого равный шанс попасть в выборку.
Но вот вопрос, который решает всё: репрезентативна по каким признакам? По привычке берут пол и возраст — так делают с тех пор, как опрашивали избирателей. Для сервиса это часто не те признаки. Избиратель голосует один раз, поэтому там достаточно считать головы. В сервисе люди «голосуют» временем и деньгами — и вклад их чудовищно неравен: типично малая доля пользователей даёт половину всего потребления (часов просмотра, прослушиваний, заказов). Значит, у одной и той же выборки есть два разных состава: по головам (каждый респондент = 1 голос) и по вовлечению (каждый респондент весит столько, сколько он реально пользуется). Выборка, идеальная по полу и возрасту, может быть перекошена по часам — и наоборот. Вывод: признак для квотирования диктует решение, а не традиция. Меняешь рекомендации — квотируй по глубине потребления; меняешь онбординг — по стажу и новизне; меняешь тариф — по платящим и бесплатным.
Пример
Классика провала: в 1936 году журнал разослал 10 миллионов анкет о выборах президента США — по адресам из телефонных справочников и списков автовладельцев. Во время Великой депрессии телефон и машина были у обеспеченных. Прогноз с треском провалился, а маленький случайный опрос Гэллапа попал в точку.
Тот же механизм, но в сервисе. Кинотеатр спрашивает 1000 пользователей, идеально подобранных по полу и возрасту: «упростить каталог, убрав фильтры?» — 70% за. Упростили — смотрение упало. Разгадка в том, что среди этой тысячи 900 человек смотрят по паре фильмов в месяц, а 100 «тяжёлых» — по десятку в неделю и дают больше половины всех часов. Фильтры нужны именно им: у случайного зрителя выбор из трёх новинок, у тяжёлого — поиск среди тысяч. По головам — 70% за упрощение. По часам — большинство против. Опрос был безупречен по полу и возрасту и слеп по единственному признаку, который здесь решал.
🧪 Интерактивная лаборатория
Истинная доля довольных зафиксирована (и в жизни скрыта) — бери случайные выборки размера n и смотри, как оценка разбрасывается вокруг неё.
Цель: возьми выборки при малом n (≤60) и большом n (≥300) — сравни, насколько широк рой оценок.
🧪 Интерактивная лаборатория
Сколько человек опросить? Крути параметры и смотри, как меняется n — размер выборки, то есть число людей, которых надо опросить. Обрати внимание на две вещи: точность дорожает квадратично (уточнить вдвое — опросить вчетверо больше), а размер генеральной совокупности почти не важен, пока он велик.
Уточнить вдвое (до ±2.5%) — уже 1 537 человек: цена точности растёт как квадрат. Доля 50% — самый осторожный случай: чем дальше от 50%, тем меньше нужно. И заметь: n почти не зависит от размера совокупности — для города и для страны нужно примерно одинаково.
⚠️ Всё это верно только при случайном отборе. Никакое n не спасёт смещённую выборку: калькулятор считает случайную ошибку, а не систематическую.
🧭 Как это использовать
Перед любым опросом или UX-тестом письменно ответь: кто моя генеральная совокупность? насколько мои респонденты на неё похожи? кого мой способ набора систематически не слышит? Пять юзабилити-респондентов из числа коллег — это выборка из совокупности «мои коллеги», а не «мои пользователи».
И главный вопрос — по какому признаку квотировать. Порядок такой: сначала назови решение, которое примешь по итогам, потом спроси «чей опыт для этого решения весит больше?» — и квотируй по нему, а пол и возраст бери, только если решение правда от них зависит. Практика: раздели пользователей по глубине вовлечения (часы, сессии, заказы за месяц) на группы — например, лёгкие, средние, тяжёлые — и посмотри, какую долю потребления даёт каждая. Дальше считай ответы двумя способами: по головам и взвесив по вкладу. Если цифры разошлись — это и есть твой результат, и решать надо, чей голос здесь важнее, а не прятать расхождение за средним. И не путай два вопроса: «сколько людей так думает» и «какая доля потребления так думает» — это разные вопросы с разными ответами.
🎯 Быстрый вопрос
Музыкальный сервис опросил 1000 слушателей, идеально подобранных по полу и возрасту: убирать ли ручные плейлисты? 68% — «убрать». Убрали — прослушивания упали. Где ошибка?