Сбор корпуса
Зачем это нужно
Данные не лежат готовым датасетом — их собирают. И то, КАК ты их соберёшь, определяет, что ты вообще сможешь увидеть. Корпус, собранный криво, не спасёт никакой анализ.
Как это работает
Корпус — это собранный массив текстов, на котором ведётся анализ. Собирают его по чёткому критерию отбора, заданному заранее: (1) по хэштегу — тематический хэштег соберёт посты вокруг движения или события; (2) по ключевым словам — «инфляция, ставка, ЦБ» соберёт обсуждения политики банка; (3) по типу документа — например, все официальные пресс-релизы ведомства по теме; (4) по теме/аккаунту — посты конкретных сообществ.
Технически тексты достают двумя путями: API (официальный интерфейс площадки — быстро, но с лимитами и не всё доступно) и парсинг/браузерная автоматизация (программа открывает страницы как обычный пользователь и собирает видимое — когда API закрыт). Оба — просто способы получить тексты; идея одна.
Три решения задают весь корпус: критерий (по чему отбираем), период (за какое время) и платформа (где). И у каждого — цена. Критерий определяет, что попадёт, а что нет: по хэштегу ты соберёшь только тех, кто его ставит. Платформа определяет аудиторию: одна соцсеть — молодёжь, другая — иной срез. Это прямо связано с ограничением выборки из прошлого раздела: корпус из одной платформы репрезентирует эту платформу, а не «всё общество». Кого твой критерий систематически не ловит — тот в анализ не попадёт, и об этом надо честно сказать.
Пример
Сбор комментариев к постам о ключевой ставке: критерий — ключевые слова про ставку в тексте поста; платформа — одна соцсеть; период — год. Итог: тысячи комментариев. Но кого не слышно? Тех, кто обсуждает ставку в мессенджерах, у кого нет аккаунта, кто читает молча. Корпус честный — но это корпус активной аудитории одной платформы, а не «населения».
🧪 Интерактивная лаборатория
Ниже 10 постов вперемешку — часть про денежную политику, часть «шум» (сериалы, погода). Задай ключевые слова отбора и посмотри, что попадёт в корпус, а что отсеется.
Цель: начни с узкого критерия, затем расширь ключевые слова и сравни размер корпуса.
🧭 Как это использовать
Три вопроса перед сбором: по какому критерию отбираю (и что он гарантированно пропустит), за какой период, на какой платформе (чью аудиторию это описывает). Записывай точную процедуру сбора — это и есть воспроизводимость: другой человек должен смочь повторить твой корпус. И всегда отдельно проговори, кого твой способ сбора не слышит.
🎯 Быстрый вопрос
Ты собрал корпус постов по одному хэштегу в одной соцсети. На кого корректно распространять выводы?