Боты и источники
Кто ходит за данными, что приносит и сколько это стоит.
Яндекс Wordstat
Wildberries
hh.ru — вакансии
Google Trends
Wikimedia Commons
История запусков
что и когда собиралось
| Задача | Статус | Записей | Стоимость | Начало |
|---|---|---|---|---|
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 180 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 660 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 660 | 0.00 ₽ | 1 нояб., 00:54 |
| collect:wordstat | done | 660 | 0.00 ₽ | 1 нояб., 00:53 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 31 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 180 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 30 окт., 04:20 |
| collect:wordstat | done | 660 | 0.00 ₽ | 30 окт., 04:20 |
Как устроено обновление
Каждую ночь планировщик отбирает запросы, которые не обновлялись дольше недели, и ставит их в очередь пачками по 20. Затем пересчитываются метрики, ниши, расчёты по городам и генерируются новые идеи.
Сбор идёт в фоне, а не по нажатию кнопки. Причина техническая: базовая квота Wordstat — 100 запросов в час, поэтому мгновенно ответить внешним API невозможно. Пользователь всегда получает ответ из накопленной базы, и интерфейс не зависит от того, отвечает ли сейчас источник.
Задачи, упавшие с ошибкой, возвращаются в очередь с нарастающей задержкой и после трёх попыток помечаются как «dead» — их видно в таблице выше.
Сейчас в базе есть демонстрационные значения: они помечены флагом и будут заменены настоящими при первом обходе с рабочим ключом.