Подсеть и диапазон IPv4: как читать запись 203.0.113.0/24 и почему площадка смотрит на соседей

Подсеть это группа идущих подряд IPv4-адресов с общим началом, диапазон это её границы от первого адреса до последнего. Запись 203.0.113.0/24 описывает такую группу целиком: слева базовый адрес, справа длина префикса, и вместе они означают, что у всех адресов внутри группы совпадают первые 24 бита.

Сайт, который принимает запрос, читает адрес именно в таком виде. За одной строкой из четырёх чисел площадка видит целый блок и помнит, как вёл себя этот блок в предыдущие часы. Отсюда простое следствие: приём запроса зависит от поведения соседей по диапазону, и работа с прокси начинается с умения прочитать префикс.

Ниже мы разбираем арифметику масок, счёт адресов в /24, /22 и /19, логику антифрода вокруг подсетей, проверку принадлежности адреса блоку через whois и практику раскладки нагрузки по диапазонам на крупном прогоне. Тему берём с азов, поэтому предварительных знаний о маршрутизации не потребуется.

Запись 203.0.113.0/24: базовый адрес и длина префикса

IPv4-адрес это 32 бита, записанные четырьмя октетами по 8 бит: 203.0.113.45. Каждый октет принимает значения от 0 до 255, поэтому старший октет 203 занимает биты с первого по восьмой, следующий 0 с девятого по шестнадцатый и так далее. Косая черта с числом после адреса называется префиксной записью CIDR.

Число после косой черты говорит, сколько старших бит закреплено за сетью. В 203.0.113.0/24 закреплены первые 24 бита, то есть три октета 203.0.113. Свободными остаются последние 8 бит, и меняться может только последний октет. Получается ровно 256 комбинаций: от 203.0.113.0 до 203.0.113.255.

Первый адрес блока называется адресом сети, последний широковещательным. В маршрутизируемых блоках провайдера эти два обычно заняты под служебные задачи, поэтому под рабочие узлы остаётся 254 позиции. Для чтения списков прокси эта деталь второстепенна, при разборе конфигурации маршрутизатора она становится обязательной.

Базовый адрес всегда кратен размеру блока. Запись 203.0.113.7/24 встречается в конфигурациях интерфейсов и читается как «адрес 203.0.113.7 внутри блока 203.0.113.0/24». В таблицах маршрутов и в ответах whois вы увидите ровный вариант с нулём в конце.

# три способа записать одно и то же
203.0.113.0/24
203.0.113.0 255.255.255.0
203.0.113.0 - 203.0.113.255

Маска подсети: как из префикса получается число адресов

Маска это тот же префикс, записанный четырьмя октетами. Единицы слева отмечают биты сети, нули справа биты узла. Префикс /24 превращается в 255.255.255.0, префикс /22 в 255.255.252.0, префикс /19 в 255.255.224.0. Третий октет маски в этих примерах меняется потому, что граница сети проходит внутри него.

Счёт адресов держится на одной формуле: свободных бит остаётся 32 минус префикс, а число адресов равно двойке в этой степени. Для /24 свободны 8 бит и получается 256 адресов. Для /22 свободны 10 бит и получается 1024 адреса. Для /19 свободны 13 бит и получается 8192 адреса. Чем меньше число после косой черты, тем крупнее блок.

Обратите внимание на границы в правой колонке. Блок /22 начинается с 203.0.112.0 потому, что третий октет должен делиться на 4: подходят 112, 116, 120, 124. Блок /19 начинается с 203.0.96.0, третий октет кратен 32. Правило кратности объясняет, почему провайдер выдаёт диапазоны кусками фиксированного размера и не режет их произвольно.

Ещё одна практическая деталь: /22 это ровно четыре соседних /24, а /19 это тридцать два /24. Держим это соответствие в голове, и любой ответ whois читается за секунду. Крупный блок распадается на мелкие по степеням двойки, обратное тоже верно.

Пересчёт в обе стороны пригодится при разборе списка прокси. Мы смотрим на третий октет и сразу понимаем, сколько независимых счётчиков стоит за нашей выборкой. Двести строк с двадцатью разными значениями третьего октета это двадцать блоков по десять адресов, и картина по нагрузке считается в уме.

Что площадка называет подсетью

Технически подсетью считается любой блок с любым префиксом. Практически системы приёма трафика работают с несколькими устоявшимися уровнями, и знать их полезно каждому, кто настраивает прогон.

Первый уровень это /24. Он выступает единицей учёта у большинства антифрод-систем: счётчики запросов, репутационные отметки и временные ограничения чаще всего вешаются именно на третий октет. Второй уровень это блок из whois, то есть тот диапазон, который зарегистрирован за конкретным владельцем. Он бывает шире /24: /22, /21, /19 и крупнее. Третий уровень это автономная система, ASN: номер, под которым сеть объявляет свои маршруты соседям.

Мы держим все три уровня в поле зрения, когда собираем пул: адреса приходят от разных операторов, из разных блоков whois и под разными номерами автономных систем. Такая раскладка даёт запас там, где счётчики площадки работают на уровне /24, и там, где они поднимаются до уровня оператора.

Почему поведение соседей влияет на приём запросов

Логика фильтра простая. Считать статистику по каждому отдельному адресу дорого и бессмысленно: адресов миллиарды, а поведение меняется каждый час. Считать по блокам дёшево и информативно, потому что блок принадлежит одному владельцу и внутри него активность обычно однородная.

Отсюда механика ограничений. Площадка складывает запросы всех адресов одного /24 в общий счётчик. Пока сумма держится в норме, ответы идут обычные. Как только счётчик переваливает порог, включаются меры: сначала замедление, потом проверка человеком в виде интерактивной страницы, потом код 429 с заголовком Retry-After, а при устойчивом превышении код 403 на весь блок.

Практический вывод отсюда следующий: сорок адресов из одного /24, которые молотят один целевой домен параллельно, для площадки выглядят как один источник с сорокакратной нагрузкой. Двадцать адресов из двадцати разных /24 при том же суммарном темпе распределяются по двадцати независимым счётчикам, и каждый остаётся глубоко внутри нормы.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
X-RateLimit-Limit: 60
X-RateLimit-Remaining: 0

Второй механизм это репутация. Крупные сети ведут списки блоков с историей нежелательной активности. Отметка ставится на диапазон, поэтому адрес, поднятый в блоке с плохой историей, получает повышенное внимание с первого же запроса. Разбор кодов ответа и порядок действий при отказе описаны отдельно, в материале про что сайт видит о посетителе.

Третий механизм это привязка сессии. Если авторизованная сессия открылась с адреса 198.51.100.20, а следующий запрос той же сессии пришёл с 203.0.113.90, площадка видит смену подсети посреди работы и обычно требует повторного подтверждения. Внутри одного /24 такой переход проходит спокойнее, потому что блок остаётся прежним.

Как проверить принадлежность адреса блоку через whois

Проверка занимает несколько секунд и отвечает сразу на три вопроса: какому диапазону принадлежит адрес, кто владелец блока и под каким номером автономной системы этот блок объявлен. Утилита whois есть в любом дистрибутиве Linux, в macOS она встроена, в Windows её заменяет одноимённая программа из набора Sysinternals.

# базовый запрос
whois 203.0.113.45

# только нужные поля, RIPE и APNIC
whois 203.0.113.45 | grep -iE "inetnum|netname|route|origin|country|descr"

# то же через публичный сервис whois по HTTP
curl -s https://rdap.db.ripe.net/ip/203.0.113.45 | head -40

В ответе RIPE и APNIC диапазон лежит в поле inetnum, у ARIN то же самое называется NetRange и CIDR. Поле netname даёт короткое имя блока, descr описание владельца, origin номер автономной системы. Ответ приходит в виде набора строк, и читать его удобнее через фильтр, показанный выше.

Дальше сравниваем два адреса из своего списка. Совпали inetnum и origin, значит адреса живут в одном блоке и для площадки они соседи. Разошёлся третий октет при совпадающем inetnum, значит блоки /24 разные, а владелец общий: часть счётчиков разведена, часть остаётся общей. Разошёлся origin, значит перед нами полностью независимые сети.

Мы проверяем адреса из своей выдачи тем же порядком, когда клиент просит подтвердить разброс блоков. Массовую проверку удобно делать циклом по файлу со списком. Тридцати строк хватает, чтобы увидеть картину по всему пулу, и повторять её каждый раз не нужно: пул обновляется, состав меняется, и пропорция разных блоков остаётся близкой.

# сколько разных /24 в первых 200 строках списка
cut -d: -f1 proxy.txt | head -200 | cut -d. -f1-3 | sort -u | wc -l

# сколько разных автономных систем
for ip in $(cut -d: -f1 proxy.txt | head -30); do
  whois "$ip" | grep -im1 -E "^origin" 
done | sort | uniq -c | sort -rn

Зачем в работе нужны адреса из разных подсетей

Разнообразие диапазонов даёт три вещи: устойчивость темпа, независимость параллельных задач и предсказуемое поведение при росте нагрузки. Разберём каждую.

Устойчивость темпа. Счётчики частоты живут на уровне блока, поэтому суммарная скорость прогона делится между блоками. На тридцати разных /24 общий темп держится в тридцать раз выше того, что выдержит один блок, при том же безопасном темпе на каждый счётчик. Мы собираем пул именно с таким расчётом, и на странице, где можно купить прокси IPv4 из широкого набора подсетей, состав пула описан по пунктам.

Независимость задач. Когда две задачи идут параллельно, разведение по блокам избавляет от взаимного влияния. Сбор карточек товаров и съём выдачи из одного /24 складываются в общий счётчик целевого домена, и медленная задача начинает страдать от быстрой. Разные блоки ставят между ними стену.

Предсказуемость при росте. Нагрузка редко растёт равномерно: обычно она прыгает вместе с сезоном или с расширением списка целей. Пул из множества диапазонов масштабируется линейно, потому что новые потоки просто раскладываются по свободным блокам. Пул из одного диапазона упирается в потолок площадки и дальше не растёт.

Для сбора открытых данных этот эффект заметнее всего, поэтому пакеты прокси для парсинга и массовых прогонов строятся вокруг широкого набора блоков. Серверная природа адресов при этом даёт стабильный отклик: узлы стоят в машинных залах на собственном оборудовании с широким каналом, и подробности мы собрали на странице про серверные адреса на собственном оборудовании.

Есть и четвёртый эффект, менее очевидный. Разные блоки почти всегда означают разных операторов связи, а значит разные маршруты до целевого сервера. Один маршрут просел по задержке, остальные продолжают работать в прежнем темпе, и общая картина прогона остаётся ровной. Мы наблюдаем это на длинных ночных выгрузках: провал по одному оператору забирает несколько процентов скорости вместо остановки всей задачи.

Как распределять нагрузку по диапазонам при крупном прогоне

Практика сводится к четырём приёмам, и все они настраиваются внутри софта, без правки чего-либо на стороне сервиса.

Первый приём: группировка списка по третьему октету. Список из кабинета приходит плоским, и один проход через sort превращает его в набор групп. Дальше программа берёт по одному адресу из каждой группы по кругу, и подряд идущие запросы уходят из разных блоков.

# раскладка списка по группам /24
awk -F: '{split($1,a,"."); print a[1]"."a[2]"."a[3]"\t"$0}' proxy.txt \
  | sort -k1,1 | cut -f2 > proxy-by-subnet.txt

Второй приём: потолок потоков на блок. Правило простое: держим не больше 3-5 одновременных соединений с одного /24 к одному домену. Общий лимит пакета при этом остаётся прежним, просто он раскладывается шире. Стандартные пакеты дают до 1000 потоков, корпоративный до 3000, и при двух привязанных адресах общий лимит делится между ними пополам.

Третий приём: разведение доменов по группам блоков. Если целей несколько, закрепите за каждой свою треть списка. Тогда история запросов по домену остаётся компактной и площадка видит ровный поток с ограниченного набора диапазонов.

Четвёртый приём: пауза по блоку, не по адресу. Получили 429 с одного адреса, отправляйте следующий запрос из другой группы, а исходную группу выведите из работы на время из заголовка Retry-After. Многие программы умеют это из коробки: в ZennoPoster логика собирается кубиками в проекте, а в A-Parser поведение задаётся в настройках потоков и повторов. Готовые связки для сборщика мы описали на странице про настройку A-Parser под работу с пулом.

Трафик в пакете безлимитный, поэтому раскладка по блокам никак не бьёт по объёму выкачки: считать гигабайты не нужно, планируется только частота обращений. Команды с круглосуточными прогонами берут пакеты с безлимитным трафиком именно ради этой свободы в планировании.

Что показывает разнообразие подсетей в пуле

Оценить пул по разнообразию блоков можно за пять минут и цифры получаются говорящие. Берём первые 500 строк списка, срезаем последний октет, считаем уникальные значения. Отношение числа уникальных /24 к числу адресов даёт коэффициент разброса.

Пул на 12 000 активных адресов при широком наборе блоков даёт сотни разных /24 и десятки разных автономных систем. География охватывает 200+ стран, пул собран как микс со всего мира, и уже поэтому адреса физически расходятся по множеству независимых сетей. Ротация внутри пула автоматическая, состав обновляется в реальном времени, поэтому одна и та же выборка через час покажет частично другие блоки.

Плотность внутри блока полезнее абсолютных чисел. Десять адресов на один /24 означают, что при полной параллельной работе всех десяти счётчик площадки увидит десятикратную нагрузку от одного источника. Два адреса на блок дают вдвое более спокойную картину при том же общем размере пула, поэтому мы смотрим именно на плотность, когда планируем крупный прогон.

Проверить разброс своими руками проще всего в тестовом окне. Бесплатный тест длится до 2 часов, список выдаётся в форматах IP:PORT и IP:PORT:LOGIN:PASS ссылкой или файлом, и этого достаточно, чтобы снять статистику по блокам на реальной выборке. Полный состав пакета с потоками и привязками разобран там, где оформляется доступ к пулу IPv4 и SOCKS5.

Частые вопросы

Можно ли получить набор адресов из одного диапазона?

Пул устроен как микс со всего мира, ротация внутри пула автоматическая, состав обновляется в реальном времени. Группировку по блокам вы собираете на своей стороне: список приходит плоским, один проход сортировки по третьему октету раскладывает его по группам /24, и дальше софт работает с этими группами как ему удобно.

Что входит в прокси-пул?

В пуле около 12 000 активных адресов IPv4 и SOCKS5, онлайн держится в районе этой цифры в сутки. Стандартные пакеты дают до 1000 потоков, корпоративный до 3000, пакеты по потокам между собой не складываются. Доступ к списку открыт клиентам сервиса.

Как часто обновляется список адресов?

Список обновляется в режиме реального времени, поэтому перед крупным прогоном его стоит перечитать заново. Сохранённый на диск файл со временем расходится с текущим составом пула, и часть строк в нём перестаёт отвечать. Ссылку на выдачу удобно отдать планировщику, тогда программа тянет актуальные строки перед каждым запуском.

Подойдут ли прокси под мою задачу?

Заранее предугадать поведение каждого целевого сайта нельзя, поэтому перед покупкой доступен бесплатный тест до 2 часов под ваш запрос. За это время снимается статистика по блокам, проверяется отклик и подбирается рабочее число потоков на диапазон. Пакет после оплаты включается примерно за 5 минут.

Соседние разборы основ дополняют картину: что такое прокси IPv4 и как проходит запрос через посредника, откуда берутся серверные адреса и кому принадлежат их блоки, сколько адресов нужно под задачу при разной частоте обращений. Когда площадка ответила отказом на весь диапазон, порядок действий описан в материале про ошибку 403 при работе через прокси.