API проверки доменного ранга: стоимость каждого действия

Определения, используемые в таблице

Кредит — единица биллинга. Один кредит равен $0.0001, поэтому 10 000 кредитов составляют ровно один доллар. Запрос — это один HTTP-запрос.

Строка — это один элемент в возвращаемом списке, например одна обратная ссылка. Лимиты применяются на запрос. Ограничение на глубокую пагинацию действует на запрос, и когда вы его достигаете, ответом является сужение запроса.

Чтение таблицы

Единицей биллинга является запрос, а не строка. Получение 1 000 обратных ссыек стоит столько же, сколько получение 10: два кредита.

Самое дешевое действие — bulk_dr. Две тысячи доменов стоят $0.0001, что равно цене одной строки при построчном ценообразовании. Глубокая пагинация ограничена 50 000 строками, поэтому при превышении этой глубины сужайте запрос, а не пагинируйте.

Новый аккаунт начинается с $100 бесплатных кредитов, то есть миллиона кредитов. Последующие пополнения производятся в USDT по сети TRC-20 через страницу аккаунта, поэтому баланс, который вы видите там, является тем, с которого списываются средства при каждом запросе.

Выбор самого дешевого действия, которое все же отвечает на вопрос

У большинства вопросов есть более одного действия, которое может на них ответить. Выберите то, которое имеет наименьшую стоимость в кредитах, но все же дает нужный ответ.

Самый дешевый путь часто состоит из двух шагов: дешево оцените большой список, затем заплатите за детали по короткому списку.

Сначала оценка, затем список

Действие bulk_dr оценивает до 2 000 доменов за 1 кредит за запрос. Запустите его по полному списку, затем получите списки за 2 кредита только для короткого списка.

Короткий список из 40 имен стоит 80 кредитов за списки ссылающихся доменов, или $0.008. Это небольшая сумма по сравнению с этапом скрининга, который и является причиной для предварительного сужения.

Запишите правило формирования короткого списка, чтобы каждый ежемесячный запуск применял его одинаково, и цифры оставались сопоставимыми.

Сравнение группы сверстников

Действие compare обрабатывает до 20 доменов за 1 кредит. Группа сверстников такого размера помещается в один запрос, где список для каждого конкурента стоил бы 2 кредита за запрос.

Используйте его для сравнения небольшой группы. Переключайтесь на списки только когда одному сайту нужна глубина.

Действия с одной целью

Действия top, dr_distribution и tld_breakdown стоят по 1 кредиту каждое и требуют одну цель. Они отвечают на более узкие вопросы, чем списки, поэтому стоят меньше.

Проверьте, какой вопрос вы задаете, прежде чем выбирать. Дешевый ответ на неправильный вопрос все равно остается неправильным ответом.

Прогнозирование запуска до его начала

Прогноз не лучше своей единицы измерения. Здесь единица — запрос, поэтому считайте запросы, умножайте на кредиты и конвертируйте в доллары один раз в конце.

Большинство сюрпризов происходят из шага, который никто не оценил. Последующий список или повторная попытка добавляют запросы в план, и каждый из них имеет свою цену.

Бюджетирование каждого рабочего процесса отдельно

Прогнозируйте каждый тип задачи отдельно. Скрининг, ежемесячный аудит и разовая проверка имеют разную структуру, и один усредненный показатель скрывает дорогой.

Допустим, гипотетический еженедельный скрининг 10 000 перспективных доменов занимает пять запросов bulk_dr. Это 5 кредитов, или $0.0005, до начала любой последующей работы.

Запишите бюджет сначала в кредитах, а затем в долларах. Кредиты соответствуют строке в каждом запросе, поэтому арифметика остается видимой, когда вы проверяете запуск против плана.

Учитывайте повторные попытки

Повторные попытки добавляют запросы. Десять повторных попыток в плане из 100 запросов — это увеличение на 10 процентов, даже если каждая попытка кажется дешевой.

В этом входе не указано, взимается ли плата за неудачный запрос. Протестируйте его один раз дешевым запросом и прочитайте _credits, прежде чем полагаться на любой из ответов.

Остановите цикл, который постоянно растет

Скрипты и агенты иногда решают, что еще один запрос поможет. Цикл без ограничения может потратить гораздо больше, чем позволял план.

Установите ограничение в коде: максимальное количество запросов и остановку, когда баланс падает ниже того, что нужно для остальной части задачи.

Простая строка журнала для каждого запроса делает отклонения видимыми рано. Записывайте действие, количество доменов и значение _credits. Сравнивайте текущий итог с планом в конце каждого пакета.

Кэширование ответов, за которые вы уже заплатили

Повторные вопросы — это самое дешевое расточительство, которое можно устранить. Кэш хранит результат один раз и отвечает на следующий запрос из памяти.

Кэшируйте по домену и действию, а не только по домену. Оценка bulk_dr и список refdomains для одного и того же имени — это разные ответы с разной ценой.

Пусть обновление устанавливает срок действия

Индекс обновляется примерно раз в месяц. Повторный запрос в течение того же месяца обычно возвращает тот же снимок, поэтому кэш, существующий до следующего обновления, теряет мало.

Храните метку времени с каждой записью. Кэшированное значение без даты трудно защитить в отчете позже.

Задача, которая выполняется чаще, чем обновление, в противном случае платила бы дважды за один и тот же снимок в рамках одного цикла. Кэш останавливает это.

Что не следует кэшировать

Неудачный запрос — не ответ. Не храните 401 или 402 как результат, потому что следующий запрос может succeed, когда ключ или баланс будут исправлены.

Бесплатные действия дешевы для повторения, поэтому кэш может не стоить кода для них. Сначала измерьте.

Включите имя действия и параметры, формирующие ответ, в ключ кэша, такие как per и sort. Два списка с разными сортировками — это разные результаты.

Чтение значения _credits запрос за запросом

Каждый аутентифицированный ответ сообщает о своей стоимости. Читайте это значение рядом с таблицей, и каждый запрос сопоставляется с одним действием и одной ценой.

Записывайте значение по ходу дела. Необъяснимый итог гораздо легче отследить, когда каждый запрос уже содержит имя действия.

Задачу по проверке доменного ранга легче всего аудировать, когда каждый ответ содержит свою цену. Сопоставьте значение с таблицей, и счет перестает быть загадкой.

Сопоставление каждого сбора с действием

Ответ, сообщающий о 2 кредитах, должен принадлежать действию за 2 кредита, такому как список. Сбор в 3 кредита принадлежит search или keyword. Все остальное заслуживает более внимательного рассмотрения.

Если сбор не совпадает, проверьте имя действия, которое вы отправили, прежде чем проверять баланс. Ошибка обычно является опечаткой в параметре действия.

Обнаружение цикла по его итогам

Цикл проявляется как множество одинаковых запросов с одинаковой стоимостью. Если итог по одному действию растет гораздо быстрее, чем остальные, ищите повторную попытку или шаг пагинации, который никогда не заканчивается.

Сравните этот итог с прогнозом для той же задачи, а не с прошлым месяцем, потому что размеры задач меняются от одного запуска к другому.