ReCaptcha это реализация CAPTCHA от компании Google. Представляет собой тест, используемый для того, чтобы определить, кто отправляет запрос на сайт: реальный человек или бот. По сравнению с другими видами капчи, ReCaptcha использует усовершенствованные и более сложные алгоритмы для анализа и проверки пользователей.
Примеры, как может выглядеть стандартная капча:
Распространенный вариант ReCaptcha:
После отметки чек-бокса сайт может стать доступен сразу, но в некоторых случаях появляется окно с дополнительной проверкой, которое выглядит следующим образом:
ReCaptcha является частью системы безопасности веб-сайтов и используется в качестве защиты от автоматизированных атак. Несколько примеров реализации технологии ReCaptcha в веб-разработке:
У технологии важная роль в интернет-сети, поскольку она защищает сайты от спама и нежелательных автоматических действий, например, таких как регистрация фальшивых аккаунтов, массовых отправок запросов через формы обратной связи и комментарии. Кроме того, она защищает сайт от ботов, которые могут пытаться осуществить взлом аккаунтов пользователей, благодаря чему обеспечивает безопасность конфиденциальных данных клиентов сайта.
ReCaptcha использует различные методы для того, чтобы определять подозрительное поведение пользователя на сайте. К ним можно отнести анализ пользовательского взаимодействия с сайтом, например, мониторинг скорости ввода текста в полях данных, движений мыши, времени проведенного на странице, и других параметров. Кроме того, технология подразумевает проведение статистического анализа показателей активности, например, частоты запросов, а также анализа сетевого трафика, включая IP-адреса, используемые для доступа к сайту.
Рассмотрим алгоритм, как работает ReCaptcha:
Для анализа ответов ReCaptcha использует алгоритмы машинного обучения, а также проводит статистический анализ, чтобы сравнивать ответы, полученные в текущем сеансе, с предыдущими.
Учитывая принцип работы ReCaptcha и методы, по которым технология определяет действия пользователя на сайте как подозрительные, можно выделить несколько распространенных причин ее появления. К ним относится подозрительный Fingerprint пользователя, повышенное количество запросов, не характерное для обычного человека, и вредоносные действия на сайте.
Fingerprint — цифровой отпечаток браузера, в котором собрана идентификационная информация, включающая данные о самом браузере и устройстве, на котором он установлен. В него входят такие параметры, как:
Существует несколько видов HTTP-заголовков, которые передаются на конечный сервер при каждом запросе и проверяются системами безопасности. Некоторые из них:
При использовании ботов для автоматизации действий на сайте, перечисленные заголовки могут содержать некорректную, редко встречающуюся информацию, или оставаться пустыми, что делает такой браузерный отпечаток подозрительным.
Кроме того, система безопасности сайта анализирует и местоположение пользователя по его IP-адресу. Если при этом определяется локация, не связанная с конкретным провайдером интернета, или не совпадающая с местоположением, которое использовалось для предыдущих сессий, сайт может потребовать решения ReCaptcha. Также, технология может определять IP-адреса, которые ассоциируются с известными VPN, и иметь собственные черные списки определенных диапазонов IP-адресов. В целях предотвращения доступа через анонимизаторы и защиты от несанкционированного доступа, возникает капча.
Абьюз трафика — комплекс манипуляций, направленных на искажение статистики веб-сайта и нарушение его работы. Приведем в пример несколько действий, которые относятся к абьюзу:
Подобные практики используются для того, чтобы нанести ресурсу ущерб в целях получения собственной выгоды. Например, при перенаправлении трафика личные данные пользователей могут быть получены незаконно, а дальнейшее их использование в несанкционированных целях нанесет ущерб репутации веб-сайта. При использовании кликботов злоумышленник может увеличить расходы владельцев сайта на рекламу или получить нечестным путем прибыль за клики.
Появление ReCaptcha в таком случае является ответом на абьюз с целью ограничения активности ботов. Технология предотвращает некоторые формы абьюза трафика и может усложнить выполнение автоматизированных атак, так как боты или скрипты не всегда могут распознавать и проходить проверку капчи. Стоит также отметить, что одной технологии ReCaptcha для борьбы с абьюзом трафика недостаточно, поэтому она часто применяется в сочетании с другими методами обеспечения безопасности, такими как анализ поведения пользователя или системы обнаружения вторжений.
Ряд действий, которые проводятся на веб-сайте и загружают сервер отправкой большого количества запросов. К ним можно отнести:
В таких случаях, ReCaptcha работает как ограничение большого количества запросов. Ее появление затрудняет дальнейшие автоматизированные действия, в результате чего запросов становится меньше.
Учитывая особенности и принцип работы технологии ReCaptcha, обойти ее можно, в первую очередь, изменив свой цифровой след в сети. Чтобы решать капчу также можно использовать специальные сервисы, которые интегрируются в ПО и делают это автоматически. Наилучший результат достигается, если комбинировать несколько способов.
Если капча появляется при использовании сервисов Google, например, Google Поиск, Google Академия или YouTube, для ее обхода, зачастую, достаточно авторизоваться в своем аккаунте. Google может использовать информацию об аккаунте пользователя и его активности, чтобы определить, реальный это человек или бот. Также это сработает с веб-сайтами, поддерживающими Гугл-авторизацию.
Однако, в ряде случаев, когда от авторизованного пользователя поступает слишком много запросов или за ним фиксируется другая подозрительная активность, ReCaptcha может появляться, чтобы веб-ресурс удостоверился в реальности пользователя.
Для решения ReCaptcha можно использовать специализированные сервисы, которые интегрируются в программное обеспечение пользователя и предоставляют API для автоматического решения капчи. Также они могут быть представлены в виде плагинов в браузере. Однако такие сервисы не способствуют более редкому появлению ReCaptcha и могут использоваться только в качестве дополнительного инструмента в случаях, если других методов было недостаточно, чтобы избежать капчи.
На рынке существует большое количество сервисов, предоставляющих функционал для автоматизированного решения капчи. Часть из них полностью построена на мануальном решении, другая часть предполагает комбинацию искусственного интеллекта и человеческой проверки, что обеспечивает более быстрый результат. Рассмотрим три самых популярных сервиса для решения ReCaptcha.
Данный сервис работает по принципу ручного решения капчи, позволяет решать все существующие на данный момент капчи от Google и распознает их на любых сайтах. Обход капчи осуществляется путем интеграции API сервиса.
Формат оплаты в сервисе 2Captcha - за решенные капчи. Стоимость - 1,00 € за 1 000 распознанных капч. По заверениям разработчиков сервиса, средняя скорость решения стандартной капчи - 6 секунд.
DeathbyCAPTCHA также можно интегрировать в веб-приложение или программное обеспечение с помощью API. Сервис работает по гибридной схеме, используя систему оптического распознавания символов и ручное решение. Разработчик заявляет точность решения 90% со средним временем ответа от 8 до 10 секунд. Помимо этого, у сервиса есть особенная услуга, обеспечивающая 100% точность при решении капчи. При ее активации, задача будет отправляться 3 разным сотрудникам, чтобы результат был максимально точным.
Стоимость варьируется в зависимости от типа решаемых капч. Актуальный прайс для ReCaptcha — $2,89 за 1 000 правильно решенных капч. Пользователи не платят за те задачи, которые не были решены.
Данный сервис является полностью автоматизированным и использует алгоритмы искусственного интеллекта для решения капч. Эффективность при решении ReCaptcha достигает более 90%. AZcaptcha предлагает несколько пакетов, часть из которых включает неограниченное решение капч на протяжении оплаченного периода. Стоимость начинается от $1 за 1000 решенных капч от Google.
Еще одной особенностью сервиса является наличие расширений для Google Chrome и FireFox, с помощью которых можно автоматизировать решение капч во время интернет-серфинга.
Учитывая то, что авторизация в Google аккаунт работает не на всех сайтах, а сервисы по решению капчи помогают только решить проблему, а не избежать ее, более целесообразным вариантом обхода ReCaptcha станут антидетект-браузеры и прокси-сервера.
Антидетект-браузеры специально созданы для того, чтобы сделать невозможным отслеживание данных реального пользователя в сети. Они используются в различных сферах, таких как SEO-оптимизация, SMM-маркетинг, E-коммерция, где для эффективного выполнения задач нужно создание нескольких аккаунтов и возможность работы с ними в одном рабочем окне.
Антидетект-браузеры имеют особые возможности, которые позволяют настраивать автоматизированные действия таким образом, чтобы обойти капчу и снизить риск блокировки пользователя:
Можно выделить 5 самых популярных антидетект-браузеров с широким функционалом для смены своего цифрового отпечатка, позволяющих эффективно обходить капчу.
Браузер содержит функционал специально для командной работы, благодаря чему позволяет создавать большое количество браузерных профилей и настраивать для каждого из них собственный цифровой отпечаток. Кроме того, прямо в браузере есть возможность создавать скрипты автоматизации повторяющихся действий, что позволяет уменьшить количество рутинной ручной работы.
Dolphin {Anty} предлагает широкую базу реальных фингерпринтов, благодаря чему при его использовании значительно снижается риск возникновения капчи. Это позволяет избегать ассоциации профилей, созданных и функционирующих в одном рабочем пространстве.
Антидетект-браузер содержит несколько ключевых особенностей, среди которых наличие возможности быстрого создания разовых профилей. Это браузерные профили, которые удаляются сразу после закрытия Multilogin, и подходят для выполнения временных коротких задач.
Кроме этого, в браузере предусмотрен функционал автоматического отключения опасных плагинов, через которые может произойти утечка реальных данных пользователя. При настройке прокси, Multilogin считывает его параметры и применяет соответствующие значения автоматически, включая языки браузера, часовой пояс и геолокацию. Также в браузере есть «CookieRobot», который сканирует сайты и собирает файлы cookie автоматически.
В совокупности все эти возможности позволяют создать правдоподобный фингерпринт, что впоследствии снижает частоту возникновения капчи.
Антидетект-браузер имеет несколько отличительных особенностей, среди которых наличие веб-версии, позволяющей запускать и редактировать профили на облачном сервере, а также мобильное приложение для Android.
Также в GoLogin есть удобная функция «Warpcore», полезная, в первую очередь, для командной работы. Это решение позволяет запускать профили с разными версиями браузера Orbita и соответствующей версией браузерного движка. Все несоответствия ядра браузера при работе в команде будут устранены, даже если ее члены используют разные версии GoLogin и Orbita, что позволяет избегать обнаружения аккаунтов, возникновения капчи по причине подозрительного фингерпринта, и блокировок.
Для создания реалистичного фингерпринта браузера, который не будет провоцировать возникновения капчи, в AdsPower предусмотрено несколько полезных функций, включая:
В антидетект-браузере можно выполнить детальные настройки фингерпринта для отдельных профилей, что обеспечивает эффективное избегание капчи.
Incogniton подходит как для командной работы, так и для самостоятельного использования. Браузер предоставляет пользователям функцию «Cookie Collector» для сбора файлов куки в автоматическом режиме, а также широкий перечень настроек фингерпринта. Для работы предусмотрено два встроенных браузера: Sun Browser на базе Chromium и Flower Browser на движке Firefox.
Одной из интересных опций браузера является функция OCR, интегрированная в Incogniton. С ее помощью пользователи могут легко скопировать текст с изображения, и затем вставить его как текст.
Все антидетект-браузеры предлагают несколько тарифов с разными возможностями для работы. Рассмотрим их подробнее в сравнительной таблице.
| Название браузера | Тарифы | Стоимость в месяц | Максимальное количество браузерных профилей | Возможность работы в команде |
|---|---|---|---|---|
| Dolphin {Anty} | Free | $0 | 10 | Нет |
| Base | $89 | 100 | Да, за доплату $10 за 1 пользователя | |
| Team | $159 | 300 | Да, за доплату $20 за 1 пользователя | |
| Enterprise | $299 | 10 000 Дополнительно есть возможность установить кастомное количество | Да, за доплату $25 за 1 пользователя | |
| Multilogin | Solo | €99 | 100 | Нет |
| Team | €199 | 300 | Да, 3 участника | |
| Scale | €399 | 1 000 | Да, 7 участников | |
| Custom | Зависит от выбранных возможностей | Более 1 000 | Да, более 7 участников | |
| GoLogin | Professional | $24 | 100 | Нет |
| Business | $49 | 300 | Да, 10 участников | |
| Enterprise | $99 | 1 000 | Да, 20 участников | |
| Custom | $149 | 10 000 | Да, 100 участников | |
| AdsPower | Free | $0 | 5 | Нет |
| Base | От $5.4 | От 10 | Да, возможность выбора кастомного количества | |
| Pro | От $30 | От 100 | Да, возможность выбора кастомного количества | |
| Custom | Зависит от выбранных возможностей | Более 10 000 | Да, возможность выбора кастомного количества | |
| Incogniton | Starter | $0 | 10 | Нет |
| Entrepreneur | $29.99 | 50 | Нет | |
| Professional | $79.99 | 150 | Да, 3 участника | |
| Multinational | $149.99 | 500 | Да, 10 участников |
Прокси-сервер может помочь в обходе капчи, так как скрывает реальный IP-адрес при отправке запроса. Это особенно полезно для таких действий, как, например, парсинг данных или выкуп товаров в онлайн-магазинах. Для этих целей используется специальное ПО — скраперы и сникерботы, которые во время своей работы отправляют большое количество запросов на конечные сервера, что и становится причиной появления ReCaptcha.
Интегрировав прокси в такое ПО, пользователь может исключить или снизить частоту появления капчи. Но важно учитывать, что для эффективной работы, у прокси должна быть ротация — процесс смены IP-адреса, или наличие пула статических серверов. В таком случае за одним IP-адресом не будет фиксироваться чрезмерно высокая активность, и он не будет определяться системой безопасности веб-ресурса как подозрительный. В этом контексте следует упомянуть две основных категории прокси-серверов: статические и динамические, и рассмотреть их подробнее.
Статические прокси — постоянные IP-адреса, которые не меняются, пока пользователь сам не изменит конфигурацию или не отключит их. Также настроить ротацию таких прокси можно мануально в специальном софте, например, такой функционал предлагают сникерботы, антидетект-браузеры, скраперы. В этом случае пользователю необходимо закупить пул IP-адресов, загрузить их в ПО, и настроить временной интервал для смены.
К этой категории относятся такие типы прокси:
Следует отметить, что они не одинаково хорошо подходят для обхода капчи, что связано с их принадлежностью.
Датацентр-прокси IPv4/IPv6 располагаются в частных центрах обработки данных. Они не связаны с реальными интернет-провайдерами, поэтому не зарегистрированы в интернет-регистрах IP-адресов. При проверке такого айпи-адреса, система безопасности не определяет реального провайдера и хост, из-за чего требует решения капчи.
ISP-прокси расположены на серверах, принадлежащих интернет-провайдерам, поэтому при их использовании капча возникает реже. Однако, при отправке большого количества запросов с такого IP-адреса, также можно столкнуться с появлением капчи, так как подобная активность не будет характерной для обычного пользователя.
Динамические прокси имеют ротацию IP-адреса. Пользователь, зачастую, имеет возможность выбирать, по какому сценарию айпи-адреса будут меняться, например, по времени или при использовании URL-ссылки. В таком случае нет необходимости покупать пул IP-адресов. При приобритении одного прокси или тарифного плана трафика, пользователь сразу получает доступ к пулу, в рамках которого будет происходить ротация IP-адресов.
К этой категории относятся такие типы прокси:
Резидентские прокси расположены на ПК реальных пользователей, которые подключены к интернету. Они характеризуются высокой степенью доверия со стороны систем безопасности веб-ресурсов, поскольку при проверке такого IP-адреса определяется реальный провайдер и хост, а также геолокация устройства. Кроме того, их динамическое назначение позволяет обходить лимиты запросов на одном IP-адресе, которые устанавливаются на веб-ресурсах, что сводит риск появления капчи к минимуму.
Мобильные прокси, в свою очередь, располагаются на устройствах, использующих мобильную сеть для выхода в интернет. Появление капчи при их использовании исключено, как и блокировки, что обусловлено следующей спецификой работы мобильных сетей:
NAT — механизм, используемый в мобильных сетях для преобразования IP-адреса. Благодаря ему, несколько устройств могут совместно использовать один и тот же публичный IP-адрес мобильной сети. Этот процесс позволяет экономить адресное пространство IPv4 и обеспечивает более эффективное использование IP-адресов в сетях мобильной связи.
Из-за такого принципа работы, большое количество запросов с одного мобильного IP-адреса считается нормальным, и системы безопасности веб-сайтов не определяют их, как подозрительные.
Следовательно, мобильные прокси будут наиболее эффективным решением для обхода капчи при выполнении автоматизированных действий или при получении доступа к ресурсам с продвинутыми системами безопасности. Их можно использовать в антидетект-браузерах, сникерботах, парсерах, без необходимости дополнительного применения сервисов по решению капчи.
Как заключение, стоит отметить, что для обхода капчи в целях мультиаккаунтинга и выполнения автоматизированных действий, таких как, например, веб-скрапинг, потребуется комбинация нескольких методов. Наиболее эффективно сочетание - антидетект-браузер с динамическими прокси, позволяющее полностью менять фингерпринт, имитируя деятельность разных пользователей на веб-ресурсе, в результате чего устраняются подозрительные паттерны активности, вызывающие ReCaptcha.
PHP
Node.js
Python
Java
Golang
Комментарии: 0