Веб-скрапинг — не просто получение данных с сайтов, это, на самом деле, сложный многоэтапный процесс. Чтобы обойти ограничения, избежать блокировок и работать эффективно, необходимо использовать разнообразные продвинутые методики. В этом материале мы рассмотрим, что такое скрапинг в целом, почему используется Python как лучший для этого инструмент, и какие тактики веб-скрапинга на Python стоит использовать. Эти знания помогут собирать данные даже с хорошо защищенных ресурсов.
Python — в данный момент один из лучших инструментов для сбора любых данных с сайтов. Он простой в использовании. Поддерживает множество библиотек, например, BeautifulSoup, Scrapy, Selenium. Также имеет большое сообщество, которое постоянно совершенствует инструменты и помогает новичкам. Благодаря этому скрапинг на Python становится быстрее и удобнее.
В этом разделе мы рассмотрим продвинутые методы веб-скрапинга с использованием Python, которые помогут собирать данные даже со сложных сайтов. В частности, узнаем, как:
Эти тактики помогут сделать скрапинг не только эффективным, но и безопасным, минимизируя риск блокировок или отказа сервера в ответах.
Многие сайты используют CAPTCHA и другие методы защиты от ботов, чтобы предотвратить автоматический сбор данных с Python. Обойти их можно разными способами:
И наконец, минимизировать количество запросов так, чтобы сайт не заподозрил вас в сборе информации.
Чтобы запросы не выглядели подозрительно, важно имитировать поведение реального пользователя. Используйте случайные задержки между действиями, меняйте User-Agent, прокручивайте страницу, перемещайте курсор и даже имитируйте нажатия клавиш. Selenium или Playwright — инструменты для скрапинга на Python, которые помогут сделать процесс максимально естественным и сделать так чтобы блокировки не возникали.
PHP
Node.js
Python
Java
Golang
import random
import requests
url = 'https://google.com'
user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
'accept-language': 'en-IN,en;q=0.9',
'dnt': '1',
'sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Linux"',
'sec-fetch-dest': 'document',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'none',
'sec-fetch-user': '?1',
'upgrade-insecure-requests': '1',
}
headers['user-agent'] = random.choice(user_agents)
response = requests.get(url=url, headers=headers)
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
options = webdriver.ChromeOptions()
options.add_argument("--headless") # Запуск браузера в режиме без отрисовки интерфейса
driver = webdriver.Chrome(options=options)
driver.get("https://google.com")
# Находим элемент XPath
element = driver.find_element(By.XPATH, "//button[text()='Подтвердить']")
# Используем ActionChains для наведения курсора
actions = ActionChains(driver)
actions.move_to_element(element).perform()
# Закрываем браузер
driver.quit()
Некоторые сайты специально добавляют скрытые элементы, которые обычный пользователь не видит, но на которые бот может случайно наткнуться. Если бот кликает на эти элементы или заполняет скрытые формы, сайт может его заблокировать. Чтобы избежать этого, перед сбором данных необходимо проверять CSS-стили и атрибуты элементов, например, display: none или opacity: 0, и не взаимодействовать с ними.
Некоторые сайты блокируют повторные запросы, если они поступают без правильно настроенных cookies или сессий. Во избежание этого, нужно использовать requests.Session(), передавать сохраненные cookies и имитировать реальное поведение пользователя. Также важно обновлять заголовки User-Agent, чтобы сайт не распознавал бота.
Если сервер временно отказывает в ответе или возвращает ошибку, не стоит сразу повторять запрос. Лучше использовать экспоненциальный откат (backoff) — это означает, что после каждой неудачной попытки время ожидания увеличивается, например, сначала 1 секунда, затем 2 секунды, потом 4 секунды и так далее. Это помогает избежать блокировок и снижает нагрузку на сайт во время скрапинга.
import time
import requests
def fetch_with_backoff(url, max_retries=5):
retries = 0
wait_time = 1 # Задержка 1 секунда
while retries < max_retries:
try:
response = requests.get(url)
# Если запрос успешен, возвращаем результат
if response.status_code == 200:
return response.text
print(f"Ошибка {response.status_code}. Повторная попытка через {wait_time} сек.")
except requests.exceptions.RequestException as e:
print(f"Ошибка подключения: {e}. Повторная попытка через {wait_time} сек.")
# Ждем перед повторным запросом
time.sleep(wait_time)
# Увеличиваем задержку
wait_time *= 2
retries += 1
return None
url = "https://google.com"
html = fetch_with_backoff(url)
Есть сайты которые загружают контент динамично или требуют взаимодействия с пользователем. В таких случаях библиотеки, такие как BeautifulSoup, могут не справиться. Здесь помогут Selenium, Puppeteer или Playwright. Они позволяют открывать страницы так, как это делает обычный человек, кликать на кнопки, вводить текст и взаимодействовать с элементами.
Другие сайты используют JavaScript, чтобы подгружать данные после открытия страницы. Это означает, что обычный HTTP-запрос не покажет весь необходимый контент. Поэтому, чтобы получить такие данные, можно использовать Selenium или анализировать сетевые запросы через DevTools в браузере. Так можно найти скрытые API-эндпоинты, которые затем используются для сбора информации без лишних усложнений.
Кроме того, есть сайты что используют TLS-фингерпринтинг для распознавания автоматизированных запросов. Это означает, что сервер анализирует параметры подключения, такие как версия TLS/SSL, набор шифров и другие технические характеристики. Чтобы обойти этот механизм, можно использовать параметры соединения в запросах через пользовательские заголовки и прокси.
import requests
url = 'username:password@your-proxy'
proxy = 'your-proxy'
proxies = {
"http": f"http://{proxy}",
"https": f"https://{proxy}",
}
response = requests.get(url=url, proxies=proxies)
Если целевой сайт имеет публичный API, его лучше использовать вместо скрапинга. Это быстрее, стабильнее и несет меньше рисков получить блокировку. Чтобы найти API-эндпоинт, можно открыть DevTools в браузере и проверить запросы, которые отправляет сайт. Если API нет, тогда придется работать с HTML-кодом.
Сайты могут менять свой код, что мешает процессу скрапинга. Чтобы этого избежать можно:
Скрапинг может нарушать условия использования некоторых сайтов, а в некоторых случаях даже быть незаконным. Перед тем как собирать данные, важно проверять robots.txt, terms of service и политику сайта. Если есть публичный API, лучше использовать его. Также стоит ограничивать количество запросов, чтобы не перегружать сервер.
Как итог, можно сделать заключение что скрапинг действительно эффективный способ получения данных, однако важно делать это правильно. Мы рассмотрели ключевые тактики скрапинга на Python, которые помогают обходить CAPTCHA, имитировать поведение пользователя, работать с cookies и сессиями, избегать honeypot-ловушек и анализировать асинхронно загружаемые данные.
Также не стоит забывать об этической стороне и соблюдении условий использования сайтов. Если есть API-эндпоинты, лучше использовать их. А если приходится парсить HTML — стоит делать это осторожно, соблюдая все рекомендации, чтобы избежать блокировок и проблем с законом.
Используя продвинутый веб-скрапинг, можно значительно улучшить эффективность скрапинга и свести риски к минимуму.
Комментарии: 0