Эмуляция браузера на php или парсер без проблем

Не так давно столкнулся с одной задачкой. Надо было взять 1000 урлов из поиска Яндекса и проверить наличие определенных признаков (строк) на странице. Пытался все сделать с помощью стандартной функции fsockopen, но возникла проблема — 70-80% серверов меня приравнивали к ДДОС атаке и банили по IP.  Убил часа 2-3 на подборы различных User-Agent, но меня всеравно причисляли к вредителям и блокировали.

В результате я наткнулся на библиотеку snoopy.php, которая позволяет эмулировать работу браузера. Там мощный набор функций не только для эмуляции браузера, а еще и для нормального парсинга сайтов.

Вот основной перечень полезных функций этого парсера:

• $snoopy->fetch(«http://www.php.net/»);
  Отправляем запрос по интересующему нас урлу и получаем в ответ все содержимое страницы
• $snoopy->fetchtext(«http://www.php.net/»);
  После отправки запроса получаем только текст, который на странице. Т.е. все теги, картики и скрипты вырезаются.
• $snoopy->fetchlinks(«http://www.php.net/»);
  Получаем массив с урлами ссылок, которые находятся на интересующей нас странице

И перечень основных переменных этого класса:

• $snoopy->results;
  Переменная в которую записывается результат работы предыдущих функций. Она может вернуть строку или массив, в зависимости от того, что хотим получить.
• $snoopy->agent;
  User-agent, который быдет передаваться при отправке наших запросов.
• $snoopy->referer;
  Поле реферера, которое будет передано запрашиваемому серверу. Его можно использовать, например, чтобы создавать видимость переходов по ссылкам внутренней навигации сайта.

Также с помощью этой библиотеки можно не только обращаться к страницам, но еще и эмулировать отправку html форм. Видимо создавать post запрос.

Примеры использования:

include "Snoopy.class.php";
$snoopy = new Snoopy;

$snoopy->fetchtext("http://www.php.net/");
print $snoopy->results;
$snoopy->fetchlinks("http://www.phpbuilder.com/");
print $snoopy->results;

Советую всем. Меня эта библиотека просто выручила в трудную минуту.

PS. Прикол от webmonkey

А что еще по теме?

• 12 Июль 2010 -- Яндекс.XML: Поиск в подразделе сайта (0)
• 8 Июль 2010 -- Поиск по сайту с помощью Яндекс XML и CURL (2)
• 10 Февраль 2010 -- Проверка битых ссылок на файловые хранилища (0)
• 17 Октябрь 2010 -- Про снегоходы (0)
• 1 Июль 2010 -- Насколько важно продвижение веб-сайта (0)

Оставить комментарий

Имя (обязательно)

Эл. почта (не публикуется) (обязательно)

Вебсайт или OpenID

Это не спам. (сделано dimoning.ru)

Authenticate this comment using OpenID.