WPGrabber - Парсинг с авторизацией

Бывает что встречаются такие сайты, которые ограничивают просмотр для не зарегистрированых посетителей.

Типа такого: You have viewed your 1 free article

В WPGrabber для WordPress это выглядить как текст не найден!

Предлагаю простое решение: подложить cookies зарегистрированного пользователя. 

Для этого используем плагин для Firefox тормозиллы :)



Устанавливаем Cookie Exporter, регистрируемся на ресурсе,

В меню "Инструменты" -> "Export Cookies..." сохраняем под именем "cookies.txt" в папку временных файлов 


Обычно это "/wp-content/wpgrabber_tmp/"

 

Файл cookies.txt выглядеть примерно так:


Проверяем:


Страница с контентом:


Естественно, что периодически сессию придётся обновлять.

Кроме этого надо добавить в файле TGrabberCore.php

в  функцию getContent

 

curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookieFile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookieFile);


а в function __construct()


 добавить

$this->tmpDir     = $this->rootPath . $this->config->get('testPath');
$this->cookieFile = $this->tmpDir . 'cookies.txt';

Оригинал статьи: https://wpgrabber-tune.blogspot.ru



Похожие статьи


Написать отзыв

Пожалуйста авторизируйтесь или создайте учетную запись перед тем как написать отзыв