[Gami]

В сети находил скрипты граберов, но все они примитивные, тупо берут текст и лепят на собственный ресурс. Всегда было интересно как строится работа хорошего грабера. Может кто поделиться алгоритмом работы умного грабера или объяснить на пальцах? Возможно имеются готовые решения?

[Ems]

А которые берут текст и выкладывают на определённый ресурс - они разве не хорошие? Какие тогда хорошие? :)

Всё зависит от задач. А так, всё просто. Парсится документ на нужную инфу, далее эта инфа обрабатывается если надо и делается что нужно

[HiNeX]

Если я правильно понял автора, то возможно он имел ввиду это:
1. Скрипт парсит ленту по крону, раз в час например.
2. Сравнивает с последней датой которая есть в БД (или не БД).
3. Если есть отличия, парсит контент страницы из ссылки в ленте и пишет в БД (например в таблицу модуля новостей или создает топик на форуме).
...или нет?

[Gami]

А которые берут текст и выкладывают на определённый ресурс - они разве не хорошие? Какие тогда хорошие?

Это же голимый копипаст! Рациональность таких текстов очень низкая.

Парсится документ на нужную инфу, далее эта инфа обрабатывается если надо и делается что нужно

Проблема именно в обработке и «делать что нужно». К примеру, грабер вытащил текст и немного подредактировал с заменой слов. Может существуют другие способы обработки полученной информации?

---------- Сообщение добавлено 08:43 ---------- Предыдущее 08:41 ----------

Если есть отличия, парсит контент страницы из ссылки в ленте и пишет в БД (например в таблицу модуля новостей или создает топик на форуме).

Тоже интересный вариант, но нужна незначительная переделка текста.

---------- Сообщение добавлено 08:46 ---------- Предыдущее 08:43 ----------

Также буду благодарен за любые ссылки (ТОЛЬКО В ЛИЧКУ) на скрипты используемых граберов. Плиз, только те, которые использовали или используете и которые чем-то понравились.

[HiNeX]

Gami, можно пройтись регуляркой перед записью, на третьем этапе.)

[Думка]

Что такое умный парсер? Тот, который сам находит инфу что нужна, вычленяет ее из остального кода и парсит? :)
Или умный тот - которым можно спарсить все что угодно?

По парсерам... десктопный Content Downloader на сегодня лучший, имхо
Если серверный вариант то тут 2 пути - или писать парсер под каждый сайт что требуется... или делать универсальный...
Мне, например, сделали универсальный... + сразу можно сделать нужные замены... настройка донора - регекспами...

[Tiulkin]

(ТОЛЬКО В ЛИЧКУ)

А почему так? Другим тоже интересно будет. Представьте, что на этом форуме будут только вопросы, а ответы все в личку посылать будут. Интересно на такой форум заходить будет?

[Markus]

grab - умный парсер (поддержка xpath, lxml, regexp, проксей). Работает по принципу дерева, те собираются элементы ветки и для каждого вызывается обработчик. Хотя я не уверен, что это вам будет полезно. Если не по части кодинга, то Content Downloader, Datacol (визуально выбираете что парсить и где парсить)

[Gami]

можно пройтись регуляркой перед записью, на третьем этапе

Что значит "пройти регуляркой"?

---------- Сообщение добавлено 12:18 ---------- Предыдущее 12:15 ----------

А почему так? Другим тоже интересно будет

В других темах форум начали ругаться на прямые ссылки, вот и я для осторожности

---------- Сообщение добавлено 12:19 ---------- Предыдущее 12:18 ----------

Мне, например, сделали универсальный... + сразу можно сделать нужные замены... настройка донора - регекспами...

А можно как-то пощупать работу или почитать описание?

[Tiulkin]

Что значит "пройти регуляркой"?

"Выкусить" интересующую часть при помощи регулярных выражений.
ru.wikipedia.org/wiki/Регулярные_выражения