Парсер Cms

(Ответов: 30, Просмотров: 3673)
Страница 2 из 4 Первая 1234 Последняя
  1. Шаман Аватар для Boss199999
    • Регистрация: 18.04.2011
    • Сообщений: 416
    • Репутация: 105
    Да нет смысла выводить в логах
    Цитата Сообщение от semyon Посмотреть сообщение
    Парсим такой-то запрос. Страница 1. Добавлено 10 ссылок. Страница 2. Добавлено... и т.д.
    , т.к. парсить можно только по одному запросу, а количество сайтов мы и так увидим в конце работы.
    • 0
  2. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Определить версию CMS проблематично, обычно даже тип её скрывают. Вряд-ли получится.
    Движки форумов добавлю обязательно, сортировку я пока советую делать в экселе (есть экспорт из программы), там это гораздо эффективнее можно сделать. Хотя в будущем наверное сделаю.
    По логам - хорошо, уберу лишнее, чтобы не захламлять.
    Тиц и Pr - добавлю.
    Кнопка "Стоп" - действительно нужная штука, не подумал об этом.
    • 1

    Спасибо сказали:

    semyon(06.10.2012),
  3. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Вышла обновленная версия.

    Обновления:
    • значительно переработан интерфейс - теперь гораздо удобнее.
    • добавил кнопки отмены заданий
    • появилась возможность определить кроме самой CMS еще и ТИЦ, Pr и наличие сайта в каталоге яндекс

    Скачать программу можно тут: Парсер CMS
    • 0
  4. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Обновление!

    добавлена поддержка форумов:

    • phpBB
    • vBulletin Forum
    • IP.Board

    Полный список поддерживаемых на данный момент CMS:

    1. DLE
    2. Joomla
    3. Drupal
    4. WordPress
    5. CMSimple
    6. Twilight CMS
    7. phpBB
    8. vBulletin Forum
    9. IP.Board

    Забираем свежую версию.
    • 2

    Спасибо сказали:

    digitfix(10.10.2012), semyon(11.10.2012),
  5. Опытный Аватар для digitfix
    • Регистрация: 02.07.2012
    • Сообщений: 480
    • Репутация: 66
    Content-Master, уже намного лучше)))
    По мелочам. Удобно, чтобы по умолчанию было выбрано "Все CMS", а не пустая строка.
    И прокси листом загружать удобней в формате IP:Порт

    У сайта http://yabs.yandex.ru/ PR -1 и у других сайтов тоже -1 попадается.
    В каталоге, это в Яндекс каталоге.
    В парсинге вылазиет maps.yandex.ru, yabs.yandex.ru, video.yandex.ru. Если не тяжело удалять автоматом из выдачи.
    Удобно если после парсинга всех cms можно выборку прям в программе программе, сделав выборку из результата.
    • 0
  6. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Хорошо, сделаю по умолчанию "Все cms".
    В каталоге - это да, в Яндекс каталоге (подсказка есть, если навести курсор мыши на кнопку).
    "В парсинге вылазиет maps.yandex.ru, yabs.yandex.ru, video.yandex.ru" - какой запрос был, у меня они почему-то не попадаются. Проверю и поправлю обязательно.
    Pr -1 - поправлю.
    Последний раз редактировалось Content-Master; 10.10.2012 в 19:50.
    • 0
  7. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Выложил обновление с учетом пожеланий пользователей.
    Изменения только косметические.

    Какие еще популярные CMS стоит добавить в программу?
    • 0
  8. Опытный Аватар для digitfix
    • Регистрация: 02.07.2012
    • Сообщений: 480
    • Репутация: 66
    Оперативно.

    Насчет: "у меня они почему-то не попадаются"

    1

    Нажмите на изображение для увеличения.  Название:	фотка.jpg  Просмотров:	7  Размер:	95.2 Кб  ID:	6215
    [свернуть]


    Какие еще популярные CMS стоит добавить в программу?
    Популярный еще Ucoz и битрикс, но вот насколько они востребованы будут, не знаю. Может посмотреть http://2ip.ru/cms/, хотя ты наверняка вкурсе этого сервиса.

    Мне кажется еще полезно будет сразу чтобы можно было поставить задачу спарсить по таким то запросам в такихто ПС и проверить на такие то движки.
    Можно добавить не показывать сайты если CMS не определилась.
    • 1

    Спасибо сказали:

    Content-Master(13.10.2012),
  9. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Digitfix, спасибо, много полезных советов, постараюсь все это реализовать.
    По поводу доменов яндекса - пофиксю, у нас наверное выдача разная.
    • 1

    Спасибо сказали:

    semyon(15.10.2012),
  10. Студент
    • Регистрация: 24.06.2011
    • Сообщений: 56
    • Репутация: 15
    • Webmoney BL: ?
    Очередное обновление.

    Добавлено:
    • пакетная обработка
    • определение сайтов на CMS Ucoz

    Исправлено:
    • много разных мелочей

    Забираем свежую версию.
    • 1

    Спасибо сказали:

    semyon(15.10.2012),
Страница 2 из 4 Первая 1234 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Ищу парсер для...
Софт, скрипты, сервисы 7 04.09.2012 15:51
Вопрос про парсер
Web программирование 2 06.02.2012 23:41
Парсер кеев
Софт, скрипты, сервисы 5 22.01.2012 04:15
DatacolSEO v2.0 = SEO чекер, парсер обратных ссылок, парсер выдачи и ключевиков
Софт, скрипты, сервисы 6 15.11.2011 14:40
Парсер текста
Дорвеи и black SEO 30 27.02.2010 00:18

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры