[Netpeak]

Привет, дорогой друг!

Хочу рассказать тебе о том, как несофтверная компания выпускала софтверный продукт.

Меня зовут Анатолий (друзья и коллеги меня называют Тоха) и я работаю в департаменте R&D одного известного в Украине агентства интернет-маркетинга.

Наш департамент разрабатывает много различных внутренних программ для облегчения жизни маркетологам и прочим специалистам из области интернет-рекламы и маркетинга. Всего различных программ для автоматизации и облегчения процессов у нас около сотни.

Цель нашей компании — делать добро не только нашим клиентам, а еще и окружающему миру. Поэтому некоторое время назад было принято решение выпускать свои самые полезные продукты в массы и абсолютно бесплатно, на секунду перестать думать о конкуренции и вложить свой, пусть не очень значительный, но все же вклад в развитие индустрии интернет-маркетинга.

Одной из таких программ был наш «Netpeak Spider».

Идея Спайдера появилась год или два назад, уже никто не помнит точно. Один из наших сеошников тогда сказал: «Ребята, я хочу видеть сайт так, как его видит поисковой бот» (…а еще хочу мышью открывать окна и чтобы на моем рабочем столе были иконки, несмотря на советскую власть… © Comedy Club). Мы подумали, идея оказалась интересной. И после некоторого времени обсуждений/составлений тз/проектирования мы принялись писать первую версию.

Первая версия умела (хоть и коряво, но все же) строить карту-граф сайта, искать битые внутренние ссылки и еще много чего (на самом деле уже никто не помнит, что именно Спайдер умел делать в первые дни своей жизни). В общем, годы шли, Спайдер рос не по дням, а по часам, некоторые функции убирались, некоторые добавлялись, и в январе этого года было принято решение помочь в работе другим SEO-специалистам, веб-мастерам и выпустить Netpeak Spider в бесплатный доступ для всех желающих. Было ясно, что для стороннего пользователя нужно отточить весь функционал, избавиться от большинства багов и нарисовать более-менее привлекательный дизайн. Скажу сразу, что изначально программа предназначалась исключительно для внутреннего пользования, мы ее делали и продолжаем делать для себя.

Итак, с января этого года и до середины июля наш отдел превратился из отдела внутренней разработки агентства интернет-маркетинга в отдел внешней разработки софтверной компании. Наши QA работали усерднее, дизайнеры рисовали дизайн, были приглашены UI-специалисты для проведения аудитов. Мы, в свою очередь, решали все найденные баги, внедряли просчёт новых параметров анализа сайта.



Что же у нас получилось?

К 11 июля у нас была программа, которая просчитывает такие параметры:

1. Глубина — уровень расположения страницы относительно главной.
2. LinkCanonical — определяется наличие атрибута rel=«canonical» и на какой адрес он указывает.
3. Ответ — код состояния HTTP в ответе сервака (200 OK, 301 Moved Permanently, 302 Moved Temporarily, 404 Not Found, 503 Service Unavailable и т. д.).
4. Title — тег «title», расположенный в контейнере «head», который определяет заголовок документа.
5. Description — содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.
6. Keywords — содержание мета-тега, отвечающего за ключевые слова, встречающиеся на веб-странице.
7. robots.txt — определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.
8. MetaRobots — определяется наличие мета-тега «robots», а также разрешена (index) или запрещена (noindex) индексация страницы поисковыми системами и разрешён (follow) или запрещён (nofollow) переход по ссылкам на данной странице с его помощью.
9. Редиректы — количество перенаправлений со страницы.
10. Заголовки (H1) — количество заголовков первого уровня.
11. Ссылки с этой страницы — количество исходящих ссылок с данной страницы в пределах всего сайта.
12. Ссылки на эту страницу — количество входящих ссылок на данную страницу в пределах всего сайта.
13. Внутренние ссылки — количество ссылок с данной страницы на сканируемый сайт.
14. Внешние ссылки — количество ссылок с данной страницы на другие сайты.
15. PR — расчёт внутреннего показателя PageRank текущей страницы.
16. PR (без сквозных ссылок) — расчёт внутреннего показателя PageRank без учёта сквозных ссылок, которые встречаются более чем на 50% страниц сканируемого сайта.
17. Дубли по Title — определяются группы страниц с дублирующимся тегом «title».
18. Дубли по Description — определяются группы страниц с дублирующимся мета-тегом «description».
19. Дубли по Keywords — определяются группы страниц с дублирующимся мета-тегом «keywords».

Также был полностью внедрен новый дизайн, добавлен автоапдейт программы (чтобы всегда иметь актуальную версию программы), сверстаны парковочные странички программы, проведен мини-маркетинг.

Что будет дальше?

• Улучшение производительности для сканирования больших сайтов.
• Возможность сгенерировать xml карту сайта.
• Прогон по существующей карте сайта, поиск ошибок.
• Человекопонятная визуализация карты сайта (возвращение блудного графа :)).

Резюме

Было проведено много работы. К нашему большому удивлению, за первый месяц релиза программу скачало более 2К человек!

SEO не стоит на месте, а значит и инструменты интернет-маркетологов не должны отставать. Только полная боевая готовность, только хардкор. Нам, команде разработчиков, интересно мнение сообщества Webmasters о данном инструменте. Возможно, кто-то из вас уже знает и активно использует данную программу, а кто-то давно мечтал о бесплатном и верном помощнике в ежедневной и рутинной жизни SEOшника.

В общем, пользуйтесь и получайте удовольствие.

Налетай!

[nn165m]

зачет
софт полезный:)
Юзаю не 1 месяц, минус только в том что порой программа обходит запрет парсинга диссалоу категорий из роботса а так все норм

[SerdjioStrel]

Уважуха разработчикам. Ваш чекер является основной прогой в работе. Спайдера скачал, однако не разбирал функционал.

[GOODPower]

Пользуюсь давно, так-же скачал чекер, но так и не дошли руки до его использования :)

[hammer8]

Удивило, что создали тему только сейчас. Полезная программа, в основном использую для проверки ошибок в мета тегах.

[plat1num]

скачал буду разбираться, сейчас использую sreaming frog

---------- Сообщение добавлено 15:07 ---------- Предыдущее 14:53 ----------

сразу вопрос, не нашел где описывается ошибка в строке подсвеченной как ошибочная

---------- Сообщение добавлено 15:11 ---------- Предыдущее 15:07 ----------

И тема о пауке уже была здесь Netpeak Spider

[3admitriy]

Хочу выразить огромную благодарность нашим украинским коллегам. Ребята, только не останавливайтесь на достигнутом, мы в вас нуждаемся)

Софт просто замечательный 9\10 оценка)
На данный момент на мой взгляд, самый лучший софт в своем классе.

Конкуренцию может составить только жаба (Screaming Frog), но эта пресноводная с полным функционалом, еще хороших денег стоит - 160$ / 99 GBP (лицуха на год). Дороговато для брата. И при этом Netpeak Spider выигрывает UI, локализацией, функционалом и всё это бесплатно. Сказка просто)!

Еще раз очень огромно спасибо разработчика и отдельный respect тем seo-специалистам, которые участвовали в составлении ТЗ и не останавливаются на достигнутом.

Хотелось бы также вставить свои 5 копеек и написать рекомендации, по улучшению софта:
1. Очень не хватает выделенного отчета с экспортом по битым ссылкам. Всегда приходится работать со всем списком, фильтровать 404, искать откуда ссылаются на них. Молю, сделайте! Симпатичный пример такого отчет в LinkoScope:
Вложение 15696

2. Также не хватает в самой программе закладочки с общим отчетом после сканирования сайта (статистики):
-страниц просканировано
-внутр. ссылок
-внешних ссылок (открытых/закрытых) - по ним также аналогичный отчет хочется, как с битыми
-сколько битых
-сколько пустых title, descr, keywords
-сколько дублированных title, descr, keywords
и т.п. акцент на данные, по которым могут быть правки.

На данный момент только скудненькая строка состояния (область сведений).

Ну еще много чего хотелось бы, нету времени писать.

p.s. МОЛОДЦЫ! Респект из Беларуси! Ждем новых версий

[mescalito]

1. Очень не хватает выделенного отчета с экспортом по битым ссылкам. Всегда приходится работать со всем списком, фильтровать 404, искать откуда ссылаются на них.

Попробуй Xenu's Link Sleuth, и регистрироваться не требует

[Seomonk]

Спайдер очень понравился, хотелось бы удобную работу с таблицей организовать

[seodima]

Спасибо за программу. Очень удобно.