Пока интересуюсь, но может ли он например как обычный юзер зайти на сайт и там что то делать (капча не в счет). Еще вопрос: от куда тогда берется ip и как он ходит по сайтам. Просто запускаешь файл и он пошёл по алгоритму? Нужно ли ему время на это?
preg_match_all('/\\<a href\\="([^"]+)"\\>.*\\<\\/a\\>/isU', $site_content, &$matches); // получаем все ссылки
if($matches && $matches[1]) { foreach($matches[1] as $v) { $v = html_entity_decode($v); // "очищаем" ссылку от HTML-спецсимволов (например "&" в ссылке превратится в "&") add_link_to_database($current_position.'/'.$v); // добавляем новую ссылку в базу данных } }
/*
}
*/ ?>
[свернуть]
Запускаю на денвере, пишет ошибка в строке где идет добавление новой ссылки. А если бы все правильно было, как я бы заметил что он работает?
Скрипт рабочий, а ошибка потому что у Вас отсутствует функция add_link_to_database скорее всего удалите ее и на ее место поставьте echo $v.'<br>'; и увидете результат сами, и только адрес сайта другой подставьте этот не открывается.
Качественное наполнение Ваших новостных сайтов тема на webmasters.