zatvorius, Точно. Получилось куча ссылок. А что будет если сделать эту функцию рабочей, он так до бесконечности ссылки будет искать?
- 05.03.2013 17:55Banned


- Регистрация: 23.02.2013
- Сообщений: 274
- Репутация: 4
- 05.03.2013 18:02
Не совсем понял что значит до бесконечности, если будете ходить по локальным ссылкам, то пока не кончится сайт, если еще и по внешним то пока не переберете все сайты. Все в нашей жизни имеет конечную точку, лишь космос бесконечен
- 05.03.2013 18:06Banned


- Регистрация: 23.02.2013
- Сообщений: 274
- Репутация: 4
Сделал вот такой код:
Развернуть текст
<?
do
{
$current_position = "http://webmasters.ru/"; // текущее положение на сайте
$site_content = file_get_contents($current_position); // получаем содержимое страницы
$matches = array();
preg_match_all('/\\<a href\\="([^"]+)"\\>.*\\<\\/a\\>/isU', $site_content, &$matches); // получаем все ссылки
if($matches && $matches[1])
{
foreach($matches[1] as $v)
{
$v = html_entity_decode($v); // "очищаем" ссылку от HTML-спецсимволов (например "&" в ссылке превратится в "&")
echo $v.'<br>';($current_position.'/'.$v); // добавляем новую ссылку в базу данных
}
}
}
while($v < 100)
?>[свернуть]
Понял, как работает скрипт когда ссылок много, не успеваю за ползунком :) . Остановилось на строке Fatal error: Maximum execution time of 30 seconds exceeded in Z:\home\localhost\www\test.lu\bot.php on line 9 - это и значит что сайт кончился?
Можно например сделать что бы он искал ссылки и другой текст например: icq: ********* ? - 05.03.2013 18:19
- 05.03.2013 18:37
Можно на php сделать многое. Но стоит ли?
Ну и чтоб скрипт не падал, надо повысить(или убрать) ограничение на время работы скрипта.
Первой строчкой пропишиPHP код:Вместо s - укажи время в секундах(0 - нет ограничений)set_time_limit(s);
- 05.03.2013 18:42
- 05.03.2013 18:58
zatvorius,да не, я сам на php пишу. Но всё же иногда намного проще и лучше использовать delphi или C# чем php.
- 05.03.2013 19:20
zatvorius, поддерживаю. Но, тем не менее, в ближайшем будущем планирую пересесть на питон или руби)
redm1ke, а вам скажу, есть документация, где описана работа почти всех функций с примерами.
это реально нужно читать, иначе никогда не научитесь.
для того, чтобы написать бота на php, нужно определиться, что бот будет делать, а там уже можно сделать многое.
есть различные API.
есть парсеры html.
есть сокеты.
есть cUrl, в конце концов. Хоть сам я пока его не освоил. - 05.03.2013 19:30Banned


- Регистрация: 23.02.2013
- Сообщений: 274
- Репутация: 4
Что в этой строке поменять что бы он искал не ссылки а параграфы с текстом например: icq: * Код:
Код:Вот так что то не получается:preg_match_all('/\\<a href\\="([^"]+)"\\>.*\\<\\/a\\>/isU', $site_content, &$matches);Код:preg_match_all('/\\<p\\>"(icq: *)"\\<\\/p\\>/isU', $site_content, &$matches); - 09.03.2013 18:33Banned


- Регистрация: 23.02.2013
- Сообщений: 274
- Репутация: 4
Ни кто не ответит?
Тэги топика:
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Парсер php - что написать? | Web программирование | 3 | 31.08.2012 16:09 |
Как правильно написать статью? | Общие вопросы поисковой оптимизации | 11 | 17.07.2012 17:09 |
Помогите написать ЧПУ | Софт, скрипты, сервисы | 14 | 05.04.2012 12:31 |
Делаем твиттер-бота своими руками | Дайджест блогосферы | 2 | 27.11.2011 16:31 |
Делаем твиттер-бота своими руками | Софт, скрипты, сервисы | 1 | 26.11.2011 22:45 |




