[Dr.Gonzo]

Вопрос для линуксоидов:

На серваке имеется порядка 10Гб текстовых файлов, в папках и подпапках.
Нужна прога, которая пробежится по всем этим файлам, и выдернет только урлы.
На локалке под виндой я для этих целей использую Text Pipe. Но надоедает эти гигабайты скачивать, хотелось бы прямо на сервере собрать урлы.

Посоветуйте софтину, ведь наверняка должно быть что-то.

[blackhat]

надо писать скрипт на BASH

[24110]

Да на PHP написать скриптик по-быстрому и на ночь поставить :)

[24110]

Накатал небольшой скриптец. PHP-CLI рулит

PHP код:

#!/usr/local/bin/php -q
<?php


$start_dir = '/usr/local/apache/htdocs/xxx.com/www/test2/files/' ;
$links = 'links.txt' ;


$pattern = "/http:\/\/(www\.)?([^.]+\.[^.\s]+\.?[^.\s]*)/i";

echo get_links( $start_dir ) ;

function get_links( $start_dir )
{
    global $pattern, $links;
    $dir = opendir( $start_dir ) ;
    while (  $file = readdir( $dir ) )
    {
        if ( $file == '.' || $file == '..'  )
                continue ;

        if ( is_dir( $start_dir . '/' . $file ) )
                get_links( $start_dir  . '/' . $file ) ;
        else if ( is_file( $start_dir . '/' . $file ) )
        {
                $content = file_get_contents( $start_dir . '/' . $file ) ;

                if ( preg_match( $pattern, $content, $match ) )
                {
                        file_put_contents( $links, file_get_contents( $links ) . PHP_EOL . $match[0] ) ;
                }
        }
    }

}


?>

Как запустить:

1) Проверь путь до PHP-интерпретатора в первой строчке, такой ли у тебя.
2) В файл index.php записть весь исходник.
3) Сделать "chmod +x index.php"
4) сделать links.txt, ему "chmod 777 links.txt"
5) в скрипте index.php пропиши путь до папки, где лежат файлы - $start_dir, они будут парситься с этой папки рекурсивно по всем вложенным папкам.

Удачи

[Skynet]

Можно на пёрле скрипт использовать,который будет выдёгивать ссылки,используя регулярные выражения)

[Dr.Gonzo]

24110

Вау! Спасибо огромное, затестю, потом отпишу в личку, возможно попрошу слегка доработать скрипт, за небольшое вознаграждение

[24110]

Dr.Gonzo, не вопрос - обращайетсь Поможем, чем сможем :)

[ilyha]

А для каких целей это поделитесь? А то д меня не как не доходит.

[LightChild]

надо писать скрипт на BASH

.org.ru

[Dr.Gonzo]

А для каких целей это поделитесь? А то д меня не как не доходит.

Это изощрённый(местами - даже извращённый) способ парсинга:)