[OKyJIucT]

Docadept, 504 ошибка возникает, как мне сказали в поддержке моего хостинга, из за временнОго лимита в одной из настроек веб сервера nginx. Они мне изменили

лимит proxy_read_timeout с 60 секунд до 5 минут в файле /etc/nginx/nginx.conf

Но на виртуальном хостинге такого вроде бы нету.

И я только вчера думал о фоновом обновлении по крону, но нашел несколько трудностей.

Во-первых, каждая категория будет загружаться разное время - в одной 30 товаров, в другой 3200 (по крайней мере у меня). Поэтому сложно сразу сказать, через какой интервал крон необходимо запускать (разумеется, речь не идет о запуске сразу всех категорий, которых у меня например 118 (сто восемнадцать)).

Во-вторых, во время импорта сайт тупо висит или грузится очень долго. Если делать крон, то придется как то изменять сам процесс импорта, чтобы он жрал не весь процессор и память.

Может есть еще какие-то подводные камни, но я их пока не нашел)

[Docadept]

Во-вторых, во время импорта сайт тупо висит или грузится очень долго. Если делать крон, то придется как то изменять сам процесс импорта, чтобы он жрал не весь процессор и память.

Да, я тоже это заметил, но ведь есть ночь, когда посетителей минимум) Из расчета 20 товаров в секунду, мои 60к товаров обновятся за 1 час, а если учесть промежутки между запусками обновлений категорий - то за 2-3 часа управиться можно как раз. Другой вопрос - как это организовать и я надеюсь, что разработчики CMS, возможно, смогут встроить такую функцию нативно. а пока будем ручками, ручками.

[cpasoft.ru]

200 товаров в секунду достичь не удалось, но в общем достаточно шустро. Теперь бы еще сделать фоновое обновление по крону, возможно ли такое?

да, это будет реализовано

[AleDv]

Ещё такое пожелание: некоторые товары импортируются с пустым описанием, было бы здорово, чтобы можно было из админки найти эти товары и именно их удалить. Так же заметил, что довольно часто встречается дублирование товара, хотелось бы их находить и удалять за минимум телодвижений.

[cpasoft.ru]

Ещё такое пожелание: некоторые товары импортируются с пустым описанием, было бы здорово, чтобы можно было из админки найти эти товары и именно их удалить.

может сделать настройку, что то типа не загружать товары без описания?

---------- Сообщение добавлено 18:14 ---------- Предыдущее 18:14 ----------

Так же заметил, что довольно часто встречается дублирование товара, хотелось бы их находить и удалять за минимум телодвижений.

опишите этот минимум

[lenin1122]

cpasoft.ru, такая надстройка нужна) очень) еще нужна что-то типа - публиковать по n товаров в день, чтобы рост страниц был плавным.
Минимум телодвижений - по совпадению по названию чтобы чекалось и удалялось)

[cpasoft.ru]

Минимум телодвижений - по совпадению по названию чтобы чекалось и удалялось)

открыл свою категорию сумки...первые 100 товаров...50% названия товара - сумка....но это разные товары....удалять? глупо кмк ((

[OKyJIucT]

cpasoft.ru, у меня есть 6 офферов, я импортировал все товары, какие дают. Потом от двух отключился (кривая у них инфа, например, название товара идет БРЕНД МОДЕЛЬ, а хотелось бы КАТЕГОРИЯ БРЕНД МОДЕЛЬ). Однако после обновления списка товаров с помощью импорта товары офферов, от которых я отключился, остались в каталоге. Я почему то думал, что все товары, которых нет в CSV файле во время импорта, просто удаляются из базы

[cpasoft.ru]

cpasoft.ru, у меня есть 6 офферов, я импортировал все товары, какие дают. Потом от двух отключился (кривая у них инфа, например, название товара идет БРЕНД МОДЕЛЬ, а хотелось бы КАТЕГОРИЯ БРЕНД МОДЕЛЬ). Однако после обновления списка товаров с помощью импорта товары офферов, от которых я отключился, остались в каталоге. Я почему то думал, что все товары, которых нет в CSV файле во время импорта, просто удаляются из базы

галочка удалять старые товары стояла?

кол-во товаров в файле выгрузки уменьшилась после первого этапа (загрузки самого файла)?

[OKyJIucT]

cpasoft.ru, да галочка стояла/ Насчет второго - уже не помню, поэтому пришлось проверить. Опять добавил оффера, загрузил 540 товаров. Потом отключился от оффера, при импорте говорится, что товаров в файле 161 товар.

Загружено 161 товаровВремя работы скрипта: 8.66 секунд
Закончили!!!

Наверное глюк какой то был, или я что то неправильно понял. Сейчас порядок - ровно 161 товар в категории) Прошу простить за необоснованную панику)