Сейчас стоит W3 Total Cache, но из-за сложности настоек и кучи советов и непоняток хочу отказаться от него. Но не знаю как настроить кеширование без всяких плагинов, что бы сайт быстро работал.
По своему опыту: пользуюсь только одним плагином DB cache reloaded - так сохраняется динамичность сайта, но кешируются запросы к БД. Плюс статику отдаёт nginx. Можно ещё подключить memcached. Но не знаю, насколько это было бы проще для вас.
А почему без плагинов? - Хотите написать свое решение взамен многолетних разработок?
Говорят, что плагины грузят сайт. и время от времени происходят глюки, вплоть что не могу зайти в админку.
Да вы меньше слушайте тех кто говорит. Плагины как раз и нужны для того чтобы по максимуму упростить вам жизнь, бывает конечно что попадаются кривые или после нового обновления происходят глюки, но это не так часто происходит чтобы отказываться от них и делать все руками.