Attention, pas forcément vrai. Dans mon agence, on a eu beaucoup de soucis avec W3 Total Cache qui a tendance à mettre tout et n'importe quoi en cache. Je pense à l'option "database caching" par exemple qui est utile sur dédié, mais une vraie plaie sur un mutu.
Attention aussi aux plugins très/trop gourmands en ressources via le BO (Borken Link, Yoast, WPML). P3 Plugin Profiler peut vous aider à cibler les plugins qui peuvent poser problèmes.
Je vais essayer de vous retrouver l'article (en anglais) qui détailler pas mal de soucis de ce genre sur le backoffice.
De mémoire un test assez utile aussi était de passer son site sur le thème par défaut (on doit être à Seventeen là il me semble) pour voir si le thème (souvent payant... et très très mal codé) ne posait pas problème également.
Edit : j'ai mieux, quelqu'un en a fait une trad : https://www.mister-wp.com/tutos/wp-admin-lent/