Hola
radge
Básicamente los plugins instalados tienden a solucionar los principales frentes a optimizar; asumo que están debidamente configurados.
No obstante te recomiendo comprobar las páginas de tu sitio en
PageSpeed Insights.
Luego del test es probable que debas hacer algunos ajustes del lado del servidor; como cache de archivos, por ejemplo.
No entiendo el problema que estás exponiendo con el sitemap.xml
Ves el archivo?
Está o no correctamente generado?
O la duda es si lo está generando YOAST?
En lo personal desestimo la construcción del sitemap.xml que lleva a cabo YOAST e instalo y configuro el de
Arne Brachhold:
Google XML Sitemap
Saludos!