Es importante que te actualices a Joomla! 1.5.7, la 1.5.6, aunque no tan severas como en versiones anteriores, tiene fallas a nivel de seguridad.
Luego, puedes usar herramientas online de este tipo:
http://www.octagate.com/service/SiteTimer/(pones ahí tu URL y le das al botón "start")
Lo que hace este tipo de herramientas es ver que enlaces o scripts te están dando problemas para cargar la web, con más tiempo del necesario.
Es normal, en webs algo pesadas, que la "primera carga" por parte de usuarios o vistantes, sea más lenta de lo habiltual, esto es porque imágenes y demas, aún no se han cargado en la caché de nuestros navegadores.
Ten encuenta también, que estás en un hospedaje compartido con más de 500 webs, y, milagros no se pueden pedir.... Joomla! pide chicha.