del tema backend -lenguaje servidor, base de datos, entre otros- no conozco mucho o nada pero... sugiero que busques por tecnicas de optimizacion e identificacion de conflictos. por ejemplo, primero asegurate de determinar correctamente donde se demora mucho y luego busca como optimizar el codigo para esa area. recuerdo una vez en mi intento de iniciar en base de datos con mysql, en la consola de comando te mostraba el tiempo que demoraba realizar la consulta. intenta realizar una consulta similar directamente a la base de datos sin ninguna aplicacion de por medio para identificarlo. pero en fin pudiera ser muchas cosas: el servidor esta muy cargado, calidad pobre de la conexion a internet, navegador o sistema sobrecargado, codigos muy pobremente optimizados (javascript, php o sql).
sobre tu edicion: ya iba a preguntarte por que el tema esta especificamente en javascript.