Cita: la relevancia nunca es igual entonces no tiene en cuenta la fecha y para mi consulta la fecha es casi importante como la relevancia
Ese planteo habla de conceptos incompatibles entre si. No puedes crear una query que devuelva datos en base a conceptos que no puedan relacionarse de algún modo, no es razonable.
El camino usual es generar algun tipo de sistema de ponderación que permita jerarquizar las respuestas en un patrón único.
Si fecha y relevancia no son compatibles, entonces debes definir cual es el de mayor peso, o en qué momento prima uno sobre el otro.
En definitiva se escapa un poco del SQL. Debes definir los fundamentos del sistema de calificación.
Por ciertas experiencias, es posible que lo que necesitas termine requiriendo de stored procedures un un juego de tablas diferentes.