Como decía no puedes seleccionar un elemento anterior. Es como una familia con cinco hijos; los libros del hermano mayor le van a servir a los demás pero los de los pequeños no les van a servir al sus hermanos mayores.
Entonces lo que tienes que hacer es cambiar el orden en el que aparecen los elementos en el HTML y a su vez cambiar esos elementos en la maquetación, o en el CSS vaya.
Un ejemplo sencillo:
Verás que aparecen el azul y luego el rojo, pero en el HTML está primero el rojo y luego el azul. Entonces si pasa por encima del rojo, el elemento que le sigue (en el HTML) cambia de color de fondo.