Varios join

[truman_truman]

Hola tengo la tabla usuarios que tiene un campo id_ucat este campo es la categoria de usuario
Las categorias pueden ser

Contactos - Clientes - Usuarios


Tengo otra tabla (a_usuarios) en donde le asigno clientes a los usuarios, y contactos a los clientes y también contactos directamente a los usuarios.

usuarios
iid_usuario - apellido_empresa - id_ucat

a_usuarios
id_usuario - id_asignado_a

Me estoy volviendo loco, porque quiero obtener, todos los contactos de un usuario.
El tema está en que los contactos pueden se directos y indirectos, osea puede estar el contacto asignado al usuario directamente, pero quiero obtener tambien los contactos de los cliente que tenga asignado el usuario, estos serían indirectos.

esto me devuelve todos los que estan asignados a alguien, no importa que categoria

Código MySQL:

SELECT 
au.id_usuario,
u.apellido_empresa,
au.id_asignado_a
 
FROM   usuarios u JOIN a_usuarios au
 ON au.id_usuario = u.id_usuario
 

Pero desde acá no logro obtener lo que quiero,
Si alguien podría orientarme se lo agradeceré, hace 3 dias que no duermo.

Saludos