Seleccionar campos no comunes

[batoosai2]

Hola a todos, estoy desarrollando una pagina web, pero tengo el siguiente problema:

Necesito indicar que usuarios no tienen un cargo dentro del comité.

Las tablas que tengo son:

usuarios(
id_usuario int primary key auto_increment,
usuario varchar(45) not null,
password char(45) not null);

organizacion(
id_usuario int primary key,
puesto varchar(45),
foreign key(id_usuario) references usuarios(id_usuario) on delete restrict on update cascade);

En mis tablas tengo los siguientes datos:
Usuarios Organizacion
1 1
3 3
4
5

Lo que quiero es que con una consulta yo pueda obtener
4 y 5.

Gracias por la ayuda. Saludos!