Consulta SQL compleja uniendo tablas...

[Pentaxeros]

Hola, estoy volviéndome un poco "loco" ya que no soy capaz de realizar un consulta que me relacione 2 tablas, pero se forma excluyente.

Digamos que tengo:
Tabla A (Fotos):
ID - Nombre Foto
1 - aaaaa
2 - bbbbb
3 - cccccc
4 - ddddd

Tabla B (Votos)
ID - Quien
1 - manolo
1 - paco
1 - benito
2 - manolo
3 - paco
3 - manolo
3 - luis
3 - elvis

Pues lo que quiero es hacer un listado de la tabla 1 que en en la tabla 2 por ejemplo "quien" != paco.

Ejemplo
Listado de la tabla "a" de fotos que no haya sido votada por paco
por lo que debería listar
2 - bbbbb
4 - ddddd

He probado con INNER JOIN a unirlas por el campo ID, y que en la tabla B el campo B fuera != de X, pero el problema es que el la tabla B como existen mas elementos con el ID correspondiente que cumplen el criterio, pues me lista siempre toda la tabla A completa sin excluir las filas que debería excluir...

No soy muy experto en SQL, pero me defiendo, y esto me esta costando.

Puedo hacer una consulta de toda la tabla a, y hacer un blucle que recorra la tabla, buscando en la b, y si encuentra en la b, que ignore el resultado, pero creo que puede ser muy pesado para el servidor...

Para que quede mas claro, la tabla A es un listado de fotografías, y la tabla B, es donde registro quien ha votado las fotografías.
Lo que quiero es poder hacer un listado de fotografías que un usuario no haya votado...

Muchas gracias por la ayuda...