Tu error esta en el where, en el ejemplo que tienes todos los registros tienen una fecha, por lo que al poner en el where
Entonces nada mas te va a regresar los registros que tengan esa fecha, prueba a hacer el query pero quitando el where(la condicion ya la tienes en el IF) algo como esto:
Código MySQL:
Ver originalSELECT alumno.registro
, alumno.nombre
, IF(asistencias.fecha
= '2013-10-03', 'Si', 'No') AS asistencia
alumno.RFID = asistencias.RFID