Hola que tal muchas gracias por tu ayuda ya lo pude solucionar, la fecha en este campo $fila['fecha'] si lo inserto con time(), pero me estaba equivocando en eso que me dijiste al momento de comparar los tiempos y ya lo corregí pero me daba al revés, solo cambié el símbolo dejando la línea así:
De esa manera me funciona correctamente, una vez más gracias por tu ayuda me sirvió de mucho.