tal vez tu ip o tu dominio esten en una blacklist y por eso es considerado como spam, sobre lo de que cualquier gente pueda enviar deberas tener cuidado, ya que seras un open relay o free relay y los spamers no tardaran en encontrar tu servidor y agarrarlo para enviar correos no autorizados a travez del mismo y por lo tanto entraras en la listas de spam, yo te recomentadaria que busques algo sobre SASL o POP before SMTP no soy experto en linux ni en postfix pero tuve esos problemas lo mejor que hice fue poner un webmail y asi solo localhost puede enviar correos, pero si de todas formas lo quieres hacer segun yo se configura poniendo 0.0.0.0/0 en mynetworks
Me encontre esta lista
http://lists.wl0.org/pipermail/postf...er/002961.html