Para que eso ocurra hay dos formas:
1) Si las tabllas son InnoDB y en las otras dos tablas su presencia es como FOREIGN KEY, simplemente hay que agregarles la cláusula ON DELETE CASCADE en su definición. ASí, simplemente le indicas a la tabla primaria que borre el ID, y las otras dos se borrarán solas.
2) Si no son InnoDB o bien no puedes modificar la estructura de la tabla, puedes usar DELETE a tres tablas:
Este método puede ser errático si las tablas son InnoDB y están declaradas las FK, porque el parser de MySQL es el que analiza la secuencia de borrado, y puede no respetar el orden que estamos poniendo aquí.