Exacto.
Lo mejor es que intercambies enlaces con paginas de tematica parecida a la tuya o no... cuanto mas enlaces tengas a tu web siempre va a ser positivo, pero si son de la misma tematica mejor, y si buscas mas optimizacion para los buscadores mira ademas que tengan buen pagerank las webs con las que intercambias enlaces...
Por ejemplo yo en mi web dejo afiliarse a todas las webs, menos a las porno, a las de hosting y demas...
http://www.tutorial-enlace.net/index.php/afiliarse