claro que es posible hacer lo que cuentas y va muy bien tu camino. las funciones condicionales:
is_home()
is_category()
is_page()
is_single()
(... no me acuerdo de otras así rápido.. pero las puedes consultar en codex.wordpress.org/Conditional_Tags)
te pueden ayudar para verificar cada vez en la página que se encuentra tu visita y de esa forma mostrarle un sidebar adecuado.
Puede usar el if y dentro colocar el include.
En mi propio
blog (sorry por el spam) puedes ver como está aplicado.