Ok gracias por tus comments. A la final encontré esta manera de solucionarlo. No se si sea la mejor, por eso la posteo aquí, y si es una buena manera de hacerlo espero que le sirva a alguien:
  
Código:
 <script>
	$(function(){
		$('.puntaje').click(function(){
			$(this).prev().removeClass("btn-warning");
			$(this).next().removeClass("btn-warning");
		})
		$('.vote-up').click(function(){
			$(this).toggleClass("btn-warning");
			var $control = $(this).parent();
			$control.children(".vote-down").removeClass("btn-warning");
			});
		$('.vote-down').click(function(){
			$(this).toggleClass("btn-warning");
			var $control = $(this).parent();
			$control.children(".vote-up").removeClass("btn-warning");
		});
	});
</script>
  