Hola:
Más o menos:
function validar(f) {
with (f)
valida = checkOtro.checked && (Otro.vakue != "");
if (!valida) alert("debe llenar el campo Otro");
return valida;
}
<form onsubmit="validar(this)"...
...
<select name=opciones >
<option value=1 >op 1</option>
<option value=2 >op 2</option>
<option value=3 >op 3</option>
</select>
<input type="checkbox" onclick="opciones.disabled = this.checked; Otro.disabled = !this.checked" />
<input type="text" name="Otro" disabled />
...
</form>
Saludos