Buenas, lo primero sería muy interesante saber si presentaste papeleta solicitando los AP. En caso positivo tienes todas las de ganas... ya que es una petición personal tuya y un derecho tuyo. De tal manera que tu decides como y cuando quieres gastarlo.
En el caso de que lo deniegue debe hacerlo en el plazo establecido y motivado. De tal manera que tu puedas recurrir en alzada....

Si la petición fue de palabra, y él marco otros días a su libre albedrío, yo te recomendaría hacer un escrito/instancia exponiendo que tu no quieres esos AP ahí y de hecho no has realizado papeleta de petición en tal sentido. Si el se mantiene en su burra.... deberías dar parte disciplinario de ese sargento.

Dado que entiendo que es una situación grave.... yo hablaría con él para solucionarlo amigablemente, si no razona o incluso te coacciona.... pues adelante con el plan que más se ajuste a tu realidad personal.