TLDR No es un derecho ni es un privilegio.
creo que tu dilema viene del concepto que parece ser que tienes de lo que es un derecho, el concepto de "derecho básico" es un concepto más moderno que no tiene mucho que ver con lo que realmente son los derechos, te recomendaría que primero leas sobre que significa ser un ciudadano y que conlleva eso, puedes empezar por leer "las vidas paralelas" de Plutarco.
Lo intentaré explicar muy corto: Los privilegios son leyes que se aplican a unos y a otros no.
Los Derechos de los ciudadanos de una polis griega (como participar de la vida política) pertenecen solo a aquellos que tienen la ciudadanía, por ejemplo, un hijo de espartano tenía unos derechos dentro de Esparta que un comerciante no tenía, pero claro, la ciudadanía tenía un costo (el servicio militar obligatorio, que en muchos casos duraba gran parte de la vida adulta de los varones) y en muchos lugares, como Esparta, la única forma de conseguir la ciudadanía era siendo hijo de espartanos.
volviendo a tu dilema, te pregunto, qué es la libertad, una ilusión? un sueño? una elección? existe el orden que crea el ser humano dentro de su sociedad fuera de ella, en la naturaleza? o solo son las reglas del juego de la vida que usamos en nuestro trozo de tierra para intentar no matarnos los unos a los otros e intentar sobrevivir de la mejor manera posible?
