Is It Okay for the Middle Seat Passenger to Keep the Armrest Raised?

I wanted to check whether I'm misunderstanding standard airplane armrest etiquette.

On a recent flight, the passenger in the middle seat raised the armrest between our seats. Although they weren't taking up much room physically, they kept leaning into my personal space. I politely asked if we could lower the armrest again.

They responded by saying that both armrests belong to the middle-seat passenger and that they preferred to keep them raised.

I've always understood the unwritten rule to mean that the middle passenger gets priority use of both armrests, but whether an armrest stays raised or lowered should be something both adjacent passengers agree on, since it affects each person's space.

Am I mistaken, or is that how most people see it?