Is it okay to swap seats within your group during the flight?

I’ll be flying long-haul with my four kids and we managed to get seats together, but since there are five of us there will likely be one aisle seat next to a stranger.

My plan is to sit next to that person and let the kids rotate between the window seats during the flight.

Obviously we’d only move around when the seatbelt sign is off and I’d keep an eye on them so they’re not bothering anyone.

Just wanted to check if this is generally considered fine on long flights.