楼下饭店营业人到晚上十点算扰民。楼上可能住有上班的工人，他们劳累了一天需要休息，所以不能太迟打烊。扰民的行为是违法的。