在一些特殊情况下，用人单位可能会根据员工的身体原因让他在家休养。这种情况下，通常需要经过医生确认员工的病情需要在家休养，并且用人单位也需要提供相应的医疗证明和假条。根据《劳动法》规定，用人单位应当保护员工的健康权益，如果员工因为身体原因不能正常工作，用人单位应该尊重员工的权益并允许员工在家休养。因此，用人单位以身体原因让员工在家休养是合法的。