不可以不去。劳动部门在相关劳动争议、工作纠纷等方面拥有权威性和强制力，可以进行调解、仲裁、行政处罚等处理措施，如果公司不前去，可能会引起不良后果，例如被强制执行、受到行政处罚等。