从法律角度来看，持有香港五色灵芝并无违法之处。然而，若涉及海关关税，需要主人申报及缴纳相应税款。此外，若携带的数量过多，或被认定为违禁品，则可能会被扣押或追究相关责任。建议在入境前了解相关规定，并根据实际情况决定是否携带该物品，以避免不必要麻烦。