レイヤーマスクからレイヤーを削除するには、元のレイヤーマスクに 論理 AND 演算子 を使用し、レイヤーの ビットごとの補数演算子 を使用して削除します。
originalLayerMask &= ~(1 << layerToRemove);