Global Variable Selection for Quantile Regression

Selección global de variables para regresión cuantílica

Quantile regression provides a parsimonious model for the conditional quantile function of the response variable Y given the vector of covariates X, and describes the whole conditional distribution of the response, yielding estimators that are more robust to the presence of outliers. Quantile regression models specify, for each quantile level τ , the functional form for the conditional τ -th quantile of the response, which brings complexity to perform variable selection using regularization techniques, such as LASSO or adaptive LASSO (adaLASSO), as one might obtain a different set of selected variables for each quantile level. In this work, we propose a method for global variable selection and coefficient estimation in the linear quantile regression framework, imposing few restrictions on the functional form of β(·), and applying group adaLASSO penalization for variable selection. We set up a Monte Carlo study comparing six different proposed estimators based on LASSO, adaLASSO and group LASSO in six scenarios that diversify sample and quantile levels grid sizes. The findings demonstrate that the selection of the tuning parameter λ for penalization is critical for model selection and coefficient estimation. It was observed that the methods using traditional LASSO are more prone to include the true model as compared to adaLASSO, but renouncing model shrinkage and not removing irrelevant covariates, while the grouped approaches are more effective in zeroing coefficients that are less relevant.

La regresión cuantílica proporciona un modelo parsimonioso para la función de cuantiles condicionales de la variable de respuesta Y dado el vector de covariables X, y describe toda la distribución condicional de la respuesta, produciendo estimadores más robustos ante la presencia de valores atípicos. Los modelos de regresión cuantílica especifican, para cada nivel de cuantil τ , la forma funcional del τ -ésimo cuantil condicional de la respuesta, lo que introduce complejidad a la hora de realizar selección de variables mediante técnicas de regularización, como LASSO o LASSO adaptativo (adaLASSO), ya que podríamos obtener un conjunto diferente de variables seleccionadas para cada nivel de cuantil. En este trabajo proponemos un método de selección global de variables y estimación de coeficientes en el marco de la regresión cuantílica lineal, imponiendo pocas restricciones sobre la forma funcional de β(·) y aplicando una penalización adaLASSO por grupos para la selección de variables. Realizamos un estudio de Monte Carlo comparando seis estimadores propuestos basados en LASSO, adaLASSO y LASSO grupal en seis escenarios que diversifican los tamaños de muestra y de la rejilla de niveles de cuantil. Los resultados demuestran que la selección del parámetro de ajuste λ para la penalización es crítica para la selección del modelo y la estimación de coeficientes. Se observó que los métodos que utilizan LASSO tradicional son más propensos a incluir el modelo verdadero en comparación con adaLASSO, pero a costa de renunciar a la contracción del modelo y de no eliminar covariables irrelevantes, mientras que los enfoques agrupados son más eficaces para anular (llevar a cero) los coeficientes menos relevantes.