New criteria for the choice of training sample size for model selection and prediction: the cubic root rule

Un nuevo criterio para la elección del tamaño de la muestra de entrenamiento para la selección de modelos y de predicción: la regla de la raíz cúbica

The size of a training sample in Objective Bayesian Testing and Model Selection is a central problem in the theory and in the practice. We concentrate here in simulated training samples and in simple hypothesis. The striking result is that even in the simplest of situations, the optimal training sample M, can be minimal (for the identification of the sampling model) or maximal (for optimal prediction of future data). We suggest a compromise that seems to work well whatever the purpose of the analysis: the 5% cubic root rule: M=min[0.05*n, n^{1/3}]. We proceed to define a comprehensive loss function that combines identification  errors and prediction errors, appropriately standardized. We find that the very  simple cubic root rule is extremely close to an over- all optimum for a wide selection  of sample sizes and cutting points that define the decision rules. The first time that  the cubic root has been proposed is in Pericchi (2010). This article propose to generalize  the rule and to take full statistical advantage for realistic situations. Another way to look  at the rule, is as a synthesis of the rationale that justify both AIC and BIC.

El tamaño de una muestra de entrenamiento en la selección y prueba en Bayesiana objetiva es un problema central en la teoría y en la práctica. Nos concentraremos en muestras de entrenamiento simuladas y en pruebas de hipótesis simples. El resultado impactante es que, aun en las situaciones más simples, la muestra de entrenamiento M óptima  puede ser minimal (para la identificación del modelo muestral) o maximal (para la predicción óptima de datos futuros). Se sugiere un compromiso que parece funcionar bien para cualquier propósito del análisis: la regla de la raíz cúbica del 5%: M=min[0.05*n, n^{1/3}]. Se procede a definir una función de pérdida comprehensiva que combina los errores de identificación y los errores de predicción, estandarizados apropiadamente. Se halla que la regla de la raíz cúbica simple es cercana en extremo a un óptimo general para una amplia selección de tamaños muestrales y puntos de corte que definen las reglas de decisión. La primera vez que se ha propuesto la raíz cúbica fue en Pericchi(2010). Este artículo propone generalizar la regla y tomar una ventaja estadística completa para situaciones reales. Otra forma de ver la regla es como una síntesis de la racionalidad que justifica tanto el AIC como el BIC.