Locally D-Optimal Designs with Heteroscedasticity: A Comparison between Two Methodologies

Diseños D-óptimos locales con heterocedasticidad: una comparación entre dos metodologías

The classic theory of optimal experimental designs assumes that the errors of the model are independent and have a normal distribution with constant variance. However, the assumption of homogeneity of variance is not always satisfied. For example when the variability of the response is a function of the mean, it is probably that a heterogeneity model be more adequate than a homogeneous one. To solve this problem there are two methods: The first one consists of incorporating a function which models the error variance in the model, the second one is to apply some of the Box-Cox  transformations to both sides on the nonlinear regression model to achieve a homoscedastic model (Carroll & Ruppert 1988, Chapter 4). In both cases it is possible to find the optimal design but the problem becomes more complex because it is necessary to find an expression for the Fisher information matrix of the model. In this paper we present the two mentioned methodologies for the D-optimality criteria and we show a result which is useful to find D- optimal designs for heteroscedastic models when the variance of the response is a function of the mean. Then we apply both methods with an example, where the model is nonlinear and the variance is not constant. Finally we find the D-optimal designs with each methodology, calculate the efficiencies and evaluate the goodness of fit of the obtained designs via simulations.

La teoría clásica de los diseños experimentales óptimos supone que los errores del modelo son independientes y tienen una distribución normal con varianza constante. Sin embargo, el supuesto de homogeneidad de varianza no siempre se satisface. Por ejemplo, cuando la variabilidad de la respuesta es una función de la media, es probable que un modelo heterocedástico sea más adecuado que uno homogéneo. Para solucionar este problema hay dos métodos: el primero consiste en incorporar una función que modele la varianza del error en el modelo; el segundo consiste en aplicar alguna de las transformaciones de Box-Cox en el modelo de regresión no lineal (Carroll & Ruppert 1988, Capítulo 4). En ambos casos es posible hallar el diseño óptimo, pero el problema se vuelve más complejo porque es necesario encontrar una expresión de la matriz de información de Fisher del modelo. En este artículo se presentan las dos metodologías mencionadas para el criterio D-optimalidad y se muestra un resultado que es útil para encontrar diseños D-óptimos para modelos heterocedásticos cuando la varianza de la respuesta es una función de la media. Luego, se aplican ambos métodos en un ejemplo donde el modelo es no lineal y la varianza no constante. Finalmente se encuentra el diseño D-óptimo con cada metodología, se calculan las eficiencias y se evalúa la bondad del ajuste de los diseños obtenidos a través de simulaciones. 

https://doi.org/10.15446/rce.v37n1.44360

Locally D-Optimal Designs with Heteroscedasticity: A Comparison between Two Methodologies Diseños D-óptimos locales con heterocedasticidad: una comparación entre dos metodologías JAIME ANDRÉS GAVIRIA¹, VÍCTOR IGNACIO LÓPEZ-RÍOS²

¹Universidad Nacional de Colombia, Facultad de Ciencias, Escuela de Estadística, Medellín, Colombia. MSc in Statistics. Email: jagaviriab@unal.edu.co
²Universidad Nacional de Colombia, Facultad de Ciencias, Escuela de Estadística, Medellín, Colombia. Associate professor. Email: vilopez@unal.edu.co

---

Abstract

The classic theory of optimal experimental designs assumes that the errors of the model are independent and have a normal distribution with constant variance. However, the assumption of homogeneity of variance is not always satisfied. For example when the variability of the response is a function of the mean, it is probably that a heterogeneity model be more adequate than a homogeneous one. To solve this problem there are two methods: The first one consists of incorporating a function which models the error variance in the model, the second one is to apply some of the Box-Cox transformations to both sides on the nonlinear regression model to achieve a homoscedastic model (R.J. Carroll & D. Ruppert 1988, Chapter 4). In both cases it is possible to find the optimal design but the problem becomes more complex because it is necessary to find an expression for the Fisher information matrix of the model. In this paper we present the two mentioned methodologies for the D-optimality criteria and we show a result which is useful to find D-optimal designs for heteroscedastic models when the variance of the response is a function of the mean. Then we apply both methods with an example, where the model is nonlinear and the variance is not constant. Finally we find the D-optimal designs with each methodology, calculate the efficiencies and evaluate the goodness of fit of the obtained designs via simulations.

Key words: D-efficiency, D-optimal design, Box-Cox transformations, \linebreak Heteroscedasticity.

---

Resumen

La teoría clásica de los diseños experimentales óptimos supone que los errores del modelo son independientes y tienen una distribución normal con varianza constante. Sin embargo, el supuesto de homogeneidad de varianza no siempre se satisface. Por ejemplo, cuando la variabilidad de la respuesta es una función de la media, es probable que un modelo heterocedástico sea más adecuado que uno homogéneo. Para solucionar este problema hay dos métodos: el primero consiste en incorporar una función que modele la varianza del error en el modelo; el segundo consiste en aplicar alguna de las transformaciones de Box-Cox en el modelo de regresión no lineal (R.J. Carroll & D. Ruppert 1988, Capítulo 4). En ambos casos es posible hallar el diseño óptimo, pero el problema se vuelve más complejo porque es necesario encontrar una expresión de la matriz de información de Fisher del modelo. En este artículo se presentan las dos metodologías mencionadas para el criterio D-optimalidad y se muestra un resultado que es útil para encontrar diseños D-óptimos para modelos heterocedásticos cuando la varianza de la respuesta es una función de la media. Luego, se aplican ambos métodos en un ejemplo donde el modelo es no lineal y la varianza no constante. Finalmente se encuentra el diseño D-óptimo con cada metodología, se calculan las eficiencias y se evalúa la bondad del ajuste de los diseños obtenidos a través de simulaciones.

Palabras clave: D-eficiencia, Diseños D-óptimos, heterocedasticidad, transformación de Box-Cox.

---

Texto completo disponible en PDF

---

References

1. A. C. Atkinson,, A. N. Donev, & R. D Tobias, (2007), Optimum Experimental Designs with SAS, Oxford Science Publications, New York.

2. A. C. Atkinson, & R. D. Cook, (1995), 'D-Optimum Designs for Heteroscedastic Linear Models', Journal of the American Statistical Association 90(429), 204-212.

3. A. C. Atkinson, & R. D. Cook, (1997), 'Designing for a Response Transformation Parameter', Journal of the Royal Statistical Society. Series B (Methodological) 59(1), 111-124.

4. Anthony C. Atkinson, (2003), 'Horwitz's Rule, Transforming Both Sides and the Design of Experiments for Mechanistic Models', Journal of the Royal Statistical Society. Series C (Applied Statistics) 52(3), pp. 261-278.

5. C. Ritz, & J. Streibig, (2008), Nonlinear Regression with R, Springer, New York.

6. D. Downing,, V. Fedorov, & S. Leonov, (2001), Extracting Information from the Variance Function: Optimal Design, Springer, Austria.

7. D. M. Bates, & D. G. Watts, (1988), Nonlinear Regression Analysis and its Applications, John Wiley and Sons, New York.

8. G. E. P. Box, & D. R. Cox, (1964), 'An Analysis of Transformations', Journal of the Royal Statistical Society. Series B (Methodological) 26(2), pp. 211-252.

9. G. Seber, & C. Wild, (1989), Nonlinear Regression, John Wiley, New York.

10. H. Dette, & K. Wong, (1999), 'Optimal Designs When the Variance Is a Function of the Mean', Biometrics 55(3), 925-929.

11. J. Kiefer, (1959), 'Optimum Experimental Designs', Journal of the Royal Statistical Society. Series B (Methodological) 21(2), pp. 272-319.

12. J. Kiefer, & J Wolfowitz, (1960), 'The equivalence of two extremum problems', Canadian Journal of Mathematics 12(5), pp. 363-365.

13. R Development Core Team, (2013), R: A Language and Environment for Statistical Computing, R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0. *http://www.R-project.org

14. R.J. Carroll, & D. Ruppert, (1988), Transformation and Weighting in Regression, Chapter 4, Taylor & Francis.

15. S. Huet,, A. Bouvier,, M. Poursat, & E. Jolivet, (2004), Statistical Tools for Nonlinear Regression: A Practical Guide With S-PLUS and R Examples , Springer-Verlag, New York.

16. T.E O'Brien, & G. M Funk, (2003), 'A gentle introduction to optimal design for regression models', Journal of the American Statistical Association 57(4), 265-267.

17. V López, & R Ramos, (2007), 'Introducción a los diseños óptimos', Revista Colombiana de Estadística 30(1), 37-51.

18. Weng Kee Wong, & R. Dennis Cook, (1993), 'Heteroscedastic G-Optimal Designs', Journal of the Royal Statistical Society. Series B (Methodological) 55(4), pp. 871-880.

---

[Recibido en mayo de 2013. Aceptado en enero de 2014]

---

Este artículo se puede citar en LaTeX utilizando la siguiente referencia bibliográfica de BibTeX:

@ARTICLE{RCEv37n1a07,
    AUTHOR  = {Gaviria, Jaime Andrés and López-Ríos, Víctor Ignacio},
    TITLE   = {{Locally D-Optimal Designs with Heteroscedasticity: A Comparison between Two Methodologies}},
    JOURNAL = {Revista Colombiana de Estadística},
    YEAR    = {2014},
    volume  = {37},
    number  = {1},
    pages   = {95-110}
}

---