Published
An Iterative Method for Curve Adjustment Based on Optimization of a Variable and its Application
Un método iterativo para el ajuste de curvas basado en la optimización en una variable y su aplicación al caso lineal en una variable independiente
DOI:
https://doi.org/10.15446/rce.v37n1.44361Keywords:
Curve estimation, Iterative method, Least Squares Method, Linear regression, Teaching materials (en)estimación de curvas, materiales de enseñanza, método de mínimos cuadrados, método iterativo, regresión lineal (es)
Downloads
An iterative method for the adjustment of curves is obtained by applying the least squares method reiteratively in functional subclasses, each defined by one parameter, after assigning values to the rest of the parameters which determine a previously determined general functional class. To find the minimum of the sum of the squared deviations, in each subclass, only techniques of optimization are used for real functions of a real variable.The value of the parameter which gives the best approximation in an iteration is substituted in the general functional class, to retake the variable character of the following parameter and repeat the process, getting a succession of functions. In the case of simple linear regression, the convergence of that succession to the least squares line is demonstrated, because the values of the parameters that define each approximation coincide with the values of the parameters obtained when applying the method of Gauss - Seidel to the normal system of equations. This approach contributes to the teaching objective of improving the treatment of the essential ideas of curve adjustment, which is a very important topic in applications, what gives major importance to the optimization of variable functions.
Se obtiene un método iterativo para el ajuste de curvas al aplicar reiteradamente el método de los mínimos cuadrados en subclases funcionales, cada una definida por un parámetro, luego de asignar valores a los restantes parámetros que determinan una clase funcional general, seleccionada previamente. Para hallar el mínimo de la suma de las desviaciones cuadráticas, en cada subclase, solo se utilizan técnicas de optimización para funciones reales de una variable real. El valor del parámetro, que proporciona la mejor aproximación en una iteración, se sustituye en la clase funcional general, para retomar el carácter variable del siguiente parámetro y repetir el proceso, obteniéndose una sucesión de funciones. En el caso de la regresión lineal simple se demuestra la convergencia de esa sucesión a la recta mínimo cuadrática, pues coinciden los valores de los parámetros que definen cada aproximación con los que se obtienen al aplicar el método de Gauss - Seidel al sistema normal de ecuaciones. Este enfoque contribuye al objetivo docente de adelantar el tratamiento de las ideas esenciales del ajuste de curvas, temática muy importante en las aplicaciones, lo que le confiere mayor significación a la optimización de funciones de una variable.
https://doi.org/10.15446/rce.v37n1.44361
1Universidad de Las Tunas, Departamento de Matemática, Las Tunas, Cuba. Professor. Email: racosta@ult.edu.cu
2Universitat Politecnica de Valencia, Investigación Operativa Aplicadas y Calidad, Departamento de Estadística, Valencia, Spain. Professor. Email: suicabga@eio.upv.es
3Universidad de Las Tunas, Departamento de Matemática, Las Tunas, Cuba. Professor. Email: racosta@ult.edu.cu
4Universitat Politecnica de Valencia, Investigación Operativa Aplicadas y Calidad, Departamento de Estadística, Valencia, Spain. Professor. Email: ascabul@eio.upv.es
5Universidad de las Ciencias Informáticas, La Habana, Cuba. Professor. Email: ndacosta@uci.cu
An iterative method for the adjustment of curves is obtained by applying the least squares method reiteratively in functional subclasses, each defined by one parameter, after assigning values to the rest of the parameters which determine a previously determined general functional class. To find the minimum of the sum of the squared deviations, in each subclass, only techniques of optimization are used for real functions of a real variable.The value of the parameter which gives the best approximation in an iteration is substituted in the general functional class, to retake the variable character of the following parameter and repeat the process, getting a succession of functions. In the case of simple linear regression, the convergence of that succession to the least squares line is demonstrated, because the values of the parameters that define each approximation coincide with the values of the parameters obtained when applying the method of Gauss - Seidel to the normal system of equations. This approach contributes to the teaching objective of improving the treatment of the essential ideas of curve adjustment, which is a very important topic in applications, what gives major importance to the optimization of variable functions.
Key words: Curve estimation, Iterative method, Least Squares Method, Linear regression, Teaching materials.
Se obtiene un método iterativo para el ajuste de curvas al aplicar reiteradamente el método de los mínimos cuadrados en subclases funcionales, cada una definida por un parámetro, luego de asignar valores a los restantes parámetros que determinan una clase funcional general, seleccionada previamente. Para hallar el mínimo de la suma de las desviaciones cuadráticas, en cada subclase, solo se utilizan técnicas de optimización para funciones reales de una variable real. El valor del parámetro, que proporciona la mejor aproximación en una iteración, se sustituye en la clase funcional general, para retomar el carácter variable del siguiente parámetro y repetir el proceso, obteniéndose una sucesión de funciones. En el caso de la regresión lineal simple se demuestra la convergencia de esa sucesión a la recta mínimo cuadrática, pues coinciden los valores de los parámetros que definen cada aproximación con los que se obtienen al aplicar el método de Gauss - Seidel al sistema normal de ecuaciones. Este enfoque contribuye al objetivo docente de adelantar el tratamiento de las ideas esenciales del ajuste de curvas, temática muy importante en las aplicaciones, lo que le confiere mayor significación a la optimización de funciones de una variable.
Palabras clave: estimación de curvas, materiales de enseñanza, método de mínimos cuadrados, método iterativo, regresión lineal.
Texto completo disponible en PDF
References
1. A. Ranganatham, (2004), 'The Levenberg - Marquardt algorithm', Tutorial on LM Algorithm.
2. Abhisek Mudgal,, Shauna Hallmark,, Alicia Carriquiry, & Konstantina Gkritza, (2014), 'Driving behavior at a roundabout: A hierarchical Bayesian regression analysis', Transportation Research Part D: Transport and Environment 26(0), 20-26.
3. Byungtae Seo, & Bruce G. Lindsay, (2013), 'Nearly universal consistency of maximum likelihood in discrete models', Statistics and Probability Letters 83(7), 1699-1702.
4. C. Batanero,, G. Burrill, & C. Reading, (2011), Teaching Statistics in School Mathematics. Challenges for Teaching and Teacher Education: A Joint ICMI/IASE Study, Vol. 18, 2 edn, Springer, New York.
5. C. T. Kelley, (1999), Iterative Methods for Optimization, Society for Industrial and Applied Mathematics, Philadelphia, U.S..
6. Chirok Han, & Peter C.B. Phillips, (2013), 'First difference maximum likelihood and dynamic panel estimation', Journal of Econometrics 175(1), 35 - 45.
7. D. D. McCracken, & W. S. Dorn, (1974), Métodos Numéricos y Programación Fortran., 1 edn, Editorial Pueblo y Educación, La Habana, Cuba.
8. E. Gutiérrez de Ravé,, F. J. Jiménez-Hornero, & J. V. Giráldez, (2011), 'A computer application for interpolation algorithms of curves', Computer Applications in Engineering Education 19(1), 40-47.
9. E. Núñez,, E. W. Steyerberg, & J. Núñez, (2011), 'Estrategias para la elaboración de modelos estadísticos de regresión', Revista Española de Cardiología 64(6), 501-507.
10. G. Braga,, C. Silveira,, V. Rodríguez,, P. Henrique de Cerqueira,, W. Aparecido, & F. Barros, (2009), 'Quantifying herbage mass on rotationally stocked palisadegrass pastures using indirect methods', Scientia Agricola 66(1), 127-131.
11. Hee Min Choi, & James P. Hobert, (2013), 'Analysis of MCMC algorithms for Bayesian linear regression with Laplace errors', Journal of Multivariate Analysis 117(0), 32-40.
12. I. Bronshtein, & K. Semendiaev, (1971), Mathematics Manual, Mir, Moscow.
13. J. Vega-Vilca, & J. Guzmán, (2011), 'Regresión PLS y PCA como solución al problema de multicolinealidad en regresión múltiple', Revista de Matemática: Teoría y Aplicaciones 18(1), 09-20.
14. K. P. Guzmán,, I. Bolivar,, M. T. Alepuz,, D. González, & M. Martin, (2011), 'Impacto en el tiempo asistencial y el estadio tumoral de un programa de diagnóstico y tratamiento rápido del cáncer colorrectal', Revista Española de Enfermedades Digestivas 103(1), 13-19.
15. Kaiguang Zhao,, Denis Valle,, Sorin Popescu,, Xuesong Zhang, & Bani Mallick, (2013), 'Hyperspectral remote sensing of plant biochemistry using Bayesian model averaging with variable and band selection', Remote Sensing of Environment 132(0), 102-119.
16. L. M. Santos da Silva,, L. C. Estraviz,, J. V. Caixeta, & S. B. Carolina, (2006), 'Fitting a Taper function to minimize the sum of absolute deviations', Scientia Agricola 63(5), 460-470.
17. M. Ibarra, & P. Arana, (2011), 'Crecimiento del camarón excavador Parastacus pugnax (Poeppig, 1835) determinado mediante técnica de marcaje', Latin American Journal of Aquatic Research 39(2), 378-384.
18. M. Schmidt, (2005), Least Squares Optimization with L1-Norm Regularization, CS542B Project Report.
19. Masayo Yoshimori, & Partha Lahiri, (2014), 'A new adjusted maximum likelihood method for the Fay-Herriot small area model', Journal of Multivariate Analysis 124(0), 281 - 294.
20. R. J. Donal, (2001), 'A Taxonomy of Global Optimization Methods bases on Response Surfaces', Journal of Global Optimization 21, 345-383.
21. W. Wei,, L. De Quan, & L. Jian, (2001), 'On the System of Multiple Linear Regression of Higher Education Tuition in China', Journal Advanced Materials Research 211-212, 752-755.
Este artículo se puede citar en LaTeX utilizando la siguiente referencia bibliográfica de BibTeX:
@ARTICLE{RCEv37n1a08,
AUTHOR = {Acosta, Rogelio and Cabrera, Suitberto and Vega, Luis Manuel and Cabrera, Asela and Acosta, Nersa},
TITLE = {{An Iterative Method for Curve Adjustment Based on Optimization of a Variable and its Application}},
JOURNAL = {Revista Colombiana de Estadística},
YEAR = {2014},
volume = {37},
number = {1},
pages = {111-125}
}
References
Batanero, C., Burrill, G. & Reading, C. (2011), Teaching Statistics in School Mathematics. Challenges for Teaching and Teacher Education: A Joint ICMI/IASE Study, Vol. 18, 2 edn, Springer, New York.
Braga, G., Silveira, C., Rodríguez, V., Henrique de Cerqueira, P., Aparecido, W. & Barros, F. (2009), ‘Quantifying herbage mass on rotationally stocked palisadegrass pastures using indirect methods’, Scientia Agricola 66(1), 127– 131.
Bronshtein, I. & Semendiaev, K. (1971), Mathematics Manual, Mir, Moscow. Choi, H. M. & Hobert, J. P. (2013), ‘Analysis of MCMC algorithms for Bayesian linear regression with Laplace errors’, Journal of Multivariate Analysis 117(0), 32–40.
Donal, R. J. (2001), ‘A taxonomy of global optimization methods bases on response surfaces’, Journal of Global Optimization 21, 345–383.
Gutiérrez de Ravé, E., Jiménez-Hornero, F. J. & Giráldez, J. V. (2011), ‘A computer application for interpolation algorithms of curves’, Computer Applications in Engineering Education 19(1), 40–47.
Guzmán, K. P., Bolivar, I., Alepuz, M. T., González, D. & Martin, M. (2011), ‘Impacto en el tiempo asistencial y el estadio tumoral de un programa de diagnóstico y tratamiento rápido del cáncer colorrectal’, Revista Española de Enfermedades Digestivas 103(1), 13–19.
Han, C. & Phillips, P. C. (2013), ‘First difference maximum likelihood and dynamic panel estimation’, Journal of Econometrics 175(1), 35 – 45.
Ibarra, M. & Arana, P. (2011), ‘Crecimiento del camarón excavador Parastacus pugnax (Poeppig, 1835) determinado mediante técnica de marcaje’, Latin American Journal of Aquatic Research 39(2), 378–384.
Kelley, C. T. (1999), Iterative Methods for Optimization, Society for Industrial and Applied Mathematics, Philadelphia, U.S.
McCracken, D. D. & Dorn, W. S. (1974), Métodos Numéricos y Programación Fortran., 1 edn, Editorial Pueblo y Educación, La Habana, Cuba.
Mudgal, A., Hallmark, S., Carriquiry, A. & Gkritza, K. (2014), ‘Driving behavior at a roundabout: A hierarchical Bayesian regression analysis’, Transportation Research Part D: Transport and Environment 26(0), 20–26.
Núñez, E., Steyerberg, E. W. & Núñez, J. (2011), ‘Estrategias para la elaboración de modelos estadísticos de regresión’, Revista Española de Cardiología 64(6), 501–507.
Ranganatham, A. (2004), ‘The Levenberg - Marquardt algorithm’, Tutorial on LM Algorithm.
Santos da Silva, L. M., Estraviz, L. C., Caixeta, J. V. & Carolina, S. B. (2006), ‘Fitting a Taper function to minimize the sum of absolute deviations’, Scientia Agricola 63(5), 460–470.
Schmidt, M. (2005), Least Squares Optimization with L1-Norm Regularization, CS542B Project Report.
Seo, B. & Lindsay, B. G. (2013), ‘Nearly universal consistency of máximum likelihood in discrete models’, Statistics and Probability Letters 83(7), 1699– 1702.
Vega-Vilca, J. & Guzmán, J. (2011), ‘Regresión PLS y PCA como solución al problema de multicolinealidad en regresión múltiple’, Revista de Matemática: Teoría y Aplicaciones 18(1), 09–20.
Wei, W., De Quan, L. & Jian, L. (2001), ‘On the system of multiple linear regression of higher education tuition in China’, Journal Advanced Materials Research 211-212, 752–755.
Yoshimori, M. & Lahiri, P. (2014), ‘A new adjusted maximum likelihood method for the Fay-Herriot small area model’, Journal of Multivariate Analysis 124(0), 281 – 294.
Zhao, K., Valle, D., Popescu, S., Zhang, X. & Mallick, B. (2013), ‘Hyperspectral remote sensing of plant biochemistry using Bayesian model averaging with variable and band selection’, Remote Sensing of Environment 132(0), 102–119.
How to Cite
APA
ACM
ACS
ABNT
Chicago
Harvard
IEEE
MLA
Turabian
Vancouver
Download Citation
License
Copyright (c) 2014 Revista Colombiana de Estadística

This work is licensed under a Creative Commons Attribution 4.0 International License.
- Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).