Skip to Main Content

Modelling and Data Analysis
2025. Vol. 15, no. 4, 38–57
doi:10.17759/mda.2025150403
ISSN: 2219-3758 / 2311-9454 (online)

Selection a fixed number of the most compatible methods for estimating linear regression parameters when switching

 
Audio is AI-generated
1

PDF (RUS)
Online translation in english
GS
Information
in Google Scholar
Metrics

Abstract

Context and relevance. There are many different methods for estimating the parameters of a linear regression model. In some sense, the pressing issue is to choose the best method. Objective. To study the problems of selecting the designated number of most compatible methods for estimating linear regression parameters and identifying a switching rule for these methods. Hypothesis. The combination of methods produces a more adequate linear regression than any of the methods individually. Methods and materials. Lν-estimation was used to form a set of methods. Results. The problem of selecting a designated number of methods that are most compatible in terms of minimizing the residual sum of their modules and identifying a switching rule is formulated. A rule is formed by assigning a marker to each method used, which is switched between using the integer function «floor». The problem of choosing compatible methods with known and unknown markers reduces to a mixed 0-1 integer linear programming problem. Based on real data on mortality from coronary heart disease, a list model is constructed to demonstrate that a combination of three methods (L1, L2, and L1.2) yields better accuracy than method L1 alone. Conclusions. The list model obtained by the proposed way consists of a list of linear regressions estimated using different methods and a switching rule. This list can be used for forecasting. Moreover, the proposed way can be adapted to select the most suitable model specifications for a specific method and to solve the problem of choosing the best neural network.

General Information

Keywords: regression analysis, selection of compatible methods, list regression, integer floor function, least absolute deviations method, Lν-estimation, mixed 0-1 integer linear programming problem

Journal rubric: Optimization Methods

Article type: scientific article

DOI: https://doi.org/10.17759/mda.2025150403

Received 13.10.2025

Revised 23.10.2025

Accepted

Published

For citation: Bazilevskiy, M.P. (2025). Selection a fixed number of the most compatible methods for estimating linear regression parameters when switching. Modelling and Data Analysis, 15(4), 38–57. (In Russ.). https://doi.org/10.17759/mda.2025150403

© Bazilevskiy M.P., 2025

License: CC BY-NC 4.0

References

  1. Акбердина, В.В., Шориков, А.Ф., Коровин, Г.Б., Сиротин, Д.В. (2024). Идентификация параметров агент-ориентированной модели управления промышленным комплексом региона. Экономика региона, 20(1), 48— https://doi.org/10.17059/ekon.reg.2024-1-4
    Akberdina, V.V., Shorikov, A.F., Korovin, G.B., Sirotin, D.V. (2024). Parameter Identification of the Agent-Based Model for Managing a Regional Industrial Complex. Economy of Regions, 20(1), 48—62. (In Russ.). https://doi.org/10.17059/ekon.reg.2024-1-4
  2. Базилевский, М.П. (2020). Отбор оптимального числа информативных регрессоров по скорректированному коэффициенту детерминации в регрессионных моделях как задача частично целочисленного линейного программирования. Прикладная математика и вопросы управления, (2), 41— https://doi.org/10.15593/2499-9873/2020.2.03
    Bazilevskii, M.P. (2020). Selection an Optimal Number of Variables in Regression Models using Adjusted Coefficient of Determination as a Mixed Integer Linear Programming Problem. Applied Mathematics and Control Sciences, (2), 41—54. (In Russ.). https://doi.org/10.15593/2499-9873/2020.2.03
  3. Базилевский, М.П. (2024). Двухкритериальное оценивание линейных регрессионных моделей методами наименьших модулей и квадратов. International Journal of Open Information Technologies, 12(6), 76—
    Bazilevskii, M.P. (2024). Two-criteria Estimation of Linear Regression Models Using Least Absolute Deviations and Squares. International Journal of Open Information Technologies, 12(6), 76—81. (In Russ.).
  4. Базилевский, М.П. (2024). Оценивание с помощью метода наименьших модулей регрессионных моделей с целочисленными функциями пол и потолок. International Journal of Open Information Technologies, 12(10), 56—
    Bazilevskii, M.P. (2024). Estimation using Least Absolute Deviations Method of Regression Models with Integer Floor and Ceiling Functions. International Journal of Open Information Technologies, 12(10), 56—61. (In Russ.).
  5. Базилевский, М.П. (2025). Идентификация неизвестных параметров списочных регрессионных моделей методом наименьших модулей. System Analysis and Mathematical Modeling, 7(2), 248—
    Bazilevskii, M.P. (2025). Identification of Unknown Parameters in List Regression Models Using the Least Absolute Deviations. System Analysis and Mathematical Modeling, 7(2), 248—262. (In Russ.).
  6. Базилевский, М.П. (2025). Оптимальная маркировка значений категориальной зависимой переменной при построении регрессионных моделей с целочисленной функцией пол. Современные наукоёмкие технологии, (5), 22— https://doi.org/10.17513/snt.40385
    Bazilevskii, M.P. (2025). Optimal Marking of Categorical Dependent Variable Values when Constructing Regression Models using Integer Floor Function. Modern High Technologies, (5), 22—26. (In Russ.). https://doi.org/10.17513/snt.40385
  7. Базилевский, М.П. (2025). Сравнительный анализ разных подходов к оценке параметров регрессионных моделей с помощью метода наименьших модулей на примере моделирования стоимости домов по выборке большого объема. Инженерный вестник Дона, (6). http://www.ivdon.ru/ru/magazine/archive/n6y2025/10130.
    Bazilevskii, M.P. (2025). Comparative Analysis of Different Approaches to Estimating the Parameters of Regression Models using the Least Absolute Deviations Method using the Example of Modeling House Prices Based on a Large Sample. Engineering Journal of Don, (6), http://www.ivdon.ru/ru/magazine/archive/n6y2025/10130. (In Russ.).
  8. Голованов, О.А., Тырсин, А.Н. (2024). Спуск по узловым прямым и симплекс-алгоритм - два варианта регрессионного анализа на основе метода наименьших модулей. Заводская лаборатория. Диагностика материалов, 90(5), 79— https://doi.org/10.26896/1028-6861-2024-90-5-79-87
    Golovanov, O.A., Tyrsin, A.N. (2024). Descent along Nodal Straight Lines and Simplex Algorithm: Two Variants of Regression Analysis Based on the Least Absolute Deviation Method. Industrial Laboratory. Diagnostics of Materials, 90(5), 79—87. (In Russ.). https://doi.org/10.26896/1028-6861-2024-90-5-79-87
  9. Грэхем, Р., Кнут, Д., Паташник, О. (1998). Конкретная математика. Основание информатики: Пер. с англ. М.: Мир.
    Grehkhem, R., Knut, D., Patashnik, O. (1998). Konkretnaya matematika. Osnovanie informatiki: Per. s angl. Moscow: World. (In Russ.).
  10. Демиденко, Е.З. (1981). Линейная и нелинейная регрессии. М.: Финансы и статистика.
    Demidenko, E.Z. (1981). Linear and Nonlinear Regressions. Moscow: Finance and Statistics. (In Russ.).
  11. Карпенко, П.А. (2021). Математическое описание концептуальной модели управления развитием региональных социально-экономических систем Российской Федерации. Вестник Алтайской академии экономики и права, (9-1), 69—
    Karpenko, P.A. (2021). Mathematical Description of the Conceptual Model of Managing the Development of Regional Socio-Economic Systems of the Russian Federation. Vestnik Altaiskoi akademii ehkonomiki i prava, (9-1), 69—74. (In Russ.).
  12. Курлов, В.В., Косухина, М.А., Курлов, А.В. (2022). Модель оценки цифровой зрелости промышленного предприятия. Экономика и управление, 28(5), 439— http://doi.org/10.35854/1998-1627-2022-5-439-451
    Kurlov, V.V., Kosukhina, M.A., Kurlov, A.V. (2022). Model for Assessing the Digital Maturity of an Industrial Enterprise. Economics and Management, 28(5), 439—451. (In Russ.). http://doi.org/10.35854/1998-1627-2022-5-439-451
  13. Мудров, В.И., Кушко, В.Л. (1976). Методы обработки измерений. М.: Сов. радио.
    Mudrov, V.I., Kushko, V.L. (1976). Metody obrabotki izmerenii. Moscow: Sov. (In Russ.).
  14. Носков, С.И. (2022). Кусочно-линейная свёртка вариантов регрессионной модели объекта. Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии, (3), 15—
    Noskov, S.I. (2022). Piece-Linear Convolution of Options of the Object Regression Model. Proceedings of Voronezh State University. Series: Systems Analysis and Information Technologies, (3), 15—21. (In Russ.).
  15. Носков, С.И., Баенхаева, А.В. (2016). Множественное оценивание параметров линейного регрессионного уравнения. Современные технологии. Системный анализ. Моделирование, 3(51), 133—
    Noskov, S.I., Baenkhaeva, A.V. (2016). Multiple Estimation of Parameters for the Linear Regression Equation. Modern Technologies. System Analysis. Modeling, 3(51), 133—138. (In Russ.).
  16. Носков, С.И., Попов, Е.С. (2024). Метод смешанного оценивания параметров регрессионной модели с произвольным составом групп наблюдений. Модели, системы, сети в экономике, технике, природе и обществе, 3(51), 98—
    Noskov, S.I., Popov, E.S. (2024). The Method of Mixed Estimation of Regression Model Parameters with an Arbitrary Composition of Observation Groups. Models, Systems, Networks in Economics, Technology, Nature and Society, 3(51), 98—104. (In Russ.).
  17. Холодилин, И.Ю., Григорьев, М.А., Кушнарёв, В.А., Савостеенко, Н.В., Спицин, Д.В., Осипов, О.И. (2024). Набор регрессионных моделей для управления тележкой, оснащенной манипулятором робота, интегрированным в технологический процесс. Вестник Южно-Уральского государственного Университета. Серия «Энергетика», 24(4), 47— https://doi.org/10.14529/power240406
    Kholodilin, I.YU., Grigor'ev, M.A., Kushnarev, V.A., Savosteenko, N.V., Spitsin, D.V., Osipov, O.I. (2024). A Set of Regression Models for Controlling a Trolley Equipped with a Robot Manipulator Integrated into the Technological Process. Bulletin of the South Ural State University. Ser. Power Engineering, 24(4), 47—55. (In Russ.). https://doi.org/10.14529/power240406
  18. Чигиринский, Ю.Л., Ингеманссон, А.Р. (2021). Математические модели оперативного управления технологическими режимами лезвийной обработки. Наукоемкие технологии в машиностроении, (7), 20— https://doi.org/10.30987/2223-4608-2021-7-20-28
    Chigirinskii, YU.L., Ingemansson, A.R. (2021). Mathematical Model of Technological Mode On-line Control at Blade Processing. Science Intensive Technologies in Mechanical Engineering, (7), 20—28. (In Russ.). https://doi.org/10.30987/2223-4608-2021-7-20-28
  19. Bertsimas, D., King, A., Mazumder, R. (2016). Best Subset Selection via a Modern Optimization lens. The annals of statistics, 44(2), 813—
  20. De Menezes, D.Q.F., Prata, D.M., Secchi, A.R., Pinto, J.C. (2021). A Review on Robust M-estimators for Regression Analysis. Computers & Chemical Engineering, 147, 107254. https://doi.org/10.1016/j.compchemeng.2021.107254
  21. Ge, D., Huangfu, Q., Wang, Z., Wu, J., Ye, Y. (2023). Cardinal Optimizer (COPT) user guide. https://guide.coap.online/copt/en-doc.
  22. Idroes, G.M., Hardi, I., Hilal, I.S., Utami R.T., Noviandy T.R., Idroes R. (2024). Economic Growth and Environmental Impact: Assessing the Role of Geothermal Energy in Developing and Developed Countries. Innovation and Green Development, 3(3), 100144. https://doi.org/10.1016/j.igd.2024.100144
  23. Khan, Y., Hassan, T. (2024). Promoting Sustainable Development: Evaluating the Influence of Natural Resources, High-tech Export and Corruption on CO2 Emissions in Developing Economies. Resources Policy, 88, 104511. https://doi.org/10.1016/j.resourpol.2023.104511
  24. Koch, T., Berthold, T., Pedersen, J., Vanaret, C. (2022). Progress in Mathematical Programming Solvers from 2001 to 2020. EURO Journal on Computational Optimization, 10, 100031. https://doi.org/10.1016/j.ejco.2022.100031
  25. Konno, H., Yamamoto, R. (2009). Choosing the Best Set of Variables in Regression Analysis using Integer Programming. Journal of Global Optimization, 44(2), 273— https://doi.org/10.1007/s10898-008-9323-9
  26. Liu, Y., Liu, B. (2024). A Modified Uncertain Maximum Likelihood Estimation with Applications in Uncertain Statistics. Communications in Statistics-Theory and Methods, 53(18), 6649— https://doi.org/10.1080/03610926.2023.2248534
  27. Liu, Z., Yang, Y. (2020). Least Absolute Deviations Estimation for Uncertain Regression with Imprecise Observations. Fuzzy Optimization and Decision Making, 19(1), 33— https://doi.org/10.1007/s10700-019-09312-w
  28. Sengupta, D., Klein, S., Raine, J.A., Golling, T. (2024). CURTAINs Flows for Flows: Constructing Unobserved Regions with Maximum Likelihood Estimation. SciPost Physics, 17(2), 046. https://doi.org/10.21468/SciPostPhys.17.2.046
  29. Wagner, H.M. (1959). Linear Programming Techniques for Regression Analysis. Journal of the American Statistical Association, 54(285), 206—
  30. Wang, S., Chen, Y., Cui, Z., Lin, L., Zong, Y. (2024). Diabetes Risk Analysis based on Machine Learning LASSO Regression Model. Journal of Theory and Practice of Engineering Science, 4(01), 58— https://doi.org/10.53469/jtpes.2024.04(01).08
  31. Wang, Y., Wang, B., Peng, C., Li, X., Yin, H. (2022). Huber Regression Analysis with a Semi-Supervised Method. Mathematics, 10(20), 3734. https://doi.org/10.3390/math10203734

Information About the Authors

Mikhail P. Bazilevskiy, Candidate of Science (Engineering), Associate Professor, Department of Mathematics, Irkutsk State Transport University (ISTU), Irkutsk, Russian Federation, ORCID: https://orcid.org/0000-0002-3253-5697, e-mail: mik2178@yandex.ru

Contribution of the authors

Mikhail P. Bazilevskiy — ideas; annotation, writing and design of the manuscript; planning of the research; control over the research; application of statistical, mathematical or other methods for data analysis; conducting the experiment; data collection and analysis; visualization of research results.

Conflict of interest

The author declare no conflict of interest.

Metrics

 Web Views

Whole time: 1
Previous month: 0
Current month: 1

 PDF Downloads

Whole time: 1
Previous month: 0
Current month: 1

 Total

Whole time: 2
Previous month: 0
Current month: 2