Neural Networks Fundamentals in Mobile Robot Control Systems (216,00 руб.)

Стр.2

Стр.3

Стр.4

Стр.5

Стр.6

Content МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ Федеральное государственное автономное образовательное учреждение высшего образования «ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ» Инженерно-технологическая академия М. Ю. МЕДВЕДЕВ А. Е. КУЛЬЧЕНКО NEURAL NETWORKS FUNDAMENTALS IN MOBILE ROBOT CONTROL SYSTEMS Учебное пособие Ростов-на-Дону  Таганрог Издательство Южного федерального университета 2020 1

Стр.2

Content УДК 004.032.26:004.896(075.8) ББК 32.97я73 М46 Печатается по решению кафедры электротехники и мехатроники Института радиотехнических систем и управления Южного федерального университета (протокол № 5 от 17 марта 2020 г.) Рецензенты: ведущий программист ООО «Люксофт Профешнл» (филиал в г. Санкт-Петербурге), кандидат технических наук В. А. Крухмалев профессор кафедры систем автоматического управления ИРТСУ ЮФУ, доктор технических наук, профессор А. Р. Гайдук Медведев, М. Ю. М46 Neural networks fundamentals in mobile robot control systems : учебное пособие / М. Ю. Медведев, А. Е. Кульченко ; Южный федеральный университет. – Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2020. – 144 с. ISBN 978-5-9275-3587-3 Включает полное и систематизированное изложение материала по учебной программе курса «Интеллектуальные системы управления роботами». Адресован студентам, обучающимся по программам бакалавриата и магистратуры по специальности «Мехатроника и робототехника» Института радиотехники и систем управления Южного федерального университета. Включает темы, посвященные введению в нейронные сети, их применению, основам обучения нейронных сетей, многослойным нейронным сетям с прямой связью, передовым методам обучения нейронных сетей и варианты индивидуальных упражнений. УДК 004.032.26:004.896(075.8) ББК 32.97я73 ISBN 978-5-9275-3587-3 © Южный федеральный университет, 2020 © Медведев М. Ю., Кульченко А. Е., 2020 © Оформление. Макет. Издательство Южного федерального университета, 2020 2

Стр.3

Content CONTENT 1. LECTURE: INTRODUCTION TO NEURAL NETWORKS …….. 6 1.1. Application of artificial intelligence in robotics ………………. 6 1.2. Structure of an intelligent control system of robot ……………. 7 1.3. The artificial intelligence technologies taxonomy …………….. 8 1.4. Morphology of a biological neuron …………………………… 9 1.5. Mathematical model of a biological neuron ………………….. 9 1.6. A neural model for a threshold logic ………………………….. 10 1.7. A neural threshold logic synthesis …………………………….. 12 1.8. Problems ……………………………………………………… 14 Practical training 1 …………………………………………………... 15 1.9. Task for practical training 1 …………………………………… 15 1.10. Example of the practical training performing ………………... 16 1.11. Variants ……………………………………………………… 18 1.12. Requirements to the results representation …………………... 19 Practical training 2 …………………………………………………... 20 1.13. Task for practical training 2 ………………………………….. 20 1.14. Example of the practical training 2 performing ……………… 22 1.15. Variants ……………………………………………………… 24 1.16. Requirements to the results representation …………………... 24 2. LECTURE: BASES OF LEARNING OF NEURAL NETWORKS 26 2.1. Parametric adaptation of the neural threshold element ……….. 26 2.2. The perceptron rule of adaptation …………………………….. 27 2.3. Mays adaptation rule ………………………………………….. 28 2.4. Adaptive linear element ………………………………………. 29 2.5. α - Least Mean Square Algorithm …………………………….. 29 2.6. Mean Square Error Method …………………………………… 31 2.7. µ - Least Mean Square Algorithm …………………………….. 32 2.8. Adaline with sigmoidal functions …………………………….. 32 2.9. Backpropagation method ……………………………………... 33 2.10. A simple network with three neurons ……………………….. 34 2.11. Backpropagation learning …………………………………… 35 2.12. Problems …………………………………………………….. 37 3

Стр.4

Content Practical training 3 …………………………………………………... 38 2.13. Task for practical training 3 …………………………………. 38 2.14. Example of the practical training 3 performing ……………… 40 2.15. Variants ……………………………………………………… 46 2.16. Requirements to the results representation …………………... 46 Practical training 4 …………………………………………………... 48 2.17. Task for practical training 4 ………………………………….. 48 2.18. Example of the practical training 4 performing ……………… 49 2.19. Variants ……………………………………………………… 55 2.20. Requirements to the results representation …………………... 56 3. LECTURE: MULTILAYERED FEEDFORWARD STA-TIC NEURAL NETWORKS ……………………………………………………. 58 3.1. Two layered neural network mathematical description ………. 58 3.2. Generalized delta rule …………………………………………. 60 3.3. Network with linear output neurons …………………………... 62 3.4. Structure of a multi-layered feedforward neural network …….. 62 3.5. Description of a multi-layered feedforward neural network ….. 63 3.6. Generalized Delta Rule for MFNN …………………………… 64 3.7. Recursive computation of delta ……………………………….. 64 3.8. Momentum BP algorithm ……………………………………... 65 3.9. A Summary of BP learning algorithm ………………………… 66 3.10. Some issues in BP learning algorithm ……………………….. 67 3.11. Local minimum problem …………………………………….. 70 3.12. Problems …………………………………………………….. 70 Practical training 5 …………………………………………………... 72 3.13. Task for practical training 5 ………………………………….. 72 3.14. Example of the practical training 5 performing ……………… 72 3.15. Variants ……………………………………………………… 91 3.16. Requirements to the results representation …………………... 92 Practical training 6 …………………………………………………... 93 3.17 Task for practical training 6 ………………………………….. 93 3.18. Example of the practical training 6 performing ……………… 93 3.19. Variants ……………………………………………………… 104 4

Стр.5

Content 3.20. Requirements to the results representation ………………….. 105 4. LECTURE: ADVANCED METHODS FOR LEARNING NEURAL NETWORKS ……………………………………………………. 106 4.1. Different Criteria for Error Measure ………………………….. 106 4.2. Complexities in Regularization ……………………………….. 108 4.3. Weight Decay Approach ……………………………………… 108 4.4. Weight Elimination Approach ………………………………... 109 4.5. Chauvin’s Penalty Approach ………………………………….. 110 4.6. Network Pruning Through Sensitivity Calculation …………… 110 4.7. Karnin’s Pruning Method …………………………………….. 112 4.8. Optimal Brain Damage ………………………………………... 112 4.9. Calculation of the Hessian Matrix …………………………….. 114 4.10. Second-order Optimization Learning Algorithms …………… 117 4.11. Recursive Estimation Learning Algorithms …………………. 119 4.12. Tapped Delay Line Neural Networks ……………………….. 122 4.13. Applications of TDLNN for Adaptive Control Systems ……. 122 4.14. Problems …………………………………………………….. 124 Practical training 7 ……………………………………………. 125 4.15. Task for practical training 7 ………………………………….. 125 4.16. Example of the practical training 7 performing ……………… 126 4.17. Variants ……………………………………………………… 141 4.18. Requirements to the results representation …………………... 141 BIBLIOGRAPHY ……………………………………………………... 143 5

Стр.6