Обучение нейронных сетей



Нейросеть является последовательностью нейронов, которые в свою очередь соединены между собой синапсами. По сути, структура нейронной сети пришла из биологии в мир программирования. Благодаря данной структуре, ЭВМ (электронно-вычислительная машина) обрела способность, как анализировать, так и запоминать различную по своему значению информацию. Нейронные сети также способны не только анализировать информацию, но даже воспроизводить ее из своей памяти.

Ключевые слова: нейронная сеть, математическая модель, структура, задачи, процесс, обучение, функционирование, свойства.

Нейронная сеть — это математическая модель, одна из разновидностей искусственного интеллекта, главной целью которой является моделирование аналитических механизмов, которые осуществляются человеческим мозгом. Наиболее важные задачи, которые способна решать обычная нейросеть — это классификация, распознавание и предсказание. По своей сути нейросети могут самостоятельно развиваться, обучаться и строить свой опыт, исходя из своих же ошибок. Способность к обучению является наиважнейшим свойством человеческого мозга. В отношении же нейросетей процесс обучения рассматривается как настройка архитектуры сети для наиболее эффективного выполнения определенной задачи. В большинстве случаев нейронная сеть настраивает свои веса связей по уже имеющейся обучающей выборке, функционирование сети будет улучшаться по мере итеративной настройки весовых коэффициентов.

Для процесса обучения нейросети необходимо понимать модель внешней среды, где должна функционировать сеть, по сути, она должна знать доступную и необходимую для сети информацию. Модель определяет саму парадигму обучения. Необходимо знать, как точно модифицировать весовые параметры сети, а также какие правила обучения могут управлять процессом настройки. Алгоритм обучения является процедурой, где используются правила обучения для настройки весов.

На данный момент, существуют 3 парадигмы обучения: с учителем, без учителя и смешанная. В первом случае нейронная сеть имеет правильные ответы для любого входного примера, веса же настраиваются для того, чтобы сеть давала наиболее точные ответы. Вариант обучения с учителем допускает то, что известна может быть только критическая оценка правильности выхода сети, но не правильные значения выхода. Обучение без учителя не нуждается в знании правильных ответов для любого примера обучающей выборки. В данном случае раскрывается только внутренняя структура данных или же корреляции между образцами в системе данных, что затем позволит разделить образцы по категориям.

Во время смешанного обучения некоторая часть весов будет определяться с помощью обучения с учителем, остальные же веса станут формироваться с помощью самообучения. Теория обучения нейросетей исследует 3 фундаментальных свойства, которые связанны с обучением на примерах емкости, вычислительной сложности и сложности образцов. В данном случае под емкостью подразумевается определенное количество, которое может запомнить нейросеть, а также какие границы и функции принятия решений возможно на ней сформировать. Сложность образцов определяет количество обучающих примеров, необходимых для достижения способности сети к обобщению.

На данный момент известны 4 типа правил обучения нейросети: правило Хебба, машина Больцмана, коррекция по ошибке и обучение методом соревнования. Правило коррекции по ошибке предполагает, что при обучении с учителем для любого входного примера будет задан выход «d», но при этом реальный выход сети «y» может и не совпадать с желаемым. Принцип коррекции по ошибке во время обучения заключается в использовании разностного сигнала (d — y) для модификации весов, которая обеспечит уменьшение ошибки. Данное обучение возможно произвести только в том случае, если сеть ошибается.

Обучение Больцмана представляет собой стохастическое правило обучения, которое вытекает из термодинамических принципов и теории информации. Главная цель обучения Больцмана заключается в настройке весовых коэффициентов, при которой состояние нейронов внешнего слоя будут удовлетворять необходимому распределению вероятностей. Обучение Больцмана необходимо понимать, как особый случай коррекции по ошибке, где под ошибкой рассматривается расхождение корреляций состояний из 2 режимов.

Правило Хебба считается одним из первых обучающих правил. Дональд Олдинг Хебб (1904–1985 гг.) в первую очередь опирался на нейрофизиологические наблюдения: в случае если нейроны с обеих сторон синапса активизируются регулярно и одновременно — сила синаптической связи возрастает. Особенно важной особенностью данного правила является изменение синаптического веса, который зависит лишь только от активности нейронов связанных данным синапсом.

В отличие от обучения Д. Хебба, процесс обучения методом соревнования отличается тем, что в нем множество выходных нейронов может возбуждаться одновременно, при этом в соревновательном обучении выходные нейроны будут соревноваться между собой за активизацию. В первую очередь, данное обучение применяется в биологических нейросетях. Процесс обучения с помощью соревнования допускает возможность кластеризовать входные данные. При этом аналогичные входные примеры группируются нейросетью в согласии с корреляциями и представляются одним элементом.

В наше время нейронные сети являются важным инструментом для работы с значительными объемами данных, также сети позволяют разрешить огромное количество нетрадиционных задач за небольшое количество времени. Легкость применения заключается в их довольно простой обучаемости, в процессе которой нет необходимости исследовать разные алгоритмы и нанимать специалистов, так как обучение происходит на примерах. На данный момент потенциал сетей полностью не раскрыт из-за ряда проблем, которые все еще не разрешены в настоящее время. Одна из таких проблем заключается в недостаточной скорости передачи сигнала внутри самой нейросети, поскольку аппаратная составляющая довольно слаба. В первую очередь, все зависит от того, когда и смогут ли данные передаваться ЭВМ со скоростью, которая будет близкой к скорости человеческой мысли. Остается верить, что в будущем данные вопросы будут разрешены, и развитие нейросетей перейдет на новый этап.

Литература:

1. Боровская Е. В. Основы искусственного интеллекта: учебное пособие / Е. В. Боровская, Н. А. Давыдова. — 4-е изд., электрон. — М.: Лаборатория знаний, 2020. — 130 с.
2. Вакуленко С. А., Жихарева А. А. Практический курс по нейронным сетям — СПб: Университет ИТМО, 2018–71 с.
3. Гальберштам Н. М., Баскин И. И., Палюлин В. А., Зефиров Н. С. Нейронные сети как метод поиска зависимостей структура — свойство органических соединений // Успехи химии. — Российская академия наук, 2003. — Т. 72, № 7. — С. 706–727.
4. Калацкая Л. В., Новиков В. А., Садов В. С. Организация и обучение искусственных нейронных сетей: Экспериментальное учеб. пособие. — Минск: Изд-во БГУ, 2003. — 72 с.
5. Малыгина Юлия Павловна Нейронные сети: особенности, тенденции, перспективы развития // Молодой исследователь Дона. 2018. № 5 (14). С. 79–82.