В статье вопросы истории развития нейроно-сетевых формирование (создание) сети.
Ключевые слова: история, искусственный интеллект, философия, логика, нейронные сети, основные модели нейронных сетей, нейропакет
Современные компьютеры называемой схеме реализующей быстрые большого числа операций. Вероятно, подход отчасти был структурой математики половины XX в., когда разделы математики арифметику, а последняя — на логику. Понятно, что основу было что-то иное, а не алгебра, могли бы существенно иные
В качестве альтернативы подходу Дж. обсуждалась ориентация на принципов работы нейронных сетей. годы, что и первый была создана нейроподобная система — песептрон Розенблатта. время оба направления — Неймана и Ф. Розенблатта — независимо, затем тронное направление кризис и возродилось уже в годы под именем сетей, при этом на этапе бинарно-логический и принципы стали Интересно, что кризис направления во многом был техническими сложностями и не приложений, а содержательным рассмотрением, проведенным М. С.Пейпертом, — они показали, что не персептрона, способного определять топологические образа, такие, как этого оказалось резкого падения энтузиазма.
Рассмотрим эволюцию разделов тех наук, внесли свой появление искусственного Исторически впервые связанные с процессами начали исследовать в
Принципы, руководящие частью мышления, определены Аристотелем (384-322 годы до н. э.). Он неформализованную систему предназначенную для проведения рассуждений [1].
Гораздо позднее Луллий (умер в году) выдвинул полезные рассуждения фактически проводить с механического устройства. Гоббс (1588–1679) аналогию между рассуждениями и числовым отмечая, что «в наших мыслях мы поневоле вычитаем» [3].
Рене Декарт впервые опубликовал обсуждения различий разумом и материей, а представляющиеся при этом
Философия сформулировала важные положения, рациональной частью формализации требовались фундаментальные исследования в науке — математике. На нескольких столетий эти проводились параллельно, обогащая обе науки. Для интеллекта наибольшее оказало развитие разделов математики как вычисления и вероятность.
Хотя идеи логики зародились еще у древней Греции [5], её основоположником принято Джорджа Буля (1815- который детально логику высказываний, честь него алгеброй [2].
Кроме теории вычислений, величине вклад искусственный интеллект разработке теории
Концепция вероятности впервые сформулирована математиком Джероламо (1501–1576), описал ее в терминах событий с несколькими возникающих в азартных Пьер Ферма (1601-1665), Блез (1623–1662), Джеймс (1654–1705), Пьер (1749–1827) и ученые внесли вклад в эту теорию и новые статистические Томас Байес (1702-1761) предложил обновления вероятностей с новых фактов.
Значительный произошел в 20 веке, он
- достижениями в нейрофизиологии, нейроанатомии и
- интеграцией различных наук в область науки — интеллект.
В шестидесятые прошлого столетия исследователей в областях нейроанатомии установила, что сотни миллиардов соединенных друг с [6].
Понимание нейрона и его связей исследователям создать модели, которые, в очередь, явились основанием для создания нейронных сетей. такие сети были реализованы в электронных схем.
Позднее, в развитием вычислительной искусственные нейронные стали реализовываться в программ. Поскольку в интеллекте систематизируются и интеллектуальные задачи сферы интеллектуальной человека, искусственный становится поистине научной областью. образом сделаем такое нейронные
Нейронные сети — математические прототипы (модели), а также их аппаратные реализации, организационному принципу и функционированию биологических нейронных сетей нервных живого организма [5].
В современном нейронных сетей выделить несколько
− 1 этап — области нейроинтеллекта:
− 2 этап —
Причины:
- Сети не решать задачи, весьма сходные с которые они успешно
- Однослойные теоретически неспособны многие простые числе реализовать «исключающее ИЛИ».
- В 1969 исследователь с мировым Минский публикует доказательство ограниченности соответственно, и его неспособность достаточно широкий задач.
Все это вместе приводит к снижению многих исследователей к сетям.
− 3 этап —
Благодаря исследованию ученых, как Кохонен, Андерсон, сформировался фундамент, на основе стало возможно мощных многослойных Однако проблема обучении.
В 1974 г. был разработан П. алгоритм распространения ошибки для многослойных перцептронов, вновь в 1982 г. Д. 1986 году Румельхартом, Дж. Е. Хинтоном и Вильямсом и независимо и С. И. Барцевым и Охониным (Красноярская [4].
Этот систематический обучения многослойных преодолевает ограничения, Минским. Дальнейшие показали, что этот является универсальным, многие успешные результаты. Проблема очень долгом обучения, а в отдельных сеть может обучиться. Последнее двум причинам: сети и попадание в минимум.
Следующей проблемой нейронных сетей проблема стабильности-пластичности, которой в том, что новому образу изменяет результаты обучения. Сети и алгоритмы APT пластичность, необходимую для новых образов, в то же предотвращая изменение запомненных образов.
годы — проблема локальный минимум решена, к примеру, стохастических методов : Больцмановское обучение/ Коши.
В 2007 году Джеффри Хинтон создает в университете Торонто алгоритмы глубокого многослойных нейронных
Успех вызван Хинтон при обучении слоев сети ограниченную машину (RBM — Restricted Machine). На сегодня достаточно много моделей нейронных имеющих свои
В современном многие проблемы проблемам управления часто и неструктурированными системами. Поэтому перспективы развития сетей можно, определив их место в данной проблемы [4, 7, 5].
Существующие в настоящее системы управления классифицировать следующим
- Классическая управления, построенная на теории автоматического различными математическими обрабатывания данных.
- Управленческая система, построенная на основе логики и экспертных
- Системы основе генетических искусственных нейронных
Для реализации в действительности различных практических задач разные модели сетей. Модель сети определяется нейронов и структурой сети.
Имитирующие программы на основе связей реализуют группы нейронных
- Многослойные нейронные сети. В таких нейроны делятся на группы с входным сигналом — Различают несколько связей между слоями:
− последовательные;
− прямые;
− обратные.
Связи между одного слоя латеральными (боковыми).
- Полносвязные нейронные сети. Любой отдельно взятый нейрон в связных сетях всеми остальными. На такте функционирования входы нейронов внешний входной выходы нейронов такта [5].
- Сети нейронов с связями.Нейроны в таких располагаются в узлах гексагональной решетки. нейрон связан с числом своих соседей, например, 4, 6 или 8.
- Неструктурированные нейронные сети. К данной принадлежат все модели сетей, которые отнести ни к одной из групп.
Модели реализуемых нейронов чрезвычайно простейшем случае первого порядка взвешенное суммирование входного вектора и преобразование результата моделях нейронов различные варианты преобразований. Наиболее используются сигмоидальные, пороговые функции сети все нейроны иметь как одинаковые сеть), так и различные активизации (гетерогенная сеть) [6].
Для построения сети, ориентированной на конкретной задачи, процедуры формирования сетей, которые ввод указанных моделей нейронов и устройств нейронных сетей.
Группа нейронных сетей быть использована для лишь некоторого класса практических Так, многослойные и связные нейронные сигмоидальными передаточными используются для распознавания адаптивного управления; сети с локальными обработки изображений и других частных решения задач алгебры используются сети с особыми функциями [7].
Лишь для небольшого моделей нейронных существует строгое обоснование возможности их решения конкретных задач. В наибольшей теоретически проработаны нейронные сети с передаточными функциями.
В большинстве предлагаются стандартные обучения нейронных ориентированные на конкретные
Как правило, в реализуется возможность различных типов различных размерностей выходных сигналов в решаемой задачи. В входных данных в выборке могут растровые изображения, чисел, распределения. входных данных — бинарные, биполярные числа, действительные числа из диапазона. Выходные сети — векторы действительных чисел.
Для решения задач часто обучающие выборки объема. Поэтому в нейропакетов предусмотрены облегчающие процесс использования обучающих Однако в настоящее отсутствует универсальная построения обучающих набор обучающих правило, формируется каждой решаемой
В качестве ошибки, численно сходство всех выходных сигналов соответствующих требуемых сигналов обучающей большинстве случаев среднеквадратичное отклонение. ряде нейронных имитаторов либо возможность либо задания функции ошибки.
Осуществляемые в нейропакетах обучения нейронных можно подразделить на три основные
- градиентные второго порядков);
- стохастические;
Первая группа алгоритмов основана на вычислении частных функции ошибки по сети. В стохастических поиск минимума ошибки ведется образом. Генетические комбинируют свойства градиентных алгоритмов: на аналога генетического реализуют перебор основе аналога отбора — градиентный
При обучении сетей, как правило, следующие критерии
− при достижении малого значения ошибки;
− в случае решения выборки обучения неизменности выходных сети).
В нейроимитаторах наличие специальных инициализации перед сети, т. е. присваивание сети некоторых независимых значений.
Обучение представляет, итерационную процедуру, реализации на персональных требует значительного Скорость сходимости обучения является самых важных программ для моделирования сетей.
Для проверки обучения построенной сети в нейроимитаторах специальные средства ее сеть устанавливается сигнал, несовпадающий, как правило, ни с одним из сигналов примеров выборки. Далее получившийся выходной сети.
Тестирование обученной может проводиться одиночных входных либо на тестовой которая имеет аналогичную обучающей также состоит из пар <требуемый выход>). Тестовая строится индивидуально для решаемой задачи.
Рассмотрим один из предназначенных для реализации на компьютерах в различных средах, по степени их также с точки простоты использования и представления информации.
NeuroSolutions предназначен для большого набора сетей. Основное его состоит в гибкости: традиционных нейросетевых (полносвязных и многослойных НС, карт Кохонена) включает в себя редактор визуального нейронных сетей, создавать любые структуры и алгоритмы их также вводить критерии обучения. имеет хорошие визуализации структур, результатов обучения и нейронных сетей. Это данный нейропакет на CAD-систем (систем проектирования) проектирования и
Пакет предназначен для Windows. Помимо взаимодействия с операционной (OLE), нейропакет генератором исходного позволяет использовать модули при создании и нейронной сети. поддерживает программы, языке C++ для компиляторов Visual C++ и Borland также в виде Таким образом, является гибкой системой, которую необходимости дополнять и Пакет содержит макроязык, позволяющий практически любую конкретную задачу.
В пакете большой перечень включая взвешенный (нейрон первого нейроны высших порядков, а непрерывный интегрирующий Функция активации может быть пяти стандартных функция знака и три сигмоидальных) функций, а предопределена пользователем. между нейронами произвольно на этапе могут быть процессе работы. все, типы прямые, перекрестные и этом хорошо схема организации можно задать векторную связь с весовой матрицей, а не скалярных связей с коэффициентами.
Нейропакет NeuroSolutions мощные средства для обучающих выборок. конверторы данных графические изображения в BMP, текстовые числовыми или символьными также функции аргумента (например, заданные в аналитическом виде выборки Нейропакет позволяет любые внешние данных.
На этапе может быть широкий круг обучения, как дискретных, так и Помимо этого вводить собственные Можно использовать как алгоритм обучения back-propagation или дельта-правила, так и собственный. Система процесса обучения проводить анализ весов непосредственно в обучения и вносить Может быть шумовая характеристика как при обучении нейронной Можно задать белый шум, шум природы, а также заданный тип шума белый мультипликативный). содержит генератор стандартных нейросетевых архитектур (Neural Wizard, с которого быстро архитектура, подбираете» выборка, критерии и обучения нейронной
Литература:
1. В. В. Круглов, М. И. Дли, Нечёткая логика и нейронные сети. 2001.
2. Вестник Волжского имени В. Н. (23) 2015.
3. Г. Э. Яхъяева. Основы нейронных сетей.Интернет-университет информационных изд-во «Открытые системы».
4. Д. А. Тархов. Нейронные Модели и алгоритмы. Радиотехника, 2005.
5. Лохин, В.М. системы управления: определения, принципы В. М. Лохин, Захаров // Мехатроника. — 2001. – №2. – С. 27–35.
6. Цой Ю. Р. подход к настройке и искусственных нейронных Ю. Р. Цой, В. Г. Спицын // Нейроинформатика. — 2006. – Т. 1. – №1. – С. 34-61.
7. Шульговский В. В. Основы Учебное пособие для вузов / В.В.Шульговский. – М.: Аспект Пресс, 2000. – 277 с.
