Аппаратная реализация искусственных нейронных сетей. Часть 1



Рассмотрены типы искусственных нейронных сетей. Представлены методы аппаратной реализации искусственных нейронных сетей с использованиеманалоговых, либо цифровых схем нейрон-синапсов. Представлены выводы о работе данных алгоритмов на основе их аппаратной реализации.

Ключевые слова: искусственные нейронные сети, КМОП реализация, Пост-КМОП реализация, логические цепи, нейроморфные вычисления

The types of artificial neural networks. The methods of the hardware implementation of artificial neural networks using analog or digital circuits neuron synapses. Algorithms work conclusions based on their hardware implementation.

Keywords: Artificial Neural Networks, CMOS realization, Post-CMOS realization, logic circuits, Neuromorphic Computing

Искусственные нейронные сети (ИНС), навеянные вычислительными и коммуникативными способностями мозга человека, являются значительной парадигмой в машинном обучении. Как таковые они послужили основой для множества мощных алгоритмов с применением в распознавании образов, запоминании, отображении и др. В последнее время наблюдается значительное продвижение в аппаратной реализации этих сетей с целью преодоления вычислительных сложностей при программной реализации: мощностной потенциал человеческого мозга составляет приблизительно 15Вт, и его вычислительные способности оцениваются в 10¹⁷ флоп/с (количество операций с плавающей запятой в секунду) [1], что превосходит лучшие суперкомпьютеры. Это привело к образованию нового класса схем — «нейроморфные цепи», которые имитируют поведение нейронов: высокая активность, простой базовый элемент обработки, и распределенные память и вычисления. Важно иметь в виду, что целью этих цепей является не точное воспроизведение процессов работы мозга, а скорее имитирование некоторых характеристик работы мозга, но при использовании совсем иных элементов.

A. Типы ИНС

С точки зрения структуры, ИНС могут быть разделены на две основные категории: сети прямой передачи, в которых вычисления выполняются послойно, уровень за уровнем от входных параметров сети к выходным; и рекуррентные сети, в которых имеется обратная связь- от логически более удалённого элемента, к менее удалённому. Основное применение первого класса сетей — это контролируемая классификация, выполняемая алгоритмом перцептрона. Второй класс сетей является более разнообразным и его использование включает самоорганизующиеся карты, ассоциативная память (Сеть Хопфилда), сети Больцмана и др. [2]. Наконец, нейронные сети также могут быть использованы для реализации логики цифрового типа, используя скачки и тем самым воспроизводя универсальную машину Тьюринга [3].

Б. Общая структура ИНС

Хотя конечное применение ИНС может быть различным, два компонента ИНС не меняются: по аналогии с биологическими системами, они называются- нейроны и синапсы и совпадают с вершинами и ребрами графа соответственно.

Модель нейрон-синапс показана на рис. 1.

Рис. 1. Символическое представление модели нейрон-синапса

Входы от соседних нейронов суммируются с учётом синаптических весов, и нелинейная функция активации затем определяет выходные данные нейрона [4].

Проблемы в аппаратной реализации ИНС следующие:

1) Синапс

– Сетевое соединение: Количество синапсов растет квадратично с ростом числа нейронов;

– Вес синапсов: Массы должны быть определены с высокой точностью для того, чтобы обеспечить правильную сходимость алгоритмов;

– Обучение: синаптические веса должны быть обновляемыми;

2) Нейрон

– Состояние нейрона: Должно быть выполнено суммирование взвешенных входов;

– Функция активации: расчет высоко-нелинейных функций.

По мере роста размера ИНС количество синапсов растет квадратично для полностью связанных сетей, которые быстро становятся не реализуемыми для соединения. Современные интегрированные методы изготовления схемы в основном укладываются в 2D структуры, в последствии ограничивающие возможность полного соединения. Поэтому большинство реализаций ограничивает проводное соединение некоторой окрестностью каждого нейрона.

В. Правила обучения

Основные операции большинства ИНС затрагивают стадию обучения и стадию отзыва (воспоминания). На этапе обучения весов, сети корректируются так, чтобы соответствовать так называемому подручному применению. В случае с перцептроном, это связано с использованием обратного распространения алгоритма на классифицированной обучающей выборке; в случае ассоциативной памяти, это включает в себя настройку весов для обеспечения действий желаемых отзывов в качестве местных аттракторов (возбудителей). На стадии отзыва, вводятся новые входные данные и сеть остается уравновешиваться (однопроходная прямая подача персептрона и эволюция к равновесию ассоциативной памяти, например). В то время как этап воспоминания всегда выполняется на самой физической сети, этап обучения может быть выполнен заранее. Есть три стратегии обучения:

1) Обучение без микросхемы включает в себя стадию обучения на имитируемой в программном обеспечении сети. Это позволяет выполнять тренировочные расчеты быстрее и точнее, в сравнении с выполнением на аппаратной сети. Однако, не принимаются во внимание разновидности производства аппаратных средств.

2) Обучение: микросхема-в-цикле включает в себя как аппаратные сети, так и внешнее вычислительное программное обеспечение. Исполняемый алгоритм обучения опирается на программное обеспечение, но использует аппаратные средства сети для выполнения вычислений. Например, в случае алгоритма обратного распространения, прямой проход осуществляется через сеть, а обновление весов выполняется в программном обеспечении. Точность вычислений поэтому не ограничивается возможностями аппаратных средств, в то время как фактическое поведение сети по-прежнему учитывается.

3) Обучение на микросхеме Использует лишь микросхему аппарата для выполнения обучения. Хотя вычисление весовых показателей медленнее и менее точное, чем два других метода, этот метод не предполагает внешних манипуляций на этапе обучения. Это делает его более реалистичным для встраиваемых аппаратных средств, так как для сетей, разработанных согласно этому подходу, скорость обучения, со временем, может ускориться. Всё же, конструкция по своей природе является более сложной и менее гибкой, так как алгоритм выполнения обучения должен быть реализован в аппаратных средствах.

КМОП реализация

A. Цифровая схемотехника

ИНС может быть реализована с использованием КМОП (комплементарная структура металл-оксид-полупроводник) -цифровых схем [5] — [8], которая имеет преимущество легкого проектирования и построения. Они основываются на существующих логических элементах и в полной мере отражают достижения в области цифровых схем за последние десятилетия. Синаптические веса могут быть реализованы с использованием ячеек цифровой памяти и даже защелок. Число битов, используемых для хранения синаптических весов имеет решающее значение для точности алгоритма, особенно на стадии обучения [2]. Несмотря на то, что это может быть облегчено, в некоторых случаях при обучении вне микросхемы (т. е. алгоритм, используемый для установки весов, осуществляется на внешнем программном обеспечении, имеющем сравнительно высокую точность, и окончательный результат, затем, квантуется с точностью микросхемы), эффективная реализация синаптических весов имеет важное значение. Cуммирование состояний нейронов может быть легко реализовано используя этапы общих множителей и сумматоров. Однако, для большого количества входящих нейронов, общее число этих элементов может вырасти и не быть незначительным.

Функцию активации, как правило, сложнее реализовать при условии, что она должна быть нелинейной по определению. В то же время функции с единичным порогом могут быть легко реализованы, хотя их возможности весьма ограничены. С другой стороны, более сложная функция активации, например, сигмовидная функция, требует справочных таблиц; это заметно замедляет вычисления и требует значительной мощности и площади, если требуется хорошая точность.

Несмотря на то, что адаптация цифровой логики КМОП для ИНС приводит к довольно простой конструкции, результатом по сути не является оптимизация параметров мощности и площади. Тем не менее, другим преимуществом реализации КМОП является то, что она может быть легко интегрирована в стандартной схеме, которая даже может быть изготовлена с использованием того же КМОП процесса. В недавнем времени были продемонстрированы такие применения, как чип Synapse от IBM [8] (рис. 2) или Zeroth процессор по Qualcomm [9].

На рисунке 2 показана структура чипа IBM Synapse. Расчеты выполняются на локальном ядре, но скачки могут быть направлены на любой нейрон чипа. С целью снизить потребляемую мощность, используются связи, основанные на событиях, то есть сообщаются только скачки; это приводит к пропорциональности между активной мощностью и произведенными скачками. Однако, глобальная синхронизация тактового сигнала должна поддерживаться микросхемой; тактовая частота этого глобального сигнала составляет 1 кГц (что примерно эквивалентно «тактовой частоте» мозга). Каждое ядро требует 1,2 миллиона транзисторов, что эквивалентно менее 20 транзисторам на 1 синапс.

Рис. 2. Функциональная схема, показывающая (а) одно нейроморфное ядро и (б) соединение многоядерной микросхемы компании IBM Synpase

Ядро имеет 256 полностью связанных нейронов, а микросхема состоит из массива 64х64 полностью соединенных ядер [8].

Заключение

Аппаратная реализация ИНС была успешно достигнута с использованием либо аналоговых, либо цифровых схем нейрон-синапсов. Будущие устройства могут сделать конструкцию и изготовление ИНС более эффективным. Полная мощность оборудования ИНС еще не была проявлена, но с наступающим выпуском коммерческих микросхем, реализующих произвольную нейронную сеть, более эффективные алгоритмы, несомненно, будут реализовываться в тех областях, где нейронные сети, как известно, смогут значительно повысить производительность (распознавание образов, ассоциативная память и др.).

Литература:

1. А. Н. Marblestone, Б. М. Zamft, Ю. Г. Магуайр, М. Г. Шапиро, Т. Р. Цибульский, J. И. Глейзер, Д. Amodei, П. Б. Stranges, Р. Kalhor, Д. А. Далримпл и др., «Физические принципы для масштабируемого нейронной записи» Frontiers в вычислительной Neuroscience, Vol. 7, 2013.
2. П. Moerland и Е. Fiesler, «Нейросетевые адаптация к аппаратным реализации, «Справочник по Neural вычислениям, вып. 1, стр. 2, 1997.
3. М. Д. Пикетт и Р. С. Уильямс, «Фазовые переходы позволяют по компьютерному универсальность в нейристорных на основе клеточных автоматов, «Нанотехнологии, том 24, нет. 38, стр. 384002, 2013.
4. В. Calayir, Т. Джексон, А. Tazzoli, Г. Пьяцца, и Л. Пилегги, «Нейрокомпьютинг и ассоциативные воспоминания на основе ovenized нитрида алюминия резонаторы «в нейронных сетях (IJCNN), 2013 Международная объединенная Конференции по. IEEE, 2013, стр. 1–8.
5. Р. С. Фрай, Е. А. Rietman и С. С. Вонг, изучение обратного распространения " и неидеальности в аналоговой нейронной сети аппаратных средств, «Neural Networks, IEEE Transactions на, т. 2, нет. 1, стр. 110–117, 1991.
6. С. Юнг и С. С. Ким, «аппаратная реализация в режиме реального времени нейронные сетевой контроллер с ЦСП и ПЛИС для нелинейных систем " Промышленная электроника, IEEE Transactions на, том. 54, нет. 1, стр. 265–271, 2007.
7. H. Hikawa, "{} FPGA реализация самоорганизующихся карты с цифровой фазовой автоподстройки петли, «нейронные сети, т. 18, нет. 56, стр 514–522, 2005, {} IJCNN 2005. [Интернет].
8. П. А. Merolla, J. В. Артур, Р. Альварес-Икаса, А. С. Кэссиди, J. Sawada, Ф. Акопяна, Б. Л. Джексон, Н. Имам, С. Го, Ю. Накамура, Б. Brezzo, И. Во, С. К. Эссер, Р. Appuswamy, Б. Таба, А. Amir, М. Д. Flickner, В. П. Риск, Р. Манохар и Д. С. Modha, «Миллион подсадки-нейрон интегральная схема с масштабируемой сети связи и интерфейс, «Science, Vol. 345, нет. 6197, стр. 668–673, 2014.
9. В. Апарин и Ж. А. Левин, «Методы и системы для реализации CMOS нейронного синапса, "8 апреля 2014, патент США 8694452.
10. П. В. Холлис и Дж Дж, Paulos «Искусственные нейронные сети с использованиемМОС аналоговые умножители, «Твердотельные схемы, IEEE журнал, Vol. 25, нет. 3, стр. 849–855, 1990.