Подробно исследован вопрос трансформации систем электронного обучения за последние два десятилетия. Показаны особенности использования данных систем для обучения очных студентов внутри университета. Исследовано влияния выбора системы учёта успеваемости студентов и её интеграции в систему электронного обучения на мотивацию элитарной группы студентов. Предложен собственный подход к выбору принципов и технологий построения системы электронного обучения.
Ключевые слова: e-learning, LMS, m-learning, мотивация студентов, конкурентный подход, Ruby on Rails, Markdown, динамический рейтинг
Всё возрастающая конкуренция на рынке высшего образования диктует необходимость применения все более совершенных средств для повышения качества обучения студентов университетов. Лицом любого высшего учебного заведения являются его студенты очного отделения, следовательно, задача совершенствования методов их подготовки является наиболее актуальной. В то же время, трансформация психики современного поколения в сторону всеобщей информатизации и социальных сетей требует кардинальной модернизации технологий передачи знаний. Решением данного вопроса может стать внедрение современных систем электронного обучения.
Несмотря на огромное количество систем электронного обучения (LMS) на международном рынке выбор конкретного решения, удовлетворяющего текущему моменту, отнюдь не тривиален. Большинство университетов сегодня сталкиваются с общим падением уровня школьного образования, снижением государственного финансирования, необходимостью диверсификации источников дохода. Таким образом, эффективная LMS-система, направленная на повышение качества образования студентов очного отделения, должна, прежде всего, удовлетворять критерию низкой стоимости. Она должна предоставлять все основные элементы технологии социальных сетей. Также система должна способствовать созданию конкурентной среды, ориентированной на обучающихся с сильной дифференциацией базовых знаний. Решением данного вопроса может быть ориентация на свободные программные средства.
Литературный обзор
В последние десятилетия современные социально-технологические тенденции кардинальным образом меняют методики обучения в крупных университетах. Прежде всего, эти изменения касаются перехода от классической лекционной модели передачи знаний и семестровой экзаменационной модели к студентоцентричным моделям, уменьшающим роль очного общения между преподавателем и обучающимся.
Стремительная информатизация общества привела к серьёзной трансформации в методологии преподавания, её эволюции на основе внедрения систем электронного обучения. Их важность на сегодняшний день очевидна и подчёркнута в работах многих авторов из разных стран мира. Например, N. Van Phuc в статье [1] показывает, как система электронного обучения не только помогает студентам Вьетнама в изучении основных дисциплин, но и способствует развитию таких навыков, как управление информацией, креативное мышление, критическое мышление и т.д. Н. Емельянова в своей работе [2] показывает преимущества систем электронного обучения на примере Высшей школы экономики (Россия). Таким образом, можно смело говорить, что системы электронного обучения стали неотъемлемой частью работы современного вуза, стремящегося к качественному обучению мирового уровня.
Дальнейшим развитием систем электронного обучения стало появление систем массовых открытых онлайн-курсов (Massive Open Online Courses) [3]. Бизнес-модель современных систем MOOC и причины её эффективности подробно разобраны в работе E.L. Burd [4]. Анализ данного вопроса показывает, что в большинстве случаев основная целевая аудитория MOOC систем — это не студенты очного отделения университета, создателя курса, а, в лучшем случае, студенты, обучающиеся дистанционно или сторонние заинтересованные лица. Это приводит к потере эффективности применения данных систем с целью повышения качества обучения внутри образовательной организации.
Многие университеты ошибочно путают системы электронного обучения и публикацию учебных материалов в открытом доступе. Опыт ведущих вузов мира показывает, что это не одно и то же. К примеру, в Массачусетском технологическом институте (также в Стэнфорде, Карнеги-Меллоне и др.) уже более десяти лет действует инициатива открытых курсов (MIT Open Courseware Initiatives). Как показывает в своей работе M. Vladoiu [5] эти программы успешны как с точки зрения репутации университета, так и с точки зрения обучения студентов и обмена опытом с другими университетами. Но сегодня для повышения качества обучения очных студентов такого подхода недостаточно!
Абитуриенты, поступающие сегодня в университеты, живут в новом информационном пространстве, базирующемся, прежде всего, на социальных сетях и мобильных технологиях. Большинство успешных университетов уже несколько лет внедряют подобные технологии в свои системы электронного обучения. Так, например, M. Lucas в своей работе [6] показывает механизмы использования социальных сетей для построения распределённой системы электронного обучения на примере первого года магистратуры. M. Černá в своей работе [7] доказывает на примере университета Градца-Кралове необходимость перехода от методологии «чёрной доски» к современным технологиям социальных сетей.
На смену электронным системам обучения (e-learning) приходят мобильные системы обучения (m-learning). Постепенное внедрение мобильных технологий в образовательный процесс университета подробно показали в своей работе R. Picek [8]. Таким образом, можно без колебаний сказать, что методология преподавания в последние десять лет пережила очередную значительную трансформацию и вошла в новую мобильную эру.
Поддержание конкуренции в условиях применения электронных систем обучения при сильной дифференциации уровня абитуриентов
Сложная экономическая ситуация в большинстве стран мира диктует даже ведущим университетам необходимость рассматривать различные бизнес-модели учебной деятельности. Многие университеты, в том числе большинство российских, вынуждены работать в бизнес модели большого набора, с последующим вычленением элиты и диверсификации обучения на различные группы по сложности подаваемого материала. Подробно данная модель рассмотрена в работе M. Crow [9]. Она требует эффективных способов дифференциации студентов с целью последующего отбора лучших. При этом должна быть обеспечена поддержка мотивации среди элитарной группы в условиях общего обучения на младших курсах со студентами более слабого начального уровня.
Одним из способов повышения мотивации может быть конкурентная борьба. Важной компонентой её обеспечения является эффективная система оценки, интегрированная в систему электронного обучения.
К сожалению, существующие системы электронного обучения рассматривают задачу ведения успеваемости студентов как второстепенную. В большинстве из них предусмотрена возможность учёта оценок студентов посредством элементов линейной кредитно-рейтинговой системы, наиболее часто применяемой в классических университетах. При подобной системе студенты, выполняя те или иные задания по курсу, набирают кредиты, которые суммируются в общее количество баллов. При достижении данной суммы определённой величины дисциплина считается сданной на минимальную оценку. При дальнейшем росте суммы кредитов оценка может увеличиться. Таким образом, даже если в конце курса предусмотрен экзамен или зачёт, то он не вносит принципиально кардинальных изменений в результирующую оценку студента по данному курсу, а только корректирует её в большую сторону.
Преимущество данного подхода заключается в стимулировании студентов на постоянную работу в течение всего семестра. Таким образом, устраняется привычка студентов «учиться только в сессию». Тем не менее, несмотря на все положительные стороны данной модели, её применение максимально эффективно только при работе с набором студентов приблизительно одинакового уровня подготовки и мотивации.
На сегодняшний день многие университеты стран, в которых высшее образование преимущественно бесплатно (например, Россия, Франция, Швеция, Китай и т.д.), сталкиваются с ситуацией сильной дифференциации начального уровня подготовки абитуриентов, поступающих на первый курс обучения. Главной проблемой в таких условиях становится задача поддержания мотивации элитарной группы студентов на фоне более слабых параллельно обучающихся сокурсников.
Проведённое авторами в ряде университетов исследование показало, что в данных условиях линейная кредитно-рейтинговая система становится не только неэффективной, но и наоборот снижает к концу курса мотивацию элитарных обучающихся. В качестве примера рассмотрим статистический анализ успеваемости студентов, обучающихся с 2009 по 2014 года на первом курсе специальности «Информатика и вычислительная техника» в Московском государственном индустриальном университете (сегодня объединён с Московским политехническим университетом). В указанный период для обучения данных студентов применялась линейная кредитно-рейтинговая система. Обучения осуществлялось в очной форме с применением системы электронного обучения. С целью уменьшения фактора различия в подходах обучения на разных специальностях в данном анализе рассматриваются студенты только одной специальности. Подробно статистические характеристики выборки приведены в таблице 1.
Таблица 1
Статистические характеристики исследуемой выборки
|
Название характеристики |
Единица измерения |
Значение |
|
Срок формирования выборки |
год |
6 |
|
Количество представленных в выборке студентов |
единица |
715 |
|
Среднее число учитываемых в рейтинге курсов, изучаемых студентами за первый семестр |
единица |
6 |
|
Математическое ожидание для выборки вступительных баллов студентов |
% от единицы |
53,1 |
|
Среднеквадратическое отклонение для выборки вступительных баллов студентов |
% от единицы |
22,8 |
|
Математическое ожидание для выборки итогового среднего рейтинга студентов |
% от единицы |
58,0 |
|
Среднеквадратическое отклонение для выборки итогового среднего рейтинга студентов |
% от единицы |
23,7 |
Для анализа начального уровня подготовки студентов используются их вступительные баллы. Причём сначала значения каждого года поступления нормализуются относительного максимального балла в данный год. Затем значения по всем годам нормализуются относительно разницы между максимальным и минимальным значениями.
Для анализа уровня дифференциации достижений студентов к концу первого семестра обучения используются средние значения сумм набранных в течение семестра студентом баллов рейтинга по всем дисциплинам общепрофессионального цикла. Причём сначала значения каждого года обучения нормализуются относительно максимального среднего балла в данный год. Затем значения по всем годам нормализуются относительно разницы между максимальным и минимальным значениями.
Результаты проведённого в Московском государственном индустриальном университете исследования показаны на рисунках 1, 2.
Рис. 1. Распределение числа поступающих на первый курс студентов по уровню вступительных баллов
Рис. 2. Распределение числа завершивших первый семестр студентов по уровню их средних баллов
Как видно из рисунка 1 распределение абитуриентов по уровню подготовки стремится к нормальному. При этом убывание численности студентов по мере удаления от среднего уровня подготовки к экстремальным значениям достаточно ровное. Фактически, количество абитуриентов с уровнем подготовки выше среднего составляет более 30 % от общего числа поступающих.
Из рисунка 2 видно, что к концу семестра проявились две тенденции. Во-первых, сработало основное назначение линейной кредитно-рейтинговой системы: были успешно отсеяны студенты, для которых интенсивность нагрузки и сложность курсов оказалась слишком большой. Данный факт подтверждает высокое по сравнению с аналогичной позицией на рисунке 1 значение самого левого столбца гистограммы. Также значительный вклад в данный столбец внесли студенты, неправильно выбравшие специальность и стремящиеся к концу первого семестра её покинуть, и студенты, пропустившие значительную часть семестра по болезни. Тем не менее, можно смело говорить, что с задачей отсеивания «слабых» студентов подобная методика учёта успеваемости справляется отлично.
Вторая тенденция, просматриваемая на рисунке 2, носит ярко негативный характер. Анализ группы студентов с успеваемостью выше 20 % от максимальной показывает, что распределение их численности относительно среднего суммарного балла стало гораздо более приближено к нормальному распределению. Убывание численности студентов по мере удаления от среднего уровня к экстремальным значениям носит резких характер. Число студентов с результатами выше среднего сократилось до менее чем 20 % за один семестр. Исследования, проведённые в других вузах и на других специальностях, в большинстве случаев подтверждают данную тенденцию. Исключение составляют вузы с очень высоким входным порогом или маленькими группами в рамках одной специальности.
Ориентированные на среднего студента рамки оценивания приводят к тому, что студенты со способностями выше среднего уже к середине семестра чётко понимают, что набрать необходимое количество баллов в оставшееся время для них не составит труда. В свою очередь это приводит, в лучшем случае, к снижению мотивации к обучению, а в худшем случае, даже к снижению посещаемости среди них. При условии повторения данной тенденции более одного семестра возникает ситуация, когда вместо взращивания талантов, университет превращается в фабрику по выпуску усреднённых специалистов, среди которых только талантливые единицы не потеряли мотивацию и смогли добиться больших успехов по сравнению с остальными.
Отдельно хотелось бы подчеркнуть, что подобная ситуация снижает мотивацию не только у студентов, но и у преподавателей, уменьшая их желание готовить специальные материалы для более сильной группы обучающихся.
Таким образом, проведённое исследование показало необходимость применения более совершенных рейтинговых моделей. Одним из решений может быть внедрение системы динамического рейтинга. Данный подход позволяет учитывать факт падения успехов студента, уменьшая вклад в общий результат достижений с большим сроком давности. Подробнее данная система описана в работе [10]. К сожалению, большинство современных систем электронного обучения не включают в себя подобные механизмы. По этой причине внедрение даже самых совершенных готовых систем электронного обучения в образовательный процесс требует значительной доработки силами IT-департамента университета.
Анализ современных систем электронного обучения и требований, предъявляемых к ним в российских университетах
На сегодняшний день на рынке программного обеспечения представлен широкий спектр систем электронного обучения. Их можно поделить на три основные группы: проприетарные программные продукты, свободные программные продукты, продукты, базирующиеся на облачных технологиях, или сервера, доступные посредством веб-доступа.
По данным сайта edutechnica.com [11] в 2015 году доля американских университетов, использовавших проприетарные системы, составила 63,9 % от общего числа высших учебных заведений США. Подробно об опыте и особенностях использования данных систем можно узнать из работ K. Wainwright [12], A. Plott [13], S. Kinash [14], N. Munkhtsetseg [15], J. Morger [16]. L. MacKinnon в своей работе [17] показывает, что для построения студентоцентричной модели обучения необходима система электронного обучения. В качестве решения они предлагают LMS Canvas.
К сожалению, все проприетарные системы электронного обучения обладают рядом существенных недостатков. Для российских вузов, ограниченных в бюджете и выборе статей его расходования, главной проблемой является цена системы. Вторая, но не менее важная, сложность определяется трудностями и высокой стоимостью доработки данных систем.
Российское законодательство в сфере персональных данных накладывает жёсткие ограничения на то, какую информацию университет может выкладывать в открытый доступ. Дополнительным фактором в крупных российских вузах является наличие закрытых специальностей, материалы обучения по которым ни в коем случае не могут быть выложены для всеобщего обозрения. С другой стороны, всё возрастающие требования к повышению качества обучения студентов и необходимость конкурентной борьбы университета на международной арене, в том числе, и в рейтингах высших учебных заведений, приводят к стремлению сделать все материалы максимально открытыми. Таким образом, система электронного обучения должна удовлетворять двум противоположным требованиям: быть открытой и закрытой одновременно! Причём данная открытость должна касаться всех аспектов системы электронного обучения, включая и работу с современными технологиями социальных сетей. С одной стороны, она должна быть интегрирована с такими средствами, как Facebook, Twitter, ВКонтакте и т.д. С другой стороны, она должна предлагать собственные, закрытые аналоги элементов социальных сетей. К сожалению, ни одна из проприетарных систем электронного обучения подобным противоречивым набором возможностей не обладает, что порождает необходимость собственной доработки подобных систем после их развертывания в университете. Причём, учитывая проприетарность данных продуктов и отсутствие доступа к их исходным кодам, доработка связана с серьёзными финансовыми затратами (если работы заказываются у фирмы разработчика) или с технологическими трудностями (если работы выполняются самостоятельно).
По данным сайта edutechnica.com [11] в 2015 году доля американских университетов, использовавших системы электронного обучения с открытым кодом, составила 24,6 % от общего числа высших учебных заведений США. Подробно об опыте и особенностях использования данных систем можно узнать из работ J. Chauhan [18], V.M. Ramesh [19], T. Martin-Blas [20], S. Graf [21], R.A. Sanchez [22].
Использование свободного программного обеспечения в значительной мере решает вопрос затрат на развёртывание системы электронного обучения. Тем не менее, вопрос необходимости выполнения дополнительной доработки систем остаётся актуальным и для свободных программных продуктов. Как показывают в своих работах M.J. Casany [23] и C. Chilivumbo [24] на сегодняшний день степень поддержки мобильных технологий в данных системах недостаточна и требует доработки.
К облачным технологиям относятся все основные MOOC системы. Представляемые ими функциональные возможности довольно разнообразны и развиваются с каждым годом. Тем не менее, для всех указанных систем характерна проблема невозможности их серьёзной доработки для нужд конкретного университета, в том числе, невозможность внедрения интегрированной с ними системы динамического рейтинга для учёта успеваемости студентов. Отдельно хотелось бы отметить, что в рамках требования российского законодательства о хранении персональных данных на серверах внутри России, полноценное использование данных систем также не представляется возможным.
Таким образом, исходя из всего вышесказанного, для вузов России очевидна невозможность использования готовой системы электронного обучения. Качественное обучение требует разработки собственной системы либо на базе существующих проектов с открытым кодом, либо полностью самостоятельно, силами IT департамента высшего учебного заведения.
Выбор базовых технологий для разработки собственной системы электронного обучения: кластер вузов
Основные требования к средствам разработки LMS системы могут быть сформулированы следующим образом: средство разработки должно быть гибким, способным обеспечить быструю и эффективную модификацию продукта, должно позволять осуществлять работу со всеми основными форматами информации, интегрироваться с социальными и научными сетями. По этой причине в качестве базового механизма разработки выбран современный фреймфорк Ruby on Rails [25, 26]. Он обеспечивает эффективную реализацию MVC (Model-View-Controller) шаблона проектирования и предоставляет эффективные средства объектно-реляционного преобразования посредством системы ActiveRecord.
Для решения задачи интерактивного взаимодействия с пользователем выбрана связка средств Ajax — jQuery [27]. jQuery — это популярная JavaScript-библиотека, имеющая огромное количество преимуществ, в том числе удобство использования, легковесность и большое количество встраиваемых модулей. Ajax, в свою очередь, обеспечивает подход к построению интерактивных пользовательских интерфейсов, заключающийся в «фоновом» обмене данными браузера с веб-сервером. В результате, при обновлении данных веб-страница не перезагружается полностью, веб-приложение становится более быстрым и удобным.
LMS-система должна обеспечивать взаимодействие между пользователями в режиме online. Базовый набор средств, предоставляемых веб-серверами и браузерами, не предусматривает нужного функционала. Таким образом, возникает необходимость применения дополнительных средств online взаимодействия между ними для обеспечения своевременной реакции клиента на события, происходящие на сервере. Большую популярность в последнее время приобрела в этой области технология Websocket [28]. К сожалению, она обладает рядом существенных недостатков. Прежде всего, это работа по собственному протоколу, отличному от протокола HTTP. Данная особенность может приводить к серьезным проблемам при работе в крупных корпоративных сетях, для которых характерна блокировка всех нестандартных протоколов передачи данных. Кроме того, существенным недостатков является высокая сложность применения данной технологии с программной точки зрения.
По этим причинам для эффективной реализация обратной связи от клиентского браузера в веб-приложении планируется использовать механизмы Message Bus [29].
Особой задачей является обеспечение универсальности подачи материалов. Внутреннее представление учебных материалов должно быть таким, чтобы их можно было трансформировать во все основные форматы, используемые конечными пользователями, начиная от HTML и TeX и заканчивая форматами Microsoft Word, Excel и Power Point. Для решения данной задачи в качестве средства внутреннего представления материалов были выбраны два формата: HTML и Markdown [30]. Работа с обоими форматами возможна как в текстовом режиме, так и в формате WYSIWYG-редактора. При этом их последующая конвертация в формате более высокого уровня не является сложной задачей.
Использование современных средств веб-разработки, таких как Sass, Haml, CoffeeScript призвано значительно облегчить реализацию адаптивной вёрстки приложения. Таким образом, возможна реализация единой группы интерфейсов, как для мобильных устройств, так и для стационарных компьютеров. Более того, современные средства построения презентаций на основе веб-технологий, такие как Reveal JS, позволят реализовать эффективный и гибкий механизм динамического представления информации, рассчитанный как на работу в режиме проектора, так и на единоличный просмотр студентом удалённо.
Интеграция современных технологий социальных сетей будет выполнена как на уровне прямого импорта/экспорта в наиболее популярные сети посредством API, представляемых компаниями разработчиками, так и на уровне создания собственного закрытого аналога социальной сети. В совокупности с динамической рейтинговой системой всё вышесказанное позволит в значительной мере повысить мотивацию студентов и преподавателей и увеличит общую эффективность обучения.
Литература:
1. Van Phuc, N. The solution for building a strategic plan for e-learning at universities in Vietnam // International Conference on Education and e-Learning Innovations, ICEELI 2012, Proceeding pp.1-5.
2. N. Emelyanova, E. Voronina. Introducing a Learning Management System at a Russian University: Students' and Teachers' Perceptions // The International Review of Research in Open and Distance Learning. 2014. Vol. 15. No. 1 (2014). pp. 272-289.
3. Abedi, M., Beikverdi, A. Rise of massive open online courses Engineering Education (ICEED), 2012 4th International Congress, Proceeding pp.1-4.
4. Burd, E.L., Smith, S.P., Reisman, S. Exploring Business Models for MOOCs in Higher Education // Innovative Higher Education Volume 40, Issue 1, 2014, Pages 37-49.
5. M. Vladoiu Open Courseware Initiatives — After 10 Years // Roedunet International Conference (RoEduNet), 2011, pp.1-6.
6. M. Lucas, A. Moreira Knowledge Construction with Social Web Tools // Technology Enhanced Learning. Quality of Teaching and Education Reform. Proceedings of First International Conference, TECH-EDUCATION 2010, — Springer-Verlag, Berlin Heidelberg, 2010 — pp. 278-284.
7. M. Černá Trends in Acceptance of Social Software Applications in Higher Education from the Perspective of University Students ‐ Case Study // Proceedings of the European Conference on e-Learning, 2014, pp. 121-129.
8. Picek, R.; Grcic, M., Evaluation of the potential use of m-learning in higher education // Information Technology Interfaces (ITI), Proceedings of the ITI 2013 35th International Conference, pp.63-68.
9. M. Crow, W. Dabars. Designing the New American — University Baltimore, John Hopkins University Press, 2015 — 360pp.
10. Александров А.И., Лукьянова Н.В., Радыгин В.Ю., Роганов Е.А. Использование динамической рейтинговой системы для повышения качества обучения студентов технических направлений // Молодой ученый, № 3(83), 2015 — С717-722.
11. http://edutechnica.com/2015/10/10/lms-data-3rd-annual-update — отчёт об использовании систем электронного обучения в США и некоторых других странах. Дата последнего обращения 07.11.2016.
12. Wainwright, K., Osterman, M., Finnerman, C., Hill, B. Traversing the LMS terrain // Proceedings ACM SIGUCCS User Services Conference, 2007, — pp. 355-359.
13. Plott, A. Web 2.0 in Blackboard learn: Mind the template // Proceedings ACM SIGUCCS User Services Conference, 2010, — pp. 285-286.
14. Kinash, S., Brand, J., Mathew, T., Kordyban, R. University student experiences of mobile learning: One year beyond commencement // International Journal of Innovation and Learning Vol. 13, Is. 2, 2013, — pp. 201-217.
15. Munkhtsetseg, N., Garmaa, D., Uyanga, S. Multi-criteria comparative evaluation of the E-learning systems: A case study // Proceedings — 2014 7th International Conference on Ubi-Media Computing and Workshops, U-MEDIA 2014, — pp. 190-195.
16. Morger, J. Consistency and convenience: Use of canvas in help desk staff training // Proceedings ACM SIGUCCS User Services Conference — pp. 59-62.
17. MacKinnon, L., и Bacon, L. The move to student-centric learning: Progress and pitfalls // Proceedings of the International Conference on e-Learning, ICEL — pp. 188-195.
18. Chauhan, J., Batbayar, K., Sharma, R., Sharma, D., Popli, D., Kumar, N., Goel, A. Towards adapting sakai for e-Learning provider // CSEDU 2015 — 7th International Conference on Computer Supported Education, Proceedings, Vol. 1, 2015, — pp. 306-314.
19. Ramesh, V.M., Ramanathan, C. A rubric to Evaluate Learning Management Systems // Proceedings of IEEE International Conference on Teaching, Assessment and Learning for Engineering, TALE 2013, — pp. 73-77.
20. Martin-Blas, T., Serrano-Fernandez, A. The role of new technologies in the learning process: Moodle as a teaching tool in Physics // Computers and Education Vol. 52, Is. 1, January 2009, — pp. 35-44.
21. Graf, S., List, B. An evaluation of open source e-learning platforms stressing adaptation issues // Proceedings — 5th IEEE International Conference on Advanced Learning Technologies, ICALT 2005, — pp. 163-165.
22. Sanchez, R.A., Hueros, A.D. Motivational factors that influence the acceptance of Moodle using TAM // Computers in Human Behavior Vol. 26, Is. 6, November 2010, — pp. 1632-1640.
23. Casany, M.J., Alier, M., Mayol, E., Piguillem, J., Galanis, N., Garcia-Penalvo, F.J., Conde, M.A. Extending Moodle Services to Mobile Devices: The Moodbile Project // Proceedings of UBICOMM 2012 — 6th International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies, — pp. 24-28.
24. Chilivumbo, C. Mobile E-learning: The choice between Responsive/Mobile Websites and Mobile Applications for Virtual Learning Environments for increasing access to Higher Education in Malawi // Proceedings of IST-Africa Conference, 2015, — pp.1-15.
25. Viswanathan, V. Rapid web application development: A ruby on rails tutorial // IEEE Software Vol. 25, Is. 6, 2008, — pp. 98-106.
26. Wagstrom, P., Jergensen, C., Sarma, A. A network of rails: A graph dataset of ruby on rails and associated projects // Proceedings of IEEE International Working Conference on Mining Software Repositories, 2013, — pp. 229-232.
27. Liao, Y., Zhang, Z., Yang, Y. Web applications based on ajax technology and its framework // Communications in Computer and Information Science Vol. 288 CCIS, Is. PART 1, 2012, — pp. 320-326.
28. Pimentel, V., Nickerson, B.G. Communicating and displaying real-time data with WebSocket // IEEE Internet Computing Vol. 16, Is. 4, 2012, — pp. 45-53.
29. https://github.com/SamSaffron/message_bus — официальный сайт библиотеки Message Bus для фреймворка Ruby on Rails. Дата последнего обращения 07.11.2016.
30. Voegler, J., Bornschein, J., Weber, G. Markdown — A simple syntax for transcription of accessible study materials // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) Vol. 8547 LNCS, Is. PART 1, 2014, — pp. 545-548.
