Үлкен көлемді сақтау және өңдеу әдістері растрлық форматтардағы кеңістіктік деректер



Мақала есептеу желісі ортасында таратылған географиялық ақпараттық жүйелерді (ГАЖ) пайдалану мүмкіндігін қарастырады. Мұндай шешім кеңістіктегі деректердің үлкен көлемін (big data) сақтау және талдау мәселесін шешуді талап етеді. Таратылған ГАЖ қасиеттері және осындай big data прототипін сынау әрекеті сипатталған. Жер қойнауын қашықтықтан зондтау үшін деректерді экологиялық-географиялық талдау үшін үйлесімді растрлық форматта таратылған ГАЖ деректерін сақтау жарамдылығы, орналасуы талданады.

Түйін сөздер: үлкен деректер, таратылған жүйелер, есептеу желілері, географиялық ақпараттық жүйелер, ГАЖ, экологиялық және географиялық талдау.

Статья рассматривает возможность использования распределенных географических информационных систем (ГИС) в среде вычислительной сети. Такое решение требует решения задачи хранения и анализа больших объемов данных (big data) в пространстве. Описаны свойства распределенной ГИС и попытка тестирования прототипа таких big data. Анализируется пригодность, размещение хранение данных распределенных ГИС в растровом формате, совместимый для эколого-географического анализа данных для дистанционного зондирования недр Земли.

Ключевые слова: большие данные, распределенные системы, вычислительные сети, географические информационные системы, ГИС, эколого-географический анализ.

Қазіргі уақытта Ақпараттық жүйелер (АЖ) деректердің үлкен көлемін сақтау, өңдеу және жылжыту қажеттілігіне тап болып отыр (Big Data терминінде). Мысалы, қашықтықтан зондтау технологиясы қысқа мерзімде және айтарлықтай қаржылық шығындарсыз электромагниттік спектрдің әртүрлі диапазондарында жер бетінің жоғары дәлдіктегі суреттерін алуға мүмкіндік береді. Компьютерлерді Суперкомпьютерлерге жылдам жетілдіру және дамыту жиналған деректерді егжей-тегжейлі талдауға мүмкіндік береді. Бұдан әрі, жоғары жылдамдықтағы Интернет желісінің барлық жерде қол жетімділігінің арқасында (кейде 5G желісі туралы айтуға болады), Big Data форматындағы бастапқы деректерге және оларды өңдеудің барлық нәтижелеріне дереу қол жеткізуге болады.

Big Data форматындағы кеңістіктік деректердің көлемі растрлық форматта ұсынылады. Сонымен қатар, мұндай деректердің көлемі геометриялық прогрессия Заңына сәйкес өсуде. Нәтижесінде кеңістіктік деректер қазіргі уақытта адамның ғылыми және күнделікті іс-әрекетінің әртүрлі салалары үшін қол жетімді. Мұның бәрі кеңістіктегі деректерді сақтау, өңдеу және беру үшін сенімді және өнімді АЖ қажеттілігін көрсетеді.

ГАЖ әзірлеудің өзектілігін қазір бағалау қиын:

– ГАЖ қолдану төтенше жағдайларды болжауға және бақылауға мүмкіндік береді;

– қазірдің өзінде адамның біздің жер планетамыздың өткені мен бүгіні туралы білімін кеңейту үшін виртуалды, биологиялық, экологиялық және геологиялық эксперименттер жүргізуге болады;

– адам белсенділігінің қоршаған ортаға теріс әсерін азайта отырып, жер және биологиялық ресурстарды пайдалану үшін ақпарат жинау [1].

Кеңістіктік деректерді визуализациялау адамның деректерді талдауын жеңілдететін маңызды операция болып табылады. Кеңістіктік деректерді визуализацияламай, экологиялық және географиялық талдаудың «х өсіру үшін қай жер қолайлы» немесе «жақын арада эпидемиологиялық ошақтардың пайда болу ықтималдығы жоғары» сияқты маңызды сұрақтарына жауап беру өте қиын.

Сонымен, қолданушы терезесінде қанша мозаикалық элементтер болса да, қабаттың осы бөлігінің деректерін визуализациялау әрдайым N мозаикалық элементтерді визуализациялауға кететін уақыттан аспайтын уақыт ішінде жасалуы мүмкін, мұндағы N — қазіргі пирамида деңгейіндегі растрлық Мозаика элементтерінің ең аз саны, ол жеке терезені толтыру үшін қажет.

Сур. 1. Есептеу желісіндегі кеңістіктік деректерді үлестірілген визуализациялау

1-суретте 5 тапсырма түрінде визуализацияны бөлу кезеңдері көрсетілген:

Міндет 1. Көрінетін қабаттағы пайдаланушы терезесінің орнын анықтау.

Міндет 2. Растрлық Мозаика элементтерін жеке терезеде анықтау.

Міндет 3. Мозаика элементтерін визуализациялауға арналған тапсырмаларды желі түйіндеріне беру.

Міндет 4. Желі түйіндерінен Мозаика элементтерін визуализациялау нәтижелерін алу.

Міндет 5. Кескінді қалыптастыру және оны жүйе пайдаланушысына жіберу.

Прототип распределенной ГИС для вычислительных сетей может быть создан следующими 4 компонентами:

– таратылған файлдық жүйе-сақталған деректерді компьютерлік желі тораптары арқылы таратады;

– компьютерлік желі түйіндерінің күйін бақылаудың ішкі жүйесі-тапсырмаларды қайта іске қосу қажеттілігі қашан пайда болатынын анықтайды;

– тапсырмаларды жоспарлаушы-компьютерлік желі тораптары арасында деректерді өңдеуге арналған тапсырмаларды бөлу немесе тапсырмаларды қайта іске қосу;

– есептеу модулі-деректер бойынша пайдаланушы операциялары орындалады.

Соңғы төртінші компонент растрлық қайта жіктеу және растрлық алгебра операцияларын жүзеге асырады. Осы операцияларды жүзеге асыру растрлық форматтардағы кеңістіктік деректерді экологиялық-географиялық талдау арқылы жүзеге асырылады. Бұл модуль болмаса, жасалған ГАЖ прототипі өзінің негізгі функциясын орындай алмайды: кеңістіктік деректерді талдау.

1. ӘДЕБИЕТКЕ ШОЛУ

«SageFS: the location aware wide area distributed filesystem» [10] мақаласында деректердің физикалық мекен-жайын (location-Aware File System) есте сақтау және деректердің репликациясын қолдау арқылы икемді және қолдануға оңай желілік файлдық жүйені құру әдістемесі сипатталған.

«Osprey: Implementing MapReduce-Style Fault Tolerance in a Shared-Nothing Distributed Database» [11] мақаласында таратылған деректер қоймаларының пайда болған қателіктерге тұрақтылығын арттыру жолдары туралы айтылады. Мақала авторлары қателер туындаған жағдайда OLAP жүйелерінде сұраныстарды қайта іске қосу қымбат операция екенін көрсетеді. Әсіресе, мұндай жүйе қатаң белгіленген уақыт аралығында есеп беруі керек.

OLAP жүйелерінің осы мәселесін шешу үшін мақала авторлары келесі негізгі идеяларды жүзеге асыратын сұраныстарды өңдеуді қолдануды ұсынады:

– Жүйенің байланыстырушы бағдарламалық жасақтамасы SQL сұраныстарын тікелей орындау сияқты төмен деңгейлі тапсырмаларды және жалпы деректер қоймасының ақаулыққа төзімділігін қамтамасыз етуге байланысты жоғары деңгейлі тапсырмаларды бөледі.

– OLAP жүйесіндегі жүктемені теңдестіру тапсырмаларды динамикалық бөлу арқылы жүзеге асырылады.

Terrafly GeoCloud мақаласында сипатталған TerraFly GeoCloud Web-ГАЖ: an Online Spatial Data Analysis and Visualization System [12] — бұл пайдаланушыларға векторлық форматтардағы кеңістіктік деректердің кез-келген көлемін тез және оңай көрсетуге, өзгертуге және талдауға мүмкіндік беретін таратылған географиялық ақпараттық жүйе.

Large-Scale Image Processing Research cloud [13] мақаласында Hadoop-кластерге негізделген таратылған есептеу жүйесі сипатталған, ол арқасында тек орталық процессорларды ғана емес, сонымен қатар басқа процессорлар мен аппараттық үдеткіштерді де қолданады.

III. АЛЫНҒАН НӘТИЖЕЛЕР

Таратылған геоақпараттық жүйе (ГАЖ) тұжырымдамасының өміршеңдігін тексеру үшін осы мақаланың авторлары зерттеулер жүргізген кезде жүйенің жұмысы үшін қажетті функциялардың ең аз жиынтығын іске асыратын прототип жасады [1].

Мұндай прототип ГАЖ өңдеу мәселелерін қаншалықты тиімді шеше алатындығын анықтау үшін бірқатар сынақтардан өтті. Сынақ деректері ретінде EPSG: 4326 картографиялық проекциясында әлемдік растрлық қабаттар пайдаланылды, бастапқы файл өлшемдері 100 және 400 Мб, бұл 25 және 100 МПикс қабаттарының ажыратымдылығына сәйкес келеді [1–3].

Тексерілген жүйе 8 түйіннің компьютерлік желісіне орналастырылды, олардың 4-і бөлінген түйіндердің рөлін атқарды, ал қалған 4-і ерікті болды. Мұндай эксперимент авторлардың бірінші мақаласында ұсынылды [14]. Осылайша, қызығушылық танытқан оқырмандарды алдыңғы мақалаға жіберуге болады.

Мозаика мен пирамиданы салғаннан кейін қабат файлдарының мөлшері 131.25 және 531.25 Мб дейін өсті, олардың әр Түйініне сәйкесінше 37.5 және 137.5 Мб келді [2].

Енді сіз әр топта 20 тесттен 3 тест тобын өткізе аласыз [2]:

1) деректерді визуализациялау жылдамдығын тексеру: жүйеге кездейсоқ орналасқан пайдаланушы терезесін визуализациялау қажет болды. Бұл терезенің ажыратымдылығы растрлық мозаиканың бір элементінің ажыратымдылығына тең болды;

2) растрлық қайта жіктеуді орындау жылдамдығына тестілер: ГАЖ прототипіне берілген мөлшердің кездейсоқ таңдалған қабатының үстінен растрлық қайта жіктеу операциясын орындау қажет болды;

3) растрлық алгебраны орындау жылдамдығына арналған тесттер: жүйеден бірдей мөлшердегі қабаттардың жұптарында растрлық алгебраның жұмысын орындау қажет болды.

Содан кейін алынған нәтижелер 1 түйінде жұмыс істейтін ГАЖ үшін ұқсас тест нәтижелерімен салыстырылды. Деректерді өңдеу алгоритмдерін іске асырудағы айырмашылықтың алынған нәтижелерге әсерін болдырмау үшін жергілікті және таратылған ГАЖ бірдей есептеу модулін қолданады деп болжаймыз.

Сондай-ақ, барлық сынақтарда есептеу 3.34 ГГц жиіліктегі орталық процессордың 1 ядросында жүргізілді. Барлық жүйелер 4 Гб-қа дейін жедел жадты қолдана алды.

1) Деректерді визуализациялау. Тесттердің бірінші тобында жүйеден кездейсоқ орналасқан пайдаланушы терезесін визуализациялау қажет болды, оның шешімі растрлық мозаиканың бір элементінің ажыратымдылығына тең болды.

Бұл терезе кез-келген қолайлы жақындау деңгейінде орналасуы мүмкін және пирамиданың тиісті деңгейіндегі растрлық мозаиканың 1, 2 немесе 4 элементтерінің жапқышы болуы мүмкін [2].

Тестілеу кезінде командалық жүйенің басқару Түйініне деректерді визуализациялауға келуден бастап, алынған кескінді пайдаланушыға беру аяқталғанға дейінгі уақыт өлшенді. 25 және 100 Мпикс ажыратымдылықтағы қабаттар үшін растрлық Мозаика элементтерінің өлшемдері тең болғандықтан, үлкенірек қабат Мозаика элементтерінің көп санына бөлінді. Бұл жеке тереземен жабылған Мозаика элементтерінің саны визуализация уақытына айтарлықтай әсер ететін жалғыз фактор.

Сур. 2. Тест нәтижелері пайдаланушы терезесінің визуализация жылдамдығына

Тестілеу барысында 2-суретте көрсетілген нәтижелер алынды. Енді таратылған жүйе растрлық мозаиканың тек 1 элементінің деректерін визуализациялау қажет болған жағдайда біршама баяу жұмыс істейді деп қорытындылауға болады. Алайда, ГАЖ Мозаика элементтерінің көп санын визуализациялау қажет болған кезде айтарлықтай жақсы нәтиже көрсетеді.

Бұл таратылған жүйе параллельді түрде растрлық мозаиканың бірнеше элементтерін өңдей алатындығына байланысты, бірақ оған жұмысты жоспарлауға, сонымен қатар менеджер мен жұмыс түйіндері арасында деректерді жіберуге уақыт қажет

2) Растрлық қайта жіктеу. Тесттердің екінші тобында ГАЖ-дан коллекциядан кездейсоқ таңдалған растрлық қабатты растрлық қайта жіктеу операциясын орындау қажет болды. Қайта жіктеу кезінде таңдалған растр нүктелерінің мәндерін 2-ден 5-ке дейін бөлуге болады. Мұндай растрлық қайта жіктеу экологиялық-географиялық талдау жүргізу барысында Жердің экологиялық жарамды аумақтарын бөлу барысында орындалатын нақты операцияларды жақсы имитациялайды [3].

Тестілеу кезінде жүйенің басқару Түйініне операцияны орындау командасының келуінен бастап бір түйіндегі жүйе үшін операцияны аяқтау аяқталғанға дейін және таратылған жүйе үшін деректерді репликациялау аяқталғанға дейінгі уақыт өлшенді.

Растрлық қайта жіктеу операциясының уақыты қайта жіктелетін қабаттың мөлшеріне байланысты болғандықтан, бастапқы өлшемдері 100 және 400 Мб болатын қабаттар үшін алынған нәтижелер бөлек келтірілуі керек. Растрлық қайта жіктеу операциясын тестілеу нәтижелері 3-суретте көрсетілген.

Сур. 3. Орындау жылдамдығына тест нәтижелері 25 МПикс қабатын растрлық қайта жіктеу

25 МПикс рұқсатпен қабатты растрлық қайта жіктеу кезінде ЛВС растрлық мозаиканың 21 элементін өңдеуге орташа 7.728 секунд уақытты көрсетті. Таратылған жүйе сол қабаттарды растрлық қайта жіктеуді орындау кезінде 4 есептеу тораптарының әрқайсысында растрлық мозаиканың 6 элементін өңдеуге және алынған нәтижелерді көбейтуге орташа 3.898 секунд уақытты көрсетті (4-сурет).

Сур. 4. Орындау жылдамдығына тест нәтижелері 100 МПикс қабатын растрлық қайта жіктеу

100 МПикс ажыратымдылығымен қабатты қайта сыныптау кезінде есептеу жүйесі растрлық мозаиканың 85 элементін өңдеуге орташа 31.57 секунд уақытты көрсетті [3]. Осы қабаттарды растрлық қайта жіктеуді орындау кезінде ГАЖ алынған нәтижелерді репликациялай отырып, 4 есептеу тораптарының әрқайсысында растрлық мозаиканың 22 элементін өңдеуге 15.27 секундтың орташа уақытын көрсетті.

3) Растрлық алгебра. Осы тест тобында ГАЖ кездейсоқ таңдалған бір өлшемді растрлық қабаттардың үстінен растрлық алгебраны орындауы керек еді. Растр нүктелерінің мәндеріне арифметикалық амалдар қолданылды: қосу, алу, көбейту, бөлу.

Мұндай растрлық алгебра экологиялық-географиялық талдауды орындау кезінде қолданылатын операциялардың деңгейін жақсы модельдейді [2–3]. Тестілеу кезінде жүйенің басқару Түйініне операцияны орындау командасының келуінен бастап бір түйіндегі жүйе үшін операцияны аяқтау аяқталғанға дейін және таратылған жүйе үшін деректерді репликациялау аяқталғанға дейінгі уақыт өлшенді.

Растрлық алгебраның жұмыс уақыты операцияға қатысатын растрлық қабаттардың мөлшеріне байланысты болғандықтан, бастапқы өлшемдері 100 және 400 Мб болатын қабаттар үшін алынған нәтижелер бөлек келтіріледі. Растрлық алгебраның орындалу жылдамдығына арналған тест нәтижелері 4-суретте көрсетілген.

Сур. 4. Орындау жылдамдығына тест нәтижелері 25 МПикс қабаттарының үстіндегі растрлық алгебра

Енді растрлық алгебраны 25 МПикс ажыратымдылығымен растрлық қабаттарға орындау барысында ЛВС растрлық Мозаика элементтерінің 21 жұбын өңдеуге орташа 8.733 секунд уақытын көрсетті. Ұқсас әрекеттерді орындау кезінде ГАЖ 4.858 есептеу түйіндерінің әрқайсысында растрлық Мозаика элементтерінің 6 жұбын өңдеуге және алынған нәтижелерді көбейтуге орташа уақытты көрсетті (5-сурет).

Сур. 5. орындау жылдамдығына тест нәтижелері 100 МПикс қабаттарының үстіндегі растрлық алгебра

Сонымен, растрлық қабаттың үстіндегі растрлық алгебрада 100 МПикс ажыратымдылығымен жергілікті жүйе растрлық Мозаика элементтерінің 85 жұбын өңдеуге орташа 35.63 секунд уақытты көрсетті [4]. Ұқсас әрекеттерді орындау кезінде таратылған жүйе 17.58 есептеу түйіндерінің әрқайсысында растрлық Мозаика элементтерінің 22 жұбын өңдеуге және алынған нәтижелерді көбейтуге орташа уақытты көрсетті.

4) Алынған нәтижелерді талдау. Осылайша, тестілеу барысында алынған нәтижелер тестіленетін ГАЖ прототипі көп жағдайда пайдаланушылар қойған тапсырмаларды тек бір есептеу түйінінде жұмыс істейтін, функционалы бойынша ұқсас ГАЖ — ға қарағанда тезірек орындайтындығын көрсетеді [5–6].

Реттелетін терезені визуализациялау кезінде таратылған жүйе тапсырманы орындау уақытын шамамен 0.7–0.8 секунд деңгейінде көрсетеді, ал LAN нәтижелері өңделетін растрлық Мозаика фрагменттерінің санына байланысты және 0.5-тен 2 секундқа дейін өзгереді.

Көп жағдайда ГАЖ қолданушы терезесін LAN-ға қарағанда тезірек визуализациялайды. Бұл жағдайда жалғыз жағдай-бұл растрлық мозаиканың бір фрагментінде көрсетілген аумақтар пайдаланушы терезесінің ішінде орналасқан жағдай [7]. Бұл жағдайда таратылған жүйенің тапсырмаларын жоспарлауға кететін уақытты деректерді параллель өңдеу арқылы ойнату мүмкін емес. Алайда бұл жағдай өте сирек кездеседі.

Нәтижесінде ГАЖ орташа есеппен пайдаланушы терезесін оның жергілікті әріптесіне қарағанда тезірек визуализациялау міндетін орындайды.

Растрлық қайта жіктеу және растрлық алгебра операцияларын орындау кезінде 4 есептеу түйінінен тұратын таратылған жүйе LAN-ға қарағанда орташа есеппен 1.968 есе жылдам пайдаланушы тапсырмаларын орындады.

Айта кету керек, растрлық алгебраның жылдамдығын тексеру үшін өте қарапайым формулалар қолданылды, олар тек 2 түрлі қабаттың деректерін пайдаланады. Неғұрлым күрделі формулаларды немесе көп қабаттарды қолданған кезде есептеулер көп уақытты қажет етеді.

Осылайша, растрлық алгебра барысында неғұрлым күрделі әрекеттер орындалса, жергілікті ГАЖ-мен салыстырғанда таратылған ГАЖ-дің пайдасы соғұрлым маңызды болады.

Тапсырмаларды жоспарлау уақыты растрлық Мозаика элементтерінің шешілуіне байланысты емес болғандықтан, растрлық мозаиканың үлкен фрагменттерін өңдеу кезінде тапсырмаларды жоспарлау уақыттың аз бөлігін алады, осылайша таратылған ГАЖ-ны пайдаланудан алуға болатын ұтысты арттырады [8].

Сонымен, үлкен деректерді өңдеумен қатар жұмыс істейтін есептеу түйіндерінің санын көбейту жалпы таратылған жүйенің жұмысын жақсартуға мүмкіндік береді.

Мақаланың соңында біз бөлінген ГАЖ-да үлкен деректерді өңдеу бойынша жүргізілген зерттеулер барысында алынған қорытындылар мен тұжырымдарды береміз:

1) Таратылған ГАЖ-де пайдаланушы өзінің жеке компьютерінің қатты дискісін сыйғызуға қарағанда үлкен көлемде деректермен жұмыс істей алады, бұл сонымен қатар жұмыс үстелімен салыстырғанда таратылған ГАЖ-дің артықшылығы болып табылады.

2) Өткізілген тестілеу нәтижелері бойынша ұсынылған ГАЖ прототипі қолжетімділікті қамтамасыз ету үшін кеңістіктік деректерді ЛВС-те олардың репликациясымен тиімді сақтау мүмкіндігін көрсетті.

3) Растрлық талдау және пайдаланушы терезесін визуализациялау операцияларын орындау кезінде жасалған ГАЖ прототипі бірдей есептеу модулін қолданатын жұмыс үстелі ГАЖ-ға қарағанда орташа уақытты көрсетті.

4) LAN немесе гибридті есептеу желілерінде жұмыс істейтін ГАЖ пайдалану кеңістіктік үлкен деректермен жұмыс істеу кезінде орынды және негізделген болып табылады [9].

5) Бірнеше ГПикс рұқсатпен растрлық қабаттармен жұмыс істеу кезінде бөлінген жүйелерді пайдаланудың артықшылықтары айқын болады. Осындай рұқсаты бар қабаттар үшін экологиялық және географиялық талдау жұмыстарының жылдамдығының шамалы өсуі уақытты үнемдеуге әкелуі мүмкін.

Осылайша, EPSG: 4326 проекциясындағы май қабаты 1 пиксельге экватордың 110 м кеңістіктік ажыратымдылығымен 360,000 x 180,000 пиксель ажыратымдылығына ие болады. Мақалада қолданылатын LAN осы қабатты жіктеуді орындау үшін бір компьютердің ресурстарын пайдалану кезінде шамамен 4 жарым сағат уақыт кетеді.

III. Қорытынды

Қазіргі әлемде технологияның дамуы адамға өмірдің әртүрлі салаларынан алынған мәліметтердің үлкен көлеміне қол жеткізуге мүмкіндік береді, ал экологиялық және географиялық талдау да ерекшелік емес. Экология, ауа райы, климат және биологиялық объектілердің таралуы туралы ақпараттың сандық каталогтары күн сайын және сағат сайын нақтыланады және жер бетінен, ұшақтар мен атмосфералық зондтардан, сондай-ақ ғарыштан бақылау жүргізетін жүздеген және мыңдаған адамдар мен автоматты жүйелердің күшімен толықтырылады.

Жиналған ақпарат көлемінің өсуі үнемі жеделдетіліп отырады: деректер көздерінің саны да, деректердің нақтылануы да өсуде. Қазіргі әлемдегі кеңістіктік деректер күмәнсіз "үлкен деректер»болып табылады. Кеңістіктік деректер қазіргі уақытта адамның ғылыми және күнделікті іс-әрекетінің әртүрлі салаларында белсенді қолданылатындықтан, кеңістіктік деректерді сақтау және өңдеу үшін сенімді және өнімді есептеу жүйелері қажет.

Мұндай жүйелердің мүмкін болатын нұсқасы-ерікті есептеу желілерінде жұмыс істейтін таратылған географиялық ақпараттық жүйелер. Бұл ГАЖ компьютерлік кластерлерге тән жоғары өнімділікті, деректердің репликациясын және қол жетімді ұзақ мерзімді жадтың үлкен көлемін компьютерлік желінің құрамына кіретін дербес компьютерлерді тәуелсіз пайдалану мүмкіндіктерімен біріктіреді.

Осындай таратылған географиялық ақпараттық жүйелерді пайдалану кеңістіктік «үлкен деректерге» экологиялық-географиялық талдау жүргізуге мүмкіндік береді, тіпті жоғары өнімді жабдықты пайдаланбай-ақ. Осының арқасында тіпті кішігірім зертханалар жоғары кеңістіктік ажыратымдылықтағы карталарды қолдана отырып, виртуалды биологиялық және экологиялық тәжірибелер жүргізуге немесе қауіпті биологиялық нысандардың таралуын болжауға, айналамыздағы әлемнің құпияларын ашуға және оны өмірге енгізуге мүмкіндік алады.

Әдебиет:

1. Афонин А. Н., Грин С. Л., Дзюбенко Н. И., Фролов А. Н. (ред.) Агроэкологический атлас России и сопредельных стран: экономически значимые растения, их вредители, болезни и сорные растения. 2008. 1 электрон. опт. диск (DVD).
2. Афонин А. Н., Ли Ю. С., Эколого-географический подход на базе географических информационных технологий в изучении экологии и распространения биологических объектов // BioGIS Journal. 2011, № 1.
3. Carpenter G., Gillison A. N., Winter J., DOMAIN: a flexible modelling procedure for mapping potential distributions of plants and animals. // Biodiversity and Conservation 2, 1993. С. 667–680.
4. J. Fung, S. Mann, Using Multiple Graphics Cards as a General Purpose Parallel Computer: Applications to Computer Vision // Proceedings of the 17th International Conference on Pattern Recognition (ICPR2004), vol. 1, pp. 805–808.
5. D. GoЁddeke, Fast and Accurate Finite-Element Multigrid Solvers for PDE Simulations on GPU Clusters. [Электронный ресурс] // http://d-nb.info/100545535X/34. 2016.
6. Протоколу WMS // http://www.opengeospatial.org/standards/wms. 2016.
7. Репозиторий клиентской библиотеки SageFS. // https://github.com/stredger/sagefs. 2016.
8. M. Y. Eltabakh, Y. Tian, F. OЁzcab, R. Gemulla, A. Krettek, J. McPherson, CoHadoop: Flexible Data Placement and Its Exploitation in Hadoop. // http://researcher.watson.ibm.com/researcher/files/us-ytian/colocation.pdf. 2016.
9. M. G. Ferriera, Replication and Data Placement in Distributed Key-Value Stores. // http://www.gsd.inesc-id.pt/~ler/reports/manuelferreira-midterm.pdf. 2016.
10. Tredger S. SageFS: the location aware wide area distributed filesystem [Электронный ресурс]: URL: https://dspace.library.uvic.ca:8443/bitstream/handle/1828/5824/Tredger_Stephen_MSc_2014.pdf?sequence=3&isAllowed=y (дата обращения: 07.04.2016)
11. C. Yang, C. Yen, C. Tan, S. R. Madden, Osprey: Implementing MapReduce-Style Fault Tolerance in a Shared-Nothing Distributed Database [Электронный ресурс] // http://db.csail.mit.edu/pubs/OspreyDB.pdf (дата обращения: 15.04.2016)
12. M. Zhang el al, TerraFly GeoCloud: An Online Spatial Data Analysis and Visualization System [Электронный ресурс] // http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.705.6789&rep=rep1&type=pdf (дата обращения: 26.04.2016)
13. Y. Yan, L. Huang, Large-Scale Image Processing Research Cloud [Электронный ресурс] http://https//www.thinkmind.org/download.php?articleid=cloud_ %20computing_2014_4_20_20069 (дата обращения: 28.04.2016)
14. Кульмамиров С. А., Бахыт М. Методы хранения и обрабоотки больших объемов пространственных данных в растровых форматах. Алматы: Вестник КазНУ, март 2021. 8 с.