В эпоху больших данных ценность данных безгранична. С развитием Интернета вещей все взаимосвязано, и обмен и распространение данных приобретают особое значение. Целью данной статьи было изучение системы обмена данными на основе блокчейна и технологии больших данных. В этом документе, основанном на блокчейне и технологии больших данных, предлагается система обмена данными на основе файловой системы HDFS. Кроме того, он усиливает безопасность обмена данными на основе технологии блокчейн, предлагает ключ безопасности для промышленных данных и значительно повышает безопасность обмена данными.
Ключевые слова: криптовалюты, рыночные прогнозы, большие данные, инвестиционная аналитика, машинное обучение, искусственный интеллект, алгоритмы глубокого обучения, анализ данных, тренды рынка.
С приходом эры информационной глобализации Интернет вещей выступает в роли нового типа технологии, играющей ключевую роль в повседневной жизни. Это не только технологический прогресс, но и начало новой революции в социальной среде. Благодаря постоянному развитию технологий Интернет вещей, открываются новые перспективные области, способствующие улучшению экономики и достижению устойчивого развития общества. При этом важно помнить, что для достижения всеобъемлющего развития необходимо полностью уважать законы социального рынка и находить баланс между государственным надзором и рыночным контролем. Важным элементом является также понимание рыночных тенденций и внедрение технологических инноваций для стабильного развития общества.
С учетом продолжающегося развития Интернет вещей критически важно осознавать, что для успешного развития нужно следовать принципам развития всего рынка и добиваться сбалансированного, устойчивого и согласованного прогресса в различных областях. Важно направлять общество в нужном направлении экономического роста.
С постоянным развитием технологий, таких как облачные вычисления, большие данные и Интернет вещей, становится очевидной важность управления идентификацией и обмена данными для онлайн-сервисов. В условиях растущих угроз безопасности становится неотложной задачей создание стабильной системы доверия для участников управления идентификацией и обменом данными в распределенной среде. Это необходимо для сопротивления вредоносным атакам и защиты конфиденциальности пользователей. Таким образом, важно провести исследование обмена данными и циркуляции данных в производственной цепочке.
В данном документе представлены два нововведения на основе предыдущих разработок в области совместного использования данных. Во-первых, предлагается система обмена данными для технологии блокчейна и больших данных на основе файловой системы HDFS, которая является основой механизма обмена большими данными. Это включает модернизацию файловой системы HDFS с учетом эффективности и объема передаваемых данных для удовлетворения потребностей массовой передачи данных с использованием беспроводной сенсорной сети Интернета вещей. Во-вторых, внимание уделяется безопасности обращения системных данных при обмене информацией. На основе технологии блокчейн внедряются разрешения на общие данные и шифрование передачи, дешифрование и другие шаги для обеспечения безопасности обмена данными.
Обмен данными всегда был предметом исследований ученых. Джин и др. считают, что большинство существующих решений ABE имеют такие недостатки, как высокие вычислительные затраты и слабая безопасность данных, что серьезно затрудняет предоставление услуг по настройке мобильных устройств с ограниченными ресурсами. Поэтому они решают эту сложную проблему, предлагая новую схему обмена данными на основе атрибутов. Анализ производительности показывает, что предложенная ими схема безопасна и эффективна [1].
Данные медицинской визуализации были изучены Doel et al. Их экспериментальные результаты показывают, что GIFT-Cloud упрощает передачу данных изображений из клиник в исследовательские учреждения, облегчает разработку и проверку программного обеспечения для медицинских исследований и делится результатами с клиническими партнерами [2]. Чангкун и др. предложить рынок обмена данными с учетом качества, где пользователи данных о восприятии могут продавать данные другим, которые запрашивают данные, но не хотят воспринимать данные сами. Результаты их моделирования показывают, что обмен данными P2P может значительно улучшить социальное благосостояние, особенно в моделях с высокими затратами на передачу и низкими ценами транзакций [3].
Согласно текущему состоянию медицинской промышленности, Xue et al. считают, что проверка, хранение и синхронизация клинических данных сложны, поэтому обмен клиническими данными между учреждениями стал сложной задачей. Они предложили децентрализованную модель обмена медицинскими данными на основе блокчейна с высоким уровнем безопасности, коллективного обслуживания и защиты от несанкционированного доступа.
Технология Блокчейн
В современном обществе, где наука и техника стремительно развиваются, сеть проникла во все сферы жизни и стала глобальной. Интернет вещей, являющийся частью информационных технологий, занимает центральное положение в этой эпохе. Три слова «Интернет вещей» подразумевают, что это похоже на сеть, где люди и вещи выступают как узлы, соединяясь друг с другом через сеть. Помимо этого, эти слова включают два глубоких аспекта: (1) Сеть — основа. Интернет вещей строится на основе сети, и без Интернета не могло бы быть Интернета вещей. Таким образом, эффективное функционирование Интернета вещей зависит от существования самой сети. (2) Расширение в широком диапазоне. Интернет вещей позволяет подключать к сети различные объекты, будь то вещи или люди, обеспечивая коммуникацию не только между вещами, но и между людьми, а также между совершенно разными объектами. Технологии восприятия включают интеллектуальное восприятие и вычисления общего назначения, которые реализуют функции Интернета вещей.
Из-за широкого влияния и охвата его иногда называют третьей революцией в информационной индустрии, рядом с Интернетом и компьютерами. Хотя Интернет вещей представляет собой развитие и расширение обычного Интернета, в силу быстрого роста интернет-рынка для успешной реализации проектов по Интернету вещей необходимы инновации. Важным компонентом в инновационном процессе является учет потребностей клиентов, так как пользовательский опыт является основой Интернета вещей.
С момента появления Биткойна в 2009 году цифровые криптовалюты оказали значительное воздействие на традиционные финансы. Блокчейн представляет собой технологию распределенного реестра. Узлы консенсуса в блокчейне объединяют блоки в цепочку в определенной хронологической структуре данных и используют криптографию для обеспечения их неподдельности и целостности. Так как каждый может разместить распределенный реестр, процесс транзакции становится независимым от третьей стороны. Этот процесс транзакции становится прозрачным, отслеживаемым и защищенным от подделки, что создает надежную систему доверия в распределенной среде без необходимости доверия.
Наиболее распространенными видами блокчейнов являются публичные сети и цепи консорциумов. Публичная цепочка представляет собой полностью децентрализованный блокчейн, который проверяет транзакции и стимулирует в рамках взаимно неизвестной сети на основе консенсуса, создавая тем самым полностью децентрализованный механизм доверия. Цепь консорциума, как правило, представляет собой блокчейн, совместно управляемый несколькими организациями. Время подтверждения и количество транзакций в секунду (TPS) в цепи консорциума существенно отличаются от публичной цепочки.
Смарт-контракты развертываются в блокчейне и не зависят от централизованной структуры. Они представляют собой автоматизированное выполнение кода, гибкое и программированное. Эти смарт-контракты создаются и активируются путем отправки транзакций сущностями, и их выполнение контролируется кодом, что предотвращает одностороннее вмешательство разработчика в правила.
Технология больших данных
Развитие Интернета привело к стремительному росту числа пользователей и объема данных в различных интернет-приложениях. Расширение емкости отдельных устройств больше не может полностью удовлетворить потребности пользователей и предприятий в обработке массовых данных. В этом контексте экосистема обработки больших данных, созданная на основе распределенной файловой системы для удовлетворения требований по хранению и вычислениям в масштабах, постепенно совершенствуется. На данный момент распределенная файловая система Hadoop (HDFS), основанная на документе Google, стала наиболее широко используемой архитектурой распределенного хранилища с открытым исходным кодом. Также существует вторая редакция среды распределенных вычислений с открытым исходным кодом MapReduce, разработанная на основе этой архитектуры хранения. В контексте развития технологий обработки больших данных растет потребность в интеллектуальном анализе данных, что приводит к использованию соответствующих алгоритмов машинного обучения в экосистеме больших данных. Появились фреймворки машинного обучения с открытым исходным кодом, такие как Mahout и MLlib, которые успешно применяются в этой экосистеме.
В ответ на возрастающий спрос на обработку больших объемов данных в реальном времени некоторые новые вычислительные платформы для больших данных, такие как Spark, привлекли внимание и широко используются в промышленности. Технологии и структуры с открытым исходным кодом, упомянутые выше, активно применяются в сфере Интернета, однако существует еще множество областей для улучшения и адаптации беспроводных сенсорных сетей. В данном разделе представлены популярные платформы с открытым исходным кодом, связанные с ними алгоритмы машинного обучения, а также библиотеки с открытым исходным кодом в упомянутой экосистеме больших данных.
HDFS изначально создавалась для применения на дешевом коммерческом оборудовании с целью обеспечить быстрый доступ к данным. Блоки в HDFS по умолчанию имеют размер 64 МБ, и каждый блок файла (по умолчанию сохраняются три копии) копируется на разные хосты. Физически распределенная файловая система состоит из нескольких аппаратных узлов, разделенных на две категории в зависимости от их функциональных обязанностей.
Основной задачей узла имени в ядре Hadoop Distributed File System (HDFS) является поддержка пространства имен, где хранятся две ключевые структуры данных: FsImage и EditLog. Дерево файловой системы поддерживается FsImage, а метаданные всех файлов и папок в этом дереве, необходимые для операций, таких как создание, переименование и удаление файлов, записываются в EditLog. EditLog постоянно увеличивается в процессе работы, и крупный размер этого файла может замедлить операции при запуске узла имени. В безопасном режиме при запуске HDFS узел имени не выполняет внешних операций записи, которые могут повлиять на пользовательские данные. Для решения этой проблемы в архитектуре HDFS предусмотрен компонент вторичного узла имени (SecondaryNameNode). При сбое основного узла имени его можно восстановить на основе данных FsImage и EditLog, хранящихся на SecondaryNameNode в качестве резервного сервера.
Для обеспечения отказоустойчивости и доступности системы HDFS использует механизм резервного копирования файлов для избыточного хранения данных. Обычно каждый блок данных резервируется в виде нескольких копий на различных узлах данных и распределяется по разным узлам. Процесс репликации обеспечивает хранение блоков данных на двух различных узлах данных.
Схема совместного использования данных шифрования на основе атрибутов с несколькими полномочиями на основе блокчейна
Данные, передаваемые на аутсорсинг, содержат значительный объем конфиденциальной и критической информации. Поэтому важно, чтобы эти данные не хранились в открытом доступе для третьих лиц. Доступ к данным, переданным на аутсорсинг, должен быть предоставлен только владельцам данных и авторизованным пользователям. С целью обеспечения конфиденциальности данных, даже при передаче на аутсорсинг, предлагается использовать шифрование. Это гарантирует, что даже в случае хранения данных в зашифрованном виде, переданные на аутсорсинг, информация о владельце данных останется защищенной от возможных утечек. Таким образом, обеспечивается конфиденциальность политики доступа.
В представленном документе предлагается использовать схему CP-ABE с возможностью отзыва и множественными полномочиями на основе блокчейна (MA-RABE) для обеспечения конфиденциальности политики и эффективного управления отзывом пользователей, а также предварительного шифрования облачных серверов. Регистрационные и отзывные процессы пользователей, а также процессы распределения ключей, транзакционным образом регистрируются в блокчейне. В результате эта схема позволяет избежать проблем централизованной власти в CP-ABE, эффективно решает кризис доверия между участниками обмена данными и способствует улучшению сотрудничества между сторонами.
Полный процесс обмена данными и включает следующие шесть шагов:
– Регистрация: узел обмена данными отправляет свою собственную идентификационную информацию и запрашивает регистрацию в качестве узла обмена данными. После получения транзакции регистрации узел консенсуса выполнит контракт регистрации (RC) и проверит личность узла совместного использования данных. Если идентификатор действителен, RC выведет файл конфигурации, содержащий информацию об идентификаторе узла и значение репутации узла.
– Задача выпуска: когда системе BCS необходимо собрать данные конкретной цели, она выпустит задачу обмена данными через сервисную платформу BCS. Информация о задаче включает в себя целевые данные, которые необходимо собрать, требования ко времени для выполнения задачи, бюджет задачи и требования к качеству данных.
– Коэффициент вариации отчета: согласно информации о задаче, выпущенной сервисной платформой BCS, узлы обмена данными, которые намереваются участвовать в задаче, сообщат ее коэффициент вариации.
– Публикация стратегии оплаты: после того, как сеть блокчейнов получит регистрационную информацию и коэффициент вариации узла, будет запущен контракт на разработку политики платежей (PPDC), развернутый сервисной платформой BCS, и будет выведена стратегия оплаты.
– Загрузка данных: узел обмена данными определяет стратегию сбора данных и загружает данные в соответствии со стратегией оплаты. Учитывая, что блокчейн представляет собой базу данных, которую нельзя удалить, в целях экономии места для хранения в цепочке хеш-значение будет храниться в методе on-chain (то есть собранные данные хешируются, а хеш-значение загружается в форму транзакции) и хранить открытый текст вне цепочки (то есть загружать исходные данные как обычную информацию).
– Обновление репутации и выпуск вознаграждения: загруженные хеш-данные запускают контракт обновления репутации и выпуска вознаграждения (RURDC), посредством которого выполняется обнаружение выбросов и оценка истинного значения данных, а также рассчитывается качество данных узла. RURDC будет выводить транзакции выдачи вознаграждений и транзакции обновления репутации. Обратите внимание, что в процессе обмена данными узлы консенсуса периодически выполняют согласование, упаковывают информацию о транзакциях в новые блоки и добавляют их в блокчейн.
Выводы
Системы обмена данных представляют собой результат новой эпохи и играют все более важную роль в современности. Разработанная в данной статье система обмена данных продемонстрировала высокую производительность и надежность в ходе проведенных экспериментов. В процессе исследования данной темы были представлены основы обмена данными, проанализированы соответствующие результаты исследований, а также обоснована необходимость проведения данного исследования. Кроме того, статья рассматривает блокчейн и технологию больших данных, предоставляя детальный анализ их взаимосвязи.
В заключение, система обмена данных разработана с учетом блокчейна и технологий больших данных. Однако при проектировании системы выявлены определенные проблемы, такие как ограниченное понимание технологии блокчейн, что создает трудности при чтении и удалении данных в системе. Следовательно, для дальнейших исследований рекомендуется углубленное изучение технологий, связанных с блокчейном.
Литература:
- Дж. Ли, Ю. Чжан, С. Чен и Ю. Сян, «Безопасное совместное использование данных на основе атрибутов для пользователей с ограниченными ресурсами в облачных вычислениях», Computers & Security, vol. 72, стр. 1–12, 2018.
- Т. Доэл, Д. И. Шакир, Р. Пратт и др., «GIFT-Cloud: платформа для обмена данными и совместной работы для исследований в области медицинских изображений», «Компьютерные методы и программы в биомедицине», том. 139, стр. 181–190, 2017.
- К. Цзян, Л. Гао, Л. Дуань и Дж. Хуан, «Масштабируемый мобильный краудсенсинг посредством однорангового обмена данными», IEEE Transactions on Mobile Computing, том. 17, нет. 4, стр. 898–912, 2018.
- Т. Ф. Сюэ, К. К. Фу, К. Ван и М. В. Сюй, «Модель обмена медицинскими данными через блокчейн», Zidonghua Xuebao/Acta Automatica Sinica, vol. 43, нет. 9, стр. 1555–1562, 2017.
- М. Петрова и С. Барклай, «Что-то не так (снова) в дебатах по обмену данными о пациентах», Британский журнал общей практики, том. 68, нет. 668, стр. 133–133, 2018.
- З. Лю, Т. Ли, П. Ли, К. Цзя и Дж. Ли, «Проверяемое шифрование с возможностью поиска и совокупными ключами для системы обмена данными», Future Generation Computer Systems, vol. 78, Часть 2, стр. 778–788, 2018.
- С. Патранабис, Ю. Шривастава и Д. Мукхопадьяй, «Доказуемо безопасные криптосистемы с агрегированием ключей и широковещательными агрегированными ключами для онлайн-обмена данными в облаке», IEEE Transactions on Computers, vol. 66, нет. 5, стр. 891–904, 2017.
- К. Сюэ, Дж. Хонг, Ю. Ма, DSL Вэй, П. Хонг и Н. Ю, «Туманная проверяемая конфиденциальность, сохраняющая контроль доступа для обмена чувствительными к задержке данными в автомобильных облачных вычислениях», IEEE Network, vol. 32, нет. 3, стр. 7–13, 2018.
- К. Фан, Ю. Рен, Ю. Ван, Х. Ли и Ю. Ян, «Эффективная схема сохранения конфиденциальности и обмена данными на основе блокчейна в контентно-ориентированной сети в 5G», IET Communications, vol. 12, нет. 5, стр. 527–532, 2018.
- К. Лю, Л. Ченг, А. Л. Цзя и К. Лю, «Глубокое обучение с подкреплением для управления потоками данных в беспроводных ячеистых сетях», IEEE Network, vol. 35, нет. 2, стр. 112–119, 2021.
- XB Jin, WT Gong, JL Kong, YT Bai и TL Su, «PFVAE: вариационная модель прогнозирования автоматического кодировщика на основе плоского потока для данных временных рядов», Mathematics, vol. 10, нет. 4, с. 610, 2022.
