支持輕量級IPv6終端的大數據實驗平臺建設

　　【摘要】 大數據實驗平臺為大數據實驗教學提供了有力支撐。隨著移動設備的不斷普及，如何在輕量級終端上支持大數據實驗成為一個重要難題，而IPv6技術的應用為解決該問題提供了可能。提出了支持IPv6輕量級終端的大數據實驗平臺架構，支持輕量級終端對大數據平臺云端集群的快速交互，實現在各類型輕量級終端設備上遠程進行大數據實驗的目標，從而突破大數據實驗教學的時空局限性。

　　高建良; 高俊; 段桂華， 工業和信息化教育 發表時間：2021-10-22

　　【關鍵詞】大數據平臺;實驗教學;IPv6技術;輕量級終端;人工智能;交叉學科

　　0 引言

　　數據科學與大數據技術人才培養需要加強大數據實驗教學[1]。在大數據實驗教學中，實驗環境通常運行在大數據集群上以處理海量數據。搭建集群的過程主要包括Spark、HBase、Hadoop等多種自動化和開源軟件的設計安裝，煩瑣的配置工作量大[2]。

　　為了解決高校的大數據實驗環境基礎構建煩瑣困難的問題，已經出現了不少商用大數據實驗平臺。例如，按照數據挖掘、大數據平臺與算法及行業實戰數據分析3個層次來構建的大數據實驗平臺。一站式大數據實驗平臺集分布式實驗集群、主流平臺及教程、培訓于一體，緩解了配置難的痛點。但是，目前高校大數據實驗教學依然存在一些問題。一方面，高校的大數據實驗教學局限于僅在高校機房中配置大數據實驗平臺以完成教學及學習任務，時間地點不靈活，存在時空局限性問題。另一方面，隨著智能手機和平板電腦等輕量級移動設備的遍及，基于移動設備的學習資源設計已成為移動學習研究的方向之一[3-4]。若能借助移動智能設備，構建支持輕量級移動終端的大數據實驗平臺，便可以突破大數據實驗的時空局限。因此，針對支持輕量級終端的大數據實驗平臺進行研究，提出支持輕量級IPv6終端的大數據實驗平臺的解決方案。

　　1 大數據實驗平臺的背景和構建意義

　　平臺建設是大數據落地的關鍵之所在[5]。呂云翔等人探究與實現了大數據在線學習網站以提升大數據學習的效率[6]。為了促進學生的大數據實踐，楊丹等人研究了“大數據技術”課程實驗教學環境的構建[7]，趙亮、陳志奎設計了基于 Hadoop的大數據算法庫教學實驗平臺[8]。

　　大數據實驗平臺在線上學習和資源配置上具備極大優勢。大數據實驗平臺不僅能減輕教師的實驗授課負擔，同時也能為學生的實驗學習提供保障。一方面，對于剛接觸大數據學習的學生來說，其在正確配置大數據實驗環境并且理解配置參數上存在困難。另一方面，很多學生選擇使用筆記本計算機進行實驗，但筆記本計算機的性能一般不足以支撐分布式實驗環境的搭建。目前學生的大數據實驗多數在虛擬機上完成，但是因為內存、CPU等受限，無法給虛擬機分配足夠多的資源，學生只能以單機實驗為主，難以完成多機集群部署，給大數據學習帶來很大的困擾。

　　大數據實驗平臺功能強大，可以滿足教師實驗授課與學生學習的全部需求。云端的虛擬化大數據實驗平臺啟動快、占用資源少，可以在有限的物理資源上創建多個虛擬化的實驗機環境，并可遠程訪問，完成包括單機與集群環境下的大數據實驗。學生不需要搭建實驗環境，也無須等候實驗室安排，只需登錄云平臺即可進行實驗;教師也可通過平臺方便獲知學生實驗情況，大數據實驗平臺主要功能如表1所示。

　　但是現有的大數據實驗平臺在遠程訪問和設備支持上存在不足。一方面，目前很多高校的內部網站僅支持校內網訪問，因此需要解決大數據實驗平臺的校外訪問問題;另一方面，智能手機、計算機等移動設備的數量逐年增長，智能終端已經融入每個人的生活當中。隨著智能終端的不斷遍及，探討移動環境下的課程學習模式十分必要。

　　2 IPv6技術支持多終端大數據實驗平臺

　　構建支持輕量級移動終端的大數據實驗平臺的困難在于如何建立與識別每臺移動終端與實驗平臺之間的連接。IPv6技術是很好的解決方案， IPv6技術有以下3方面優點。

　　(1)擁有巨大的地址空間。IPv6能夠確保每個輕量級移動終端獲得其唯一的IP地址。隨著移動終端數量的爆發性增長，IPv6成為解決終端設備地址問題的根本途徑[9]。IPv6規定IP地址長度為 128位Bit，理論上存在2128-1個不同的IPv6地址，這使每個輕量級的移動設備都能擁有全球唯一的 IP地址成為可能。因此，借助IPv6技術，可以很好地建立與識別每臺移動終端設備與大數據實驗平臺間的連接。

　　(2)具有可靠的安全性。IPv6能夠保證數據傳輸中的數據安全可靠。IPv6網絡層可以加密用戶的傳輸數據并校驗IP報文，實現對通信端的驗證，極大地提高了網絡的安全性。IPv6根據密碼生成地址，能夠較大限度確保地址不被偽造[10]。因此，IPv6的安全性可以保證數據在傳輸過程中不被截獲和丟失，實現輕量級終端對大數據實驗平臺的安全訪問與數據傳輸。

　　(3)具備高效的數據傳輸速率。IPv6能夠保證數據傳輸速率的高效性。與需要大量冗長數據的IPv4相比，IPv6的固定報頭非常短，可以有效地提高網絡數據傳輸的效率。基于聚類原則的 IPv6地址分配方式，使用路由表中的一條記錄便可表示路由器的一片子網，從而減少路由器中路由表的長度，提高路由器轉發數據包的速度。因此，可以憑借IPv6高效的數據傳輸速率實現輕量級終端與大數據平臺云端集群的快速交互。

　　3 支持輕量級IPv6終端的大數據實驗平臺

　　3.1  支持IPv6終端的大數據實驗平臺簡介

　　為了突破大數據實驗平臺的時空限制以滿足實時使用的問題，筆者提出構建支持輕量級 IPv6終端的大數據實驗平臺，如圖1所示。支持輕量級IPv6終端的大數據實驗平臺借助IPv6安全性高、地址廣泛和傳輸速度快的特點，利用云平臺與IPv6技術的結合，將輕量級終端(便攜式移動終端)納入平臺服務范圍內，通過配置云平臺以支持IPv4/IPv6的雙棧網絡傳輸，實現輕量級終端對大數據實驗平臺的遠程訪問，省去用戶在終端上安裝實驗環境等煩瑣操作，同時突破時空訪問局限性，極大地提高大數據實驗平臺的使用便利性。

　　支持輕量級IPv6終端的大數據實驗平臺主要分為3個模塊：輕量級終端、互聯網傳輸層和服務器集群端。輕量級IPv6終端主要包括手機、平板計算機和筆記本計算機等移動終端，以及用來發送終端傳輸信息的IPv6路由器。服務器集群端包括集群搭建的Master節點、Slave節點(如支持 Spark、Hadoop、Kafka等)、分布式資源管理器及用來接收終端傳輸信息的IPv6路由器;在輕量級終端和服務器集群之間的傳輸層通過使用支持 IPv4/IPv6的雙棧網絡傳輸，實現輕量級終端和服務器集群終端之間信息的穩定傳輸，保證信息完整性和安全穩定性。

　　3.2  支持IPv6終端的大數據實驗平臺架構

　　支持輕量級IPv6終端的大數據實驗平臺架構如圖2所示，其主要包括3個部分：App應用客戶端、數據傳輸層和服務端。

　　(1)App應用客戶端。客戶端上的功能模塊主要分為代碼提交模塊、數據提交模塊和數據可視化模塊，以分別執行代碼編輯、數據導入及數據可視化等功能。用戶通過支持IPv6的各類型輕量級終端(移動設備)下載大數據實驗應用客戶端，并在客戶端上完成用戶注冊和用戶登錄，通過支持IPv6的數據傳輸層建立與大數據實驗平臺的連接，實現與大數據集群數據交互。

　　(2)數據傳輸層。數據傳輸層主要包括支持IPv6的路由器和網絡，涉及基于IPv6的數據傳輸、地址轉換及隧道技術，以建立服務端與客戶端間數據傳輸的橋梁，保證服務端的大數據實驗平臺與輕量級移動終端間的安全高效傳輸。客戶端通過發送訪問請求和IP地址，經由支持IPv6的路由器接收解析客戶端請求的數據，并發送到互聯網的傳輸層。傳輸層根據訪問地址IP找到服務端的大數據平臺設備所在的網絡接口，經由服務端的IPv6路由器接收解析該訪問請求，并建立客戶端與服務端間的連接。

　　(3)服務端。服務端主要涉及大數據實驗平臺的服務器集群，主要為客戶端提供大數據實驗的資源服務。服務端的集群設備分為主節點設備和從節點設備。大數據實驗平臺的服務端支持基于YARN的資源管理系統、基于Kafka的流數據處理、基于Spark的數據處理及基于SparkML的機器學習。在數據存儲方面，支持輕量級IPv6終端的大數據實驗平臺支持HDFS文件系統、HBase、 Redis、MySQL數據庫等來存儲和緩存各種類型數據。同時，大數據實驗平臺具有基于ElasticSearch 的數據檢索模式，保證大數據實驗的資源配置和大數據學習內容的豐富性。

　　4 結語

　　大數據實驗環境配置復雜，對計算機性能要求較高。構建支持輕量級IPv6終端的大數據實驗平臺不僅可以解決實驗環境的設備性能制約問題，同時能夠滿足在各類型輕量級終端設備上進行平臺訪問的需求，突破大數據實驗平臺訪問的時空限制。支持輕量級IPv6終端的大數據實驗平臺可為培養大數據應用型人才提供重要保障，滿足師生多元化與多終端的需求。