云計算技術(shù)下蒙特卡洛的模擬

　　云計算作為互聯(lián)網(wǎng)發(fā)展的下一個階段, 無須擁有通常的物理硬件和軟件, 從計算能力到計算基礎(chǔ)設(shè)施, 應(yīng)用程序和業(yè)務(wù)流程, 可以隨時隨地提供服務(wù), 但是配置云計算的運(yùn)算環(huán)境需要一定的時間。為了突破傳統(tǒng)統(tǒng)計軟件的單機(jī)統(tǒng)計能力限制, 本文梳理了亞馬遜AWS平臺上的基本配置和數(shù)據(jù)傳輸過程, 通過統(tǒng)計軟件來實現(xiàn)蒙特卡洛模擬的云計算。

　　《計算機(jī)輔助工程》是上海海事大學(xué)主辦的學(xué)術(shù)性刊物，創(chuàng)刊于1992年，是我國計算機(jī)界與工程界的重要學(xué)術(shù)性刊物之一。本刊主要刊登計算機(jī)技術(shù)及其應(yīng)用和相關(guān)領(lǐng)域的學(xué)術(shù)論文，如計算機(jī)輔助設(shè)計與圖形學(xué)技術(shù)及應(yīng)用、專家系統(tǒng)、知識工程、計算機(jī)網(wǎng)絡(luò)與通信、分布式系統(tǒng)、計算機(jī)軟件與理論、程序設(shè)計語言、操作系統(tǒng)、數(shù)據(jù)庫、計算機(jī)輔助教學(xué)、制造業(yè)信息化、物流工程信息化、交通運(yùn)輸工程信息化、信息管理技術(shù)及應(yīng)用、人工智能技術(shù)及應(yīng)用、電氣自動化等領(lǐng)域的文章，以及有價值的研究報告和研究簡介。

　　0、 引言

　　云計算是一種新興的商業(yè)計算模型。是并行計算、分布式計算、網(wǎng)格計算發(fā)展的產(chǎn)物, 一種新時代形態(tài)的虛擬化技術(shù)。已經(jīng)開發(fā)了許多基于云的虛擬工作空間, 這些工作空間可以帶來比任何臺式機(jī)或筆記本電腦更大的計算優(yōu)勢。云計算對于學(xué)術(shù)界, 特別是研究人員來說具有巨大的潛力。雖然大多數(shù)研究人員具有廣泛的編程技能, 但他們通常不是計算機(jī)科學(xué)家, 存儲、讀取和操作大型數(shù)據(jù)集的能力對于處于研究最前沿的技術(shù)人員來說變得越來越重要。在云中啟動和運(yùn)行指令往往需要消耗大量的時間, 因此, 人們必須經(jīng)歷一些很明顯的選擇和指令頁面。云計算作為一種新型計算模型, 目標(biāo)是簡化和降低計算能力、存儲設(shè)備甚至是應(yīng)用系統(tǒng)等IT資源的使用門檻, 用戶只需連接因特網(wǎng)即可便捷地使用上述資源, 并按使用資源量付費(fèi)。因此, 無論對其研究硬件設(shè)施的經(jīng)濟(jì)性, 還是未來發(fā)展趨勢都有著積極的意義。

　　1、 云計算的概念

　　云計算作為一項全新的技術(shù), 其概念基于“IT能力的可重用性”這一原則:一個抽象的, 高度可擴(kuò)展的, 可管理的計算基礎(chǔ)架構(gòu)池, 能夠托管最終客戶應(yīng)用程序并按消費(fèi)計費(fèi)。云計算是一種計算范例, 其中大量系統(tǒng)池在私有或公共網(wǎng)絡(luò)中連接, 為應(yīng)用程序、數(shù)據(jù)和文件存儲提供動態(tài)可擴(kuò)展的基礎(chǔ)架構(gòu)。隨著這項技術(shù)的出現(xiàn), 計算、應(yīng)用程序托管、內(nèi)容存儲和交付的成本顯著降低, 有可能將數(shù)據(jù)中心從資本密集型轉(zhuǎn)變成其他類型。它與“網(wǎng)格計算”“分布式計算”“效用計算”或“自主計算”等傳統(tǒng)概念相比, 更能夠擴(kuò)大研究者的視野。

　　云計算包括三個層次的服務(wù):軟件即服務(wù) (SaaS) , 基礎(chǔ)架構(gòu)即服務(wù) (IaaS) 和平臺即服務(wù) (PaaS) 。國外著名的云計算平臺有:亞馬遜AWS、微軟Azure、IBM Cloud private以及谷歌云平臺, 國內(nèi)比較有名的云平臺有:阿里云、騰訊云、華為云、百度BAE、新浪SAE等等。本文以亞馬遜網(wǎng)絡(luò)服務(wù) (AWS) 為例, 來說明云計算的實現(xiàn)過程。AWS提供大量云服務(wù), 包括計算、數(shù)據(jù)存儲和數(shù)據(jù)管理設(shè)施。目前, AWS提供一年免費(fèi)訪問其部分服務(wù), 作為研究人員學(xué)習(xí)如何使用云的機(jī)會。要獲得對任何云服務(wù)的訪問權(quán)限, 研究人員只需要使用AWS創(chuàng)建一個帳戶, 并在此賬戶下進(jìn)行簡單的云計算, 其主要服務(wù)模塊有兩個:彈性計算云 (EC2) 和簡單存儲服務(wù) (S3) 。

　　EC2是一種云服務(wù), 提供可變大小的虛擬計算機(jī), 稱為實例。一旦研究人員使用AWS創(chuàng)建了帳戶, 就可以在EC2中創(chuàng)建和訪問實例。簡單存儲服務(wù) (S3) , 為研究人員提供安全且可擴(kuò)展的存儲。S3和EC2可以分別用于存儲和分析數(shù)據(jù)。EC2和S3都是相對低成本的解決方案。例如, EC2有三種不同的定價方法:按需方式、競價方式和預(yù)留方式, 每種方法都有不同的價格。S3價格基于存儲的大小 (尺寸越大, 每GB的價格越便宜) 和使用頻率 (使用頻率越低, 每GB越便宜) 。數(shù)據(jù)可以存儲在S3中, 傳輸?shù)紼C2進(jìn)行計算, 最后結(jié)果保存在S3, 用戶也可以將其下載到本地的個人計算機(jī)。

　　2、 云計算環(huán)境搭建

　　第一步是需要使用AWS創(chuàng)建一個帳戶。需要郵箱、電話號碼以及信用卡賬號完成驗證, 過程也非常簡單。此帳戶可以通過身份識別與訪問管理 (Identity and Access Management, 簡稱IAM) 進(jìn)行權(quán)限管理, 能夠安全地控制其他用戶對Amazon AWS服務(wù)和資源的訪問權(quán)限, 即可以通過IAM角色授予第三方訪問您的AWS資源的權(quán)限, 而無須共享AWS安全憑證。而第三方則可以通過在AWS賬戶中創(chuàng)建的角色來訪問AWS資源。

　　第二步需要在EC2中創(chuàng)建實例 (instance) 。在EC2中創(chuàng)建和啟動的虛擬計算機(jī)稱為實例。EC2在創(chuàng)建實例時有一個頁面引導(dǎo)過程, 用于逐步進(jìn)行。實例的創(chuàng)建需要首先選擇一個亞馬遜機(jī)器映像 (Amazon Machine Image, 簡稱AMI) , 它指定虛擬機(jī)將具有哪種類型的處理器、內(nèi)存、存儲等 (比如選擇新筆記本電腦的硬件組件) 。最初, 新創(chuàng)建的虛擬機(jī)將沒有安裝軟件, 由研究人員提供和安裝所需的任何東西。當(dāng)然也有多種預(yù)先配置的AMI可供選擇, 其中許多已經(jīng)安裝了軟件。這種預(yù)先配置的AMI大大縮短了設(shè)置過程, 是重復(fù)任務(wù)的理想選擇。然后再選擇實例類型, 配置實例, 添加存儲, 標(biāo)記實例, 配置安全組和查看等等。在EC2下中啟動實例是需要完成的最后一項操作。其具體操作過程如下:

　　(1) 選擇AMI和實例:雖然亞馬遜AWS中有許多需要購買的預(yù)先配備AMI, 不過有些AMI是免費(fèi)的, 接下來可以選擇實例類型;

　　(2) 配置實例:這一步只需要默認(rèn)設(shè)置即可;

　　(3) 添加存儲:用戶可以選擇存儲的大小和類型;

　　(4) 標(biāo)記實例:研究人員可以選擇標(biāo)記 (命名) 實例, 當(dāng)用戶使用多個資源和實例時, 標(biāo)簽可以有助于管理;

　　(5) 配置安全組:選擇適當(dāng)?shù)陌踩O(shè)置很重要, 安全組是一組控制與實例的流量 (通信) 的防火墻規(guī)則, 研究人員需要允許通過SSH與實例進(jìn)行通信, 并允許通過Web瀏覽器 (http) 連接到RStudio服務(wù)器, 因此需要打開以下端口:22 (SSH) , 80 (HTTP) , 443 (HTTPS) , 3389 (RDP) 和8787 (RStudio Server) ;

　　最后, 點(diǎn)擊下一步審核, 完成實例的配置過程。

　　第三步是研究人員在自己的計算機(jī)和正在運(yùn)行的EC2實例之間建立連接和通信橋梁。也就是通過SSH (安全shell) 軟件實現(xiàn)連接。個人計算機(jī)一旦與實例建立連接, 研究人員就可以在他的虛擬機(jī)上安裝和配置他可能需要的任何軟件, 例如可以安裝R和RStudio Server, Python, MATALB等。如果選擇預(yù)先配置已安裝軟件的AMI, 則研究人員仍需要與實例 (虛擬機(jī)) 建立連接, 以便啟動和使用他需要的軟件。例如RStudio Server的使用, 其中一個功能是可以通過SSH設(shè)置和啟動它, 然后可以通過用戶名和密碼從Web瀏覽器訪問它 (就像訪問他的電子郵件一樣) 。值得注意的是, 一旦研究人員完成了虛擬機(jī)的工作, 他就需要返回AWS和EC2并終止正在運(yùn)行的實例。如果不這樣做, 將使實例處于工作狀態(tài), 并將收取不必要的費(fèi)用。

　　實例運(yùn)行后, 需要通過安全shell (SSH) 直接與其建立連接, 不同的操作系數(shù)有所區(qū)別, 在Windows環(huán)境下可以利用PuTTY遠(yuǎn)程連接工具, 而MAC OSX下使用Mac OS終端來完成 (Linux和MAC OSX都是UNIX類型的操作系統(tǒng)) , 設(shè)置是類似的。研究人員連接到AWS以便運(yùn)行EC2上的實例。接下來, 就需將數(shù)據(jù)加載到S3, 以及在EC2和S3之間傳輸數(shù)據(jù)。

　　3、 數(shù)據(jù)的存儲及傳輸

　　簡單存儲服務(wù) (Amazon Simple Storage Service, 簡稱Amazon S3或S3) 是AWS的一部分, 其存儲成本較低, 這一存儲服務(wù)與EC2是分開的, S3使用Web界面來存儲和檢索研究人員計算機(jī)的任何數(shù)據(jù), 提供安全且可擴(kuò)展的對象存儲。S3非常適用于大數(shù)據(jù)集的使用。當(dāng)研究人員使用大型數(shù)據(jù)集并且不希望每次都將數(shù)據(jù)上傳到他的虛擬機(jī)時, S3非常有用, 即使使用較小的數(shù)據(jù)集, 將數(shù)據(jù)上傳到S3也許在邏輯上更為簡單, 然后將其傳輸?shù)紼C2并直接在云中執(zhí)行所有需要的分析。只要兩個云服務(wù) (EC2和S3) 位于同一地理位置, S3和EC2之間的數(shù)據(jù)傳輸速度非常快 (比從個人計算機(jī)上傳更快) , 并且是免費(fèi)的。AWS將服務(wù)器托管在世界各地的幾個不同地理位置。研究人員應(yīng)該選擇最接近他/她的那個并且使其一致, 以便始終為其EC2和S3提供相同的位置。S3和EC2之間的數(shù)據(jù)傳輸 (反之亦然) 也在通過SSH連接到虛擬機(jī)時完成。

　　如果研究人員使用的數(shù)據(jù)文件不大, 他可以自己保存文件在本地計算機(jī), 并在需要時將其上傳到實例。以同樣的方式, 他的輸出文件可以很容易地下載回個人電腦。但是, 如果數(shù)據(jù)文件非常大, 則用戶最佳選擇是將其數(shù)據(jù)上傳到AWS云存儲 (S3) , 然后在需要時將其傳輸?shù)紼C2進(jìn)行分析, 然后將結(jié)果保存回S3。我們建議使用此過程, 一方面因為大數(shù)據(jù)文件可能需要花費(fèi)大量時間上傳, 上傳可能會中斷, 以及其他可能的相關(guān)問題;另一方面, 一旦數(shù)據(jù)在S3中, 轉(zhuǎn)移到EC2是快速簡便的。在本節(jié)中, 我們將介紹用戶如何將數(shù)據(jù)直接從個人計算機(jī)傳輸?shù)紼C2, 或者從計算機(jī)傳輸?shù)絊3然后再傳輸?shù)紼C2。

　　首先應(yīng)在S3中創(chuàng)建存儲桶 (這是所有數(shù)據(jù)將進(jìn)入的位置) , 類似數(shù)據(jù)庫的配置。在這種情況下, 一般默認(rèn)選擇了“美國標(biāo)準(zhǔn)”。創(chuàng)建后, 單擊存儲桶, 然后創(chuàng)建一個文件夾。我們就可以直接裝載數(shù)據(jù)進(jìn)入S3中。選擇文件夾, 然后從“操作”菜單中選擇“上傳”, 以便將本地數(shù)據(jù)文件上傳到S3。

　　3.1、 本地計算機(jī)與EC2的數(shù)據(jù)傳輸

　　3.1.1、 將數(shù)據(jù)從本地計算機(jī)傳輸?shù)紼C2創(chuàng)建的實例

　　實現(xiàn)這一功能有兩種方式:其中一個是通過SSH和命令行。另一個是使用RStudio Server的上傳和導(dǎo)出功能。這里介紹將數(shù)據(jù)直接上傳到適用于Windows用戶的EC2:

　　首先, 在連接到實例的PuTTY終端窗口中鍵入以下內(nèi)容:

　　cd..

　　ls

　　cd home

　　cd Mydata

　　mkdir R

　　cd R

　　mkdir Data

　　cd Data

　　sudo chmod-R 0777/home/Mydata/R/Data

　　第一行退出最后一個文件夾并在其前移動一個文件夾。命令“ls”列出當(dāng)前文件夾的內(nèi)容。用戶應(yīng)該能夠看到名為“home”根目錄下的文件夾。如果沒有, 他們需要重復(fù)進(jìn)程“cd..”命令, 然后再執(zhí)行“ls”命令, 直到找到“home”目錄。“cd home”打開“home”文件夾, “cd Mydata”導(dǎo)航到“Mydata”文件夾。“mkdir R”命令創(chuàng)建一個名為“R”的文件夾;“cd R”打開這個新創(chuàng)建的目錄。這同樣適用于“mkdir數(shù)據(jù)”和“cd數(shù)據(jù)”。最后一個命令設(shè)置文件夾權(quán)限, 允許在文件夾中復(fù)制, 保存和刪除文件。

　　接下來, 用戶需要啟動PSFTP (Putty安全文件傳輸協(xié)議) , 這些文件轉(zhuǎn)移應(yīng)用程序, 包含在PuTTY這一工具中。從Windows命令提示符啟動PSFTP。要建立PSFTP連接, 我們應(yīng)在Windows命令提示符中鍵入以下代碼:

　　psftp.exe ubuntu@XXX.XXX.XXX.XXX-/directory/keyfile.ppk

　　其中“/directory/key le.ppk”是“.ppk”文件的路徑, 以及XXX.XXX.XXX.XXX是公共DNS, 每次都使用實例的特定公共DNS進(jìn)行更改。這樣配置完成以后, 為了傳輸數(shù)據(jù), 就可以在Windows命令中輸入以下代碼:

　　put C:\directory\datafile/directory/datafile

　　其中“put”是將文件發(fā)送到EC2實例的命令, “C:\directory\datafile”是想要在他的本地計算機(jī)上發(fā)送的數(shù)據(jù)路徑, “/directory/datafile”是EC2實例上的目標(biāo)文件夾。在PuTTY終端窗口中, 連接到EC2實例, 使用“ls”命令查看文件夾的內(nèi)容。

　　3.1.2、 直接從EC2為Windows用戶下載數(shù)據(jù)

　　我們可以從Windows命令提示符下載文件 (使用PSFTP) 通過使用以下命令建立連接:

　　get/directory/datafile C:\directory\datafile

　　其中“get”是獲取文件的命令, “/directory/datafile”是文件夾的路徑, 在將要下載文件的EC2實例上, 以及“C:\directory\datafile”是要下載文件的文件夾的路徑。

　　3.2、 S3和EC2之間的傳輸數(shù)據(jù)

　　要在EC2和S3之間傳輸文件, 需要在正在運(yùn)行的EC2實例上安裝和配置AWS命令行界面工具 (Command Line Interface, 簡稱CLI) 。此工具允許從命令行 (控制臺) 控制不同的服務(wù), 也可以使用它來復(fù)制來自S3的文件。CLI的一部分配置是提供適當(dāng)?shù)膽{證, 因此獲取憑證是CLI的第一步。安全憑證用于驗證授權(quán)任何第三方應(yīng)用訪問你的AWS帳號, 訪問密鑰由訪問密鑰ID和私密訪問密鑰組成。要創(chuàng)建訪問密鑰, 需要轉(zhuǎn)到AWS頁面并選擇“身份和訪問管理” (IAM) 控制臺。創(chuàng)建訪問密鑰后, 用戶有一次機(jī)會下載它們。帶有憑證 (密鑰) 的文件需要保存在用戶的個人計算機(jī)上。如果文件丟失或用戶沒有下載, 他將無法使用憑證, 應(yīng)創(chuàng)建一組新密鑰。包含訪問密鑰的文件稱為“credentials.csv”, 可以使用MS Excel打開。要安裝CLI, 需要在OSX終端或PuTTY終端中輸入以下代碼:

　　sudo apt-get install unzip

　　curl"https://s3.amazonaws.com/aws-cli/awsclibundle.zip"-o"awscli-bundle.zip"

　　unzip awscli-bundle.zip

　　sudo./awscli-bundle/install-i/usr/local/aws-b/usr/local/bin/aws

　　其中第一行安裝“unzip”, 這是處理zip格式的壓縮文件所需要的。第二行下載CLI, 第三行解壓縮文件, 最后一行安裝CLI.Next遵循CLI的配置。代碼應(yīng)在OSX終端或PuTTY終端輸入:

　　aws configure

　　配置過程將要求提供憑證, 這些憑證位于“credentials.csv”中, 可以使用MS Excel打開文件。在這種情況下, 通過在OSX終端或PuTTY終端中輸入以下選項:

　　AWS Access Key ID[None]:AKIAID5BRLKNXVX XN7GA

　　AWS Secret Access Key[None]:kxNDqMpkHWdh6mdgJrogRpeA0DXlK/jiULWzRkq7

　　Default region name[None]:us-east-1

　　Default output format[None]:json

　　前兩行對應(yīng)于憑證文件。區(qū)域名稱可在AWS文檔中找到。在這種情況下, 它一般是“us-east-1”, 但是也應(yīng)該檢查它的特定區(qū)域設(shè)定是否正確。

　　3.2.1、 在S3和EC2之間傳輸數(shù)據(jù)

　　在終端中導(dǎo)航到“/home/Mydata/R/Data” (如上所述) 或創(chuàng)建使用以下代碼的文件夾:

　　cd..

　　ls

　　cd home

　　cd Mydata

　　mkdir R

　　cd R

　　mkdir Data

　　cd Data

　　sudo chmod-R 0777/home/Mydata/R/Data

　　以上代碼可以依照上述類似的解釋, 接下來, 在OSX終端或PuTTY終端上運(yùn)行:

　　sudo aws s3 cp s3://bucketname/foldername/datafile.txt datafile.txt

　　其中“//bucketname/foldername/datafile.txt”是S3中數(shù)據(jù)文件的路徑, “datafile.txt”是EC2實例中文件的名稱。最后使用終端中的“ls”命令確認(rèn)下載成功。

　　3.2.2、 將數(shù)據(jù)從EC2發(fā)送到S3

　　要將文件從EC2發(fā)送到S3, 我們可以在OSX終端或PuTTY終端中使用以下代碼:

　　sudo aws s3 cp datafile.txt s3://bucketname/foldername/datafile.txt

　　最后, 用戶可以返回S3控制臺并檢查文件是否已傳輸。可以在刷新后在S3控制臺中查看結(jié)果。

　　4、 蒙特卡洛和統(tǒng)計軟件選擇

　　蒙特卡洛方法 (Monte Carlo method) , 也稱統(tǒng)計模擬方法, 一種以概率統(tǒng)計理論為指導(dǎo)的一類非常重要的數(shù)值計算方法。隨著電子計算機(jī)的發(fā)展和科學(xué)技術(shù)問題的日趨復(fù)雜, 它較好地解決了很多高難度和復(fù)雜的數(shù)學(xué)計算問題, 因此在統(tǒng)計物理、核物理、真空技術(shù)、系統(tǒng)科學(xué)、信息科學(xué)、公用事業(yè)、地質(zhì)、醫(yī)學(xué), 可靠性及計算機(jī)科學(xué)等廣泛的領(lǐng)域都得到成功應(yīng)用。從理論上來說, 蒙特卡洛方法需要大量的實驗。實驗次數(shù)越多, 所得到的結(jié)果越接近于正確值, 利用此方法可以測試出很多的參數(shù), 比如圓周率的值。對于這些簡單的統(tǒng)計模擬問題, 目前單機(jī)的一般為4核, 可以并行計算提高計算效率并得到想要的精度。但是對于一些復(fù)雜的數(shù)學(xué)問題, 尤其一些優(yōu)化問題的模擬, 計算過程需要反復(fù)迭代、計算, 即使涉及的維數(shù)不多, 其計算量也是以億次為級別單位, 普通的實驗室都難以滿足其時間和精度要求。而云計算提供了靈活的計算能力和高效的大規(guī)模數(shù)據(jù)處理, 針對蒙特卡洛模擬這樣需要大量計算的問題具有不可比擬的優(yōu)越性和實用價值。

　　在統(tǒng)計軟件選擇中, 一般選擇像Python, R免費(fèi)的開源軟件, 然而R在數(shù)據(jù)分析時得分更高的根本原因在于R包的分析庫更加廣泛。SAS仍然是臺式機(jī)企業(yè)分析的主要語言, 但是, 對于小型企業(yè)而言, 它仍然代價高昂, 并且由于每年的許可證不是一次性費(fèi)用, 因此在成本支出方面具有較大的劣勢。由于單人計算機(jī)的R被迫處理僅限于RAM大小的數(shù)據(jù), 因此云為我們提供了一個快速的解決方案, 利用R處理大數(shù)據(jù), 并且云計算通過RStudio可以更加方便地安裝、部署和計算。對于大數(shù)據(jù)而言, 可以在云上直接獲得或者通過增加虛擬機(jī)上的RAM來獲得不同類型的RAM備選方案。

　　5、 結(jié)論

　　國內(nèi)在云計算方面起步較晚, 采用云計算進(jìn)行統(tǒng)計模擬的研究較少, 大多數(shù)是計算機(jī)方面的學(xué)者對云計算的架構(gòu)進(jìn)行研究。本文在云計算環(huán)境搭建的基礎(chǔ)上, 突破傳統(tǒng)的單機(jī)進(jìn)行蒙特卡洛模擬的限制, 從以桌面系統(tǒng)為中心向以網(wǎng)絡(luò)為中心的模式發(fā)展, 服務(wù)和應(yīng)用都將以在線的方式提供, 提出以云計算的方式來實現(xiàn)模擬統(tǒng)計。重視云計算在統(tǒng)計模擬中的應(yīng)用, 結(jié)合專業(yè)統(tǒng)計工具, 充分發(fā)揮云計算技術(shù)的優(yōu)勢, 可以使云計算在大數(shù)據(jù)統(tǒng)計分析上得到廣泛和深層次的應(yīng)用。

　　參考文獻(xiàn)：

　　[1]OHRI A.Introduction to R for Cloud Computing[M].New York, NY:Springer New York, 2014:1-20.

　　[2]Gallagher M, Rengifo E W, Trendafilov R.Cloud Computing for MATLAB and R Users[J].Social Science Electronic Publishing, 2017.

　　[3]Pabitha M, Selvakumar T, Punitha Devi S.An Effective C, C++, PHP, Perl, Ruby, Python Compiler using Cloud Computing[J].International Journal of Computer Applications, 2013, 69 (7) :20-25.