云计算技术下蒙特卡洛的模拟
(2)配置实例:这一步只需要默认设置即可;
(3)添加存储:用户可以选择存储的大小和类型;
(4)标记实例:研究人员可以选择标记(命名)实例,当用户使用多个资源和实例时,标签可以有助于管理;
(5)配置安全组:选择适当的安全设置很重要,安全组是一组控制与实例的流量(通信)的防火墙规则,研究人员需要允许通过SSH与实例进行通信,并允许通过Web浏览器(http)连接到RStudio服务器,因此需要打开以下端口:22(SSH),80(HTTP),443(HTTPS),3389(RDP)和8787(RStudioServer);
最后,点击下一步审核,完成实例的配置过程。
第三步是研究人员在自己的计算机和正在运行的EC2实例之间建立连接和通信桥梁。也就是通过SSH(安全shell)软件实现连接。个人计算机一旦与实例建立连接,研究人员就可以在他的虚拟机上安装和配置他可能需要的任何软件,例如可以安装R和RStudioServer,Python,MATALB等。如果选择预先配置已安装软件的AMI,则研究人员仍需要与实例(虚拟机)建立连接,以便启动和使用他需要的软件。例如RStudioServer的使用,其中一个功能是可以通过SSH设置和启动它,然后可以通过用户名和密码从Web浏览器访问它(就像访问他的电子邮件一样)。值得注意的是,一旦研究人员完成了虚拟机的工作,他就需要返回AWS和EC2并终止正在运行的实例。如果不这样做,将使实例处于工作状态,并将收取不必要的费用。
实例运行后,需要通过安全shell(SSH)直接与其建立连接,不同的操作系数有所区别,在Windows环境下可以利用PuTTY远程连接工具,而MACOSX下使用MacOS终端来完成(Linux和MACOSX都是UNIX类型的操作系统),设置是类似的。研究人员连接到AWS以便运行EC2上的实例。接下来,就需将数据加载到S3,以及在EC2和S3之间传输数据。
3、数据的存储及传输
简单存储服务(AmazonSimpleStorageService,简称AmazonS3或S3)是AWS的一部分,其存储成本较低,这一存储服务与EC2是分开的,S3使用Web界面来存储和检索研究人员计算机的任何数据,提供安全且可扩展的对象存储。S3非常适用于大数据集的使用。当研究人员使用大型数据集并且不希望每次都将数据上传到他的虚拟机时,S3非常有用,即使使用较小的数据集,将数据上传到S3也许在逻辑上更为简单,然后将其传输到EC2并直接在云中执行所有需要的分析。只要两个云服务(EC2和S3)位于同一地理位置,S3和EC2之间的数据传输速度非常快(比从个人计算机上传更快),并且是免费的。AWS将服务器托管在世界各地的几个不同地理位置。研究人员应该选择最接近他她的那个并且使其一致,以便始终为其EC2和S3提供相同的位置。S3和EC2之间的数据传输(反之亦然)也在通过SSH连接到虚拟机时完成。
如果研究人员使用的数据文件不大,他可以自己保存文件在本地计算机,并在需要时将其上传到实例。以同样的方式,他的输出文件可以很容易地下载回个人电脑。但是,如果数据文件非常大,则用户最佳选择是将其数据上传到AWS云存储(S3),然后在需要时将其传输到EC2进行分析,然后将结果保存回S3。我们建议使用此过程,一方面因为大数据文件可能需要花费大量时间上传,上传可能会中断,以及其他可能的相关问题;另一方面,一旦数据在S3中,转移到EC2是快速简便的。在本节中,我们将介绍用户如何将数据直接从个人计算机传输到EC2,或者从计算机传输到S3然后再传输到EC2。
首先应在S3中创建存储桶(这是所有数据将进入的位置),类似数据库的配置。在这种情况下,一般默认选择了美国标准。创建后,单击存储桶,然后创建一个文件夹。我们就可以直接装载数据进入S3中。选择文件夹,然后从操作菜单中选择上传,以便将本地数据文件上传到S3。
3。1、本地计算机与EC2的数据传输
3。1。1、将数据从本地计算机传输到EC2创建的实例
实现这一功能有两种方式:其中一个是通过SSH和命令行。另一个是使用RStudioServer的上传和导出功能。这里介绍将数据直接上传到适用于Windows用户的EC2:
首先,在连接到实例的PuTTY终端窗口中键入以下内容:
cd。。
ls
cdhome
cdMydata
mkdirR
cdR
mkdirData
cdData
sudochmodR0777homeMydataRData
第一行退出最后一个文件夹并在其前移动一个文件夹。命令ls列出当前文件夹的内容。用户应该能够看到名为home根目录下的文件夹。如果没有,他们需要重复进程cd。。命令,然后再执行ls命令,直到找到home目录。cdhome打开home文件夹,cdMydata导航到Mydata文件夹。mkdirR命令创建一个名为R的文件夹;cdR打开这个新创建的目录。这同样适用于mkdir数据和cd数据。最后一个命令设置文件夹权限,允许在文件夹中复制,保存和删除文件。
接下来,用户需要启动PSFTP(Putty安全文件传输协议),这些文件转移应用程序,包含在PuTTY这一工具中。从Windows命令提示符启动PSFTP。要建立PSFTP连接,我们应在Windows命令提示符中键入以下代码:
psftp。exeubuntuXXX。XXX。XXX。XXXdirectorykeyfile。ppk
其中directorykeyle。ppk是。ppk文件的路径,以及XXX。XXX。XXX。XXX是公共DNS,每次都使用实例的特定公共DNS进行更改。这样配置完成以后,为了传输数据,就可以在Windows命令中输入以下代码:
putC:directorydatafiledirectorydatafile
其中put是将文件发送到EC2实例的命令,C:directorydatafile是想要在他的本地计算机上发送的数据路径,directorydatafile是EC2实例上的目标文件夹。在PuTTY终端窗口中,连接到EC2实例,使用ls命令查看文件夹的内容。
3。1。2、直接从EC2为Windows用户下载数据
我们可以从Windows命令提示符下载文件(使用PSFTP)通过使用以下命令建立连接:
getdirectorydatafileC:directorydatafile
其中get是获取文件的命令,directorydatafile是文件夹的路径,在将要下载文件的EC2实例上,以及C:directorydatafile是要下载文件的文件夹的路径。
3。2、S3和EC2之间的传输数据
要在EC2和S3之间传输文件,需要在正在运行的EC2实例上安装和配置AWS命令行界面工具(CommandLineInterface,简称CLI)。此工具允许从命令行(控制台)控制不同的服务,也可以使用它来复制来自S3的文件。CLI的一部分配置是提供适当的凭证,因此获取凭证是CLI的第一步。安全凭证用于验证授权任何第三方应用访问你的AWS帐号,访问密钥由访问密钥ID和私密访问密钥组成。要创建访问密钥,需要转到AWS页面并选择身份和访问管理(IAM)控制台。创建访问密钥后,用户有一次机会下载它们。带有凭证(密钥)的文件需要保存在用户的个人计算机上。如果文件丢失或用户没有下载,他将无法使用凭证,应创建一组新密钥。包含访问密钥的文件称为credentials。csv,可以使用MSExcel打开。要安装CLI,需要在OSX终端或PuTTY终端中输入以下代码:
sudoaptgetinstallunzip
curlhttps:s3。amazonaws。comawscliawsclibundle。zipoawsclibundle。zip
unzipawsclibundle。zip
sudo。awsclibundleinstalliusrlocalawsbusrlocalbinaws
其中第一行安装unzip,这是处理zip格式的压缩文件所需要的。第二行下载CLI,第三行解压缩文件,最后一行安装CLI。Next遵循CLI的配置。代码应在OSX终端或PuTTY终端输入:
awsconfigure
配置过程将要求提供凭证,这些凭证位于credentials。csv中,可以使用MSExcel打开文件。在这种情况下,通过在OSX终端或PuTTY终端中输入以下选项:
AWSAccessKeyID〔None〕:AKIAID5BRLKNXVXXN7GA
AWSSecretAccessKey〔None〕:kxNDqMpkHWdh6mdgJrogRpeA0DXlKjiULWzRkq7
Defaultregionname〔None〕:useast1
Defaultoutputformat〔None〕:json
前两行对应于凭证文件。区域名称可在AWS文档中找到。在这种情况下,它一般是useast1,但是也应该检查它的特定区域设定是否正确。
3。2。1、在S3和EC2之间传输数据
在终端中导航到homeMydataRData(如上所述)或创建使用以下代码的文件夹:
cd。。
ls
cdhome
cdMydata
mkdirR
cdR
mkdirData
cdData
sudochmodR0777homeMydataRData
以上代码可以依照上述类似的解释,接下来,在OSX终端或PuTTY终端上运行:
sudoawss3cps3:bucketnamefoldernamedatafile。txtdatafile。txt
其中bucketnamefoldernamedatafile。txt是S3中数据文件的路径,datafile。txt是EC2实例中文件的名称。最后使用终端中的ls命令确认下载成功。
3。2。2、将数据从EC2发送到S3
要将文件从EC2发送到S3,我们可以在OSX终端或PuTTY终端中使用以下代码:
sudoawss3cpdatafile。txts3:bucketnamefoldernamedatafile。txt
最后,用户可以返回S3控制台并检查文件是否已传输。可以在刷新后在S3控制台中查看结果。
4、蒙特卡洛和统计软件选择
蒙特卡洛方法(MonteCarlomethod),也称统计模拟方法,一种以概率统计理论为指导的一类非常重要的数值计算方法。随着电子计算机的发展和科学技术问题的日趋复杂,它较好地解决了很多高难度和复杂的数学计算问题,因此在统计物理、核物理、真空技术、系统科学、信息科学、公用事业、地质、医学,可靠性及计算机科学等广泛的领域都得到成功应用。从理论上来说,蒙特卡洛方法需要大量的实验。实验次数越多,所得到的结果越接近于正确值,利用此方法可以测试出很多的参数,比如圆周率的值。对于这些简单的统计模拟问题,目前单机的一般为4核,可以并行计算提高计算效率并得到想要的精度。但是对于一些复杂的数学问题,尤其一些优化问题的模拟,计算过程需要反复迭代、计算,即使涉及的维数不多,其计算量也是以亿次为级别单位,普通的实验室都难以满足其时间和精度要求。而云计算提供了灵活的计算能力和高效的大规模数据处理,针对蒙特卡洛模拟这样需要大量计算的问题具有不可比拟的优越性和实用价值。
在统计软件选择中,一般选择像Python,R免费的开源软件,然而R在数据分析时得分更高的根本原因在于R包的分析库更加广泛。SAS仍然是台式机企业分析的主要语言,但是,对于小型企业而言,它仍然代价高昂,并且由于每年的许可证不是一次性费用,因此在成本支出方面具有较大的劣势。由于单人计算机的R被迫处理仅限于RAM大小的数据,因此云为我们提供了一个快速的解决方案,利用R处理大数据,并且云计算通过RStudio可以更加方便地安装、部署和计算。对于大数据而言,可以在云上直接获得或者通过增加虚拟机上的RAM来获得不同类型的RAM备选方案。
5、结论
国内在云计算方面起步较晚,采用云计算进行统计模拟的研究较少,大多数是计算机方面的学者对云计算的架构进行研究。本文在云计算环境搭建的基础上,突破传统的单机进行蒙特卡洛模拟的限制,从以桌面系统为中心向以网络为中心的模式发展,服务和应用都将以在线的方式提供,提出以云计算的方式来实现模拟统计。重视云计算在统计模拟中的应用,结合专业统计工具,充分发挥云计算技术的优势,可以使云计算在大数据统计分析上得到广泛和深层次的应用。
参考文献:
〔1〕OHRIA。IntroductiontoRforCloudComputing〔M〕。NewYork,NY:SpringerNewYork,2014:120。
〔2〕GallagherM,RengifoEW,TrendafilovR。CloudComputingforMATLABandRUsers〔J〕。SocialScienceElectronicPublishing,2017。
〔3〕PabithaM,SelvakumarT,PunithaDeviS。AnEffectiveC,C,PHP,Perl,Ruby,PythonCompilerusingCloudComputing〔J〕。InternationalJournalofComputerApplications,2013,69(7):2025。
三大战略中的豫文化产业发展与非遗保护研究随着经济以及科学技术的进步,我国的综合国力不断提高,国民人均GDP也不断提高,但与世界发达国家仍存在着较大差距,这是我们不得不面对的问题。在我国经济发展中,文化产业占比远远低于……
新生儿空调房温度如何调节新生儿空调房温度调节方法详解炎热的天气让我们苦不堪言,还好有空调给我们解暑,那么家里有新生儿的注意咯,新生儿空调房温度调节要注意哪些事项?能和成年人一样吗?今天小编就来给大家具体介绍一下,避免犯错误哦!……
健康中国战略下的公立医院文化创新研究时代的变化,科学技术的发展,大众健康需求的提升,以人民为中心,以健康为根本的全生命周期的健康战略的提出,剧烈地冲击着现有的医学模式与医疗卫生服务模式。健康中国建设离不开健康医院……
对中国武术文化走出去战略的思考对中国武术文化走出去战略的思考我国的武术文化近年来一直致力于走出去的战略和国际化的发展方向,但是就目前的形势而言,情况并不容乐观。我国的武术文化在走出去的过程中存在着很多……
哪些食物不能用微波炉加热不能用微波炉加热的食物详解摘要:如今每个家庭里都会有用微波炉加热食物的习惯,可你是否知道,有些食物反复加热会出现有害物质,严重的话会使人中毒,现在跟大家介绍哪些食物不能用微波炉加热,速来了解。鸡肉……
路由器桥接上不了网怎么回事路由器桥接上不了网解决方法现在网络已经成为我们的生活必需品了,但是如果我们在家中上网的时候某地地方如果接收不到WIFI信号,我们就会考虑利用路由器桥接手段来使信号放大,使WIFI信号充满整个房间。可是在……
现代性的歧义【内容提要】现代性是当前学术界一个非常活跃的核心概念,在历史分期、社会学、美学和心理学等层面上有各种不同涵义,而且西方理论家福柯、哈贝马斯、利奥塔和鲍曼等人也都有各自不同的阐释……
中兴n760怎么样中兴n760格机步骤社会的脚步在不断的前进,时代在发展,科技在飞速的进步。在我们的生活中有许多的电子产品,这些电子产品为我们的生活提供了许多便利。手机的普及便是社会进步最好的体现。近几年来,智能手……
论宗教的超越与内在一引言近年来当代新儒家的所谓内在超越说引起了不少争论。正巧内人刘安云女士刚翻译了史密士(HustonSmith)的名著:《世界宗教》(TheWorldsReligions……
支付宝昆仑银行储蓄卡快捷支付如何开通支付宝昆仑银行储蓄卡快捷支付开通方式二:在【账户通】频道中开通。昆仑银行储蓄卡快捷支付在【账户通】频道开通方式同招商储蓄卡快捷支付一致。目前除淘宝和阿里巴巴外,支持……
联想e531拆机的方法介绍图解现在随着科技的进步,信息的发达,电脑已经慢慢成为人们的一部分,影响着人们的生活方式,工作条件和娱乐方式。好像我们联想e531电脑上有许多灰尘或者需要散热的话,就需要我们拆机来除……
松下fp1怎么样松下fp1价格介绍松下是一个全球知名的企业,公司主要制造和生产家电、数码产品以及办公产品等,是由日本人松下幸之助于1918年在日本大阪创立的,公司秉承ldquo;生活充满创意rdquo;的口号,……
中缅电力合作唯一在建项目顺利推进日前,由云南能投香港云能国际投资有限公司控股的联合能源国际有限公司,与缅甸电力计划司合资建设的缅甸仰光达吉达(Thaketa)燃气蒸汽联合循环电站土建工程全面开展。达吉达……
电气工程自动化技术在电力中的应用(5篇)第一篇:电气工程及自动化认识未来发展方向摘要:本文通过对电气工程及其自动化一些基本的介绍,对电气工程及其自动化发展情况进行探索,结合目前该专业在实际工业生产中的研究情况和……
MOTOMT716静音模式下闹钟是否响铃MOTOMT716静音模式下闹钟不响铃。MOTOMT716采用FWVGA级别3。7英寸大TFT材质的手机触控屏,分辨率480854像素素的1600万色电容屏,使其色彩饱与……
电气工程自动化技术的发展前景摘要:电气工程及其自动化技术在我国具有广泛的应用前景。综合目前实际情况,电气工程及自动化技术在实际运行及发展中存在一定的问题,影响该技术的发展及应用。笔者结合实际情况,就电气工……
地方高校电气工程实践教学体系建设【摘要】本文分析了地方高校电气工程专业实践教学体系建设的必要性,论述了地方高校电气工程专业实践教学的内容,提出地方高校电气工程专业实践教学体系建设的思路和措施。【关键词】……
acer4750拆机超详细教程图文教程1、找个干净的地方,准备好工具盒装螺丝,随意乱放容易丢。将笔记本翻到后面底盖,先将电池卸下。2、底盖共有12个螺丝都要卸下,然后把内存条上的后盖拿掉,可以看到硬盘、无线网……
新型PLC生产控制系统的设计及其在中型规模水泥厂的应用摘要:本文总结苏州南新水泥有限公司日产700吨余热发电水泥生产线新型PLC生产控制系统的应用实践,通过比较全面的调查研究,选择当今世界上最优秀的软硬件,构成高性能价格比的实用系……
迅雷游戏中醉西游怎么样找NPC迅雷游戏中醉西游点击右上角的【图】【仙人指路】,然后在全部NPC那里查看想找的NPC,点击名字就可以自动寻路过去,也可以使用筋斗云瞬间到达。迅雷游戏是迅雷针对广大游戏用户……
机动车赔付率分析前言:2006年全国财产保险保费收入达到了1500多亿元,其中车险占据了产险公司保费的60以上,但是车险的赔付率一直处于居高不下的地位,利润贡献度和保费规模严重不成正比,……
松浦纯水机怎么样松浦纯水机介绍以及评价图文松浦纯水机可以起到净化水质的作用以及效果,因此凭借出色的表现而赢得了不少朋友的青睐,在实际销售和口碑评价方面的优势也比较突出。那么今天介绍的就是关于它的评价以及具体的原理和应用……
分析自动化立体仓库机械结构设计以下是为您推荐的一篇关于分析自动化立体仓库机械结构设计的自动化毕业论文,欢迎浏览!参考文献:〔1〕机械加工行业多工序数控自动化需求高涨〔J〕。机械,2012,(1)。〔2……
格力空调节能模式是否省电人们长时间的在温暖的环境中,不仅可以提高自己的工作效率,同时还可以拥有一个非常健康的身体,所以空调一经推出市场就受到人们以及办公单位的疯狂购买。而格力为了让人们使用空调的同时降……