了解iEx.ec分布式云背后的技术

iEx.ec的核心思想是构建一个基于区块链技术的完全分布式云基础架构。

为此,iEx.ec结合了两种技术:区块链和桌面网络计算技术。区块链允许建立分散式的的计算资源市场。桌面网络(又叫做志愿计算)的原则是在互联网上收集未充分利用的计算资源,在花费小部分传统超级计算机的成本上去执行大规模的并行及分布式应用。你可能已经知道,甚至参与了几个遵循这种计算范式的应用程序,如SETI@Home、Floding@home、disributed.net。

但要知道,在过去的十年,许多中间件已经被开发、执行这个模型:BOINC、Condor、Ourgrid、XtremWeb-HEP以及其他类似的软件。

事实上,桌面网络中间件有几个基本的功能用于构建完全分布式云:

弹性:如果一些节点失败,计算仍能继续运行到其他工作节点。

效率:即使计算节点多种多样,应用程序也能获取最佳性能。

易于部署:允许使用任何节点而无需特定配置,甚至那些位于网络边缘的节点。

因此,与其名字所表达意思相反,桌面网格是组合混合基础设施的完美的解决方案,其计算资源可以从经典的高性能计算集群,到云,当然还包括互联网连接的个人电脑。

221

iEx.ec依赖于已经由CNRS和INRIA开发的桌面网络开源软件,为高性能计算和大数据松散地集合分布式计算资源。

XtremWeb-HEP是一个成熟、实用、开源的桌面网络软件,允许使用任何种类的计算资源来执行计算密集型或数据密集型应用。XtremWeb-HEP的架构包括三个角色:客户端(用以提交任务和数据)、分派器(调度任务去计算资源)、工人(是指执行任务并将结果发送回客户端)。由于它的简明性,这种方法已被证明是极其可扩展,可靠和安全的。

此外,XtremWeb-HEP还提供了许多高级功能,例如:容错、多应用、多用户、混合公/私基础设施、虚拟映像的部署、数据管理、安全和责任、网络覆盖、VM管理、沙盒、支持高性能计算标准和eScience基础架构的互操作性等等。

在法国国家核与粒子物理研究所,XtremWeb-HEP已经被开发并用于生产。你可以访问其主页XtremWeb-HEP或GitHub上的网页。

除了XtremWeb-HEP,我们在过去十年里已经开发了一个大的组合式技术,可以允许高性能计算和大数据松散地集合分布计算资源:例如MPICH-V并行计算,BitDew大规模数据管理,SpeQuloS为应用程序执行提供质量服务,MapReduce第一次实现用于互联网计算等等。我们的许多研究成果已发表在顶尖的科学会议和期刊(>80篇论文发表)。

最终,我们在制作、运行可用于各种科学领域以及初创公司和创新产业的桌面网络技术时获得了独有的专业知识技术。

从2007年到2012年,我们与几个欧洲合作伙伴共同成立了欧洲桌面网络基础设施(EDGI)。这个巨大的尝试得到了欧盟的支持,资助了4个FP7项目(EDGeS、EDGI、DEGISCO、IDGF)。目的是为研究人员和学者提供源于桌面网络基础架构的额外计算能力。EDGI已经取得了巨大的成功。我们连接了十几个站点(匈牙利、法国、英国、西班牙、荷兰……)到主要的欧洲电子基础设施,如支持瑞士大型强子对撞机。我们在连接云和高性能计算系统到桌面网络过程中获得了很多有价值的经验,并且我们成功地在超过200 000个节点数上透明地执行了工作。

该技术显示了在许多科学领域的适用性:高能量物理、生物医学研究、数学、金融算法、材料研究、3D渲染等。

当然,我们还与行业进行了很多合作(Tota、Airbus、IFP……)。最近,我们收到了来自法国国家研究业的资金支持,目的是给创新型中小企业提供低成本,按需和安全的高性能计算服务。我们采访了许多生物医学和电子卫生部门的中小企业,了解他们的需求和要求,并设计了MVP和PoC。不管怎样,区块链的出现是最终促成iEx.ec项目的关键性因素。

222

正如你可以理解的这样,我们坚信,通过探测、发明和建立互联网范围的分布式计算基础设施所获得的知识和经历,将必然引导iEx.ec项目走向成功。下图是应用程序运行XtremWeb-HEP的例子。

223224

左:应用程序运行XtremWeb-HEP的例子。

右:书《Desktop Grid Computing》

如果您想更多的了解桌面网络,我推荐《Desktop Grid Computing》这本书,由Christophe Cérin和Gilles Fedak合作编写,每一章都是由该领域最突出的专家撰写的,呈现这个领域最先进的结果。这本书涵盖了很多方面,包括实用章节:安全、应用程序、工具包、软件、算法等。想知道更多关于我的研究,请随意看看我的主页及论文。

123

iEx.ec

基于区块链的分布式云计算