网络计算环境:应用开发与部署

内容简介

　　《网络计算环境：应用开发与部署》系统讲述以网络为基础的科学活动环境中如何灵活快速部署应用的专业书籍。《网络计算环境：应用开发与部署》由引论、网格应用开发、网格应用部署三篇组成，共十一章，包括网格技术概论、Globus、SAGA、NBCROpal、CGSP、CNGrid GOS 等流行网格系统的应用开发模式介绍，以及应用部署概述、ADIF——资源管理、ADIF——工作流管理、ADIF——通知与订阅机制、ADIF——日志管理等应用部署的框架与实现。章节之间相对独立，可供读者有选择地参考。

目录

序 前言

第一篇引论

第 1章网格技术概述


第二篇网格应用开发

第 2章 Globus

2.1 Globus项目

2.2 Globus的研究

2.3 Globus Toolkit

2.3.1 安全架构 GSI

2.3.2 信息架构

2.3.3 资源管理 GRAM

2.3.4 数据管理

2.3.5 通信

2.3.6 错误检测

2.3.7 可移植性

2.4 Globus开发示例

2.5 本章小结

第 3章 SAGA

3.1 简介

3.2 定位

3.3 总体设计

3.3.1 直观 API

3.3.2 功能包

3.3.3 适配器

3.4 本章小结 38 第 4章 NBCR Opal

4.1 NBCR

4.2 Opal Toolkit

4.2.1 应用部署

4.2.2 命令客户端的使用

4.2.3 PostgreSQL用法

4.2.4 MySQL用法

4.2.5 DB2用法

4.2.6 DRMAA用法

4.2.7 Globus用法

4.2.8 Condor用法

4.2.9 TORQUE/PBS用法

4.2.10 CSF4用法

4.2.11元服务用法

4.2.12编写作业管理器

4.3 本章小结

第 5章 CGSP

5.1 简介

5.2 目标

5.3 系统主要结构

5.3.1 服务容器

5.3.2 信息中心

5.3.3 域管理

5.3.4 执行模块管理

5.3.5 数据管理系统

5.3.6 异构数据库

5.3.7 网格门户

5.3.8 网格并行接口

5.3.9 安全管理

5.4 应用实例

5.5 本章小结

第 6章 CNGrid GOS

6.1 CNGrid GOS系统软件

6.1.1 全局名字管理

6.1.2 资源管理

6.1.3 虚拟组织管理

6.1.4 应用运行时管理

6.1.5 应用层工具

6.2 CA证书管理系统及测试环境

6.2.1 CA证书管理系统

6.2.2 测试环境

6.3 高性能计算网关

6.3.1 功能完备

6.3.2 集成方便

6.3.3 界面友好

6.4 数据网格

6.5 网格工作流

6.5.1 工作流建模能力强

6.5.2 网格服务获取方便

6.5.3 流程服务化和重用

6.5.4 可插拔、可扩展的流程管理控制台

6.5.5 可扩展的流程建模工具和流程引擎

6.6 中国国家网格监控系统

6.7 开发示例

6.7.1 资源端准备

6.7.2 编写 Java应用

6.7.3 编写 WebApp应用

6.7.4 独立运行的 Java程序

6.7.5 上下文

6.7.6 网程的运行

6.8 本章小结


第三篇网格应用部署

第 7章应用部署概述

7.1 符号约定

7.2 本章小结

第 8章 ADIF--资源管理

8.1 目标

8.2 命名空间

8.3 术语

8.4 资源管理操作

8.4.1 资源查询

8.4.2 资源部署

8.4.3 资源反部署

8.4.4 资源评价

8.4.5 资源取代

8.5 开发示例

8.5.1 文档示例

8.5.2 文档结构

8.5.3 文档约定

8.5.4 文档核心元素集

8.6 本章小结

第 9章 ADIF--工作流管理

9.1 目标

9.2 命名空间

9.3 术语

9.4 工作流管理操作

9.4.1 过程控制结构定义

9.4.2 工作流设计器定义

9.4.3 工作流需求定义

9.5 过程控制

摘要与插图

第一篇 引 论
第 1章
在当今信息爆炸的时代，面对大规模、超大规模的计算需求，传统的计算模式爱莫能助，是在面对实时性要求较高的现实问题时，传统的计算模式更是捉襟见肘。有这样一个笑话可以很好地描述如此尴尬的处境：一个城府极深的外星人在地球的某处埋下一枚足以摧毁整个地球的定时炸弹，时限是 20分钟。如果我们不能在 20分钟内找到这枚炸弹并成功将它排除，那么我们的余生就只剩下短短的 20分钟时间。在这有限的时间内，你可以欢呼，你可以雀跃，你可以伤心，你可以落泪，你可以祈祷，你可以诅咒，总而言之，我们的生命只剩 20分钟。
在如此急迫的情形下，普通人的力量是渺小的，只有依靠社会精英或者群体智慧，局面才能得以控制。因而一种新的代表社会精英抑或群体智慧的计算模式成为我们的选——高性能计算。高性能计算可以实现计算能力质的突破。通常来说，计算能力可以从两个方面实现突破：①提高单个节点的计算能力；②多个节点之间的并行计算。对于提高单个节点的计算能力来说，目前的芯片设计工艺水平不足以实现单个计算节点处理能力质的飞跃。因而，我们不得不转向并行计算。此时摆在面前的道路有两条：其一是单个节点内部的并行；其二为多个节点之间的并行。多核技术很好地诠释了单个节点内部的并行。但是受到数据交换与通信延迟的限制，单个节点中并不能一味地集成内核。因此，多个节点之间的并行颇受青睐。
多个节点通过适当的网络连接，同时参与某项任务的处理，这是当今比较流行的并行计算模式。这些彼此相连的节点，称之为一个集群。不同的组织与机构可以按照特定的需求组建适合自身利益的集群。然而考虑到节点所占的空间与耗费的电力等种种因素，集群的规模往往受到种种限制。另外，考虑到集群中各个节点之间的通信带宽与延迟，整个集群的处理能力并不等于所有节点处理能力的总和，而是随着规模的扩大呈现滞涨态势。以至于当节点规模增大到一定程度后，集群的整体处理能力的增长速度将十分缓慢。也就是说，虽然集群能够有效地满足计算需求的增长，但是当计算需求增长过快时，集群依然会处于一种无可奈何的境地。
通过上述分析，我们容易知道，制约集群处理能力的重要因素就是各个节点之间的通信带宽与延迟。为了摆脱集群的这种限制，分布式的概念应运而生。它允许分布在不同地域的众多节点通过互联网的连接来共同完成某项任务。一般来说，在分布式框架下，任意节点都可以通过互联网按照某种协议参与某项任务的计算。与并行计算不同，这种模式下的节点不需要频繁的交流与通信。这使得分布式计算比较适合处理关系松散的数据或者任务，而并行计算比较适合处理关系复杂、纵横交错的数据与任务。
结合前面的笑话，我们知道分布式计算比较适合用来寻找炸弹的位置。在这种模式下，每个参与进来的节点可以针对自己所在的地区进行搜寻，找到炸弹后即可排除。如果确信自己所在的区域不含炸弹，那么通知其他节点该区域为安全区，以避免重复搜寻。
分布式计算的特征可以总结为协同计算、数据共享、动态扩展。结合这三个基本特征，我们可以组建一个囊括全世界的计算节点的计算机。在这台特殊计算机的帮助下，我们可以轻松地找到并排除外星人安置的那枚定时炸弹。
根据有关统计，网络系统的平均利用率只有 30%左右。如何更好地利用网络资源已经成为人们日益关注的话题。虽然从理论上来讲，任何个人计算资源都可以参与到分布式系统中而成为其中的一个节点，但是各个分布式系统都有自身的加入方式。通常来说，个人计算资源是无法主动加入到分布式系统中的，只有通过分布式系统的主动邀请，个人计算资源才能成为其中的一个计算节