命令行接口
Ozone shell 是从命令行与 Ozone 交互的主要接口。在后台,它调用 Java API.
有些功能只能通过使用 ozone sh 命令才能访问。例如:
- 创建带有配额的卷
- 管理内部 ACL
- 创建带有加密的键的桶
所有这些命令都是一次性的管理任务。应用程序也可以使用其他接口,如 Hadoop 兼容文件系统(o3fs 或 ofs)或 S3 接口来实现相同功能而无需使用 Ozone 命令行接口。
Ozone shell 的帮助菜单可以在 对象 级别 或者 动作 级别被调出.
示例命令:
ozone sh volume --help
这条命令展示了卷的所有可用的 动作 命令
或者也可以用来解释具体的某个 动作 ,例如:
ozone sh volume create --help
这条命令输出卷的create动作的所有命令行选项
通用命令格式
Ozone shell 命令采取以下形式:
ozone sh object action url
ozone 脚本用于调用所有 Ozone 子命令。通过 sh 命令调用 ozone shell 命令。
对象可以是卷、桶或键。动作可以是创建、列出、删除等。
根据动作,Ozone URL 可以指向以下格式的卷、桶或键:
[schema][server:port]/volume/bucket/key
其中,
Schema - 应为
o3,这是访问 Ozone API 的原生 RPC 协议。是否指定 schema 是可选的。Server:Port - 应为 Ozone Manager 的地址。如果不指定端口,则将使用 ozone-site.xml 中的默认端口。
请查看卷命令、桶命令和键命令部分了解更多详情。
卷操作
卷位于层次结构的顶层,仅由管理员管理。也可以指定所有者用户和配额。
示例命令:
$ ozone sh volume create /vol1
$ ozone sh volume info /vol1{"metadata" : { },"name" : "vol1","admin" : "hadoop","owner" : "hadoop","creationTime" : "2020-07-28T12:31:50.112Z","modificationTime" : "2020-07-28T12:31:50.112Z","acls" : [ {"type" : "USER","name" : "hadoop","aclScope" : "ACCESS","aclList" : [ "ALL" ]}, {"type" : "GROUP","name" : "users","aclScope" : "ACCESS","aclList" : [ "ALL" ]} ],"quota" : 1152921504606846976}
$ ozone sh volume list /[ {"metadata" : { },"name" : "s3v","admin" : "hadoop","owner" : "hadoop","creationTime" : "2020-07-27T11:32:22.314Z","modificationTime" : "2020-07-27T11:32:22.314Z","acls" : [ {"type" : "USER","name" : "hadoop","aclScope" : "ACCESS","aclList" : [ "ALL" ]}, {"type" : "GROUP","name" : "users","aclScope" : "ACCESS","aclList" : [ "ALL" ]} ],"quota" : 1152921504606846976}, {....} ]
如果卷为空,我们可以使用以下命令删除卷。
$ ozone sh volume delete /vol1Volume vol1 is deleted
如果卷包含任意桶或键,我们可以递归地删除卷。这将删除卷中所有的桶和键,然后删除卷本身。在运行这个命令后,将无法恢复已删除的内容。
$ ozone sh volume delete -r /vol1This command will delete volume recursively.There is no recovery option after using this command, and no trash for FSO buckets.Delay is expected running this command.Enter 'yes' to proceed': yesVolume vol1 is deleted
桶操作
桶是层次结构的第二层级,与 AWS S3 桶相似。如果用户有必要的权限,可以在卷中创建桶。
示例命令:
$ ozone sh bucket create /vol1/bucket1
$ ozone sh bucket info /vol1/bucket1{"metadata" : { },"volumeName" : "vol1","name" : "bucket1","storageType" : "DISK","versioning" : false,"creationTime" : "2020-07-28T13:14:45.091Z","modificationTime" : "2020-07-28T13:14:45.091Z","encryptionKeyName" : null,"sourceVolume" : null,"sourceBucket" : null}
如果桶是空的,我们可以用以下命令来删除桶。
$ ozone sh bucket delete /vol1/bucket1Bucket bucket1 is deleted
如果桶包含任意键,我们可以递归地删除桶。这将删除桶中的所有键,然后删除桶本身。在运行这个命令后,将无法恢复已删除的内容。
$ ozone sh bucket delete -r /vol1/bucket1This command will delete bucket recursively.There is no recovery option after using this command, and deleted keys won't move to trash.Enter 'yes' to proceed': yesBucket bucket1 is deleted
透明数据加密 可以在桶层级被启用。
键操作
键是可以存储数据的对象。
$ ozone sh key put /vol1/bucket1/README.md README.md
在这个命令中,标准的命令顺序 ozone sh <object_type> <action> <url> 可能会让使用者困惑, 因为它的格式是 ozone sh key put <destination> <source>, 而不是我们习惯的自然的顺序 <source> <destination>.
$ ozone sh key info /vol1/bucket1/README.md{"volumeName" : "vol1","bucketName" : "bucket1","name" : "README.md","dataSize" : 3841,"creationTime" : "2020-07-28T13:17:20.749Z","modificationTime" : "2020-07-28T13:17:21.979Z","replicationType" : "RATIS","replicationFactor" : 1,"ozoneKeyLocations" : [ {"containerID" : 1,"localID" : 104591670688743424,"length" : 3841,"offset" : 0} ],"metadata" : { },"fileEncryptionInfo" : null}
$ ozone sh key get /vol1/bucket1/README.md /tmp/
$ ozone sh key delete /vol1/bucket1/key1
如果键是在 FSO 桶中,当删除键时它会被移动到回收站,回收站的位置是:
$ /<volume>/<bucket>/.Trash/<user>
如果键是在OBS桶中,它将被永久删除。
查询命令行结果
Ozone命令行返回JSON响应。jq 是一个命令行JSON处理器,可以用来过滤CLI结果以获取所需信息.
示例命令:
- 列出不是链接的 FSO 桶。
$ ozone sh bucket list /s3v | jq '.[] | select(.link==false and .bucketLayout=="FILE_SYSTEM_OPTIMIZED")'{"metadata": {},"volumeName": "s3v","name": "fso-bucket","storageType": "DISK","versioning": false,"usedBytes": 0,"usedNamespace": 0,"creationTime": "2023-02-01T05:18:46.974Z","modificationTime": "2023-02-01T05:18:46.974Z","quotaInBytes": -1,"quotaInNamespace": -1,"bucketLayout": "FILE_SYSTEM_OPTIMIZED","owner": "om","link": false}
- 列出 EC 桶以及它们的复制策略配置。
$ ozone sh bucket list /vol1 | jq -r '.[] | select(.replicationConfig.replicationType == "EC") | {"name": .name, "replicationConfig": .replicationConfig}'{"name": "ec5","replicationConfig": {"data": 3,"parity": 2,"ecChunkSize": 1048576,"codec": "RS","replicationType": "EC","requiredNodes": 5}}{"name": "ec9","replicationConfig": {"data": 6,"parity": 3,"ecChunkSize": 1048576,"codec": "RS","replicationType": "EC","requiredNodes": 9}}
- 以制表符分隔的格式列出加密桶的名字以及它们的加密的键名。
$ ozone sh bucket list /vol1 | jq -r '.[] | select(.encryptionKeyName != null) | [.name, .encryptionKeyName] | @tsv'ec5 key1encrypted-bucket key1