数据库检测工具

数据库检测工具

sdbdmsdump 是 SequoiaDB 巨杉数据库的数据文件检查工具，用于检测数据库文件结构的正确性，并且给出检测结果报告。

Note:

sdbdmsdump 在 1.8 版本前名为 sdbinspt，1.8 版本后更名为 sdbdmsdump。

运行需求

sdbdmsdump 不需要与数据库连接。
运行 sdbdmsdump 命令的用户必须对数据库的数据与索引文件拥有读权限。

语法规则

sdbdmsdump <--action | -a arg>[--dbpath | -d arg][--verbose | -v arg][ --dumpdata |-t arg][--dumpindex | -i arg][--dumplob | -b arg][--record | -p arg]
sdbdmsdump <--action | -a arg>[--dbpath | -d arg][--output | -o arg][--verbose | -v arg][ --csname | -c arg][--dumpdata | -t arg]
sdbdmsdump <--action | -a arg> [--dbpath | -d arg][--indexpath | -x arg][--output | -o arg] [--verbose | -v arg][ --csname | -c arg] [--dumpindex | -i arg]
sdbdmsdump <--action | -a arg>[--dbpath | -d arg][ --dumpdata |-t arg]
sdbdmsdump --help | -h
sdbdmsdump --version | -v

参数说明

参数名	缩写	描述
—help	-h	返回基本帮助和用法文本
—dbpath	-d	指定数据库文件所在目录，默认为当前目录
—indexpath	-x	指定索引文件所在目录，默认为 dbpath
—lobpath	-g	指定 Lob 文件所在目录，默认为 dbpath
—lobmpath	-m	指定 Lob Meta 文件所在目录，默认为 dbpath
—output	-o	指定输出文件，默认为屏幕输出
—verbose	-v	是否进行 ASCII 文本输出（取值为 true 或者 false），默认值为 true，进行 ASCII 文本输出
—csname	-c	指定集合空间名，如果不指定则为全部集合空间
—clname	-l	指定集合名，如果不指定则为全部集合
—action	-a	指定操作，必须指定值，但不能和 repair 同时使用，取值列表如下： “inspect”：检测并报告任何数据损坏 “dump”：将数据页格式化并输出 “all”：检测数据页损坏，并格式化输出数据页
—dumpdata	-t	指定操作数据文件（取值为 true 或 false），默认值为 false
—dumpindex	-i	指定操作数据文件（取值为 true 或 false），默认值为 false
—dumplob	-b	指定操作 Lob 文件（取值为 true 或者 false），默认值为 false
—pagestart	-s	指定起始数据页，默认为 -1
—numpage	-n	指定需要检测或格式化的数据页数量，默认值为 1；当指定 -s 参数为非负值时，该参数生效
—record	-p	指定显示格式化输出数据或索引内容（取值为 true 或 false），默认值为 false
—balance		开启 Lob 桶均衡性分析（取值为 true 或 false），默认值为 false；当 action 参数指定为 inspect 时，该参数生效
—meta		指定操作元数据（取值为 true 或 fasle ），默认值为 false
—force		强制输出无效的 mb 、delete list 与 index list 等（取值为 true 或 false），默认值为 false

示例

sdbdmsdump 在当前目录下检测所有集合空间和集合的文件结构，格式化输出数据和索引文件的检测结果至 output.txt 文件
```
$ sdbdmsdump -d . -o output.txt -v true -a all -t true -i true -b true -p true
```

指定数据文件目录 /opt/sequoiadb/database/data/11830，指定操作为“inspect”检测并报告数据损坏信息，格式化输出集合空间 sample 的数据文件检测结果至 outputdata.txt 文件

$ sdbdmsdump -d /opt/sequoiadb/database/data/11830 -o outputdata.txt -v true -c sample -a inspect -t true

生成结果文件 outputdata.txt，记录集合空间 sample 数据文件中 Header 段、SME 空间段、MME 元数据管理段、数据段等结构检测结果信息，以及该集合空间下所有集合数据信息（如记录总数、使用数据页、溢出记录数、压缩记录数等），数据无损坏则检测结果记录为 “without Error” ，显示内容可能如下：

Inspect collection space ./sample.1.data
Inspect Storage Unit Header: sample
Inspect Storage Unit Header Done without Error
Inspect Space Management Extent:
Inspect Space Management Extent Done without Error
Inspect Metadata Management Extent:
Inspect Metadata Management Extent Done
Inspect Data for collection [0 : employee]
****The collection data info****
  Total Record           : 300000
  Total Data Pages       : 1180
  Total Data Free Space  : 41296
  Total OVF Record       : 0
  Total Compressed Record: 84317
Inspect Space Management Extent:
Inspect Space Management Extent Done without Error

指定索引文件目录 /opt/sequoiadb/database/data/11830，指定操作为“inspect”检测并报告数据损坏信息，输出集合空间 sample 的索引数据检测结果至 outputindex.txt 文件

$ sdbdmsdump -d /opt/sequoiadb/database/data/11830 -x /opt/sequoiadb/database/data/11830 -o outputindex.txt -v true -c sample -a inspect -i true

生成结果文件 outputindex.txt，记录集合空间 sample 索引文件中 Header 段、SME 空间管理段、数据段检测结果，以及该集合空间下所有集合的索引信息（如索引页、索引空闲空间、唯一索引个数等），无损坏则检查结果记录为 “without Error” ，显示内容可能如下：

Inspect collection space /opt/sequoiadb/database/data/11830/sample.1.idx
Inspect Storage Unit Header: sample
Inspect Storage Unit Header Done without Error
Inspect Space Management Extent:
Inspect Space Management Extent Done without Error
Inspect Metadata Management Extent:
Inspect Metadata Management Extent Done
Inspect Index for collection [0 : employee]
Inspect Index Control Block Extent
Inspect Index Control Block Extent Done without Error
****The collection index info****
  Total Index Pages      : 4
  Total Index Free Space : 125630
  Unique Index Number    : 1

指定数据文件目录 /opt/sequoiadb/database/data/11830，指定集合空间 sample 设定操作数据文件，指定操作为“dump”将数据页格式化并输出至 outputdump.txt 文件

$ sdbdmsdump -d /opt/sequoiadb/database/data/11830 -o outputdump.txt -v true -c sample -a dump -t true

生成结果文件 outputdump.txt，记录集合空间 sample 数据文件中 Header 段、SME 空间管理段、MME 元数据管理段和数据段存储结构信息，首先在输出的头部写入命令参数

Run Options   :
Database Path : /opt/sequoiadb/database/data/11830
Index path    : /opt/sequoiadb/database/data/11830
Lobm path     : /opt/sequoiadb/database/data/11830
Lob path      : /opt/sequoiadb/database/data/11830
Output File   : outputdump.txt
Verbose       : True
CS Name       : sample
CL Name       : {all}
Action        : dump
Repaire       : 
Dump Options  :
  Dump Data  : True
  Dump Index : False
  Dump Lob   : False
  Start Page : -1
  Num Pages  : 1
  Show record: False
  Only Meta  : False
  Balance    : False
  force      : False

Header 段记录集合空间名与存储单元头的格式化内容，根据用户选择 verbose，输出可视化的格式化结果（相似内容以“……”省略）

Dump collection space /opt/sequoiadb/database/data/11830/sample.1.data
Storage Unit Header Dump:
0x0000000000000000 : 5344 4244 4154 4100 0300 0000 0000 0100   SDBDATA.........
0x0000000000000010 : 4109 0000 7465 7374 0000 0000 0000 0000   A...sample......
0x0000000000000020 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*……
*
Eye Catcher : SDBDATA
Version     : 3
Page Size   : 65536
Total Size  : 2369
SU Name     : sample
CS Unique ID: 376
Sequence    : 1
Num of Col  : 2
HWM of Col  : 2
Page Num    : 2048
Secret value: 0x5c8a050f5c19b9e6 (6668147761803278822)
Lob Page Sz : 262144
Lob Flag    : 0
Commit Flag : 1
Commit LSN  : 0x00000000c5744ed8 (3312733912)
Commit Time : 2019-03-14-16.04.29.987000 (1552550669987)

格式化输出 SME 段可视化结果，显示这个存储单元中已经被占用和未被占用的数据页（0 表示该数据页空闲，1 表示数据页被使用）

Space Management Extent Dump:
0000000000 - 0000001250 [ 0x01 (Occupied) ]
0000001251 - 0134217727 [ 0x00 (Free) ]
Total: 134217728, Allocated: 2048, Used: 1251
Has errors: FALSE

最后输出 MME 段格式化数据，在 MME 中首先对该集合空间中每个集合打印其 1024 字节的裸元数据，同时输出格式化数据

Metadata Management Extent Dump:
0x0000000000000000 : 6261 7200 0000 0000 0000 0000 0000 0000   employee........
0x0000000000000010 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*
0x0000000000000080 : 0100 0000 0900 0000 1102 0000 0200 0000   ................
0x0000000000000090 : FFFF FFFF FFFF FFFF FFFF FFFF FFFF FFFF   ................
0x00000000000000A0 : FFFF FFFF FFFF FFFF 1002 0000 24FF 0000   ............$...
0x00000000000000B0 : 0900 0000 E8FE 0000 FFFF FFFF FFFF FFFF   ................
0x00000000000000C0 : FFFF FFFF FFFF FFFF FFFF FFFF FFFF FFFF   ................
0x00000000000000D0 : FFFF FFFF FFFF FFFF 1102 0000 50D3 0000   ............P...
0x00000000000000E0 : FFFF FFFF FFFF FFFF FFFF FFFF FFFF FFFF   ................
*
0x0000000000000130 : 0000 0000 0200 0000 FFFF FFFF FFFF FFFF   ................
0x0000000000000140 : FFFF FFFF FFFF FFFF FFFF FFFF FFFF FFFF   ................
*
0x0000000000000230 : 0000 0000 0200 0000 0000 0000 FFFF FFFF   ................
0x0000000000000240 : FFFF FFFF 0000 0000 A086 0100 0000 0000   ................
0x0000000000000250 : 0902 0000 6100 0000 CCEB 0100 0000 0000   ....a...........
0x0000000000000260 : 7592 0C00 0000 0000 0000 0000 FFFF FFFF   u...............
0x0000000000000270 : FFFF FFFF FFFF FFFF 00FF 6401 0000 0000   ..........d.....
0x0000000000000280 : 0000 0000 3ACF B801 0000 0000 3ACF B801   ....:.......:...
0x0000000000000290 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
0x00000000000002A0 : 0000 0000 0100 0000 104D C9BE 0000 0000   .........M......
0x00000000000002B0 : 661B 0980 6901 0000 0100 0000 0083 C2BC   f...i...........
0x00000000000002C0 : 0000 0000 671B 0980 6901 0000 0000 0000   ....g...i.......
0x00000000000002D0 : FFFF FFFF FFFF FFFF 0000 0000 0000 0000   ................
0x00000000000002E0 : FFFF FFFF 0100 0000 1C09 0000 0000 0000   ................
0x00000000000002F0 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*
Collection name   : employee
CL Unique ID      : 10015863734273
Flag              : 0x0001 (Used)
Attributes        : 0x0000 ()
Collection ID     : 0
First extent ID   : 0x00000009 (9)
Last extent ID    : 0x00000211 (529)
Logical ID        : 0x00000000 (0)
Index HWM         : 2
Number of indexes : 2
First Load ExtID  : 0xffffffff (-1)
Last Load ExtID   : 0xffffffff (-1)
Expand extent ID  : 0x00000000 (0)
Total records     : 100000
Total lobs        : 0
Total data pages  : 521
Total data free sp: 125900
Total index pages : 97
Total idx free sp : 823925
Total lob pages   : 0
Total org data len: 28888890
total data len    : 28888890
Dict extent ID    : 0xffffffff (-1)
New Dict extent ID: 0xffffffff (-1)
Dict stat page ID : 0xffffffff (-1)
Dictionary version: 0
Compression Type  : 0xff (none)
Last comp ratio   : 100
Data Commit Flag  : 1
Data Commit LSN   : 0x00000000bec94d10 (3200863504)
Data Commit Time  : 2019-03-15-14.27.54.342000 (1552631274342)
Idx Commit Flag   : 1
Idx Commit LSN    : 0x00000000bcc28300 (3166864128)
Idx Commit Time   : 2019-03-15-14.27.54.343000 (1552631274343)
Lob Commit Flag   : 0
Lob Commit LSN    : 0xffffffffffffffff (-1)
Lob Commit Time   : 1970-01-01-08.00.00.000000 (0)
Extend option extent ID: 0xffffffff (-1)
Deleted list :
  256  : 00000210 0000ff24
  512  : 00000009 0000fee8
   16K : 00000211 0000d350
Index extent:
   0 : 0x00000000
   1 : 0x00000002

对于该集合空间中的每个集合，格式化其元数据块和数据块与索引块(由于数据量较大，部分内容以“……”省略)

Dump Meta Extent for Collection [0]
ExtentID: 0x00000000 (0)
0x0000000000000000 : 4D45 0900 0000 0101 0000 0100 0100 0000   ME..............
0x0000000000000010 : 0900 0000 1102 0000 FFFF FFFF FFFF FFFF   ................
0x0000000000000020 : FFFF FFFF FFFF FFFF FFFF FFFF FFFF FFFF   ................
*
0x0000000000080010 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*
Meta Extent Header :
   Eye Catcher  : ME
   Extent Size  : 9
   CollectionID : 0
   Flag         : 0x01 (InUse)
   Version      : 1
   Segment num  : 65536
   Used seg num : 1
Segment extent info :
      0 : [0x00000009, 0x00000211]
Used segment num: 1, has error: FALSE
Dump Data for Collection [0]
ExtentID: 0x00000009 (9)
0x0000000000000000 : 4445 0100 0000 0101 0000 0000 FFFF FFFF   DE..............
0x0000000000000010 : 0A00 0000 C100 0000 2400 0000 94FD 0000   ........$.......
0x0000000000000020 : 1801 0000 004F 0100 2400 0000 FFFF FFFF   .....O..$.......
0x0000000000000030 : 7401 0000 1D01 0000 075F 6964 005C 8B45   t........_id.\.E
0x0000000000000040 : 8063 6827 1E68 4E33 AA10 6100 0000 0000   .ch'.hN3..a.....
0x0000000000000050 : 1062 0000 0000 0002 6300 F200 0000 7364   .b......c.....sd
0x0000000000000060 : 6761 7364 6773 6161 6173 6467 6767 6767   gasdgsaaasdggggg
0x0000000000000070 : 6767 6767 6767 6767 6767 6767 6767 6767   gggggggggggggggg
*
0x0000000000000140 : 6767 6767 6767 6767 6767 6767 6767 3000   gggggggggggggg0.
0x0000000000000150 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*
……
Data Extent Header:
   Eye Catcher  : DE
   Extent Size  : 1
   CollectionID : 0
   Flag         : 0x01 (InUse)
   Version      : 1
   Logic ID     : 13
   PrevExtent   : 0x00000015 (21)
   NextExtent   : 0x00000017 (23)
   Record Count : 192
   First Record : 0x00000024 (36)
   Last Record  : 0x0000fdd0 (64976)
   Free Space   : 220
ExtentID: 0x00000017 (23)
0x0000000000000000 : 4445 0100 0000 0101 0E00 0000 1600 0000   DE..............
0x0000000000000010 : 1800 0000 C000 0000 2400 0000 D0FD 0000   ........$.......
0x0000000000000020 : DC00 0000 0053 0100 2400 0000 FFFF FFFF   .....S..$.......
0x0000000000000030 : 7801 0000 2001 0000 075F 6964 005C 8B45   x... ...._id.\.E
0x0000000000000040 : 8263 6827 1E68 4E3E 2B10 6100 810A 0000   .ch'.hN>+.a.....
0x0000000000000050 : 1062 0081 0A00 0002 6300 F500 0000 7364   .b......c.....sd
0x0000000000000060 : 6761 7364 6773 6161 6173 6467 6767 6767   gasdgsaaasdggggg
0x0000000000000070 : 6767 6767 6767 6767 6767 6767 6767 6767   gggggggggggggggg
……

指定索引文件目录 /opt/sequoiadb/database/data/11830，指定集合空间 sample 设定操作索引文件，指定操作为“dump”将索引数据页格式化并输出至 indexdump.txt 文件

$ sdbdmsdump -d /opt/sequoiadb/database/data/11830 -x /opt/sequoiadb/database/data/11830 -o indexdump.txt -v true -c sample -a dump -i true

生成结果文件 indexdump.txt，记录集合空间 sample 索引文件中 Header 段、SME 空间管理段、数据段存储结构信息，输出格式化信息和前一个示例中数据文件格式化信息类似，该集合空间每个集合的索引都有一个固定的索引控制块，通过该控制块可以知道索引的定义，输出内容如下：

Dump Index Def for Collection [0]
   Index [ 0 ] : 0x00000000
0x0000000000000000 : 4943 0000 0000 0101 0000 0000 0500 0000   IC..............
0x0000000000000010 : FFFF FFFF 0100 0000 0000 0000 5200 0000   ............R...
0x0000000000000020 : 075F 6964 005C 8B45 7973 CE93 6736 B8E3   ._id.\.Eys..g6..
0x0000000000000030 : DB03 6B65 7900 0E00 0000 105F 6964 0001   ..key......_id..
0x0000000000000040 : 0000 0000 026E 616D 6500 0400 0000 2469   .....name.....$i
0x0000000000000050 : 6400 0875 6E69 7175 6500 0110 7600 0000   d..unique...v...
0x0000000000000060 : 0000 0865 6E66 6F72 6365 6400 0100 0000   ...enforced.....
0x0000000000000070 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*
   Eye Catcher  : IC
   Index Flags  : 0 (Normal)
   CollectionID : 0
   Flag         : 0x01 (InUse)
   Version      : 1
 Logical ID     : 0
   Root Ext    : 0x00000005 (5)
Scan extent LID : 0xffffffff (-1)
    Type       : 1 (Positive)
   Index Def   : { "_id": { "$oid": "5c8b457973ce936736b8e3db" }, "key": { "_id": 1 }, "name": "$id", "unique": true, "v": 0, "enforced": true }
   Index [ 1 ] : 0x00000002
0x0000000000000000 : 4943 0000 0000 0101 0100 0000 0700 0000   IC..............
0x0000000000000010 : FFFF FFFF 0100 0000 0000 0000 3F00 0000   ............?...
0x0000000000000020 : 075F 6964 005C 8B45 7873 CE93 7236 B8E3   ._id.\.Exs..r6..
0x0000000000000030 : E303 6B65 7900 0C00 0000 1061 0001 0000   ..key......a....
0x0000000000000040 : 0000 026E 616D 6500 0700 0000 2473 6861   ...name.....$sha
0x0000000000000050 : 7264 0010 7600 0000 0000 0000 0000 0000   rd..v...........
0x0000000000000060 : 0000 0000 0000 0000 0000 0000 0000 0000   ................
*

索引页则类似如下（由于数据量较大，相似内容以“……”省略）：

Index Dump for Collection [00], Index [00]
   Dump Index Page 5:
0x0000000000000000 : 4945 3100 0000 0100 FFFF FFFF 82FD 5EFA   IE1...........^.
0x0000000000000010 : 6000 0000 0100 0000 1300 0000 E494 0000   `...............
0x0000000000000020 : F2FF 0000 0400 0000 1E00 0000 4C2D 0000   ............L-..
0x0000000000000030 : E5FF 0000 0800 0000 2800 0000 B4C4 0000   ........(.......
0x0000000000000040 : D8FF 0000 0A00 0000 3300 0000 1C5D 0000   ........3....]..
0x0000000000000050 : CBFF 0000 0C00 0000 3D00 0000 84F4 0000   ........=.......
0x0000000000000060 : BEFF 0000 0E00 0000 4800 0000 EC8C 0000   ........H.......
0x0000000000000070 : B1FF 0000 1000 0000 5300 0000 5425 0000   ........S...T%..
0x0000000000000080 : A4FF 0000 1200 0000 5D00 0000 BCBC 0000   ........].......
0x0000000000000090 : 97FF 0000 1300 0000 6800 0000 2455 0000   ........h...$U..
……
Index Extent Header:
   Eye Catcher  : IE
   Total Keys   : 49
   CollectionID : 0
   Flag         : 0x01 (InUse)
   Version      : 0
   Parent Ext   : 0xffffffff (-1) (root)
   Free Offset  : 0x0000fd82 (64898)
   Total Free   : 0x0000fa5e (64094)
   Right Child  : 0x00000060 (96)
   Dump Index Page 1:
0x0000000000000000 : 4945 F107 0000 0100 0500 0000 C298 9E19   IE..............
0x0000000000000010 : FFFF FFFF FFFF FFFF 0900 0000 2400 0000   ............$...
0x0000000000000020 : F2FF 0000 FFFF FFFF 0900 0000 7401 0000   ............t...
0x0000000000000030 : E5FF 0000 FFFF FFFF 0900 0000 C402 0000   ................
……