Skip to the content.

这个例子中使用3个lustre服务器节点,io1作为mgs/mds,io2和io3作为oss,cn1作为client。

在此之前,需要完成:

当前四个节点的ip地址如下:

#node,ip,hostnames,otherinterfaces,comments,disable
"cn1","192.168.56.101",,,,
"io1","192.168.56.121",,,,
"io2","192.168.56.122",,,,
"io3","192.168.56.123",,,,

io1-io3三个节点上每个有一块20TB的磁盘/dev/sdb:

[root@xserver ~]# psh io1-io3 lsblk /dev/sdb 
io1: NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
io1: sdb 8:16 0 20G 0 disk 
io2: NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
io2: sdb 8:16 0 20G 0 disk 
io3: NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
io3: sdb 8:16 0 20G 0 disk 

a.创建MGS/MDS:

使用mkfs.lustre直接创建格式化文件系统:

mkdir -p /lustre/mdt
mkfs.lustre --fsname=fs00 --mgs --mdt --index=0 \
--backfstype=zfs --reformat mdspool/mdt /dev/sdb 
mount.lustre mdspool/mdt /lustre/mdt/

也可以分成两步,先创建zpool,在进行mkfs.lustre格式化文件系统,下面的方式与上面方式等价:

mkdir -p /lustre/mdt
zpool create mdspool  /dev/sdb
mkfs.lustre --fsname=fs00 --mgs --mdt --index=0 \
--backfstype=zfs --reformat mdspool/mdt 
mount.lustre mdspool/mdt /lustre/mdt/

使用zpool&mkfs.lustre来创建MDS是推荐的方式,因为可以使用zpool命令来配置一些zfs的创建参数,提供更好的配置,如:

zpool create -O canmount=off -o multihost=on   -o cachefile=none mdspool /dev/sdb

b.创建OSS

# io2
mkdir -p /lustre/ost0
mkfs.lustre --ost --reformat --fsname fs00 --index 0 \
--mgsnode 192.168.56.121@tcp0 --backfstype zfs osspool/ost0 /dev/sdb 
mount.lustre osspool/ost0 /lustre/ost0/
# io3
mkdir -p /lustre/ost1
mkfs.lustre --ost --reformat --fsname fs00 --index 1 \
--mgsnode 192.168.56.121@tcp0 --backfstype zfs osspool/ost1 /dev/sdb 
mount.lustre osspool/ost1 /lustre/ost1/

c.挂载客户端

[root@cn1 ~]# mkdir -p /lustre/f00 
[root@cn1 ~]# mount.lustre 192.168.56.121@tcp0:/fs00 /lustre/f00/
[root@cn1 ~]# lctl dl
  0 UP mgc MGC192.168.56.121@tcp 2bce2de2-81ef-fdcb-be01-33f6e196b294 4
  1 UP lov fs00-clilov-ffff90523b0ed800 eefdc044-f295-1771-5ccc-b62a6ae5a6ec 3
  2 UP lmv fs00-clilmv-ffff90523b0ed800 eefdc044-f295-1771-5ccc-b62a6ae5a6ec 4
  3 UP mdc fs00-MDT0000-mdc-ffff90523b0ed800 eefdc044-f295-1771-5ccc-b62a6ae5a6ec 4
  4 UP osc fs00-OST0000-osc-ffff90523b0ed800 eefdc044-f295-1771-5ccc-b62a6ae5a6ec 4
  5 UP osc fs00-OST0001-osc-ffff90523b0ed800 eefdc044-f295-1771-5ccc-b62a6ae5a6ec 4