[[186140]]

一、安裝環(huán)境

本文主要根據(jù)官方文檔使用ubuntu14.04部署ceph集群，并且簡單介紹其基本操作。整個集群包括一個admin節(jié)點(admin node,主機名為node0)和3個存儲節(jié)點(主機名分別為node1，node2，node3)，所有節(jié)點均安裝了ubuntu 14.04操作系統(tǒng)，除了admin節(jié)點，其余三個節(jié)點除了根磁盤，還額外配置一個磁盤作為單獨的osd：

lsblk 

輸出結(jié)果：

NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT 
sr0     11:0    1   422K  0 rom 
vda    253:0    0    20G  0 disk 
├─vda1 253:1    0    19G  0 part / 
├─vda2 253:2    0     1K  0 part 
└─vda5 253:5    0  1022M  0 part [SWAP] 
vdb    253:16   0    50G  0 disk 

由于使用ustack公有云申請的云主機，因此磁盤是虛擬的，根磁盤為vda，第二塊磁盤為vdb。 所有主機在192.168.0.0/24這個網(wǎng)絡(luò),ip為：

192.168.0.2     node0 
192.168.0.5     node1 
192.168.0.7     node2 
192.168.0.6     node3 

我們先設(shè)置一個mon節(jié)點，兩個osd節(jié)點，后續(xù)我們再增加節(jié)點，其架構(gòu)如圖所示：

其中node1作為mon節(jié)點，其余node2，node3作為osd節(jié)點。

注意：后續(xù)操作均使用root賬號，如果不使用root賬號登錄，需要創(chuàng)建一個新的賬號，該賬號必須具有免密碼sudo權(quán)限，否則后續(xù)使用ceph-deploy時會失敗!

二、安裝前工作

1.設(shè)置admin節(jié)點root免密碼登錄其他節(jié)點

首先使用ssh-keygen生成密鑰，位于~/.ssh/id_rsa.pub,拷貝id_rsa.pub文件到所有節(jié)點中，若沒有設(shè)置root密碼，可以先拷貝到管理員賬號(安裝操作系統(tǒng)時使用的用戶，具有sudo權(quán)限)home目錄，然后使用管理員賬號操作：

cat id_rsa.pub | sudo tee -a /root/.ssh/authorized_keys 

在node0節(jié)點分別測試，是否可以免密碼登錄其他節(jié)點：

ssh node0 uptime 
ssh node1 uptime 
ssh node2 uptime 
ssh node3 uptime 

結(jié)果應(yīng)該不需要輸入密碼。

2.安裝并行ssh命令

在admin節(jié)點安裝pssh包：

apt-get install -y pssh 

設(shè)置以下別名：

alias pssh='parallel-ssh' 
alias pscp='parallel-scp' 

創(chuàng)建host文件列表hosts.txt:

node0 
node1 
node2 
node3 

測試下pssh是否工作：

pssh -h hosts.txt uptime 

如果全部結(jié)果都為SUCCESS,則說明正常工作。

3.使用國內(nèi)鏡像源

為了提高訪問速度，建議修改為國內(nèi)鏡像源，我們使用的是阿里云鏡像源:

root@node0:~# cat /etc/apt/sources.list 
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse 
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse 
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse 
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse 
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse 
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse 
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse 
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse 
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse 
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse 

拷貝該文件到所有的節(jié)點：

pscp -h ~/hosts.txt /etc/apt/sources.list /etc/apt/ 

更新源：

pssh -h ~/hosts.txt 'apt-get update -y' 

4.安裝ceph-deploy

以下操作只需要在admin節(jié)點執(zhí)行，首先需要增加ceph源：

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - 
echo deb http://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list 
# 注意: ceph-stable-release是選擇安裝的版本，我部署時選擇的是jewel! 

# 注意: ceph-stable-release是選擇安裝的版本，我部署時選擇的是jewel!

安裝ceph-deploy：

sudo apt-get update && sudo apt-get install ceph-deploy 

生產(chǎn)環(huán)境還需要安裝ntp服務(wù)，保證集群的時鐘一致，這次只是為了測試，故省略這一步。另外由于ubuntu默認防火墻是關(guān)的，SELinux也沒有安裝，故不需要任何操作。使用centos安裝時需要打開必要端口。

三、開始安裝ceph集群

我們使用ceph-deploy部署，后續(xù)操作均在admin節(jié)點操作。 首先需要創(chuàng)建工作環(huán)境，該環(huán)境會保存所有的配置文件：

mkdir my-cluster 
cd my-cluster 

接下分別執(zhí)行以下步驟：

1.創(chuàng)建集群

ceph-deploy new node1 

其中node1是mon節(jié)點，執(zhí)行該命令會生成ceph配置文件、monitor密鑰文件以及日志文件。

2.修改默認冗余份數(shù)

由于我們目前只有兩個osd節(jié)點，而默認的冗余份數(shù)是3，因此我們需要設(shè)置為2，如果osd節(jié)點大于2，則此步驟省略。

修改ceph.conf文件，在[global]下增加以下內(nèi)容：

osd pool default size = 2 

3.配置網(wǎng)卡和網(wǎng)絡(luò)

如果主機有多余一個網(wǎng)卡，需要設(shè)置使用的網(wǎng)卡和網(wǎng)絡(luò)地址，由于我們主機只有一張網(wǎng)卡，此步驟省略。

4.開始安裝ceph

ceph-deploy install node0 node1 node2 node3 

5.初始化mon節(jié)點和收集密鑰信息

ceph-deploy mon create-initial 

執(zhí)行完畢，目錄應(yīng)該有以下文件：

{cluster-name}.client.admin.keyring 
{cluster-name}.bootstrap-osd.keyring 
{cluster-name}.bootstrap-mds.keyring 
{cluster-name}.bootstrap-rgw.keyring 

完成以上步驟，安裝完成，但還沒有配置osd節(jié)點。

6.配置osd節(jié)點

首先格式化磁盤，注意我們使用的是/dev/vdb：

ceph-deploy disk zap node2:vdb 
ceph-deploy disk zap node3:vdb 

以上步驟會清空磁盤的所有數(shù)據(jù)。 接下來創(chuàng)建osd，注意由于我們只是測試，故沒有使用單獨的磁盤作為journal，實際在生產(chǎn)環(huán)境下，需要配備SSD分區(qū)作為journal，能夠***化IO吞吐量。

ceph-deploy osd create node2:vdb 
ceph-deploy osd create node3:vdb 

7.配置admin節(jié)點

admin節(jié)點同時也作為我們的client節(jié)點，需要拷貝其他節(jié)點的配置文件以及密鑰，使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群，執(zhí)行以下命令即可：

ceph-deploy admin node0 node1 node2 node3 
sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權(quán)限 

8.測試結(jié)果運行以下命令：

ceph health 

結(jié)果若返回active + clean狀態(tài)，則說明部署成功!

四、擴展節(jié)點

增加node1也作為osd節(jié)點：

ceph-deploy disk zap node1:vdb 
ceph-deploy osd create node1:vdb 
ceph-deploy osd create node1:vdb 

若需要cephFS支持，即需要提供文件系統(tǒng)支持，需要部署metadata server：

ceph-deploy mds create node1 

若需要Ceph Object Gateway支持，即對象存儲節(jié)點，需要部署一個RGW實例，

ceph-deploy rgw create node1 

ceph集群至少需要一個mon節(jié)點，為了實現(xiàn)高可用，通常需要設(shè)置多個(一般設(shè)置為3個)mon節(jié)點，我們把node2，node3也作為mon節(jié)點：

ceph-deploy mon add node2 node3 

當有多個mon節(jié)點時，ceph將使用quorum算法進行同步，查看狀態(tài)：

ceph quorum_status --format json-pretty 

五、塊存儲rbd使用

我們使用默認的rbd池，首先創(chuàng)建一個新的塊設(shè)備(cinder稱為volume，ceph稱為image)：

rbd create foo --size 4096 

查看剛剛創(chuàng)建的實例：

rbd ls 
# foo 

映射實例到虛擬設(shè)備中：

rbd map foo 
# /dev/rbd1 

創(chuàng)建文件系統(tǒng)并掛載到/mnt:

mkfs.ext4 /dev/rbd1 
mount /dev/rbd1 /mnt 
df -h 
Filesystem     1K-blocks    Used Available Use% Mounted on 
udev             1014072      12   1014060   1% /dev 
tmpfs             204988     808    204180   1% /run 
/dev/vda1       19478204 1936088  16529636  11% / 
none                   4       0         4   0% /sys/fs/cgroup 
none                5120       0      5120   0% /run/lock 
none             1024932       0   1024932   0% /run/shm 
none              102400       0    102400   0% /run/user 
/dev/rbd1        3997376    8184   3763096   1% /mnt 

把實例擴容到8GB：

rbd resize foo --size 8192 
resize2fs /dev/rbd1 
df -h 
Filesystem      Size  Used Avail Use% Mounted on 
udev            991M   12K  991M   1% /dev 
tmpfs           201M  808K  200M   1% /run 
/dev/vda1        19G  1.9G   16G  11% / 
none            4.0K     0  4.0K   0% /sys/fs/cgroup 
none            5.0M     0  5.0M   0% /run/lock 
none           1001M     0 1001M   0% /run/shm 
none            100M     0  100M   0% /run/user 
/dev/rbd1       7.8G  9.0M  7.4G   1% /mnt 

創(chuàng)建實例快照：

rbd snap create test@test-snap 

六、分布式文件系統(tǒng)使用

創(chuàng)建一個文件系統(tǒng)：

ceph osd pool create cephfs_data 128 
ceph osd pool create cephfs_metadata 128 
ceph fs new test_fs cephfs_metadata cephfs_data 
ceph fs ls 
# name: test_fs, metadata pool: cephfs_metadata, data pools: [cephfs_data ] 

創(chuàng)建secret文件：

cat ceph.client.admin.keyring 

輸出結(jié)果：

[client.admin] 
   key = AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w== 

把key值拷貝到secret文件：

echo "AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==" >admin.secret 

安裝mount ceph插件：

apt-get install ceph-fs-common 

掛載到本地文件系統(tǒng)/mnt:

sudo mount -t ceph 192.168.0.5:6789:/ /mnt -o name=admin,secretfile=admin.secret 

其中192.168.0.5是node1 ip，也即mon節(jié)點ip地址。

運行df命令查看是否掛載成功，成功即可像本地文件系統(tǒng)一樣操作。

七、對象存儲省略。。。

【本文是51CTO專欄作者“付廣平”的原創(chuàng)文章，如需轉(zhuǎn)載請通過51CTO獲得聯(lián)系】

戳這里，看該作者更多好文