| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
7年前发布

使用Ceph作为OpenStack的后端存储

概述

        libvirt配置了librbdQEMU接口,通过它可以在OpenStack中使用Ceph块存储。Ceph块存储是集群对象,这意味着它比独立的服务器有更好的性能。
        在OpenStack中使用Ceph块设备,必须首先安装QEMUlibvirtOpenStack,下图描述了 OpenStackCeph技术层次结构:

使用Ceph作为OpenStack的后端存储

系统规划

OpenStack集群:
         控制节点:openstackcontroller192.168.1.131
         计算节点:compute                      192.168.1.132
         存储节点:storage                        192.168.1.133

Ceph集群:
       monitormdsosd0 节点:openstackcontroller192.168.1.131
       osd1compute       192.168.1.132
       osd2storage         192.168.1.133 </p>

系统架构:

使用Ceph作为OpenStack的后端存储

配置过程

Important:由于这里将两套集群服务部署在了同一组节点上,所以配置过程中省略了一些关于Ceph集群的配置。

</span>

创建存储池

# ceph osd pool create volumes 128  # ceph osd pool create images 128  # ceph osd pool create vms 128

设置Ceph客户端认证

OpenStack节点执行如下命令:

# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'  # ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

client.cinderclient.glance添加密钥文件来访问节点并改变属主:

# ceph auth get-or-create client.glance | ssh openstack sudo tee /etc/ceph/ceph.client.glance.keyring  # ssh openstack sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring  # ceph auth get-or-create client.glance | ssh compute sudo tee /etc/ceph/ceph.client.glance.keyring  # ssh compute sudo chown nova:nova /etc/ceph/ceph.client.glance.keyring  # ceph auth get-or-create client.cinder | ssh compute sudo tee /etc/ceph/ceph.client.cinder.keyring  # ssh compute sudo chown nova:nova /etc/ceph/ceph.client.cinder.keyring  # ceph auth get-or-create client.cinder | ssh storage sudo tee /etc/ceph/ceph.client.cinde.keyring  # ssh storage sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

运行nova-compute的节点nova-compute进程需要密钥文件。它们也存储client.cinder用户的密钥在libvirtlibvirt进程在Cinder中绑定块设备时需要用到它来访问集群。
nova-compute节点创建一个临时的密钥副本:

# uuidgen  457eb676-33da-42ec-9a8c-9293d545c337    # cat > secret.xml <<EOF  <secret ephemeral='no' private='no'>    <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>    <usage type='ceph'>      <name>client.cinder secret</name>    </usage>  </secret>  EOF  # sudo virsh secret-define --file secret.xml   # sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

配置Glance

编辑 /etc/glance/glance-api.conf并添加如下内容:

[DEFAULT]  default_store = rbd  ...  [glance_store]  stores = rbd  rbd_store_pool = images  rbd_store_user = glance  rbd_store_ceph_conf = /etc/ceph/ceph.conf  rbd_store_chunk_size = 8

如果要启动镜像的写时复制功能,添加下面的 [DEFAULT] 部分:

show_image_direct_url = True

配置Cinder

openstack节点和storage节点编辑 /etc/cinder/cinder.conf配置文件并添加如下内容:

volume_driver = cinder.volume.drivers.rbd.RBDDriver  rbd_pool = volumes  rbd_ceph_conf = /etc/ceph/ceph.conf  rbd_flatten_volume_from_snapshot = false  rbd_max_clone_depth = 5  rbd_store_chunk_size = 4  rados_connect_timeout = -1  glance_api_version = 2

如果使用cephx验证,需要配置useruuid

rbd_user = cinder  rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

配置Nova

为了挂载Cinder设备(普通设备或可引导卷),必须指明使用的用户及UUIDlibvirt将使用期在Ceph集群中进行连接和验证:

rbd_user = cinder  rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

编辑 /etc/nova/nova.conf并添加如下内容:

[libvirt]  images_type = rbd  images_rbd_pool = vms  images_rbd_ceph_conf = /etc/ceph/ceph.conf  rbd_user = cinder  rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337  libvirt_live_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST"

禁用文件注入。当启动一个实例的时候,nova通常会尝试打开rootfs。这时,nova注入一些数据,如密码、ssh 密钥,配置文件等到文件系统中。然而,这最好依靠元数据服务和cloud-init来完成。

在每个计算节点,编辑 /etc/nova/nova.conf [libvirt] 标签添加:

libvirt_inject_password = false  libvirt_inject_key = false  libvirt_inject_partition = -2

重启服务

# sudo glance-control api restart  # sudo service nova-compute restart  # sudo service cinder-volume restart  # sudo service cinder-backup restar

从块设备引导

Ceph后端存储状况:

使用Ceph作为OpenStack的后端存储

Ceph不支持从qcow2格式的镜像引导,所以创建一个raw格式的镜像:

使用Ceph作为OpenStack的后端存储

创建一个可引导卷:

使用Ceph作为OpenStack的后端存储

使用Ceph作为OpenStack的后端存储

从可引导卷创建一个实例:

使用Ceph作为OpenStack的后端存储

查看Ceph存储状况:

使用Ceph作为OpenStack的后端存储

来自:http://my.oschina.net/JerryBaby/blog/376858

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1423534851295.html
OpenStack 分布式/云计算/大数据