CentOS下搭建Teuthology Ceph自动化测试平台
介绍Gitbuilder与Ceph编译环境，之前的paddles与pulpiti等都是处于一台机器上的，他们不怎么吃资源，我这里是重新选择了一台性能较好的节点来作为编译节点，当然也可以找一台性能好的，把paddles、pulpito、gitbuilder编译工作都放在一台机器里。
该模块的用处是编译Ceph成rpm包，然后发布到自建的仓库中，做成一个局域网源。这样只需要在slave节点配置或者修改teuthology的代码，就可以让slave跑任务的时候，使用该源来安装ceph。
编译需要较好的机器，多核的比较好，并且内存总量平均下来最好每个核有2G内存。例如我搭建的测试环境是16核心，32G内存的，一台CentOS 7的虚拟机。
为了更高的自动化，会修改一些代码。实现自动编译打包，自动发布到repo上，并更新repo。
- Gitbuilder与Ceph编译环境
- Repo服务器
- NTP服务器
- 可能遇到的错误
Gitbuilder与Ceph编译环境
首先克隆gitbuilder到本地
#git clone https://github.com/ceph/gitbuilder.git
- 1
将ceph克隆下来，这里建议先将ceph fork到自己的仓库(还有teuthology 、ceph-cm-ansible 等)，我是将ceph fork到了自己github里面的仓库，因为社区上的ceph是在变化的，在任务节点跑任务的时候，依然会从网上拉ceph的源码，使用ceph/qa 目录下的一些测试脚本，如果你编译的ceph是之前的，任务节点跑任务安装了这个版本的ceph，而社区更新的ceph代码，加入新增了功能，那么在ceph/qa 中会多出一些内容，这时使用旧版本的ceph来测试自然就不可能通过新功能测试。所以后面的地方应该相应的也改成自己的仓库，例如teuthology的配置（本人就遇到了，又多花了时间，不多如果遇到这个问题，其实部署也就接近尾声了）
这里我依然克隆社区的ceph。
#cd gitbuilder
#git clone https://github.com/ceph/ceph.git build //gitbuilder只编译build目录下的代码
- 1
- 2
- 3
修改gitbuilder 的代码。修改文件gitbuiler/run-build.sh
#vi run-build.sh
//if ../build.sh 2>&1; then 修改为下面这样
// if ../build.sh $commit 2>&1; then//传递一个参数给build.sh
- 1
- 2
- 3
- 4
修改build.sh
#mv build.sh.example build.sh
#vi build.sh //删除原本的例子，将内容改为下面的
- 1
- 2
- 3
#!/bin/bash -x
#
# Copy this file to build.sh so that gitbuilder can run it.
#
# What happens is that gitbuilder will checkout the revision of your software
# it wants to build in the directory called gitbuilder/build/. Then it
# does "cd build" and then "../build.sh" to run your script.
#
# You might want to run ./configure here, make, make test, etc.
#
cp ../make-srpm.sh .
chmod 777 make-srpm.sh
./make-srpm.sh $1
exit 0
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
新建文件make-srpm.sh。创建目录并复制相关的包到对应的目录下，然后创建repo。相关目录结构需要与ceph官方的gitbuilder一样，不然teuthology运行的时候会报错。可以参看http://gitbuilder.ceph.com/ ，参照这个来创建目录，下面简单的写了写，并不包含错误处理之类的，只是简单的完成创建，可以基于下面我写的来修改。
#vi make-srpm.sh
内容如下：
#!/bin/sh
#
# Create a SRPM which can be used to build Ceph
#
# ./make-srpm.sh <version>
# rpmbuild --rebuild /tmp/ceph/ceph-<version>-0.el7.centos.src.rpm
#
./make-dist
rpmbuild -D"_sourcedir `pwd`" -D"_specdir `pwd`" -D"_srcrpmdir `pwd`" -bs ceph.spec
version=`git describe --match 'v*' | sed 's/^v//'`
commit=$1
rpmbuild --rebuild ceph-$version-0.el7.centos.src.rpm
#
mkdir -p /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/noarch
mkdir -p /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/SRPMS
mkdir -p /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/x86_64
touch /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/name
touch /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/sha1
touch /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/version
echo "ceph" > /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/name
echo $commit > /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/sha1
echo $version > /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/version
cp ~/rpmbuild/RPMS/x86_64/*$version* /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/x86_64
cp ceph-$version-0.el7.centos.src.rpm /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/SRPMS
cp /ceph_repos/ceph-release/* /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/noarch
mkdir -p /ceph_repos/ceph-rpm-centos7-x86_64-basic/sha1/
ln -s /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version /ceph_repos/ceph-rpm-centos7-x86_64-basic/sha1/$commit
createrepo --update /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/noarch/
createrepo --update /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/x86_64/
createrepo --update /ceph_repos/ceph-rpm-centos7-x86_64-basic/ref/v$version/SRPMS/
rm -rf /ceph_repos/ceph-rpm-centos7-x86_64-basic/repodata
createrepo --update /ceph_repos/ceph-rpm-centos7-x86_64-basic/
rm -rf /ceph_repos/repodata
createrepo --update /ceph_repos/
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
安装rpmbuild，并创建rpmbuild的工作目录于/root目录下
#yum install rpm-build rpmdevtools
#rpmdev-setuptree
- 1
- 2
- 3
现在可以直接运行了，但是可以看看branches.sh，他将获取编译的版本，通过处理git show-ref 获取commit 和 branch，它会将所有的版本都包含进去，对于搭建一个demo，这个编译下来不知道多少次，又要多久！所以可以修改一下，只编译某一个版本，例如v14.0.0，还有那些可以去ceph下使用git show-ref看。
#vi branches.sh
……………………
cd “$DIR/build”
echo “v14.0.0”
exit 0
……………………
- 1
- 2
- 3
- 4
- 5
- 6
- 7
运行Gitbuilder
#./start
- 1
Repo服务器
Ceph被编译成rpm包之后，已经复制到了相应的目录下，而且目录树的结构与ceph官方的gitbuilder一致。接下来就是将这个目录发布到局域网上，让其他的节点可以通过网络使用他们。
这里采用nginx来构建服务器。
安装nginx：
#yum install nginx
- 1
启动 nginx：
#systemctl start nginx
- 1
进入浏览器，输入本机的IP地址，可以看到nginx的欢迎界面，说明安装成功了。接下来就修改配置文件，将我们之前的目录发布出去。
#vi /etc/nginx/nginx.conf
修改两个地方：
default_type text/plain
………
location / {
# 打开目录控制，使我们的页面能以目录方式呈现给用户
autoindex on;
root /ceph_repos;
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
启动nginx：
#systemctl restart nginx
- 1
使用浏览器访问 http://192.168.122.251(本机IP)，就可以看到gitbuilder的目录树结构的界面了。
NTP服务器
#yum install ntp
#vi /etc/ntp.conf
修改
restrict 172.16.100.0 mask 255.255.0.0 nomodify
server 127.127.1.0
fudge 127.127.1.0 stratum 10
重启ntpd服务
#systemctl restart ntpd
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
可能遇到的错误
- Can’t locate LockFile/Simple.pm in……………..
#yum install perl-CPAN
#perl -MCPAN -e ‘install “LockFile::Simple”’ //按照提示让其自动安装
#./start
- 1
- 2
- 3
- 4
- Ceph编译环境没搞好
#yum groupinstall "Development Tools"
#yum install rpm-build python-virtualenv//看报错，缺什么安装什么
在Ceph下有编译的环境检测安装脚本，运行该脚本即可
#cd ~/gitbuilder/build
#bash run-make-check.sh
