きのしのきょう

高専BSDユーザーグループ(KosenBUG)のBOFが仙台でありました。そこでFreeBSD上でZFSを使う様子を実演したのですが、結構好評だったので、やったことをまとめておきます。

とりあえずZFSを簡単に試してみる、というコンセプトなので、HDDなどの準備が無くても大丈夫なように、mdデバイス（要はRAM Disk）を使って試してみます。とりあえず、4つデバイスを用意してみましょう（サイズは、1つのデバイスが64MB以上無いとZFSでは使えないので、それ以上にしておく）。

# mdconfig -a -t malloc -s 100m
md0
# mdconfig -a -t malloc -s 100m
md1
# mdconfig -a -t malloc -s 100m
md2
# mdconfig -a -t malloc -s 100m
md3
# mdconfig -l
md0 md1 md2 md3

とりあえずこれで100MBのRAM Diskが4つ(md0～md3)できたので、こいつを使ってZFSのストレージプール（ZFSのファイルシステムを切り出す元となるHDDのかたまりのようなもの）を構成してみます。とりあえずストレージプールの名前をkbugpooolとすると、

# zpool create kbugpool md0 md1 md2 md3

これだけで作れます。作った領域は、（デフォルトでは）勝手に/の下にマウントされます。

# zpool status kbugpool
  pool: kbugpool
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        kbugpool    ONLINE       0     0     0
          md0       ONLINE       0     0     0
          md1       ONLINE       0     0     0
          md2       ONLINE       0     0     0
          md3       ONLINE       0     0     0

errors: No known data errors

# df -H kbugpool
Filesystem    Size    Used   Avail Capacity  Mounted on
kbugpool      367M      0B    367M     0%    /kbugpool

zpool createの引数として単純にデバイスファイル名を並べると、単純に領域が連結されます（すなわちRAID0 / JBODみたいなもの）。もちろん、この状態でどれかのディスクに障害が起きると、データが失われちゃいます。

それじゃあんまりなので、いわゆるRAID10の構成にしてみます。今作ったkbugpoolを一度削除して、

# zpool destroy kbugpool

今度はmirror指定を加えて作ってみます。

# zpool create kbugpool mirror md0 md1 mirror md2 md3

`mirror'指示の後ろに書いたデバイス同士でデータがミラーリングされます。ここではmd0とmd1、md2とmd3とでそれぞれミラーリング(RAID1)されます。それらを連結(RAID0)するので、結局RAID10の完成です。

# zpool status kbugpool
  pool: kbugpool
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        kbugpool    ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            md0     ONLINE       0     0     0
            md1     ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            md2     ONLINE       0     0     0
            md3     ONLINE       0     0     0

errors: No known data errors
# df -H kbugpool
Filesystem    Size    Used   Avail Capacity  Mounted on
kbugpool      167M      0B    167M     0%    /kbugpool

ミラーリングしているので、最初の例の約半分の容量になっています。

とりあえず障害対策はできました。でも、時代はRAID6でしょう。もちろんZFSでもできます。ZFSではraidz2指定をすることによりRAID6相当の構成が作れます。とりあえずさっき作ったストレージプールを消して、

# zpool destroy kbugpool

raidz2で作ってみます。

# zpool create kbugpool raidz2 md0 md1 md2 md3

コマンドはこれだけ。

# zpool status kbugpool
  pool: kbugpool
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        kbugpool    ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            md0     ONLINE       0     0     0
            md1     ONLINE       0     0     0
            md2     ONLINE       0     0     0
            md3     ONLINE       0     0     0

errors: No known data errors
# df -H kbugpool
Filesystem    Size    Used   Avail Capacity  Mounted on
kbugpool      166M    131k    166M     0%    /kbugpool

パリティで2台分の容量を使用するので、4台構成の場合RAID10の例と容量は変わっていませんが、RAID6になっています。

さて、ここまででストレージプールの作成は終了。今度はファイルシステムをストレージプールから切り出してみます。

たとえば、dataとbackupの2つのファイルシステムを作成するには、

# zfs create kbugpool/data
# zfs create kbugpool/backup

これだけです。デフォルトでは、ストレージプールがマウントされたディレクトリの下にマウントされます。

# zfs list
NAME              USED  AVAIL  REFER  MOUNTPOINT
kbugpool          206K   158M  31.4K  /kbugpool
kbugpool/backup  26.9K   158M  26.9K  /kbugpool/backup
kbugpool/data    26.9K   158M  26.9K  /kbugpool/data
# df -H /kbugpool /kbugpool/data /kbugpool/backup
Filesystem            Size    Used   Avail Capacity  Mounted on
kbugpool              166M      0B    166M     0%    /kbugpool
kbugpool/data         166M      0B    166M     0%    /kbugpool/data
kbugpool/backup       166M      0B    166M     0%    /kbugpool/backup

もちろん、オプションでマウント先は変えられます。他にも、最低限確保しておく容量や最大容量制限(Quota)など、たくさん指定できるオプションがあります。

以上、簡単ZFS体験でした。

最後に後始末。

# zpool destroy kbugpool
# mdconfig -d -u 3
# mdconfig -d -u 2
# mdconfig -d -u 1
# mdconfig -d -u 0

さて、RAIDアレイを組んだらとりあえずやっておかないといけないこと、それは障害時にちゃんとリビルドできるかという確認。これをやっておかないと、いざというときに泣きを見ます。

とりあえず、現状は、

# zpool status
  pool: zpool0
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zpool0      ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad6     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    ONLINE       0     0     0

errors: No known data errors

と、6台のHDDでRAID6(raidz2)を組んでいます。

ここで、ad14に障害が起きたと仮定して、えいやっとad14を引っこ抜きます（ちょっと乱暴だけど…）。すると、

# zpool status
  pool: zpool0
state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://www.sun.com/msg/ZFS-8000-D3
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zpool0      DEGRADED     0     0     0
          raidz2    DEGRADED     0     0     0
            ad4     ONLINE       0     0     0
            ad6     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    UNAVAIL      0     0     0  cannot open

errors: No known data errors

となり、見事にad14が壊れたっぽくなりました。

ここで一旦電源を落として（電源を入れたままでもよかったんだろうけど）、ad14を差し直して、再度立ち上げます。で、状態を確認すると、

# zpool status
  pool: zpool0
state: ONLINE
status: One or more devices could not be used because the label is missing or
        invalid.  Sufficient replicas exist for the pool to continue
        functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://www.sun.com/msg/ZFS-8000-4J
scrub: resilver completed with 0 errors on Mon Jun 23 22:31:55 2008
config:

        NAME        STATE     READ WRITE CKSUM
        zpool0      ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad6     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    UNAVAIL      0     0     0  corrupted data

errors: No known data errors

ちょっと状態が変わりました。メッセージにもあるとおり、zpool replaceコマンドを実行して、HDDを交換したよということをZFSに教えてあげる必要があるので、

# zpool replace zpool0 ad14

とコマンドを打ってあげます。そうしたら、HDDが頑張って働き始めて、なんかやってるっぽい感じがします。

# zpool status
  pool: zpool0
state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scrub: resilver in progress, 0.00% done, 510h5m to go
config:

        NAME            STATE     READ WRITE CKSUM
        zpool0          DEGRADED     0     0     0
          raidz2        DEGRADED     0     0     0
            ad4         ONLINE       0     0     0
            ad6         ONLINE       0     0     0
            ad8         ONLINE       0     0     0
            ad10        ONLINE       0     0     0
            ad12        ONLINE       0     0     0
            replacing   DEGRADED     0     0     0
              ad14/old  UNAVAIL      0     0     0  cannot open
              ad14      ONLINE       0     0     0

errors: No known data errors

実際、ad14をリビルドしていることが分かります（ZFSでは、rebuildではなくresilverというらしい）。で、しばらく放置すると元通り。

# zpool status
  pool: zpool0
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zpool0      ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad6     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    ONLINE       0     0     0

errors: No known data errors

以上、無事リビルド完了です。本当にZFSは簡単です。

参考資料:

• http://www.seichan.org/: FreeBSD-ZFS
• Sun Microsystems Documentation: Solaris ZFS 管理ガイド
• http://wiki.milkcup.jp/: gmirrorを使用したミラー環境の構築
• FreeBSD Wiki: ZFS

今まで、Dell CERC/SATA 1.5/6ch RAIDカードを使ってRAID5のディスクアレイを組んでいました。特に不満もなく今まで使ってきたのですが、最近どうもこのコントローラが不安定。壊れかけのようです。

こういうときはとっととRAIDカードを交換するのが定石なのですが、困ったことに今使っているRAIDカード、もともとDELLのサーバのオプション（しかもオークションで入手）なので、同じ物は簡単に手に入りません。

こうなるとハードウェアRAIDの困ったところ、もうそのまま復旧はあきらめるしかありません（実際はこのRAIDカード、AdaptecのOEMなので、AdaptecのRAIDカード買ってくればたぶん大丈夫なんだけれどもね）。本当はこういうときに備えて、同一カードを交換用として準備すべきなんだけれども、いかんせん個人では難しいですよね。

まぁ、ちょうど今のアレイも容量がいっぱいいっぱいだったので、いい機会と思い、新しくディスクアレイを構築することにしました。今回の件でハードウェアRAIDはやめて完全ソフトウェアRAIDとすることで方針は決定（どーせお家サーバなので、性能はソフトウェアで十分）。

また、現状はRAID5ですが、今ならRAID6だろう、ということで、冗長化はRAID6に決定。

さて、方針が決まればどうやってそれを実現するかですが、

• ZFS (Solaris, FreeBSD)
• raid456.ko (Linux) ?

のどちらかしか選択肢はないようです。さすがRAID6。

で、ぐぐってみると、raid456はあんまりいい評判がないのです。というか、情報自体が少ない。対してZFSの方は、さすが商用だけあって、なかなかのものらしい。となれば、ZFSしか残らないわけですよ。

あとは、OpenSolarisかFreeBSDか、どっちかで組む、ということになるのですが、今使っているのがFreeBSDなので、FreeBSDでやってみる事に決定。バージョンを7.0に上げないといけないけど…

というわけで、ここからが本題。ZFS on FreeBSD 7.0-RELEASEの構築。

7.0-RELEASEに上げるのは本稿の目的から外れるので、さくっと省略。

で、今あるRAID5アレイのファイルをバックアップ。これは1TBのHDDを用意してコピーしただけ。

そしたら、今使っているRAIDカードと、それにつながっているHDDを全交換。もうRAIDコントローラの載ったカードじゃなくてもいいので、単なるSATA拡張カードAOC-SAT2-MV8と、500GB HDD×6台を搭載。

atacontrolで見てみると、こんな感じ。

# atacontrol list
ATA channel 0:
    Master:      no device present
    Slave:       no device present
ATA channel 1:
    Master:      no device present
    Slave:       no device present
ATA channel 2:
    Master:  ad4 <ST3500630AS/3.AAK> Serial ATA II
    Slave:       no device present
ATA channel 3:
    Master:  ad6 <ST3500320AS/SD15> Serial ATA II
    Slave:       no device present
ATA channel 4:
    Master:  ad8 <ST3500320AS/SD15> Serial ATA II
    Slave:       no device present
ATA channel 5:
    Master: ad10 <ST3500320AS/SD15> Serial ATA II
    Slave:       no device present
ATA channel 6:
    Master: ad12 <ST3500320AS/SD15> Serial ATA II
    Slave:       no device present
ATA channel 7:
    Master: ad14 <ST3500320AS/SD15> Serial ATA II
    Slave:       no device present
ATA channel 8:
    Master:      no device present
    Slave:       no device present
ATA channel 9:
    Master:      no device present
    Slave:       no device present
ATA channel 10:
    Master: ad20 <ST3250820AS/3.AAE> Serial ATA II
    Slave:       no device present
ATA channel 11:
    Master: ad22 <ST3250820AS/3.AAE> Serial ATA II
    Slave:       no device present
ATA channel 12:
    Master: ad24 <ST3320620AS/3.AAK> Serial ATA II
    Slave:       no device present
ATA channel 13:
    Master: ad26 <ST3320620AS/3.AAE> Serial ATA II
    Slave:       no device present

なんかすごいことになっています。ad20～ad26は今まで使っていた（これからも使うけど）/や/homeなどが入っているディスク。ad4～ad14までが新しくつないだディスク。ad4～ad14の6台を使ってZFSでRAID6のアレイを組みます。

まずは、ZFSのカーネルモジュールzfs.koのロード…と思ったけれども、何もしなくても、必要なときに勝手に読み込まれるみたい。なので、ちゃっちゃと進んじゃいます。

ZFSについての詳しい説明は他に譲る（参考資料参照）として、結果的には次の順で作業します。

1. ストレージプールの作成
2. ファイルシステムの作成

以上です。とってもシンプルです。実際の作業もシンプルです。実際の作業は次のようになります。

ストレージプールの作成は、今回RAID6とするのでraidz2を明示して

# zpool create zpool0 raidz2 /dev/ad4 /dev/ad6 /dev/ad8 /dev/ad10 /dev/ad12 /dev/ad14

これだけでおしまい。zpool statusコマンドで見てみると、

# zpool status
  pool: zpool0
state: ONLINE
scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zpool0      ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            ad4     ONLINE       0     0     0
            ad6     ONLINE       0     0     0
            ad8     ONLINE       0     0     0
            ad10    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    ONLINE       0     0     0

errors: No known data errors

このように、zpool0というストレージプールができていることが分かります。この時点で、/zpool0にすでにマウントされてしまうのでそのまま使えるっぽいのだけど…

# mount
/dev/mirror/gm0s1a on / (ufs, local)
devfs on /dev (devfs, local)
/dev/mirror/gm0s1e on /tmp (ufs, local, soft-updates)
/dev/mirror/gm0s1f on /usr (ufs, NFS exported, local, soft-updates)
/dev/mirror/gm0s1d on /var (ufs, local, soft-updates)
/dev/mirror/gm1s1d on /home (ufs, local, soft-updates, acls)
procfs on /proc (procfs, local)
zpool0 on /zpool0 (zfs, local)
devfs on /var/named/dev (devfs, local)

次に、ファイルシステムの作成（？）をおこないます。今回は、zpool0から/backupと/recを切り出します。zfsコマンドで、マウントポイントを明示して、

# zfs create -o mountpoint=/backup zpool0/backup
# zfs create -o mountpoint=/rec zpool0/rec

これもこれだけでおしまい。手応え無し。(^^;)

# mount
/dev/mirror/gm0s1a on / (ufs, local)
devfs on /dev (devfs, local)
/dev/mirror/gm0s1e on /tmp (ufs, local, soft-updates)
/dev/mirror/gm0s1f on /usr (ufs, NFS exported, local, soft-updates)
/dev/mirror/gm0s1d on /var (ufs, local, soft-updates)
/dev/mirror/gm1s1d on /home (ufs, local, soft-updates, acls)
procfs on /proc (procfs, local)
zpool0/backup on /backup (zfs, local)
zpool0/rec on /rec (zfs, NFS exported, local)
zpool0 on /zpool0 (zfs, local)
devfs on /var/named/dev (devfs, local)

以上、完了。ちなみに、dfしてみると、

# df  -H
Filesystem            Size    Used   Avail Capacity  Mounted on
/dev/mirror/gm0s1a    520M    315M    164M    66%    /
devfs                 1.0k    1.0k      0B   100%    /dev
/dev/mirror/gm0s1e    260M     27M    212M    11%    /tmp
/dev/mirror/gm0s1f    154G    5.7G    136G     4%    /usr
/dev/mirror/gm0s1d    4.2G    1.4G    2.4G    38%    /var
/dev/mirror/gm1s1d    242G    177G     46G    79%    /home
procfs                4.1k    4.1k      0B   100%    /proc
zpool0/backup         769G     56G    713G     7%    /backup
zpool0/rec            1.9T    1.2T    713G    63%    /rec
zpool0                713G    131k    713G     0%    /zpool0
devfs                 1.0k    1.0k      0B   100%    /var/named/dev

てな感じ。ちょっとわかりにくい…

あとは、起動時にZFSのファイルシステムを自動でマウントするように、/etc/rc.confへzfs_enable="YES"を入れておく。これでおしまい。

まぁ、とりあえずZFSは拍子抜けするぐらい簡単に使えちゃうって事で。

参考資料:

• http://www.seichan.org/: FreeBSD-ZFS
• Sun Microsystems Documentation: Solaris ZFS 管理ガイド
• FreeBSD Wiki: ZFS

今日の作業で、実家サーバをDELL PowerEdge750からNEC Express5800 / i110Ra-1hに移転完了。これで、サーバのサイズが半分になったので、ちょうど納戸に収まるようになりました。

今日はPostfixの移行でちょっと苦戦したけど、main.cfのtransportとvirtualまわりをちょっと変更してうまくいった感じ（いいかげん）。

今までの移行で行った作業：

1. FreeBSD 6.2のインストール
2. /homeの移行
3. Sambaの移行
4. BINDの移行
5. Postfixの移行
6. qpopperの移行

以上で全てのはず。

今まで自宅で使っていたNEC Express5800 / i110Ra-1hを実家サーバにするために、HDDの増強（換装）作業。

このサーバにはSATA HDDが2台積めて、今まで、FreeBSDのgmirrorでミラーリングしていました。1台目には80GB、2台目には160GBのHDDが載ってました。これを、320GBのHDD2台に交換するのが目的。

環境は全く新しく作るので、完全にインストールからやり直し（後から考えると、環境移行した方が楽だったことに気づくのだが…）。

作業としては、まず2台目のHDDをgmirror remove gm0 ad1としてミラーから外した後、320GBのHDDに交換。そして、fdisk, bsdlabelでパーティション、スライスを設定していく（実際はsysinstall使って手抜き）。

さて、これらのスライスをいったん/mntの下にマウントして、システムをインストール。といっても、make buildkernel, make buildworldでバイナリを作ってからmake DISTIDIR=/mnt installkernel, make DISTDIR=/mnt installworldでインストールしただけ。

でも、これだけだと/mnt/etcの下に何もなかったりするので、今までのファイルを(cd /; pax -r -w -p e etc /mnt/)とかしてコピー。あと、シングルユーザーモード用に/.profilesと/.cshrcもコピー。それと/boot.confと/boot/loader.confも忘れずに。

次に、ミラーリングの設定。2台目の新しいHDDはミラーリング対象になっていないので、gmirror label sys0 ad1としてミラーリングの設定。ただし、まだ1台だけなので、ミラーにはなっていないけど。で、gmirrorの設定に合わせて/mnt/etc/fstabも書き換え。

さて、ここまでの作業で新しい2台目のHDDから起動できるはずなので、起動してみる。が、カーネルをロードした時点で何も表示しなくなってしまう。コンソールも、シリアルもダメ。でも、ちゃんとマルチユーザモードまで起動している。何で？と悩んだけど、どうやら/boot/device.hintsが無かったのがいけなかった様子。/boot/device.hintsをコピーしてあげたら無事解決。

まぁ、無事起動するようになったので、1台目のHDDも320GBに交換して、ミラーリングのペアに加えることにする。古い1台目のHDDを取り外す前にgmirror remove gm0 ad0としてから（これでgm0は消滅）、新しいHDDに交換。で、このHDDをミラーのペアに加えることにする。gmirror insert sys0 ad0を行うと、自動的にrebuild開始。

以上、HDDの増強作業終了。

あまった80GBと160GBのHDDどうするかなぁ。中途半端な容量だし。

昨日、RAID5アレイのdegraded→rebuildの試験をしてうまくいったが、状態の監視ができない課題があった。

しかし、FreeBSD-users-jp MLからの情報によると、ports/sysutils/aaccliってのが使えるらしいので、早速インストールしてみた。

無事、RAIDの状態が見られるようになった。万歳！情報をくださった皆さん、ありがとうございました。

Dell CERC/SATA 1.5/6ch RAIDカードを使って、FreeBSDでRAID5を使っているのですが、管理ツールがないのでRAIDアレイの状態が分からないという重大な問題が。

とりあえず、FreeBSD標準のaacドライバが何かメッセージを出してくれるかを期待して、RAIDアレイ中の1台を動作中に引っこ抜いて（乱暴(^^;）degradedにしてみるが、何もメッセージ無し。残念。

で、再度HDDを元に戻してみたが、相変わらずメッセージ出ず。でも、ちゃんとrebuildは始まった。このあたりはさすがハードウェア実装のRAIDカードだ。

しかし、障害の状態が分からないのは致命的。これはLinuxの管理ツールを動かしてみるしかないなぁ。

いっこうに安定しないHighPoint RocketRAID 2220をやめて、オークションで手に入れたDell CERC/SATA 1.5/6ch RAIDカードを使ってRAID5を構成することにしました。

RAIDカードのBIOSでHDD5台によるRAID5アレイを構成して、再起動。

結果、標準のaacドライバで何事もなく認識。fdisk, bsdlabel, newfsして、無事にファイルが書けることも確認できました。

今までの苦労は、いったい何だったんだ…(;_;)

ただ、時々、起動時にルートパーティションをマウントする時点で固まる（これってRocketRAID 2220の時と同じ症状だなぁ。頻度は少ないけど）のが、原因不明。うかつにリモートからリブートできないってことだなぁ。困る。

参加者8人のこぢんまりしたミーティングで、和気藹々とした雰囲気で、ざっくばらんにいろいろな話をしました。

自己紹介から始まって、AsiaBSDConの話、FreeBSD-Currentについて、そのほかにも携帯電話の活用方法などなど…

その後、焼き肉をしながら懇談。面白い話が聞けて、やっぱりこういう場は重要だなぁと実感。

STM説明会のあと、秋葉原へ行きました。
まずはRAIDカードを店のサポートへ持って行きました。そこで初めて「当店では商品になんと書いてあってもWindowsしかサポートしていない（商品にはFreeBSDサポート明記）」と言われて、結局返金ということで話はまとまりました。
次は初期不良？なHDD×2台を別のサポートに持参。相性問題かと思ったけど、やっぱりおかしかった。これは同品交換。

返品したRAIDカードの替わり、どうしようかなぁ。