10046 trace name context forever

先日、分散ファイルシステムでLustreに興味があるとブログに書きましたがZFS on Linux( http://zfsonlinux.org/ )も、気づいたらrc4までリリースが進んでいます。 rc3でlustreとの連携が図られた模様でlustreのバックエンドとしてzfsが使用可能になっています。さらにサポートされるカーネルも2.6.32ベースと比較的、ビルドしやすい?感じになっています。(絶賛、開発中なのは変わりませんが...) 今回は、rc4をベースにlustre連携をやってみようと思います。 まずは、lustreを動かすには、いくつかカーネルにパッチをあてる必要があるので、そちらから。使用した環境は Oracle Linux 6 なのですが、カーネルソースが入手できるものがRedhat互換のkernel-2.6.32-71.el6だったので、そちらをベースにパッチをあてることにしました。 1. 事前準備 # public yum の準備 $ cd /etc/yum.repos.d $ wget http://public-yum.oracle.com/public-yum-ol6.repo ## enabled=1をお忘れなく # 不必要なので停止 $ service iptables stop $ chkconfig iptables off $ vi /etc/sysconfig/selinux $ setenforce 0 2. パッチ(を含むlustreソース)をダウンロード カーネルのビルドはこちらを参考に( http://fedoraproject.org/wiki/Docs/CustomKernel ) $ mkdir ~/work; cd ~/work $ wget --no-check-certificate http://github.com/downloads/behlendorf/lustre-kdmu/lustre-2.0.58.2-1chaos.tar.gz $ tar xzvf lustre-2.0.58.2-1chaos.tar.gz $ yum install rpmdevtools yum-utils 3. カーネルビルド環境の準備 $ rpmdev-setuptree ...

データベースを動作させる上で、安くて、速くて、信頼できる足回りはないものか? 安い : 基本的にはタダで、できないか? 当然ですが、基本的なハードウェア費用はタダじゃない前提です。 速い : シーケンシャルリードで5GB/sくらい。欲しいです。 信頼性 : 特別なハードウェアなしで、RAID6相当の信頼性が欲しいです。 拡張性 : ディスク追加だと、スケールアップしかないので、ノード追加といったスケールアウト可能なもの。 相当、無理な要求のようですが、最近の分散ファイルシステムを使えば、かなり良い線が行くのではないか?と検討中です。きっと、分散ファイルシステムでなくてもやり方や考え方を変えれば、近いものも可能かと思いますが。。。 ただ、ファイルシステムレベルで、上記が要件が満たせるようであれば、データベースはもちろん、様々な用途に使える(いや、使いやすい)んじゃないかと思うわけです。 最近、個人的によく目にする分散ファイルシステムとして Gluster File System があります。 カーネルをいじらず、お手軽に分散ファイルシステムを構築可能なのですが、カーネルをいじらないので FUSE ベースなので、パフォーマンスに難がありそうです。 ただし、他の分散ファイルシステムと、Glusterを比較したパフォーマンス結果も見当たりませんので、今後の検証ネタとしたいと思っています。 FUSEベースではなく、カーネルにパッチを当てたり、一部カーネルに取り込まれたりするものも存在します。 カーネルに取り込まれた(2.6.34にて) Ceph がありますが、まだまだ不安定との情報もあります(これはあくまでも現時点で。という意味です) また、カーネルパッチとして提供されているものとして、 Lustre File System があります。 Lustreとして面白いものとして、 ZFSonLinux に紹介されています。 Lustre自体Cephに比べ、かなり実績があるように思われます。が、あまり安いと呼べるアーキテクチャではないようです。 それは、上記の要件の信頼性がLustre自体では実装されていないからです。(要はストライプのみ実装されている)ですので、Lustreは信頼性担保のためにH/W or S/WでのRAIDを推奨しています。なので、エンタープライズで...