What is BIGDATA?

情報産業新聞にCloudianが紹介されました

2012-02-06T16:29:00.000+09:00

2012年2月6日号の「情報産業新聞」の3面にGeminiのCloudianが「パートナー制度開始、クラウドストレージで」と題して、次の見出し記事とともに大きく紹介されています。

「ジェミナイ・モバイル・テクノロジーズは、アマゾン・ウェブ・サービス（AWS）のクラウドストレージサービスと完全互換したクラウド・ストレージを構築できるパッケージソフトCloudian（クラウディアン）のパートナー制度を設け、販売強化に乗り出したことを発表した。1月末時点でのパートナー企業は、クリエーションライン、日本テレマティーク、NTTソフトウェア、クララオンライン、コアマイクロシステムズ、社会科学情報システムズの6社となっている」

ぜひともご覧ください。

クリエーションライン様のホームページにCloudianが紹介されています

2012-02-01T11:19:00.000+09:00

2012年1月31日に、Cloudianのパートナー各社について発表したところですが、パートナーの1社であるクリエーションライン様のホームページにCloudianが紹介されています。

http://www.creationline.com/

クリエーションライン様については、「Agile Cat - in the Cloud」の以下の記事で、「この三社の守備範囲は、それぞれ、クリエーションラインが CMS（Cloud Management Systems）で、ミドクラが SDN（Software Defined Networking ）、そしてジェミナイが Storage という分担です。そして、この提携のコアは CloudStack であり、また、クリエーションラインがハブになることで、この３つの要素をつなげていくというものです。」と紹介されています。

クリエーションラインが展開する、CloudStack／MidoNet／Cloudian 統合戦略とは？

Cloudianについても、「ジェミナイの提供する Cloudian は Cassandra ベースのストレージであり、S3 互換の API を備えているため、ユーザーはもちろんのこと、ツール類を提供するサードパーティへも訴求していけます。そして、すでに Nifty などへの導入実績があることも魅力とのことです。」と紹介いただきました。

「Amazon S3 用に開発されたソフトウェア資産をターゲットに、新しいプロダクトやサービスを展開しているという、ワールドワイドなトレンドがあります。」というように、新しいトレンドをわかりやすく、的確に書かれています。ご興味のある方は、ぜひご覧ください。

Cloudianのパートナーに関するプレスリリースを行いました

2012-01-31T10:20:00.002+09:00

2012年1月31日、Cloudianのパートナー制度の導入と6社のパートナー様についてプレスリリースを行いました。次のように多くのメディアに記事にしていただきました。

Geminiの「Cloudian」がパートナー制度を導入(businessnetwork.jp)

S3 REST API完全準拠のクラウド・ストレージを構築できる Geminiの「Cloudian」がパートナー制度を導入(朝日新聞デジタル）

ジェミナイ・モバイル・テクノロジーズ、「Cloudian」がパートナー制度を導入(日刊工業新聞Business Line)

クラウドストレージ構築ソフト「Cloudian」にパートナー制度を導入(クラウドWatch)

S3 REST API完全準拠のクラウド・ストレージを構築できるGeminiの「Cloudian」がパートナー制度を導入(CloudZine)

6社のパートナー各社は次のとおりです。

クリエーションライン株式会社　(http://www.creationline.com/)
日本テレマティーク株式会社 (http://www.nti.co.jp/)
NTTソフトウェア株式会社 (http://www.ntts.co.jp/)
クララオンライングループ (http://www.clara.ad.jp/)
コアマイクロシステムズ株式会社 (http://www.cmsinc.co.jp/)
株式会社科学情報システムズ (http://www.sisinc.co.jp/)

CloudianはAmazon S3 REST APIに完全準拠のクラウドストレージを構築できるパッケージソフトウェア製品です。このS3 REST APIを利用するWebサービス、アプりケーション、アプライアンス、ツールは数百種類が公表されています。このため、S3 REST APIはクラウドストレージの事実上の標準とも言えるようになってきました。このS3 エコシステム（生態系）がクラウドストレージ市場をドライブすることになることは間違いないでしょう。

いまはS3 REST APIは、不特定多数のユーザーが利用するパブリッククラウドのためのWebサービスなどのために使われていますが、企業内で利用するプライベートクラウドにおいてもS3 REST APIによるアプリケーションやアプライアンスを利用し、パブリックとプライベート間を相互でバックアップするなどのハイブリッドな利用に対するニーズが寄せられ始めています。

Cloudianは今回発表した6社のパートナー各社とともに、このようなハイブリッドなニーズに応えていきます。ご関心のある方は、ぜひGeminiのサイトからお問い合わせください。

M&D Report 2月号にて、Cloudianが紹介されました

2012-01-25T10:54:00.000+09:00

MM総研が発行する月刊IT総合情報誌、「M&D Report 2012年2月号」のトレンド特集記事、「多様な顧客ニーズに優位性の深化とサービス拡充で応える　－　オンラインストレージ市場の動向　－」において、Cloudianが他の6社のサービスとともに紹介されました。

「S3 REST APIに完全準拠したクラウドストレージシステムを構築するためのパッケージソフトウェアとしては、唯一無二の存在という優位性を活かし、どのようにストレージ市場を変革させていくか楽しみである」

という締めがたいへんに印象的な記事です。ぜひ、ご覧いただければと思います。

Cloud Storage：　Leveling the playing field　(米国ZDNet)

2012-01-10T13:09:00.003+09:00

2012年1月10日の米国ZDNetにGeminiのR&D責任者であり、日本においてもNOSQLやCassandra Hands-on トレーニングで講師を務めたGary Ogasawaraの寄稿記事が掲載されました。ここに日本語でご紹介いたします。

Cloud Storage: Leveling the playing field (ZDNet)

注釈　－　 Amazon S3 は、最有力のクラウドストレージサービスです。使い易さ、機能的なREST API、利用量に応じたコストといった柔軟性のため、とりわけ中小ビジネスから評価を得ています。しかし、データセキュリティとリスク管理という点からは、Amazonから離れ、特に顕著な場合には、プライベートクラウドのための代替ストレージプラットフォームを構築するという考え方もあります。EMC Atmos, Windows Azure, Rackspace Cloudは、Amazon S3の代替です。しかし、S3 APIを提供していません。このことは、新規APIを使うため、アプリケーションの書き換えという高いスウィッチングコストをユーザーに生じさせます。

理想的なソリューションは、100％、S3 APIに準拠しているクラウドストレージ・ソフトウェアパッケージです。これは、プライベートクラウドのためのエンタープライズや自社ブランドのクラウドストレージサービスを提供するサービスプロバイダーに利用されます。それにより、既存のAmazon S3アプリケーションは、新しいシステムに単純に移行させることができます。

この種のソリューションを開発するためには多くのチャレンジがありますが、ここでは3つの一般的なチャレンジを紹介します。まず、このシステムは、クラウドストレージプラットフォームの極めて高い信頼性と拡張性を提供しなければなりません。クラウドストレージの主要命題はデータが決して失われないということです。拡張性に関しては、このソリューションは数台のノードから複数地域にまたがる数百台のノードという大規模システムにおいて稼動しなければなりません。

ふたつめとしては、S3 APIとの互換性を構築し、維持することが難しいということです。たとえば、Openstack　Swiftは、S3互換レイヤーを提供していますが、それは、もっとも基本的な機能を提供するだけです。重要であり、広く利用されているマルチパート・アップロードやアクセスコントロールリストを備えていません。そして、Amazon S3のエンジニアも静かに待っているだけではありません。すなわち、新しいAPI機能を開発し続け、あらゆる互換システムに対して、絶えることの無いキャッチアップを強いることになります。

3番目としては、システムの運用保守はシンプルで低コストでなければならないということです。ユーザーの追加と削除、レポーティング、請求処理といった管理機能は、簡単で信頼性があることを求められます。システムに容量を加える、動かないノードを検知して交換する、バックアップ、再起動のようなシステム運用も全て提供されなければなりません。

Cassandra、MongoDB、HBaseといった商用グレードのNOSQLデータベースが最近開発されていることは、理想的なソリューションを可能にする重要な要素となってきています。これらのストレージソリューションは、拡張性、高可用性、高性能をサポートするために土台から設計されています。概して、拡張性/可用性/性能を得るためにクエリが複雑になるトレードオフとして、それらはシンプル読み書きオペレーションだけを提供します。

たとえば、SQL型トランザクションは通常サポートされません。これらのNOSQLデータベースは、クラウドストレージシステムにとって、高可用性と性能を維持しながら数台から数百台のノードに拡張するための分散型システム基盤を提供します。もっとも重要なのは、一連の分散ノードをまたがる複数のレプリカをいかに管理するかというアルゴリズムが備わっているということです。

しかしながら、NOSQLデータベースは、SQLデータベースと同様の理由により、オブジェクトを格納するために適してはいません。格納されるオブジェクトは本質的に変更できないBLOBです。それらは一度書き込まれると、変更される必要はなく、インデックスされるかクエリされるコンテンツを持ちます。データベースにBLOBを格納することは、NOSQLデータベースでも、機能と言う点で過剰となります。データベースは、大きなオブジェクトを効果的に取り扱うように設計されていません。いくつかの交差するポイントにおいて、ファイルシステムにファイルとして単純にオブジェクトを格納するほうがより効率的になります。このことは、究極のソリューションにつながります。すなわち、ファイルシステム（データベースの代わりとして）に格納されたオブジェクトを管理するためにNOSQLデータベースの分散型システムを使うというハイブリッドアプローチです。

NOSQLとファイルシステムのハイブリッドアプローチは、上記の3つのチャレンジの一番目を解決するだけです。上記の他の2つのチャレンジもまた重要です。しかし、大部分が技術的なチャレンジではなく、優れたエンジニアリングの実行であるという点が異なります。

バイオグラフィ
Gary Ogasawaraは、 Gemini Mobile TechnologiesのVP Engineeringです。これまでサービスプロバイダー向けの大規模メールシステムと高性能、高容量ソフトウェアシステムを開発してきました。Gemini’s Cloudian™ は、S3準拠のストレージソフトウェアパッケージです。

Cloudian Partners Summit 2011を開催しました

2011-12-06T13:35:00.006+09:00

2011年12月6日は、このブログでもご紹介している2件のプレスリリースがあり、たいへんに慌ただしいなかでしたが、初めての「Cloudian　Partners Summit 2011」を開催いたしました。渋谷のセルリアンホテル会議室に40名近くの出席者をお迎えすることができました。

Cloudianは、当初の開発コンセプトはクラウドサービス事業者向けとして開発しました。そのため、クラウドサービス提供に不可欠である統計課金機能、ユーザー・グループ管理機能、利用量の制御機能など、いわゆるサービスプラットフォームがあらかじめ実装されています。また、クラウドサービスを短期間で開始できるよう、インストールが簡単なパッケージソフトウェア製品に仕上げています。

そして、2011年7月19日に商用版をリリース後、約2週間後の8月1日にはクララオンライン様のβサービスに採用いただき、約2ヵ月後の9月29日にはニフティ様の「ニフティクラウドストレージサービス」が商用サービスを開始されています。

ただし、様々なお客様にCloudianをご紹介するなかで、Amazon S3 REST APIに完全準拠している製品はCloudianだけであり、これを自社のデータセンターで構築するプライベートクラウドに利用すれば、パブリッククラウドとの相互バックアップに使えるというお声をたくさんいただくようになりました。

Geminiはソフトウェア開発にフォーカスしているベンチャーです。そのため、このような広範なニーズにお応えするためには、すでに多く経験を積んだパートナーが必要であると考えました。パートナーの力を借りることで、Geminiだけではお会いできないお客様にもCloudianをご紹介でき、その業界にあった専門的な技術サポートも提供してもらえることが期待できます。

このような背景で、パートナー制度を導入することを決め、この「Cloudian Partners Summit 2011」を開催するに至りました。

当日は、ニフティ様から、Cloudianを選んだ理由（そして、苦労した点も少しだけ）をはじめとした、たいへんに貴重な講演もいただきました。

当日の出席者の皆様には、GeminiオリジナルのCloudianワインを記念にお贈りしました。

Cloudianのパートナーにご興味のある方は、こちらのGeminiのホームページよりお問い合わせください。来年のワインはもっと熟成？しているかもしれません。

ミドクラ、クリエーションライン、Geminiの3社提携について発表しました

2011-12-06T12:07:00.001+09:00

2011年12月6日、Cloudianが「ニフティクラウドストレージ」への採用に関する発表と同時になりましたが、ミドクラ様、クリエーションライン様とGeminiの3社提携について発表しました。

戦略的提携の目的としては、「今回提携を行う３社は、それぞれクラウドプラットフォームで必要となるサーバ、ストレージ、ネットワークの各仮想化レイヤーにおいて、多くの導入実績とノウハウを持っており、各社の持つ技術とソリューションを組み合わせることで、このクラウド対応の流れを更に加速すること」であり、

「今回の提携により、高価なアプライアンス製品ではなく汎用IAサーバによるフルラインアップのクラウド環境が実現できることはコスト・柔軟性・規模拡張性において大きな効果を発揮します。それぞれの仮想化レイヤーのAPI連携することにより、レイヤーを跨いだ統合的なプロビジョニング・運用管理を可能にし、コスト・柔軟性・規模拡張性に優れたクラウドプラットフォームを提供」することをねらいとしています。

この発表も多くのメディアにて記事にしていただきました。特に、Public Keyには、次のようなタイトルの記事で大きく掲載されました。

「x86サーバがクラウドの万能細胞になる。サーバもストレージもルータ／スイッチも、x86サーバだけで実現。クリエーションライン、ジェミナイモバイル、ミドクラの3社が提携」

Cloudianについても、

「ジェミナイ・モバイル・テクノロジーズが提供する「Cloudian」は、x86サーバのクラスタを用いてクラウドストレージ機能を実現するソフトウェア。内部でNoSQLのCassandraを用い、分散ストレージによる高信頼を実現しつつ、AmazonクラウドのS3互換APIを提供します。」と紹介されています。

「3社の提携は、このx86サーバを万能細胞としたクラウド構築を一挙に実現してしまおうという大いなる野望を秘めていると同時に、従来のクラウド構築を大きく変える可能性を持っている点で注目に値します。」という期待を込めたコメントをいただいています。この期待に沿えるよう、3社でエキサイティングな展開をしてみたいと思います。

Cloudianが「ニフティクラウドストレージ」に採用いただいたことを発表しました

2011-12-06T11:47:00.000+09:00

2011年12月6日、Cloudianがニフティ様が提供するクラウドストレージサービスである「ニフティクラウドストレージ」に採用され、本格稼働していることについて発表いたしました。ニフティ様より、以下のエンドースメントをいただき、関係者全員が心から喜んでいます。

「Gemini様の本報道発表を心より歓迎いたします。「ニフティクラウドストレージ」は、2011年9月29日に正式公開した容量無制限で自由自在に伸縮できるクラウドストレージサービスです。これまで『ニフティクラウド』が提供してきたシステムリソースに加え、「ニフティクラウドストレージ」をラインナップとしていち早く拡充できたのも、Gemini様から多大のご支援を頂いたことが大きいと考えております。今後も、『ニフティクラウド』はGemini様とともに、クラウドコンピューティング市場でこれまで以上の価値を提供してまいります。」

このプレスリリースは多くのメディアに記事にしていただきました。

Geminiの「Cloudian(R)」が「ニフティクラウドストレージ」に採用され、本格稼働　(asahi.com)

GeminiのCloudianがニフティクラウドストレージで本格稼働、ミドクラ等との戦略提携も発表 (businessnetwork.jp)

ニフティクラウドストレージが採用したパッケージ製品　Gemini　(TechTarget Japan)

また、英語でもプレスリリースを行ったところ、400を超える海外メディア記事で紹介されました。

Nifty Selects Gemini's Cloudian(R) for the Nifty Cloud Storage Service Software Enables Full S3 REST Compliant Multi-Tenant Cloud Storage (Yahoo! Finance)

CloudianはS3 REST APIに完全準拠していることから、S3 REST APIを使っているWebサービス、アプリケーションは何も改修せずに、「ニフティクラウドストレージ」を利用することができます。ぜひ、ご利用になってみてください。

ニフティクラウドストレージについての詳細はこちらです。Cloudianのロゴも掲載いただいていますので、ぜひご覧ください。

Cloudian-OpenStackディストリビューションについて発表しました。

2011-10-24T10:42:00.000+09:00

この数カ月間、Cloudianに関する発表が続いています。米国では10月20日（木）、日本では10月21日（金）に、GeminiはOpenStackコミュニティに参加し、Cloudian－OpenStackディストリビューション版のソフトウェアパッケージをリリースすることを発表しました。

今回は日本語、英語のみならずロシア語、ドイツ語などでのメディア記事にも掲載されました。ここに、主要な記事をご紹介しておきます。

Geminiのプレスリリース本文：

English Press Release：Gemini joins the OpenStack community, Enhance API offerings

日本語版プレスリリース：Geminiは、OpenStackコミュニティに参加し、 Amazon S3との互換性等を機能追加した「Cloudian™-OpenStack ディストリビューション」をリリース

主な日本語メディアでの紹介記事：

businessnetwork.jp:Gemini、クラウドストレージCloudianにOpenStack対応パッケージを追加
asahi.com:Geminiは、OpenStackコミュニティに参加し、 Amazon S3との互換性等を機能追加した「Cloudian(TM)-OpenStack ディストリビューション」をリリース
Cloudzine:「Cloudian™-OpenStack ディストリビューション」をリリース

主な英語メディアでの紹介記事：

Yahoo Finance:Gemini Joins the OpenStack Community, Enhances API OfferingsGemini's Cloudian adds Amazon S3 compatibility, provisioning and billing APIs to OpenStack
ReadWrite Cloud:Cloudian Partnership Opens Up NoSQL Treasure Trove for OpenStack

このうち、ReadWriteの記事を以下に翻訳してみました。

（以下、翻訳）

去る3月、Gemini Mobile Technologiesという新しい会社が、革新的なクラウド-ホスト・データベース・プラットフォーム・サービスを開始しました。これは、オブジェクトをGeminiのクラウドに格納し、利用者は「利用した分だけを支払う」というものです。サービスはCloudianという名前であり、今週初め、Geminiは、Oracleデータベース・クラウド・サービスといったビッグネームに肩を並べるための競争力向上のために、次のステップに踏み出しました。

Geminiとオープンソースのクラウド・オペレーティングシステムであるOpenStackとの新たなパートナーシップにより、OpenStackのアプリケーション開発者は、Cloudianマルチ・テナントNOSQLデータベースへの接続のために、クラウド・ストレージへのアクセスプラットフォームであるAmazon S3 APIを使うことができます。

Cloudianは、実際のところ、データベース・プロバイダーでも、データベース・フォーマットでもなく、むしろ、S3 APIを経由してNOSQLデータベースに接続できるシステムです。この基本的なダイアグラムが示すように、それはCassandraを含む、多彩なNOSQLバックエンド・オブジェクト・ストレージレイヤーを利用しています。Geminiの計画では、将来的にOpenStackのSwiftもバックエンド・ストアに加えるとしています。

Geminiの参画により、クラウド・データベースの光景は、いまはこのように見えます：　OpenStackの利用者は、オンプレミスでサーバークラスターを設定するためのSwiftレイヤーを利用しています。これらのクラスターは、あらかじめ準備されたストレージを使い簡単に拡張します。Swiftの実装はS3 APIを真似ています。このため、Amazonスタイルの「バケット」に大小のデータオブジェクトを格納することができます。しかし、それは、実際のところ、本物のS3にオブジェクトを格納することと全く同じではありません。ごくわずかなプロバイダーが、ミドルウェアレイヤーで活動しており、SMEStorageはそのひとつです。これらのレイヤーは、S3ストレージ互換の命令に何かを行います。

Swiftが完全にCloudianの運用領域で統合されると、残る部分はS3パブリッククラウドとしながら、オンプレミスにどの程度のデータを格納させるかという拡張のために、OpenStackを利用できます。パブリックか専用クラウドプロバイダーとして自らS3準拠ストレージサービスを提供し、お客様のデータは、必要があればオンプレミスとS3ストレージ間に分割することができます。最も重要なのは、すでにS3上で設計構築されたアプリケーションが、代わりに、あなたのS3準拠Cloudianクラスターで展開できるということです。

「新しいノード検知とデータリバランシングはサービス停止なしに自動的に実行されます（PDFはこちらから入手できます）」。Cloudianのデータシートにはこのように記載されています。そして、「Cloudianは、アーキテクチャ固有の自動複製と復旧プロセスにより、データロスなしに、ネットワークとノード障害から回復します。システムは地域冗長性のために、複数のサイトとデータセンター間に展開できます。アップグレードとアップデートは、サービス停止なく実行されます」と。

Questions from the Tokyo Cassandra conference (The Japanese Translation Part 2)

2011-10-11T17:29:00.047+09:00

Part 1に続き、Part 2です。

http://www.datastax.com/dev/blog/questions-from-the-tokyo-cassandra-conference#comment-17013

今回は後半部分を日本語訳で紹介いたします。

（以下、翻訳:Followings are the Japanese translations）

What is leveled compaction and what kinds of workloads does it help?
レベル・コンパクションとは何でしょうか？　どういったワークロードを助けるのでしょう？
手短な回答としては、レベル・コンパクションは、（新しい行を挿入することに反して）同一行へ多くの更新も含め、読み出しが多いワークロードに対してより良い性能を発揮します。もう少し長い回答としては、ブログを書く必要があります。それまでの間、CassandraサミットのLightning TalksでBen Coverston氏がレベルコンパクションに関して説明したスライドとビデオがこちらにありますので参照して下さい。

What management tools are there for performance tuning and recovery?
性能チューニングと復旧のために、どのような管理ツールがありますか？
DataStax’s OpsCenter は、クラスター管理と監視に注力しています。
これは、キャッシュサイジングやi/oキャパシティのようなハイ・レベルの性能チューニングに役立ちます。バックアップとリストアの管理はロードマップに載っています。ロー・レベルの性能チューニングのためには、AppDynamicsやdynaTraceといったものが役立つでしょう。

Does Cassandra offer Hadoop integration?
CassandraはHadoop統合を提供しますか？
はい。Cassandraは、基本的なmap/reduce、Pig、Hiveによる読み書きをサポートしています。DataStaxも、DataStax Enterpriseを提供しており、これは、別個にHDFS、ジョブ・トラッカー、タスク・トラッカーやメタストア不要で、同一クラスターにおいてCassandraとHadoopを利用できるプロダクトです。

How do you add and remove nodes in a Cassandra cluster?
どのようにして、Cassandraクラスターにノードを加えたり、取り除いたりできますか？
基本的に既存のシードに新しいノードを加えて起動するだけというシンプルさです。DataStaxのドキュメンテーションの、adding capacity (容量追加)のところに内容が記載されています。

What is snapshot used for?
スナップショットは何に使われるのでしょうか？
スナップショットは、クラスターのある時点のバックアップを取れるという素晴らしい機能です。
cassandra.yaml内のincremental_backups設定と組みあわせることで、復旧時に最小限のオーバーヘッドとなるように、きめ細かい調整ができます。
スナップショットは、ハード・リンクを使って実装されており、これはCassandraのログ・ストラクチャード・ストレージエンジンゆえに可能です。これにより、速さと極めて効率的な容量確保の両方を実現しています。
スナップショットは、他のクラスターにデータをロードするbulk loaderのためにも使われます。たとえば、本物のデータを使って、アプリケーションの新しいバージョンをテストできるといったようなことができます。私たちは、スナップショットデータに対して直接Hadoopクエリを行えるようにすることも計画しています。

What hardware do you recommend for Cassandra deployments?
Cassandraをデプロイするうえで推奨するハードウェアはありますか？
サーバ以外の機材が同じなのであれば、性能の高いマシンを少ない台数用意するよりも、性能の低いマシンを多い台数用意したいところです。これは、ひとつのマシンの障害が全体のキャパシティに与える影響を少なくします。経験則として、1Uサーバで充分得られるくらいの性能と考えてください。現在では、8コアで32GBのRAMが最適でしょう。しかし、これは作業量によります。もし、Hadoopによる分析を多く行う予定ならば、典型的にディスクスペースやi/oに制約されるでしょう。もし、重い挿入が中心であるならば、CPUに制約されるでしょう。もし、ランダムな読み込みが多いのであれば、磁気ディスクの代わりにSSDを使うべきです。

What performance tuning advice do you have at the OS, JVM, and Cassandra levels?
OS、JVMとCassandraレベルで、性能チューニングに対するアドバイスをお願いします。
XFSを使用してください。RADI0かRAID10（ディスクスペースに制約があるかによります）を使い、commitlogのために別のスピンドル（又はRAID1で2つ）を残しておいてください。noopやdeadlineスケジューラを使用してください。 Cassandraパッケージは、重要なJVM設定をしっかり設定します。通常、箱から出して唯一変更するとしたら、マシンのRAMの半分がJVMヒープサイズに割当てられるので、大きなマシンを使用する場合は8GBを上限値として設定するとよいでしょう（これは、Cassandra1.0のデフォルト動作になります）。私たちは、Cassandraがデフォルトの自動設定で高性能に動くよう最善を尽くしました。あなたがインストールしてすぐに変更したいと思うような項目があるとは考えられません。一度何か負荷を掛け始めた後は、キャッシュサイズのチューニングの項キャッシュサイズのチューニングの項が参考になるでしょう。

Are there best practices for running a cluster on Amazon EC2?
Amazon EC2上のクラスターで動かす際の良い事例はありますか？
ローカル・ストレージでLかXLのインスタンスを使用してください：　I/O性能はSとMサイズでは比例的に悪くなります。EBSはいくつかの理由で悪い組み合わせです（Erik Omnen氏の素晴らしい説明をご覧ください）。すべてのEphemeral disksをRAID0とし、commitlogとデータの両方をそのボリュームへ置いてください（これは、rootボリュームにcommitlogを置くよりも良いことがテストされています）

How does Cassandra compare to OpenStack?
CassandraとOpenStackを比較してどう思いますか？
これらは全く別物です。Cassandraは、高性能分散型データベースです。OpenStackは、クラウド管理ソフトウェアです。OpenStackのクラウド内にCassandraをデプロイしたり、CassandraをOpenStackに組み込んで、コンフィギュレーションと監視データを格納することはできるかもしれません。しかし、そうでなければ、それらは全く関係ありません。

What considerations are there for running repair in a cluster with a few tens of servers?
数十台のサーバーのクラスターでリペアを走らせる際に考慮すべき点は？
最も考慮すべきは、repair merkle treesの構築は、（今のところ）かなり重い処理です。そのため、通常は同時にひとつ以上動かさないほうがよいです。ひとつのマシンでリペアを動かし、それが終わったら次を開始してください。もし、リペアにより性能が悪くなるようであれば、cassandra.yaml内のcompaction_throughput_mb_per_sec設定を減らしてください。

HyperStoreのプレスリリースをしました

2011-10-07T15:04:00.001+09:00

10月5日のCassandra Conference in Tokyoにて、GeminiのグローバルR&Dを統括するGary Ogasawaraから、NOSQLデータベースとしてCassandraを利用している、Amazon S3準拠のクラウドストレージサービスのためのパッケージソフトウェア、Cloudianについて説明をしました。

多くの方に直接説明できる機会は、たいへんに貴重です。そのため、Cloudianの性能とディスクの利用効率を向上するために開発したHyperStoreについて紹介をし、それを公開したことから、併せてプレスリリースも行いました。

今回も多くのメディアで紹介され、また多くのRTもあり、たいへんに喜んでいます。主な記事は次のとおりです。

ITPro：ジェミナイ、Cassandraを使うクラウドストレージの新機能を開発

businessnetwork.jp:Gemini、クラウド・ストレージCloudianの処理性能とディスク利用効率を向上するソフトウェアを開発

asahi.com: Geminiは、Amazon S3準拠クラウド・ストレージ「Cloudian(TM)」において処理性能とディスク利用効率を向上する『HyperStore(TM)』を開発

HyperStoreの構成図です。

HyperStoreによる（初期的な）性能試験結果です。

Questions from the Tokyo Cassandra conference (The Japanese Translation Part 1)

2011-10-07T12:02:00.114+09:00

10月5日のCassandra Conference in Tokyoの翌日、10月6日にジェミナイ・モバイル・テクノロジーズに、Apache Cassandraプロジェクトのチェアマンであり、DataStaxの共同設立者であるJonathan Ellisが来訪し、Cassandra Talk Sessionを開催する予定でした。

会議室の関係で参加人数が限定されてはいましたが、参加予定の皆様には、Cassandraに関する質問を事前準備いただいていました。残念ながら、急遽、来日が中止となったことから、以下のブログで質問に対する回答を公開してくれました。

http://www.datastax.com/dev/blog/questions-from-the-tokyo-cassandra-conference#comment-17013

多少長いので、今回は前半部分を日本語訳で紹介いたします。

（以下、翻訳:Followings are the Japanese translations）

Tokyo Cassandra Conferenceに際し、私のほうから事前に質問をお願いしたところ、お蔭様でとても良い質問の数々を受け取ることができました－－コンファレンスの枠内だけでは応えきれないほど多くの質問を頂いています。そのため、それらの質問に関する回答を公開しておきます。

How is Cassandra different from other NoSQL databases?
Cassandraは他のNOSQLデータベースとどう違うのですか？
Cassandraは、性能、拡張性、高可能性における最良の組み合わせを提供します。他の選択肢ではこれらの軸の少なくともひとつは欠けています。

完全分散で単一障害点が無いことによる拡張性と高可用性は、極めて簡単に理解されます。しかし、性能については、もう少し詳細に説明をしたいと思います。

あまり評価されていないCassandraがもつ能力の特徴として、カラムファミリーのデータモデルで、動的なカラムを使えることから、そうでなければJoin（結合）が必要となるような複雑なクエリをさせるためのマテリアライズド・ビューを事前に計算できるという点です。

How does Cassandra deal with network and hardware failure?
Cassandraはネットワークやハードウェア障害にどのように対処しますか？
Cassandraは、2つの方法で障害に対処します。

まず、そのFAILURE DETECTOR(障害検知)により、ピア・ノードがダウンや接続不可といった障害を検知します。

次に、DYNAMIC SNITCHが、実際にはより難しいタスク（たとえば、ディスク障害のために）性能が劣化しているノード検知した時に他のレプリカにクエリ要求のルーティングを実行します。

Cassandraの堅牢な部分は、マスターも特別なノードも無く、普通に障害に対処します。

What is the roadmap for future Cassandra releases?
将来のCassandraリリースのロードマップは？
私見ですが、Cassandraのコア部分は現在たいへん優れており、これからは使い勝手の向上に注力していく時期だと思います。これは、運用面での向上というよりも、Cassandra上でアプリケーションをより容易に開発できることを指します。

DataStaxが準備を進めているのは、 CQL enhancements、 triggers、entity groups、smarter range queries　です。

What important performance considerations are there when deploying across multiple data centers?
複数のデータセンターに展開する際、性能面で考えるべき重要な点は何でしょうか？
重要なことは（データセンターが地理的に離れているとの前提で）、QuorumConsistencyLevel は良いオプションでは無いということです。なぜならば、少なくとも1つのコーディネーターと全てのデータセンターは、クライアントリクエストを取り扱うために他のデータセンターとの間の往復遅延を待たねばならないことが良くあるからです。

妥協点として、CassandraはLOCAL_QUORUMにより同じデータセンター内で他のクライアントとの強い整合性を保証できるようにしています。そして、当然のことながら、 ConsistencyLevel.ONE でほぼ十分ではないでしょうか：私はアプリケーションの約60%はもっぱらONEを使うと見込んでいます。

What are your thoughts on strong consistency via R/W=One/All?
R/W=One/Allにおける強い整合性に対しては、どのように考えていますか？
厳密に言うと：この質問は、読み出しConsistencyLevelをONE、書き込みをALLに設定して如何に強い整合性を得られるか解釈できます。

私は、これは汎用的な設定として良いとは思いません。なぜなら、いくつかのノードが落ちるとクラスターが書き込み不能になるからです。そのことが、強い整合性が必要な際には、読み出しと書き込みを両方Quorumで実行させる理由です。しかし、それが適切な場合のシナリオも想像できます。たとえば、書き込みは定期的にバルクで書き込み、それ以外のワークロードは読み出しだけという場合です。

Is it possible to use journaling filesystems like XFS or Btrfs? Can you mix different filesystems across different machines in a cluster?
XFSやBtrfsのようなジャーナリングファイルシステムを使うことは可能ですか？　クラスター内で異なるマシーンをまたがり、異なるファイルシステムを混在できますか？
イエス、イエスです。最近、DataStaxはCassandraにXFSを推奨しています。ついでながら、私はBtrfsの性能改善の報告を聞いていますが、それがもう少し安定するまで、Btrfsの商用利用は慎重に考えたいと思います。

ファイルシステムの選択はマシン固有です。言うならば、クラスターの他のマシンが何のファイルシステムか判りませんし、何であろうと構いません。Cassandraはひとつのクラスターで異なるオペレーティングシステムの混在はサポートしません。たとえば、WindowsクラスターやLinuxクラスターはできますが、Windows/Linuxクラスターはできません。

私は、試験環境で異なるファイルシステムをテストすることは良いですが、商用環境におけるベストプラクティスは、異常を調べる際に、トラブルシュートが必要なところを絞り込むために、できるだけ物事を同一にしておくことに気を配ります。

Does Cassandra support multiple storage devices per server?
Cassandraは、サーバー毎に複数のストレージデバイスをサポートしますか？
はい。Cassandraは、cassandra.yamlに複数のdata_file_directories を指定できます。
しかし、JBODコンフィグレーションよりも、RAID0 かRAID10 が推奨されます。

Can you give an example of troubleshooting a Cassandra cluster?
Cassandraクラスターをトラブルシューティングする事例紹介をお願いできますか？
数ヶ月前、あるお客様で、ディスクスペースが一杯になってしまった1つのCassandraのノードがありました。ファイルシステムを調べると、スペースの大部分がcommitlogセグメントにより占められていることがわかりました。

私たちには、調べることが2点ありました。何故、このノードは、クラスターの他よりも高いレベルの書き込み量を扱っていたのか？、そして、何故、期待されているようにcommitlogセグメントは消去されなかったのか？

最初に私達が行ったことは、Cassandraのlogファイルの確認です。それは、予想外に高い書き込みデータ量がありましたが、それ以外に異常はありませんでした。クラスターの他のノードのログを観ると、それらの多くで、書き込み量が最高に到達する前に、hinted handoffを実行し始めていることが疑わしく見えました。

お客様に確認すると、この前の間に、そのノードはダウンしていました。クラスターの他に対して高い書き込み負荷を続けており、ノード復旧の際に送られてくる大量のヒント（hints）があるということは、納得できます。

しかし、commitlogセグメントが消去されないのは何故でしょうか？　私たちは、お客様にcommitLogクラスのデバッグロギングを有効にしてもらいました。そこで、memtableがフラッシュするに充分な大きさが無い、セグメント毎にわずかな書き込みだけを受け付けた少量のカラムファミリーがあったことが分かりました。フラッシュされないデータが残っていることで、commitlogセグメントは消去されなかったのです。

私たちは、お客様に対して、より頻繁にそれらをフラッシュするように、memtable_flush_after_mins設定を少量のカラムファミリーにすることを推奨しました。また、ヒント(hints)リプレイが過剰にならないようにmax_hint_window_in_ms設定を減らすことを推奨しました。

最終的に、私達は、将来、この問題を容易に回避できるよう、memtable_flush_after_minsをcommitlog_total_space_in_mbに取り替えるという問題定義(管理番号)を設けました。このフィーチャーは、Cassandra1.0から利用可能になります。

・・Part2に続く。

Cloudian英文記事のご紹介

2011-09-29T17:54:00.000+09:00

去る9月7日、英文でのCloudianの商用版提供開始に関するプレスリリースを行いました。日本でのプレスリリースである7月19日から約1カ月半を経てからです。

これまで数回のプレスリリースの経験では、英文でプレスリリースを行うと、世界中から問い合わせが寄せられます。今回も例外ではなく、プレスリリース以降、米国などの英語圏から内容に関する問い合わせが米国オフィスに寄せられたことはもちろんですが、メキシコ、中国、ナイジェリア・・・といったお客様からもCloudianの評価版ダウンロードのお申込みをいただくことになりました。

その経験があることから、Cloudianの商用サービス開始を控えている、日本のお客様にリソースを集中するため、英文のプレスリリースを遅らせました。

幸い、たいへん面白い2つの英文記事にCloudianが紹介されましたので、御紹介します。

eWeek: “ Gemini unveils noSQL-based storage platform ” http://blogs.eweek.com/storage_station/content/general/gemini_mobile_unveils_nosql-based_storage_platform.html

Network Computing: “ Always-On with Amazon S3 ” http://www.networkcomputing.com/cloud-storage/231602290

このうち、”Always-On with Amazon S3"を翻訳してみました。

”Always-On with Amazon S3"
Stephen Foskett

Amazon S3は、エンタープライズからスタートアップに及ぶストレージユーザーを惹きつけながら、確実に成長を続けています。しかし、多くのユーザーはS3にすべての卵を置いておくことを心配しており、他社は挑戦を始めています。最近、NasuniとGeminiが、Amazon S3のユーザーの心配を和らげる可能性のあるプロダクトの概要を伝えてくれました。彼らは全く別のアプローチをしていますが、それぞれが、エンタープライズ・クラウド・ストレージ利用者に、複数のプロバイダー間のストレージのバランスをとることを可能にします。

Geminiは、最近、Cloudianを提供開始しました。それは、Amazon S3のAPIに準拠したクラウド・ストレージ・ソフトウェア製品です。この製品は、サービスプロバイダーにとって、既存のAmazon利用者に簡単に利用してもらえるクラウドストレージサービス提供を可能にします。Geminiは、S3に対するAmazonの開発に合わせ続け、可能な限り完全に特徴を同じくするつもりです。

サービスプロバイダーは、自身のクラウドストレージサービスを創り出すためにCloudianを利用します。利用者は、どんなAmazon S3準拠アプリケーションにも、このクラウドストレージソリューションを利用させることができます。Geminiは、利用者は、このサービスをAmazon S3の代替として利用するであろうと語っているものの、私は、多くのユーザーは、それを商用か開発のためにS3と同時に利用しながら、高可用性か、ディザスターリカバリーとして観るだろうと考えています。

しかし、どうやって、利用者は一度に複数のクラウドストレージを利用するのでしょうか？　アプリケーションで両方に振り向けるようプログラムする際、S3準拠であることは、その実装をとても簡単にさせます。市販のアプリケーションも、利用者に適切な認証方法を組み込めば、Cloudianサービスプロバイダーに接続することができます。

他のクラウドストレージ・イネブラーも存在していますが、Amazon S3をしっかりと反映していると聞いたのは、Cloudianが初めてです。Mezeo、Scality、Clevesafeのようなソリューションは、S3準拠のコネクターのほかに、それ自身のAPIも含んでいます。OpenStackは、処理とディスクイメージとともに、S3機能のサブセットを実装している、最も近い代替ではあります。しかし、完全にS3ソリューションを実装するという方向性は、魅力的です。

しかし、必ずしも全てのアプリケーションが、クラウドストレージを使う訳ではありません。それらにとっては、Nasumiストレージ・コントローラーは良い代替です。オンサイトのスケールアウトNASアプライアンスであるNasumiは、目立たぬように、高可能性とディザスターリカバリーのためにクラウドストレージを利用しています。それは、Amazon S3を含む多くのクラウドストレージソリューションに、透過的にローカルデータを反映します。

Nasumiは、APIにかかわらず、複数のクラウドストレージプロバイダ―に、データをミラー（反映）することができます。これは、クラウドを本質的に信じていないだけではなく、彼らのベンター達を長期間利用し続けることが不確かであるエンタープライズ利用者から人気を集めています。

これらは、クラウドサービスプロバイダーがもはや利用できないという時には確実に面白くなります。ディザスターの際（または、たとえサービスプロバイダーがビジネスをしていたとしても）、Nasumiは、他のプロバイダーにデータアクセスをリダイレクトできます。これは、彼らのストレージ・コントローラーがローカルデータとクラウド間を紐づけていることにより可能となります。この機能を使い、データを、あるサービスプロバイダーから他に移行するためにNasumiを使うことさえあります。

結局のところ、利用者は、彼らの卵を他の誰かのバスケットに喜んで置きたいと望むほどはAmazonに対して心配はしていません。むしろ、かれらは、複数のプロバイダーを使うことにより、リスクのバランスを取りたいと思っています。NasumiとGeminiは、それらのソリューションとしての構成要素となるのでしょう。

Cloudian presentation at U-Stream

2011-09-10T04:44:00.001+09:00

９月８日（木）の第3回クラウドストレージ研究会にて、COOのMichael Tsoが、Cloudianのプレゼンを行いました。プレゼンの模様が、次のU-Streamにアップされています。日本語の逐次通訳付きです。ぜひ、ご覧ください。

Michael Tso, COO of Gemini Mobile Technologies, presented Cloudian at the 3rd Cloud Storage meet-up on September 8. Presentation is uploaded to the following U-Stream. Presentation is given by English. Please check it out.

Cloudian (クラウディアン)のプレスリリースを行いました

2011-08-02T16:44:00.002+09:00

日本でも本格的なクラウドストレージサービスの登場が期待されているところですが、Geminiは、去る7月19日、Amazon S3と同様のクラウドストレージサービスをマルチテナント（複数のユーザー）に提供することができ、かつ統計、課金、利用量制限（QoS)などのプラットフォーム機能を予め実装したパッケージソフトウェア製品であるCloudianの商用版リリースを発表しました。

実は、このCloudianの試験版リリースは、3月11日に日米同時に発表していました。しかし、プレスリリースした直後に東日本大震災。国内だけではなく、海外においても、そのニュース一色。多くの方の目に触れる機会の少ない発表となってしまいました。

しかし、7月19日のCloudianの商用版発表においては、多くのメディアにご紹介いただきました。

Gemini、ビッグデータのストレージに最適なCloudianソフトウェアをリリース(businessnetwork.jp)

ジェミナイ・モバイル、Amazon S3準拠API備えるクラウドストレージ構築ソフト(ITPro)

Gemini、ビッグデータのクラウドストレージに最適な、Amazon S3準拠「Cloudian」の商用版(クラウドWatch)

l[Gemini]ビッグデータのクラウドストレージに最適な、 Amazon S3準拠「Cloudian™」の商用版ソフトウェア製品をリリース（Cloudzine)

また、このCloudianの商用版リリース発表の約2週間後の8月1日。株式会社クララオンライン様が、Cloudianを使用した商用のクラウドストレージサービス提供開始の発表をされました。7月19日のGeminiの発表では、年内にCloudianを使用した商用クラウドストレージサービスが開始される「見込み」とお伝えしていましたので、当方も驚くほどのスピード感です。この発表も、多くのメディアで紹介されました。

クララオンライン、ギガバイト単位課金のクラウドストレージ～ GeminiのCloudianで実現(businessnetwork.jp)

クララオンライン、Amazon S3 準拠クラウドストレージサービスを提供開始（japan.internet.com)

クララオンライン、Amazon S3準拠のクラウドストレージサービスを提供開始(ビジネス＋IT）

[Gemini]Amazon S3準拠クラウドストレージサービスの提供開始のお知らせギガバイト単位課金を実現したクラウドストレージのβ版サービス開始(Cloudzine)

Amazon S3 準拠のクラウドストレージサービス開始(読売新聞オンライン)

Cloudianについては、これからもご紹介できる機会がたくさんありそうです。グローバルに向けた英語版での発表も控えています。どうぞ、御期待ください。

「みてわかるクラウドマガジン vol.3」にCloudianが紹介されました

2011-07-15T14:34:00.001+09:00

7月14日発売の日経BP社発行「みてわかるクラウドマガジン vol.3」の第2章「進化するNOSQL」のPART4（47頁～51頁）に、「Cassandraをマルチノードで動かしてみる」、続けてPART5(52頁～54頁）にも、「プライベート版Amazon S3を構築できるCloudian」と題したGeminiの執筆記事が掲載されています。

「Cassandraをマルチノードで動かしてみる」は、3台で構成するマルチノード環境を体験するために、異なるIPアドレスを設定し、1台の物理サーバ上に複数のインスタンスを立ち上げます。そして、そのうち2台のノード（インスタンス）が停止した場合の自動復旧の様子を確認してみるというものです。コマンドのオペレーションが中心ですので、エンジニアの方々に役立つ記事かと思います。

もともとの原稿で頁数の制約で掲載できなかった部分は、以下のようなCassandraがクラスター内でデータをレプリケーションさせる方法の解説やv0.7とv0.8の新しい機能についてでした。別の機会があれば、ぜひとも御紹介したいと思います。

また、Cloudianについては、法人であれば以下のサイトから申し込むことにより、30日間試験版を使用することができますので、そのインストール方法について説明しています。

http://geminimobile.jp/big-data-solutions/cloudian.html

来週7月19日（火）には、Cloudianの商用版リリースと使用料金に関するプレスリリースをする予定です。詳細は、ぜひ発表をご覧ください。

Bronze、Silver、Goldの3つのグレードからなる料金は、大きな初期投資は不要で、クラウドストレージサービスをスモールスタートできるソフトウェア使用料金体系です。

Hibariの日本語プレゼン

2011-07-09T13:30:00.001+09:00

2011年7月8日に開催された「第1回分散処理ワークショップ in Tokyo」にて、ジェミナイの河野達也がHibariの紹介を行いました。これまでは、英語でのプレゼンだけでしたが、初めての日本語でのプレゼンとなりました。

当日のプレゼン資料がスライドシェアにアップされています。

Hibari NOSQL at dist_study Tokyo 20110708

View more presentations from tatsuya6502

また、当日の模様は、U-Streamでご覧になることができます。

NOSQL, Cassandra, Hibariのハンズオントレーニングを開催しました

2011-05-09T11:56:00.006+09:00

去る4月25日（月）、26日（火）、27日（水）、第4回目となるNOSQLとCassandraのハンズオントレーニング、今回初めてとなるHibariのハンズオントレーニングを開催いたしました。

NOSQLとCassandraのハンズオントレーニングには、Webサービスの開発者やCassandraコミュニティで活躍されている方々に加え、大手の通信事業者のR&D部門と企画部門、ハードウェアベンダー、システムインテグレーターなどから多くの参加者をお迎えしました。そして、Hibariのハンズオントレーニングには、前回のNOSQLトレーニングを機にHibariに興味を持っていただいた方々やErlangのコミュニティで活躍されている方々にもご出席いただけました。

Hibariについては、昨年6月にオープンソースとしてリリース以降、多くの方に関心を示していただいていたものの、商用開発した大規模なシステムのコンポーネントを切り出して、オープンソースとしたNOSQL/キー・バリューデータベースであり、かつドキュメントも英語であり、「難しい」とのご意見と、ハンズオントレーニングに対するご要望もいただいていました。そのため、時間がかかりましたが、より利用しやすいように、GitHubに移行し、パッケージ化し、日本語のガイドを整えてきました。

資料はGitHubで公開してありますので、ご興味があればぜひご利用ください。

Hibari アプリケーション開発者ガイド

Hibari ハンズオントレーニング教材（チュートリアル）

また、出席いただいた方々より、次の意見をいただきました。今後の参考にさせていただきたいと思います。

良い点：

質問への対応が迅速
小人数で実技（ハンズオン）という点
実際に動作しながら、開発者と直接質疑が行えた
講師のスキルが高く的確な回答があった

改善すべき点：

例題にElrangのプログラムを作成するのは無理があるのでは？
出席者のサーバーをつないでみると面白いのでは？
Erlangを一切絡めずに、JavaやPHPなど人気のあるクライアント言語でKey-Valueの操作を説明すると良いのでは？

また、NOSQLとCassandraのトレーニングについては、開発者向けだけではなく、今後はサービスを提供、運用する方々に最適なコースを追加する必要性を感じました。マーケティング担当者向けのトレーニングがあっても良いのではという意見もいただきました。こちらも併せて、今後の課題としてゆきたいと思います。出席者の皆様には、出席いただき、かつ貴重なご意見をいただき、本当にありがとうございました。

Hibari 開発者向けガイド（日本語版）が完成しました

2011-04-22T15:30:00.000+09:00

Hibari 開発者向けガイド(日本語版)が完成いたしました。

http://hibari.github.com/hibari-doc/hibari-app-developer-guide.ja.html

ぜひ、ご活用ください。

Hibari アプリケーション開発者ガイド　第1章（日本語版）

2011-04-06T18:23:00.002+09:00

現在、4月末を目途にオープンソースであるHibariのアプリケーション開発者ガイドの日本語版作成を進めています。英語版はこちらになります。第1章は、NOSQLやHibariの概要について説明しており、ここにご紹介いたします。

1. Hibariとは
Hibari(R)は、キー・バリュー・ストア（KVS）方式を用いた分散型データベースです。大規模化し続けるデータ、いわゆる“Big Data”に対応し、商用にすぐに活用できます。大量のデータをどのように保管するかが大きな問題となる現在、それに対処する「NOSQL」というソリューションが出てきました。Hibariはこの分野で、次のような多くの理由から注目を集めています。

Hibariは、プログラミング言語Erlangと革新的なチェイン・レプリケーション技術を使った唯一のオープンソースのキー・バリュー型データベース（KVDB）です。Erlangは、堅牢で高性能な分散型ストレージ・ソリューションの構築には理想的なプログラミング基盤を提供します。一方、チェイン・レプリケーションは、データの一貫性を犠牲にすることなく、高いスループットと高可用性を提供します。
Hibariは、キャリアクラスの通信事業分野で要求される厳格な基準を満たすように作られた唯一のオープンソースのキー・バリュー型データベースです。通信事業分野の製品では、数百万ユーザーの利用実績を持ちます。
Hibariは、次のような優れた特長を備えています。

ストレージ・オプションとして、ディスクベースあるいはRAMのみの使用を、テーブル単位で選択できます。
キー単位で有効期限およびカスタムのメタデータをサポートします。
制限範囲内で複数キーのアトミック・トランザクションをサポートします。
キーのタイムスタンプ機能によって「テスト・アンド・セット」型の操作が可能です。
システムの規模に応じた自動データ配置バランシング機能を持ちます。
コードのライブ・アップグレードをサポートします。
複数のクライアントAPIを実装しています。

この最初の章では、「Big Data」の時代が投げかける問題に対処するために近年出現した「NOSQL」ソリューションについて簡単に説明します。その後、大規模データを扱うアプリケーションの開発者や管理者、あるいはユーザーにHibariが提供する大きな利点について、さらに詳しく紹介します。

1.1. なぜNOSQLか？
まず、NOSQLという新しい動向は、伝統的なRDBMS（リレーショナル・データベース管理システム）を無条件に否定するものではありません。この動向は、今日のデータ環境がSQLだけに留まらず（Not Only SQL：NOSQL）、ストレージに多様なツールが必要であるという認識が急速に広がっていることの表われです。リレーショナル型のデータ・ストレージとNOSQL型のデータ・ストレージは、それぞれ異なるアプローチを持ち、異なる種類のアプリケーションやサービスに適しています。これらは互いに補完するものであると理解してください。

NOSQLが注目されるようになった背景には、TB（テラバイト）あるいはPB（ぺタバイト）級のデータを保管して使うアプリケーションやサービスの急増という現状があります。その分野では頻繁に「常時使用可能」な可用性を保証し、エンドユーザーの待ち時間を減らす努力が払われてきました。たとえば次のような多くの市場分野で、さまざまな組織がBig Data時代の到来に備えて取り組んでいます。

Web資産：検索、eコマース、ソーシャルメディア、ユーザー作成コンテンツ等による大量データの要求への対応
通信事業：何百万件もの加入者のネットワークログや通話データ記録の管理と分析
公益事業：次世代送電網の巨大データ容量の管理と分析
金融サービス：リスク分析とモデル化を目的とした顧客履歴データの保管およびマイニング
小売分析：クリック・ストリーム分析とマイクロターゲティング
バイオテクノロジー：ゲノム解析

これらの分野に限らず、大量データを扱う環境にあるあらゆる組織が、いまや未曽有の大規模データを保管するシステムを構築する問題に直面しています。RDBMSとハイエンドの専用ハードウェアを軸とする伝統的なデータ保管アプローチではこうしたニーズに応えられないと、多くの組織は既に気づいています。特に問題になるのは、次の点です。

単独のRDBMSインスタンスの「スケールアップ」は、どんなにハイエンドのシステムを用いても、また、どんなに多額の費用をかけても、必要な規模を到底達成できません。
複数のRDBMSインスタンスに分割する「スケールアウト」は、巨額の費用を伴ううえに、運用が大幅に複雑になり、リレーショナル・モデルの利点を大きく損ないます。

先進的な組織では、コストや複雑性にしわ寄せせずにBig Dataに適した容量を実現させようと、より良いスケーリングの方法を追求してきました。また、増加の一途をたどる使用シナリオのすべてが、RDBMSの複雑なクエリー機能や管理機能を必要とするわけではないことも、同時に明らかになってきました。アプリケーションやサービスによっては、SQL構造や厳密なACIDが必要ないものもあります。さらに環境によっては、これらの過剰機能が高価につき、柔軟性と即応性が要求される非常に厳しい市場競争の中で、サービス提供が妨げられる可能性すらあります。

つまり、近年急増しているサービスで必要とするデータは、より大規模になる一方で、構造化の必要性はより少ないのです。

そう考えると、業界を牽引するWeb企業がNOSQLの動きの最前線にいるのは不思議なことではありません。特に、Google社のBigTable（2006年）と、Amazon社のDynamo（2007年）は、NOSQL市場に大きな影響を及ぼしました。BigTable やDynamo、あるいはその両方から構想を得たNOSQLソリューションが多数存在しており、ここ2年でいくつかのソリューションがオープンソースのコミュニティで発表されています。

NOSQLを使ったデータ・ストレージソリューションは、それぞれ細かい点では異なりますが、基本的に次のような共通点があります。

データモデルがシンプルである。データモデルはソリューションごとに異なり、それによってNOSQLシステムは次の3種類に分類できます。

キー・バリュー型データストア（例：Dynamo、Hibari）
列指向型データストア（例：BigTable）
ドキュメント指向型データストア（例：CouchDB）

これらはすべて異なるものですが、伝統的なRDBMSと比較すると、データモデルがよりシンプルで高い柔軟性を持ちます。このシンプル指向は、クライアントAPIにも引き継がれています。
汎用型のPCを基盤とした複数ノードに分散できます。何十、何百、何千とある汎用型のPCにスケールアウトすることにより、Big Dataの容量を低廉なコストで実現できます。受信した要求の並列処理と連動するデータ分割スキームにより、必要な高性能を得られます。
データ・オブジェクトを複数ノードでレプリケーション（複製）することにより、コンポーネントの障害発生時にも高可用性を確保できます。

NOSQLストレージ・ソリューションの歴史や長所、あるいは設計の問題等についてさらに詳しく知りたい場合は、Webで検索してください。

1.2. なぜHibariか？
Hibariは、Gemini Mobile Technologies社が社内で開発したものです。Gemini Mobile Technologies社は、アジア、ヨーロッパ、アメリカで、Tier 1モバイル・オペレータ向けの大規模メッセージングおよびトランザクション・システム開発分野の先頭に立つ企業です。Gemini社が必要とするデータストアは、Tier 1通信事業分野向け製品の導入環境に必須の堅牢さに加えて、効率的で高速かつ柔軟性を備え、拡張可能なものです。ところが、当時利用できる選択肢の中には満足できるものはありませんでした。そこで2005年に、Gemini社はのちに「Hibari」となるシステムの開発に着手しました。Hibariという名称は、日本語でヒバリ（雲雀）、漢字では「クラウド（雲）の鳥」を意味します。その後、システムが成熟して製品化できるようになったのを機に、2010年7月、Gemini社はApache 2.0ライセンスの下でHibariをオープンソースのコミュニティにリリースしました。Hibariが成長を続けて完成度を高める場として最も適しているのはオープンソースのコミュニティであると、Gemini社は考えています。

ここからは、Hibariの特長について説明します。これらの特長によって、Hibariは現代のBig Dataストレージ・システムを求めるビジネスおよび開発者にとって魅力的な選択肢となっています。

Erlangによる開発
チェイン・レプリケーションによる高い可用性と強い一貫性
簡単でコストが低廉な拡張性
高性能、特に読み出しと大きいサイズのバリューの処理における高性能
シンプルながら強力なクライアントAPI
稼働実績
開発者、システム管理者、そしてビジネスに対するHibariの利点

1.2.1 Erlangによる開発
Erlangは、高信頼性で高性能な分散型システムを構築するように設計された汎用プログラミング言語および実行環境です。Erlangは、まず1980年代に先進的通信事業のネットワーク・システム構築用にEricsson社によって開発され、その後1998年に、Erlang/OTP (Open Telecom Platform)としてオープンソース化されました。HibariはすべてErlangで記述されています。

Erlangは次のような幅広い長所を持ち、分散型でキー・バリュー方式のストレージ・ソリューションにとって理想的な基盤を提供します。

並列：Erlangのプロセスは、メッセージパッシングによる通信を行い、メモリを共有しないため、非常に軽く実行できます。スケジューリング、メモリ管理、その他並列処理に関するサービスを管理するのはErlang のVMであり、ホストのオペレーティング・システムに並列処理の要求を送ることはありません。
分散：Erlangは、分散環境に特化して設計されています。メッセージパッシングはTCP経由で透過的に行われるため、Erlangのプロセス同士が通信する際は、同一ノードでも違うノードでもまったく同じ方法です。シンプルかつ効率的な設計により、高性能の分散型ストレージ・システムに求められる高度な並列性と拡張性を達成しています。この優れた並列性と分散処理により、Erlangは複数ホスト上で連携しながら稼働する点を除いては、オペレーティング･システムに似た初めてのアプリケーション・システムと言われています。
堅牢性：Erlangのプロセスは、互いに完全に独立しており、データを共有しません。各プロセスが個別に動作するため、プロセスが互いを監視してプロセス障害を検知した場合は、すぐに対応できます。これは、リモート・ノードにおいても可能です。
移植性：Erlangの VMは、Linux上だけでなく、UNIX、Windows、Macintosh、VxWorks上でもすべて同じものが稼働します。Erlangの分散プロセスは、異なるホスト・オペレーティング･システムが混在する環境でも、シームレスに相互の通信ができます。システム管理者は環境の変化に対応してホストをうまく組み合わせる必要があることを考えると、オペレーティング･システムを問わないこの移植性は、ストレージ・システムの弾力性の向上に大きく寄与します。
ホット・コードアップグレード：HibariのようなErlang ベースのアプリケーションは、ホット・コードアップグレードをサポートしています。そのため、システムを終了せずにアップグレードを適用できます。切り替え中は旧コードと新コードが同時に稼働します。これは、エンドユーザーに「常時使用可能」な可用性を提供する必要がある環境にとって重要な利点です。

他にも、インクリメンタルなガベージ・コレクションやシングル・アサインメント変数、強固な例外処理機能などにより、Erlangは信頼性の高い分散型アプリケーションに最適なものとなっています。

1.2.2 チェイン・レプリケーションによる高可用性と強い一貫性
分散型でキー・バリュー・ストア方式を用いたHibariは、チェイン・レプリケーション方式を実装しています。チェイン・レプリケーションとは、データの一貫性を犠牲にせず、冗長性を確保して高可用性を得るために、van Renesse and Schneiderが最初に提案したものです。Hibariのストレージ・クラスターにおけるチェイン・レプリケーションの動作を簡単に説明すると、次のようになります。

コンシステント・ハッシングにより、キー・スペースを複数のストレージの「チェイン」に分割します。
各チェインは、複数の論理ストレージである「ブリック」から構成されます。ブリックごとにそれぞれErlangのVMインスタンスが稼働します。
各チェイン内では、複数のブリックがそれぞれ相異なる役割を果たします。クライアントからキーとバリューのペアに対する書き込み要求が送信されると、まず「ヘッド」ブリックに書き込まれ、続いてそれが1個以上の下流の「ミドル」ブリックに自動的にレプリケーションされて、最終的に「テイル」ブリックまでレプリケーションされます。このテイル・ブリックが、クライアントの書き込み要求に対する応答を返します。一方、読み出し要求はテイル・ブリックに送信され、テイル・ブリックがクライアントに応答を返します。

多くの分散ストレージ・システムでは、レプリケーションしたデータ間に弱い一貫性、または結果整合性しか保証できないことが多く、しかも一貫性が損なわれた場合の管理をクライアント・アプリケーション（とクライアント・アプリケーションの開発者）に押し付けることがよくあります。それに対して、Hibariはチェイン・レプリケーションを実装しているため、強い一貫性を保証します。データの書き込みは、チェインをたどってテイル・ブリックまでレプリケーションされた時点で初めて完了したと見なされ、その後でクライアントに応答を返します。また、読み出し要求を処理するのはテイル・ブリックだけです。したがって、Hibariのクライアントにオブジェクトの書き込み応答が返された後は、そのオブジェクトを他のクライアントから見ると、必ず最新の状態であることが保証されます。この強い一貫性は、“結果整合性”ではエンドユーザーが期待するサービス・レベルを満たせない環境、あるいは、システム設計者が、データの不整合を管理するために必要なロジックをクライアント・アプリケーションの中にばらまきたくないと望む環境では、貴重なものです。

チェインの「長さ」は、必要とするレプリケーションの程度と冗長性のレベルによって変更できます。たとえばチェインの長さを4とすると、ヘッド・ブリック1個に、ミドル・ブリック2個、テイル・ブリック1個となります。また3ブリック・チェインとすると、ヘッド・ブリック1個、ミドル・ブリック1個、テイル・ブリック1個です。長さ2のチェイン（ヘッド・ブリックとテイル・ブリックが1個でミドル・ブリックなし）で稼働させることも、あるいは長さ1にすることもできます（1個のブリックがヘッドの役割とテイルの役割の両方を果たします）。

どんな長さのチェインでも稼働させることができます。また、システムがチェイン内の障害を検知した場合は、その後のメンバー・ブリックの役割を調整することもできます。これによってHibariは強い一貫性とともに、高可用性を提供できるのです。たとえば3ブリック・チェインのヘッド・ブリックに障害が発生すると、自動的にミドル・ブリックがヘッド・ブリックの役割を引き継ぐため、チェインは正常に機能し続けます。

さらに、新しいヘッド・ブリックに障害が発生した場合でも、残る1個のブリックがヘッドの役割とテイルの役割の両方を果たし、あたかも単独ブリック「チェイン」のように機能して、すべての書き込みおよび読み出し要求を処理します。

複数の論理ブリックを単一の物理ノードで稼働させることもできますが、高可用性を得るためには、特定のチェインのメンバー・ブリックを別々のマシン上に配置することが望ましいのは当然です。もし各マシン上で複数のブリックを稼働させたいと望み、なおかつ各チェインの高可用性を保証したいなら、チェインをマシン間で「ストライプ」構造に配置する選択肢も魅力的です。

書き込み要求を受けるヘッド・ブリックと、書き込み要求に応答して読み出し要求を処理するテイル・ブリックには、ミドル・ブリックより多くの負荷がかかることに注意してください。上図に示すように、異なる役割のブリックを均等に割り振ることも、マシン間の負荷分散の一助となります。

物理ノードに障害が発生した場合は、影響を受ける各チェイン内のブリックが自動的に役割を変更して、各チェインはクライアントに対して正常にサービスを続行します。

Hibariのストレージ・システムにおけるチェイン・レプリケーション、フェイル・オーバー、および修復に関する詳しい情報について、さらにHibariのAdmin Serverと呼ぶ冗長構成クラスター・メンバー・アプリケーションに関する情報については、「Hibari(R)システム管理者ガイド」の以下の節を参照してください。

Hibariのアーキテクチャー
（論理）ブリックのライフサイクル
動的クラスター再構成
Admin Serverアプリケーション

1.2.3 簡単でコストが低廉な拡張性
Hibariは次に示すように、クラスターの増加に伴うコストと運用上の複雑性を最小限に抑えながらBig Dataに拡張性を提供します。

Hibariは、物理ノードを追加して、そこに追加チェインを配置することによって、水平に拡張できます。Hibariのクラスターにマシンを追加するごとに、クラスターのストレージ容量の合計と処理性能は線形に増加します。
クラスターにチェインを追加（または削減）する場合、システムは中断時間なしでストレージの自動データ配置バランシングを行うため、サービスを中断せずにHibariのストレージ・クラスターを拡大（または縮小）できます。
Hibariは、汎用のPC上で稼働します。またシステムは、異なるハードウェア・リソースに容易に対応できます。ストレージ・クラスター内のブリックは、異なる容量のRAMやディスクを使用でき、CPUのさまざまな処理速度にも対応できます。異なるハードウェアを組み合わせてクラスターを構成する場合、Hibariのコンシステント・ハッシング機能をチューニングしてクラスターの使用状況を最適化することも可能です。各チェインに重み付けファクターを指定して、キー・スペース全体に占めるチェインの割り当てを、他のチェインに比べて増加または減少させることもできます。

Hibariは、異種のハードウェアの混在をサポートするだけでなく、Erlangをベースとしているため、ほとんどすべてのオペレーティング・システム上で稼働します。異種のハードウェアおよびオペレーティング・システムに容易に対応できるので、利用できるあらゆるリソースを用いてHibariをインクリメンタルに拡張できます。すべてのリソースを同時に、また同一の種類に揃えて購入する必要はありません。

NOTE:
Hibariの水平拡張の上限値は、明確には決まっていませんが、Erlangに組み込まれたネットワーク分散機能の実装の限界から見て、200～250ノードが実質的な限界になります。また、Hibariのチェインは、理論的には複数のデータ・センターをまたがって延長しで地理的な冗長性を確保することも可能ですが、現在のところ、単一のデータ・センター内の配置しかテストしておらず、稼働実績はありません。

Hibariのクラスター・サイズの変更に関する詳細情報は、「Hibari(R)システム管理者ガイド」の
［動的クラスター再構成]の節を参照してください。

1.2.4 高性能 ― 特に読み出しと大サイズのバリューの処理の場合
Hibariのストレージ・クラスターでは、Big Dataの環境においても高性能を発揮できるよう、複数の機能が連携して働きます。

Hibariを支えるErlang技術は、分散並行処理に特化して設計されており、分散並行処理環境で優れた実力を発揮します。
Hibariに実装されているコンシステント・ハッシングとチェイン・レプリケーションは、複数のチェインが分割されたキー・スペースをまたがって使用することによって、個々のチェインが受ける要求を同時に並行処理できます。チェイン間のデータの配置をチューニングして、異種のハードウェア・リソースの使用状況を最適化することも可能です。
Hibariのチェイン・レプリケーションは、ストレージ・ブリックに、ヘッド、ミドル、テイルという役割の異なる処理を割り当てることによって性能を上げています。この役割分担により、特に読み出し時の性能が向上します。読み出し要求を処理するのはテイル・ブリックで、このブリックは書き込み要求に対する最初の処理の負荷を担っていないからです（この処理はヘッド・ブリックが行います）。
Hibariは、多数のテーブル単位の性能チューニングのオプションをサポートしています。たとえば分散型KVDBは、バリューBLOBを保持するストレージとして、ディスクベースか、RAMベースか、どちらか一方をサポートするものしかありません。それに対してHibariは、ディスクベースかRAMベースかを、アプリケーションのニーズに応じてテーブル単位で選択できます。どちらのストレージ・オプションを選んでも、データ変更のログはすべてディスクに保持されるので、電源障害発生時にもデータ復旧が可能です。ディスクI/Oは、バッチ・コミット技術を使用して最小化しています。

Hibariは、こうした機能を活用することにより、現在の主流であるオープンソースのNOSQLストレージ・システムに匹敵する拡張可能な高性能を提供しています。それと同時に、多くのシステムに欠けているデータの信頼性と強い一貫性を提供します。Hibariの性能を他のNOSQLシステムと比較すると、特に読み出しと、大きいサイズ（200KB超）のバリューの処理の点で優れています。大きいサイズのバリューに対しても一貫性を確保できるHibariの高い性能は、小さいサイズのバリューの処理に適応したソリューションとは一線を画すものです。

いかに高性能か、その実例を紹介します。数百万ユーザーが利用するWebメール・システムで、Hibariが処理したトランザクションは秒あたり2,200件、その際の読み出しの平均待ち時間は1～20ミリ秒、書き込みの平均待ち時間は20～80ミリ秒という実績を残しています。

1.2.5 シンプルながら強力なクライアントAPI
Hibariの中核をなすデータモデルとクライアントAPIは、キー・バリュー・ストア方式としてシンプルな設計がなされています。BLOBベースのキーとバリューのペアが、辞書のようにソートされたテーブルに対して、追加、検索、削除を行います。Hibariは、キー・バリュー・ストア方式に伴う柔軟性と拡張性を提供していますが、それと同時に、クライアント・アプリケーションと開発者のパワーを増強する次のような大きな特長を備えています。

オプションとして、クライアントがオブジェクト単位に有効期限を設定できます。
オプションとして、クライアントがオブジェクト単位にカスタム・フラグを設定できます。この柔軟性を備えたカスタム・メタデータの更新は、関連するバリューBLOBの更新の有無によらずに可能であり、検索もバリューBLOBの有無によらず可能です。
オブジェクトの更新のつど、自動的にタイムスタンプを取得します。このタイムスタンプの仕組みにより、「テスト・アンド・セット」型の命令の実行が可能になります。つまりクライアントは、対象のキーのタイムスタンプが期待したものである場合にのみ、要求した命令を実行するように指定できます。
HibariのクライアントAPIは、キーの制限範囲内で（具体的にはチェイン全体ではなく特定のチェイン内で）、アトミック・トランザクションをサポートします。この「マイクロ・トランザクション」のサポートは、他のオープンソースのKVDBにはないHibariの特長であり、これによって堅牢なクライアント・アプリケーションの作成がずっと簡単になります。

Hibariは、複数のクライアントAPIの実装をサポートしています。たとえば、次のようなものがあります。

ネイティブErlang
ユニバーサル・バイナリ・フォーマット（UBF）
Thrift
Amazon S3
JSON-RPC

Hibariのクライアント・アプリケーションは、Java、 C/C++、Python、Ruby、Erlangなど幅広い言語で開発できます。

HibariのクライアントAPIに関する詳細情報は、[クライアントAPI：ネイティブErlang] および当ガイドでこのあと説明するクライアントAPIの章を参照してください。

1.2.6 稼働実績
　当初、Hibariを開発したのは、主にTier 1通信事業分野におけるデータ保管の要望に応えるためでした。ところがシステムが進化すると、アジアのある大手キャリアから、GB（ギガバイト）級のWebメール・サービスを開始したいという要望が寄せられました。Hibariに対するこの顧客の要求は、次のように厳しいものでした。

開始時点で数百万ユーザー
開始から数ヶ月で、保管するメッセージは数十億件
ストレージ容量は数百TB（テラバイト）
継続的な成長を支える柔軟性
システムの低廉なコスト（サービスが「フリーミアム」モデルを採用するため）
個々のメッセージのサイズは、添付情報を含めて数バイトから数MB（メガバイト）
オブジェクト単位のメタデータ要求のサポート
対話型セッションの強い一貫性
データの信頼性（メッセージやメタデータの損失は許されない）
高可用性（「常時使用可能」を第一とするサービス）
短い待ち時間（エンドユーザー・トランザクションで1秒未満の応答時間）

私たちは、この厳しい要求を満たすようにHibariを構築し、広範囲なテストと試行を通じて鍛え上げ、2010年初頭に、この大規模Webメール・システムのサポートを開始しました。現在このシステムは、数百万人のエンドユーザーの数十億件のメッセージを保管し、可用性、待ち時間、一貫性、信頼性、低価格という顧客の要求に応えています。

この間に、Hibariの開発と、GB級Webメール・サービス向けの細かいチューニングと並行して、アジアの大手キャリア2社のモバイル・ソーシャル・ネットワーク・サービス向けのストレージ・ソリューションとしても導入されました。この環境で、Hibariは多様な種類とサイズのデジタルデータとともにユーザー・プロファイル・データを保管しています。

1.2.7 開発者とシステム管理者、そしてビジネスに対するHibariの利点
Hibariは、アプリケーション開発者に対して、次のように大きな利点を提供します。これは、分散型キー・バリュー・ストア方式ではめったに得られない利点です。

データの強い一貫性を保証することにより、一貫性が損なわれた場合の管理の重荷をクライアント・アプリケーションから取り除きます。
マイクロ・トランザクションをサポートすることにより、強固なアプリケーションの作成をより簡単にします。
オブジェクト単位のカスタム・フラグをサポートすることにより、柔軟性の高いサービスに特化したアプリケーション設計を助けます。
多様なクライアントAPIを実装し、多様な開発言語をサポートします。

一方、Hibariがシステム管理者に提供する大きな利点として、次のような運用の自動化があります。これにより、変化の激しいストレージ環境におけるデータ管理が、より簡単になります。

自動レプリケーション
ノード障害発生時の自動フェイル・オーバー
障害ノードが復旧する場合の自動修復
クラスターの拡張または縮小時の自動データ配置バランシング

そしてHibariはビジネス全体に対しても、サービスの高可用性と短い待ち時間に対するユーザーの要求を満たしながら、低廉なコストでBig Dataの拡張性を提供します。Hibariは、大量のデータを扱う幅広いサービスシナリオに対応できるストレージ・ソリューションです。そのシナリオは、大規模メッセージングやソーシャルメディア、アーカイブなどをはじめ、さまざまな可能性を持ちます。Hibariは、多種多様なオブジェクトすべてに対してデータの強い一貫性と高性能が求められる環境で、その真価を発揮します。

NOSQL, Cassandra, Hibariのハンズオントレーニングを開催いたします

2011-03-28T13:38:00.002+09:00

来月の4月25日（月）、26日（火）、27日（水）の3日間、NOSQLのハンズオントレーニングを開催いたします。このような状況であり、ご予定を調整することが難しいかもしれず、また更なる不測の事態についても心配され、広くご案内をせずにおりました。

しかし、以前より希望されていた方々より、参加できる旨のご連絡をいただき、開催することにいたしました。日程は次のとおりとなります。

2011年4月25日（月）13時～17時　NOSQL Technologies Overview
http://nosqltechoverview.eventbrite.com/

2011年4月26日（火）10時～17時　Cassandra Hands-on
http://cassandrahandson.eventbrite.com/

2011年4月27日（水） 13時～17時　Hibari Hands-on
http://hibarihandson.eventbrite.com/

そして、このたび初めて、Hibariのハンズオントレーニングを実施いたします。Hibariは、SourceforgeからGitHubに移行し、以前は複雑であったインストールをパッケージ化し、さらにアプリケーション開発者向けに新たにドキュメントを準備しました。
http://hibari.github.com/hibari-doc/hibari-app-developer-guide.en.html

すでにお試しいただいている方もおり、そのフィードバックもいただきながら、更新も続けています。また、当日までに日本語版も準備できるように関係者と相談をしているところです。

このようなタイミングでのお知らせとなりましたが、3月末までにお申し込みいただければ料金も40％のディスカウントになります。ぜひ、ご検討いただければ幸いです。

今回4回目となりますが、これまでご参加いただきました方々と、とてもよいご縁ができ、私どもにとってたいへんに素晴らしい機会となっております。皆様にお会いできることを心から楽しみにしています。

Gemini Mobile announced a test version of software for large-scale cloud service (Translation of businessnetwork.jp articles)

2011-03-15T02:20:00.003+09:00

The very good article of "Cloudian" is posted in the Japanese web site of businessnetwork.jp. Here is the translation of this article.
http://businessnetwork.jp/Detail/tabid/65/artid/1148/Default.aspx

Gemini Mobile announced a test version of software for large-scale cloud service
writer: Hiroshi Isobe (Editorial Office)
date: Mar 14, 2011

Gemini Mobile Technologies, a company that provides messaging software for telecom operators (herein after "Gemini") developed and started to provide on Mar 11, 2011 a test version of software, called "Cloudian", for Internet service providers (ISP's) and cloud service providers (CSP's) to build large-scale distributed systems.

Cloudian is a package of software to provide a flexible operating system for multiple customers to use a large-scale, Amazon S3 based, distributed storage system. It can support flexible service by assigning storage as required and providing volume-based billing capabilities. Its storage is scalable from only two PC's to hundreds of PC's across multiple data centers. Users can assign which data to be stored in which storage area. Also, private storage clusters can be easily configured as per service level agreement (SLA) per user.

This type of storage is generally called "on-demand cloud storage." The most recognized example is "Amazon S3" provided by Amazon.com. On-demand cloud storage is characterized with an service operation to allow multiple users to use a part of storage whenever necessary and pay for what they have used. It is indeed a core menu of huge public cloud service provided by Amazon.com and Google.

In Japan, however, many cloud services provided in the country are in effect similar with "hosting", "ASP" and "SaaS" services and not publicly shared on-demand cloud storage as provided by major web services in the US, e.g., Amazon.com, Google, and Facebook. Typically cloud service in Japan is meant to have IT systems of big companies in data centers or to allocate hardware assets, e.g., servers, to each customer (tenant) for their use. Such approach in Japan is often complained for costly initial investment and fixed fees, regardless of actual usage.

In this background, recently there were two announcements in 2011, which would suggest full-fledged takeoff of Amazon-like, on-demand cloud storage in Japan. One was made by Amazon.com themselves. They announced the operation of a data center for cloud service in Japan. Amazon S3 already has a number of users in Japan. Until today data had to be physically stored in data centers outside Japan, which was the cause of concern about information management and latency among Japanese users. Now that they have a data center in Japan to wipe away these concerns, their opportunity to drive the usage in Japan is higher than ever.

Another announcement was made by IIJ (Internet Initiative Japan) on "IIJ GIO storage service FV/S" (a beta program for test), a cloud storage service with API of HTTPS/REST interface (equivalent to Amazon S3). The service is based on volume charge and is expected to grow into one that can vie with Amazon S3.
Cloudian announced by Gemini is believed to be good news for ISP's and CSP's who would like to start similar service with these cloud services.

Cloudian supports Amazon S3, and users can use Amazon S3 REST API. There are a growing number of web services that use Amazon S3 REST API in Japan, too. Gemini says Cloudian can help drastic reduction of development by allowing users to use the software without change to their existing applications.

In the back end, Cloudian can use highly performing (data processing), scalable, available, NOSQL (Not Only SQL) databases. Currently it supports Cassandra database. Gemini also developed a log analysis system for real-time, large log collection, storage and analysis by using Cassandra (Flume-Cassandra Real-time Log Processor) and started to provide it as open source software last week, which is already gathering attentions in the community. In the future Gemini plans to also support Hibari, a NOSQL database developed by Gemini, and other NOSQL databases as well as their native API's on Cloudian.

Cloudian package configuration

Cloudian (クラウディアン)のプレスリリースを行いました

2011-03-11T09:30:00.002+09:00

2011年3月11日（金）、GeminiはCloudian（クラウディアン）のプレスリリースを行いました。

http://www.geminimobile.jp/news/press-releases/press-release-4.html

Cloudianは、Amazon S3準拠のマルチテナント・クラウド・ストレージ・システムのソフトウェア製品です。最小2台の汎用PCサーバーから数百台にまで水平拡張でき、数百というマルチテナントが物理的に同じストレージ・サーバー・クラスターを共有できるため、ISPやCSP（クラウド・サービス・プロバイダー）が従量制型のストレージ・サービスを経済的に提供できるようになります。

その他詳細は改めてご紹介したいと思いますが、プレゼン資料がありますので、どうぞご覧ください。

Cloudian

View more presentations from geminimobile

Flume-Cassandra Log Processing Systemのオープンソースリリースについて(2)

2011-03-07T09:22:00.003+09:00

先週3月3日（木）に英語版でプレスリリースをしましたFlume-Cassandra Log Processing Systemのオープンソースリリースについて、ITProに記事が掲載されましたので、ご紹介いたします。

ジェミナイ、分散KVS「Cassandra」を使ったリアルタイムログ解析システムをOSS化

日本のプレゼン資料になります。ご興味のある方はぜひご覧ください。

Flume cassandra real time log processing (日本語）

View more presentations from geminimobile

Flume-Cassandra Log Processing Systemのオープンソースリリースについて

2011-03-04T12:50:00.000+09:00

先日、3月3日(木)、GeminiのUSチームから、FlumeとCassandraを利用したリアルタイムのログ処理システムをオープンソースとしてリリースしたことを発表しました。
http://www.geminimobile.com/news/press-releases/press-release-3.html

日本語で発表しなかったのは、未だFlumeについては、日本において関心を持っている方が少なく、話題に上ることも少ないであろうと考えたためです。しかし、NOSQLやCassandraのコミュニティでお付き合いいただいている方々から早速いくつかのTweetをいただき、感激しているところです。

また、今回のリリース前に、DataStaxのCEOであるMatt Pfeilと話している際、これは「Big DataとRealtime」を強みとするNOSQLデータベースであるCassandraとしても、ぜひとも応援したいとのことで、コメントを寄せてくれました。さらに、発表後、米国側ではFlumeのコミュニティからも早速メールが届き、MeetUpで話をしてくれないかという依頼も飛び込みました。

実は3月には、この他にもいくつかのNOSQL関連の発表が控えていますので、注目していてください。なお、ご参考のために、発表内容の翻訳をご紹介しておきます。

Gemini Releases Real Time LogProcessing based on Flume and Cassandraの和訳

Gemini Mobile Technologies ("Gemini") は、本日、FlumeとCassandraを利用したReal-time Log Processing System (“Flume-Cassandra Log Processor”)をオープンソースとしてリリースしたことを発表しました。このFlume-Cassandra Log Processorは、商用システムからの大量のログを収集し、グラフィックレポートにリアルタイムで処理することを可能にします。加えて、複数のデータセンターからのログを同時に統合し、単一のデータベースで分析することもできます。予見することが難しいリアルタイムでの分析能力を持つ、GeminiのFlume-Cassandra Log Processor は、オンライン運用から得られるビジネスインテリジェンスの品質と時間を大幅に改善します。このローコストでかつ小さな手間がもたらす劇的な拡張性は、NOSQL（Not Only SQL）技術が可能とするものであり、それはGoogle、FacebookやAmazonにおけるクラウド・ストレージ技術に端を発するものです。

ログはリアルタイムでユーザのオンライン行動や利用を記録します。Webサービス・プロバイダー、通信事業者、Eコマース・プロバイダー、そして企業のWebサイトは顧客体験とビジネスを改善するためにログを分析しています。伝統的なシステムはログをオフラインで分析してきました。なぜならば、ログファイルはリレーショナル・データベースにはあまりにも大きく、ログが生成されてから数日から数週間をかけてレポートを作成することが一般的でした。GeminiのソリューションはFlumeを用いて、都度ログをストリームし、データはリアルタイム、つまりログイベントから1秒以内でCassandra NOSQLデータベースに格納されていきます。オフライン分析もCassandraをクエリ―し、MapReduceを動作することにより可能です。このFlume-Cassandra Log Processor は、数台のPCから複数のクラスターに拡張でき、数百テラバイトのログを格納し、分析し、自動的に期限切れのデータを消去します。

「ビジネスインテリジェンスは企業やサービス・プロバイダーにとって、個人にとって、また効果的なWeb体験をお客様に提供するための重要な構成要素です」とGeminiの共同創立者兼COO、マイケル・ツォーは語っています。「私たちのFlume-Cassandra LogProcessorは、以前では困難であったデータ量と速度で、リアルタイムにビジネスインテリジェンスを提供します。私たちは、コミュニティが容易にカスタマイズ、改善できるよう、喜んでこれをオープンソースとしてリリースします」。

「Geminiのリアルタイム・ログ処理ソリューションは、big dataの問題をリアルタイムで解決できるCassandraの能力を、とても印象的に示しています」。DataStaxのCEOであり、ApacheCassandraの商用リーダーであるMatt Pfeil, CEOは語っています。「Cassandraは、急速にWebと企業アプリケーションにとって拡張性が高いプラットフォームとしての機運が高まっています。私たちは自らが革新を続けることと、Geminiとの協力関係に大いに期待しているところです」。

このFlume-CassandraLog Processor は、Githubからダウンロードできます。 https://github.com/geminitech/logprocessing

FlumeとCassandraは次のサイトになります

https://github.com/cloudera/flumeとhttp://cassandra.apache.org/

NTTソフトウェア株式会社様オンサイトにてNOSQL トレーニングを開催しました

2011-03-02T18:41:00.000+09:00

先週、2月25日（金）、NTTソフトウェア株式会社様の研修施設がある横浜事務所にて、オンサイトにおけるNOSQLトレーニングを開催いたしました。

NTTソフトウェア株式会社様では、「NOSQLには以前から取り組んでおり、最近になってニーズが多く寄せられており取り組みを拡大している」とのお話を伺い、オープンソース推進室から社内希望者を募っていただいたところ、大阪からのWebカメラによる参加も含め、30名近くの出席がありました。10秒程度のビデオですが、その模様をご紹介します。

NOSQL Technologies Overview Training from geminimobile on Vimeo.

トレーニングは、NOSQLのTipping Point（ブレイクするきっかけ）となったGoogleのBig Table、AmazonのDynamoの論文の技術概説を行い、そのうえで現存のNOSQLデータベースである、Cassandra、HBASE、MongoDB、Hibariについて、それぞれの特徴を説明し、技術の比較を行いました。また、YCSB論文のパフォーマンス比較についてもご紹介しました。

余談ですが、Hibariが「YCSB論文のパフォーマンス比較に入っていない」とのうれしいご質問もいただきました。Geminiでは数回パフォーマンス比較を行っており、「NOSQL AFTERNOON IN JAPAN」と「Erlang User Conference」で発表をしています。Basho Benchというツールを用いて比較しており、昨年発表したプレゼン資料にありますのでご参照ください。

HIbari/NOSQL/Erlang for Big Data at Erlang User Conference 2010

View more presentations from geminimobile

さいごに、CassandraとYCSBのデモをご覧いただき、半日のトレーニングを終了しました。終了後のサーベイで、「NOSQLが普及するためにどうしたらよいか？」という点をお伺いしたところ、次のようなご意見をいただきました。今後の活動の参考にしたいと思います。

イベントやセミナーの開催、宣伝活動による啓蒙
日本語ドキュメントの充実、Web情報の整備
多くの実際の適用事例を紹介
NOSQLの適用分野、SQLとの棲み分けを明確にしてゆくこと
NOSQLの適用シーン、適用モデルを明確にしてゆくこと
RDBMSのように活用方法を定型化、定式化

また、オープンソース推進室には、「今まさにやっている業務へのヒントとなった」、「すぐに業務に活用できる」といった声が寄せられたとのことで、「全体的に成功であった」とのフィードバックもいただきました。私たちとしても、たいへんに熱心に聞いていただき、内容を良く理解した的確な質問をいただき、今回のトレーニングのために米国から講師を出張させて本当に良かったと思っているところです。

このNOSQLのトレーニングは、昨年開始以来、回数を重ね次回は第4回目となりますが、4月後半の開催に向け準備を進めているところです。ご関心のある方は、ぜひ、bigdata at geminimobile.comまでご連絡いただければ幸いです。事前にご案内をさせていただきます。

日経コンピュータ2月17日発売号に紹介されました

2011-02-17T06:43:00.000+09:00

日経コンピュータ2月17日発売号のクローズアップ「超高速DB『NOSQL』が普及へ」と題した８ページに亘る特集記事において、ジェミナイが紹介されました。

「ジェミナイ・モバイル・テクノロジーズも、KVSを利用した分散ストレージ『Cloudian（クラウディアン）』の試験版を2011年2月末に提供する予定だ。Cloudianは、米フェイスブックが開発した列指向型の分散KVSのオープンソースソフト『Cassandra』をベースに、課金機能や容量制限を加えた分散ストレージソフト。Amazon S3のようなオブジェクトストレージ・サービスを構築できる」

この『Cloudian』はUSのチームが開発してきたプロダクトです。クラウドストレージを提供するAmazon　S３は「サービス」ですが、それを「ソフトウェア」プロダクトとして、かつ上回る機能を提供するもので、近いうちに詳細を発表する予定です。

そのほか、本特集はバッチ処理型ではなく、「リアルタイム処理に適したNOSQL」を取り上げており、ぜひご一読されることをお勧めします。

Mongo Tokyoイベントの特別割引のお知らせです

2011-02-11T05:30:00.005+09:00

多くの皆様にご参加いただきましたNOSQL AFTERNOON IN JAPANで、一緒にプレゼンをしましたMongo DBの10genが、3月1日（火）に日本初となる「Mongo Tokyo」を開催します。

私たちとしても、NOSQL AFTRNOON IN JAPANにおいて、日本のMonogo DBのユーザーと10 genとの出会いが契機となり、Mongo DBのコミュニティであるMonogo DB JPがスタートし、そのコミュニティの尽力により、このイベントが開催されることになったと聞き、とてもうれしく感じています。

そんな縁もあり、このブログをご覧の方々に、10genからイベントの特別割引の申し出がありました。

「Mongo Tokyo」イベントのチケット購入サイトはこちらになります。

http://www.10gen.com/conferences/mongotokyo2011

このサイトでチケットをご購入の際に、ディスカウントコードを入力することで特別割引を受けることができます。

上記の矢印の「Enter Discount Code」をクリックし、gemini の6文字を入力してください。20％の特別割引となります。

または、こちらのサイトから直接お申し込みください。
http://mongotokyo2011.eventbrite.com/?discount=gemini

ご友人知人の方にもこのディスカウントコードを伝えても良いとのことですので、ぜひとも、お誘い合わせのうえ、ご参加ください。

「Big Dataがモバイルビジネスに与える影響」

2011-01-25T16:42:00.000+09:00

昨年12月より、businessnetwork.jpに連載を開始した「Big Dataとの戦い」の連載最終回が掲載されました。

この最終回は、Big Dataがモバイル通信事業者を始めとするモバイルビジネスに与える影響について、私たちの見方をご紹介しています。

http://businessnetwork.jp/Portals/0/SP/gemini/05_01.html

モバイルビジネスをさまざまな角度から見ながら、これから「起こりうること」、または「望ましい方向性」について考えてみました。

ぜひとも、ご覧いただければ幸いです。

NOSQLの開発者を募集します

2011-01-04T09:39:00.000+09:00

Geminiでは、NOSQLの開発者を募集いたします。

Geminiはソフトウェアベンダーとして、商用NOSQLデータベースであるHibari開発を行い、オープンソースとしてリリースしています。また、米国ではHadoop/Cassandraを用いた商用プロダクトの開発に着手しています。

開発言語はC++、Javaに加え、Erlangを用いています。ご関心のある方のお問い合わせ、お申込みをお待ちしております。

詳細は以下のURLをご覧ください。
http://www.geminimobile.jp/company/career.html

Riptano Cassandra Hands-on トレーニングの振り返り２

2010-12-28T20:25:00.000+09:00

先日開催された第13回Cassandra勉強会にて、「Riptano Cassandra Hands-on トレーニング」について、とてもうれしいプレゼンがありました。ここに、ご紹介させていただきます。早速、Riptanoにもフィードバックしておきました。

「Cassandra Hands-on Training by Riptanoに行ってきた」westのぶろぐ

このように感謝していただけると、（結構、エネルギーがいりますが）なんとか次回も・・と考え始めてしまいます。本当にありがとうございます。

『「Big Data」との戦い』　連載第4回　「オープン化とBig Data技術」

2010-12-20T13:43:00.001+09:00

5回連載の『Big Dataとの戦い』連載第4回目となる「オープン化とBig Data技術」がアップされました。

「オープン化とBig Data技術」

Hibariをオープンソースとしてリリースする際に調べ、考え、議論したことや、リリースしたあとにメーリングリストなどの問い合わせを通じて学んだこと、「NOSQL AFTERNOON in JAPAN」や「NOSQL Hands-onトレーニング」を通じて経験したことをベースに、Big Data技術におけるオープンソースのビジネスモデルについてまとめました。

実は、脱稿後にもうひとつビジネスモデルがあることに気が付きました。それはログ付きのTシャツやマグカップなどの物販や、スポンサーにより運営されるビジネスモデルです。

Hadoop/HBASE、CassandraやHibariといったBig Dataを取り扱うNOSQLデータベースの大半は、自社利用を目的に開発したのちに、オープンソースとしてリリースされているため、この記事に記載したビジネスモデルがあてはまると考えています。

しかし、他の領域では自律的なコミュニティをベースにしたオープンソースプロジェクトが存在します。むしろ、オープンソースのイメージはこちらの方が「本物」という印象が強いかもしれません。

こういったオープンソースの開発者は、自分の本業とは別にこのプロジェクトのために時間を割き、規模が大きい場合にはコミュニティとして複数のキーとなる開発者達と共同で開発をしてゆきます。そして、ある一定の規模になると、コミュニティの運営のためにコストが必要となり、上記のような物販や、このオープンソフトウェアから恩恵を得る企業からのスポンサーシップを受けることで、組織を維持するのだと思います。

仮に、Hibariが一定規模のコミュニティに成長するようであれば、コミュニティ維持のために、Geminiとしても、ぜひとも支援したいと思います。この記事を書いたあとで、そんなことを考えました。

日本語Hibariサイトを発見！

2010-12-16T13:50:00.000+09:00

Hibariの日本語サイトをお客様から教えていただきました。Hibariの概要やインストール方法について、わかりやすく解説されています。

Hibariの特徴
Hibari/データモデル
Hibari/データ操作
Hibari/インストール

Hibariはオープンソースとしての日が浅く、英語ドキュメントしかありませんでした。このサイトのように、使い方を丁寧に説明していただけると、より多くの方に試していただけることになると喜んでいます。

こちらも、従来の開発者向けドキュメント（Hibari Home Page）とは別に、Users Guideの準備を始めています。完成しましたら、すぐにお知らせするようにいたします。

NOSQL Hands-on Trainingの振り返り

2010-12-15T13:16:00.001+09:00

12月9日（木）のRiptanoによるCassandra Hands-onトレーニングに続き、12月8日（水）~10日（金）の夜間と、12月10日（金）の昼の時間帯にGeminiによるNOSQL Hands-onトレーニングを開催しました。

当日の模様を1分程度のビデオでご紹介します。

Gemini NOSQL Hands-on Training from geminimobile on Vimeo.

各コース2時間の3コースというトレーニングでしたが、講義内容が盛りだくさんで、ペースが速すぎた・・・というようなフィードバックもいただきました。また、Cassandraを題材としたハンズオンでは、前回のトレーニングでは全く問題が無かったVirtual Boxの設定のトラブルなどで、数名の方にご迷惑もおかけしてしまいました。準備をする側としては深く反省しているところです。

幸いに予備のPCを山ほど用意していましたので、トレーニングは無事に実施できましたが、ご自身のPCで操作することに意味がある訳ですから、次回開催する場合には充分なテストを繰り返したうえで、仮想環境をご提供できるようにいたします。

終了後、サーベイを実施したところ、多くのコメントをいただきました。以下にご紹介いたします。

改善すべき点

「スピードが速く、ついてゆくのに苦労した。NOSQL Overviewを2時間で行うのであれば、ポイントを絞った方が良い」
「NOSQL Overviewは（具体的なNOSQLデータベースの技術ではなく）概念的な説明でも良かった。たとえば、NOSQLが生まれた背景、設計思想が異なる点、開発における留意点など」
「NOSQLが効果を発揮する領域、RDBが適している領域などのケースの具体的な説明があると良かった」
「（Virtual Boxが動作しない機種があったため）実機で動かなかったので、しっかりと確認、準備をして欲しい」
「募集要件としてJava経験者とあれば充分であった」

良かった点

「要点がまとまって、ポイントをしっかりと押さえていた」
「講師の教え方、知識の高さが良かった」
「（Virtual Boxのアプライアンスは）受講後に復習して理解を深めることができるため、非常に価値があると思う」
「サンプルコードがシンプルで適切なものが提供されていた」
「自分の手を動かして、Cassandraを使う形式が楽しく、勉強になった」
「なぜNOSQLが必要かという基礎的な考え方の説明が役に立った。また、NOSQL特有の実装方法を取り入れたハンズオンも良かった」

そして、このトレーニングを受けたあとの、参加者のNOSQLに対する興味の変化について尋ねたところ、次のとおりの結果となりました。

今回のトレーニングは時間配分や仮想環境の準備に課題があったことを反省しながらも、NOSQLを体験し、理解するという点では評価をいただいたのではないかと感じています。次回のトレーニングについては未定ですが、今回いただいたご意見を参考に、Riptanoにもフィードバックをしつつ、米国のスタンダードを持ちこむというよりは、日本人向けの特別なトレーニングにしてみたいと強く思いました。

参加者の皆様、ご参加いただき、また有益なご意見をいただき、本当にありがとうございました。また、今回はたいへんに短期間でのお知らせになり、都合がつかなかったという方も多くいると聞いております。来年早期にでも、トレーニング受講のご要望がありましたら、ぜひとも、ご連絡をいただければ幸いです。ご要望に合わせて柔軟に対応させていただきます。

連絡先：　bigdata at geminimobile.com

Riptano Cassandra Hands-on Training review

2010-12-10T20:37:00.003+09:00

昨日12月9日（木）、日本で初となるRiptano社によるCassandra Hands-on Trainingが、渋谷のGeminiのオフィスで開催されました。約15名の参加者が、Riptanoが米国で実施しているトレーニングと同じ内容で受講しました。

プロの通訳者が、難しい内容も確認しながら、わかりやすい日本語に通訳し、ときには説明内容は噛み砕くように講師をリードし、参加者全員から通訳があって本当に良かったとフィードバックをいただきました。参加費に見合う価値を得ていただくためにも、今後の運営の参考にしたいと思います。

開始5分程度の模様です。

Riptano Cassandra Training from geminimobile on Vimeo.

講師のPCにトラブルがあり、ハンズオンをたっぷりと期待していた方には御迷惑をおかけしてしまい、終了後、講師も気にしていました。ただし、そのかわりに、かなり踏み込んだ技術や最新の情報に関する多くの質疑が活発に行われました。それぞれの質問がとても鋭く、米国で定期的に開催されるトレーニングと参加者の質が全く違うと講師が驚いていました。

さいごに、参加者には全員、受講終了証が授与されました。

こんな受講終了証の数が増えてくると、NOSQLが本格的に普及し始めるのかもしれません。そんな日を楽しみにしているところです。

モバイルクラウド環境におけるBig Data技術

2010-12-03T13:17:00.000+09:00

ビジネスネットワーク.jpに、「モバイルクラウド環境におけるBig Data技術」として、Hibariを紹介しました。Hadoop/HBase、Cassandra、MongoDBについても簡単に紹介し、特徴の違いを説明しています。

【事前準備のお知らせ】Riptano社によるCassandra Hands-on トレーニング

2010-11-30T08:25:00.001+09:00

12月9日（木）に実施いたします、Riptano社による【日本語通訳付】Cassandra Hands-on Trainingの事前準備についてお知らせいたします。

1. ご持参いただくラップトップPCの要件
－　Windows、Linux、Mac OSX、いずれかの OSによるラップトップPC
－　2GB 以上のメモリー
－　8GB 以上の空きディスクスペース

2. VMWareのダウンロードとインストール
－　事前に、以下よりVMWareをダウンロードのうえ、
－　インストールをお願いいたします。
－　バージョンは、3.1.0以上であればOKです。

http://www.vmware.com/go/downloadplayer/

3．当日は、USBメモリースティックによりアプライアンスをご提供します。そして、VMWareのイメージを使い、ハンズオントレーニングを実施いたします。

Cassandra Hands-on Training by Geminiの準備について

2010-11-26T14:00:00.000+09:00

12月9日（木）の18時30分、12月10日（金）の13時、15時30分と18時30分、12月11日（土）の13時、15時30分に開催するGeminiによるCassandra Hands-on Trainingの事前準備についてお知らせいたします。コースの詳細はこちらです。

1. 御持参いただくラップトップPCの要件


 - Host OS: Windows, Mac OS, Linux

 - 空きディスクスペース: Minimum 4GB

 - RAM: Minimum 2GB

2. 事前にHost OS(Windows, Linux, OS X)に合ったOracle VM VirtualBoxをダウンロードしてください

http://www.virtualbox.org/wiki/Downloads.　version 3.2.10.


3. Oracle VM VirtualBoxをインストールしてください

 - デフォルト設定でOKです

当日は、2GB以上になりますが、USBメモリスティックにて、Virtual Boxのアプライアンスをご提供いたします。Linuxで動作するこのアプライアンスには、Cassandra、Eclipse、 YCSB、Twitter類似のデモアプリChirperなどが事前にインストールされており、このアプライアンスを利用してトレーニングを行います。

なお、Riptano社による12月9日（木）のCassndra Hands-on Training by Riptanoの事前準備については、あらためてお知らせいたします。

【講師のご紹介】Cassandra Hands-on Training by Riptano

2010-11-24T16:42:00.000+09:00

本年12月9日（木）に実施しますCassandra full day Hands-on Training by Riptanoの講師であるRiptano社のNate McCallよりメッセージが送付されてきましたので、ご紹介いたします。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・
Riptano is very excited to be working with Gemini Mobile in offering this training.

As I said at the NoSQL afternoon, we underestimated the amount of interest in Apache Cassandra in Japan. We decided to work quickly to get involved in the community. We are doing this as quickly as possible by offering our standard training course (well received by attendees in Europe and America) and translating our documentation to Japanese (thanks @kimtea!).

I will be the one providing the training course - as a brief background:
- I have been working with Apache Cassandra for over a year now and have worked directly on internals including: secondary indexes, thrift rpc, and the CLI.
- I have been a committer on the Hector java client project since March, shortly after it's inception
- I have been at Riptano since August and have worked closely with Jonathan Ellis and the rest of the team preparing the presentation materials that we use in our trainings.

This training is fast-paced and very hands-on. You will leave with a very good understanding of Apache Cassandra operations and application development. I am also working on a custom version of the material with ease of translation as a goal. I feel confident that we will deliver a solid product.

I understand from Motohashi-san that the translation is a point of concern. I can only say that we will try our hardest to make this work and anyone who signs up for this course and feels like they do not get a good value will have their money refunded in full.

Please let me know if you have specific questions regarding the training.

Kind Regards,
- Nate

(Thanks again to Motohashi-san and Ohtani-san for their help and Gemini Mobile for working with us to set this up quickly).
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
なお、Geminiが提供するHands-onの講師はGeminiのR&Dを統括するGary Ogasawaraが講師を務めます。Gary Ogasawaraのプロフィールは次のとおりです。

Gary Ogasawara, Global R&D
Gary Ogasawara heads up Gemini's global development and QA team, with operations in Silicon Valley, Tokyo, and Beijing. Gary has over 15 years of hands on engineering management experience at startups and larger companies. Gary has led the development of all of Gemini's products and their worldwide carrier deployments. Prior to Gemini, Gary was Director of Engineering at e-Centives, an e-Commerce search engine company. He also led the development of real time commerce and advertising systems at Inktomi, a leading Internet search engine and CDN gateway company. Gary holds a Ph.D. in Computer Science from the University of California at Berkeley, where he specialized in Bayesian decision theory, uncertainty reasoning and machine learning.

NOSQL Hands-on トレーニングの詳細はこちらになります。

【日本語通訳付】Cassandra Hands-on Training by Riptano

2010-11-23T08:53:00.000+09:00

先週11月10日（土）、NOSQL Hands-on トレーニング開催についてお知らせをいたしました。早々にお申し込みをいただき、また、Riptano社が米国で提供しているトレーニングと同じプログラムを日本で実施することに関心をもっていただき、誠にありがとうございます。

このたび、より多くの方にご参加いただき、同時に深く理解していただけるよう、プロ通訳者による日本語通訳付のトレーニングとすることといたしました。

日本で初めて開催のプログラムであり、たいへんに貴重な機会だと思います。多くの皆様のお申し込みをお待ちしております。

お申し込みはこちらになります

Riptano社によるCassandra Hands-on Trainingの概要

受講者には、"Cassandra 0.7.0"によるUbuntuベースのVMWareイメージが同梱されたUSBドライブが提供されます。これらのイメージは、ハンズオンにおいて3つのNodeクラスターを構築するために利用します。トレーニングの前半部分では、インストレーションとアプリケーションデザインを行います。1時間の昼食後、内部構造、オペレーション、チューニング、トラブルシューティングについて学びます。たいへん短い時間（5分以内）にはなりますが、最後にRipcord管理ソフトのデモを行います。

日時： 2010年12月9日（木）10時から17時30分
場所：ジェミナイモバイルテクノロジーズ　会議室（東京都渋谷区）

アジェンダ(Agenda)

(1) Installation and configuration
- Explain configuration options including multi-datacenter replication
- Hands-on exercises include:
  * grow cluster from one node to two, then three
  * run benchmarks with stress_py tool

(2) Application Design
- Discuss denormalization and how to model data for Cassandra
- Discuss Twissandra application's datamodel
- Disucss CloudKick's time-series data model

Hands on exercises:
  * more detailed usage of the command line interface (CLI)
  * add, edit and delete existing data via the CLI

~~~ lunch break ~~~

(3) Basics of Cassandra Internals
- Discuss Memtable and SSTable design
- Demonstrate SEDA (Staged Event-Driven Architecture) concepts at work in Cassandra

Hands on exercises:
  * using JConsole to visually demonstrate internal state

(4) Operations
- Discuss replication, no single point of failure (SPoF) and failure detection in Gossip protocol
- Discuss snapshots and import and export of data

Hands on exercises:
  * create failure scenario in cluster and demonstrate recovery
  * demonstrate additional JMX metrics via JConsole along the way to observe failure and recovery
    ~ discuss how to identify potential issues ahead of time via JMX and monitoring systems

(5) Tunning and Troubleshooting
- Discuss effective JVM tunning options available
- Discuss row and key caching effectiveness as well as file system caching

Hands on exercises:
  * how to track effectiveness of JVM configuration options via JMX

以上になります。その他のNOSQL Hands-on トレーニングの詳細はこちらをご覧ください。NOSQLにご関心を持つ多くの皆様にお会いできることを楽しみにしております。

『「Big Data」との戦い』　連載を始めました

2010-11-22T16:02:00.000+09:00

このたび、businessnetwork.jpにおいて、「モバイルクラウドが避けては通れない「Big Data」との戦い」という5回連載記事を開始しました。連載第1回は「モバイルクラウドの道はBig Dataの道」です。

本年11月1日（月）のNOSQL AFTERNOON IN JAPANには多くのエンジニアの方にお集まりいただきました。しかし、NOSQLと総称されるBig Dataの技術の普及のためには、最先端の開発者や現場の最前線にいるITエンジニアだけではなく、サービスの企画、開発や予算、計画などのビジネス部門も含め、より広い分野の方々に、この新しい技術の波について理解していただくことが必要です。

この記事の筆者2人は、通信業界における長い経験を有し、とくに携帯通信事業においては黎明期より企画や計画、サービス開発に携わってきています。また、Geminiの開発者の主要メンバーは90年代半ばより、インターネット関連の技術開発を行っており、その経験を数千万というお客様が利用する携帯メール製品の開発に活かしています。

これらの経験を活かし、専門用語や難しい概念が多い分野ではありますが、可能な限り、ビジネス系の読者にも理解いただけるよう、わかりやすく解説していきたいと考えています。

そして、さらに深く知りたいという方々には、別にお知らせしていますNOSQL Hands-on トレーニングで、実際にその技術を体験していただきながら理解していただくという2段構えでの展開を考えてみました。

連載の第2回は「Big Dataと携帯メール」というタイトルで、クラウドコンピューティングの歴史を遡り、かつ携帯メールがモバイルにBig Dataをもたらしたという経験に基づく記事を準備しています。

また、第3回は「モバイルクラウド環境におけるBig Data技術」として、Big Data環境においては、3つのV、すなわち、Velocity(速さ）、Volume（量）、Variety（多様さ）に対応することの必要性について説明し、その技術としてNOSQLが活用されることについてお伝えします。

第4回は、まだ準備中ですが、Big Dataの技術の多くはオープンソースにより提供されています。このオープンソースでいかにビジネスとして成り立たせるのかという視点から準備する考えです。

そして、第5回は「Big Dataがモバイル業界に与える影響」として、この連載のまとめとします。

多くの方に読んでいただき、Big Dataの技術に注目が集まり、新しい市場を育てることができるよう、プロの編集者の力も借りて面白い記事にするつもりです。どうぞ、ご期待ください。

Erlang User Conference 2010

2010-11-17T05:47:00.077+09:00

11月15日（月）、16日(火）の両日、ストックホルムで開催されたErlang User Conference 2010において、UBFのハンズオン・チュートリアルとHibariのプレゼンテーションを行いました。

（1）UBF Hands-on tutorial
ストックホルムにおけるHands-onであることから、さまざまな国から15名の参加者が集まりました。米国、英国、ドイツ、オランダ、ノルウェー、チェコ、スウェーデン・・・日本。UBFはErlangの父と呼ばれるJoe Armstrongの研究成果がベースになっており、その本人も積極的に議論に参加していました。

3時間のtutorial終了後、とても良かったと多くの参加者からの感想が寄せられました。

今回のHands-onの準備のため、UBF関連のドキュメントも整えました。
UBFドキュメント

また、Hibariに新しくThrift APIが加わりました。このThrift APIを利用することでErlang以外のC++やPythonといったプログラミング言語によるアプリケーションからHibariを利用できる環境が整い始めています。
Thrift API

(2) Erlang User Conference 2010
Erlang User Conference 2010はストックホルムにあるAstoriaという映画館で開催されました。

映画館の前にはErlang the movieというスターウォーズのパロディのポスター。

そして、約200人の参加者にHibariのプレゼンテーションを行いました。

HIbari/NOSQL/Erlang for Big Data at Erlang User Conference 2010

View more presentations from geminimobile.

パーティでは、Hibariのプレゼンを観に来た、ドイツの大手通信事業者のWebメールのバックエンドに利用できないかと注目していたなどという話を聞いたり、日本語のサイトまでも見て熱心に研究している参加者に出会うなど、HibariはErlangコミュニティにおける大型案件として、多くの方に認知されていたようです。

当日のプレゼン模様ははこちらをご覧ください。iPhoneで録画した30分の動画です。後半部分では活発なQAが行われています。

Hibari/Erlang/NOSQL for Big Data

NOSQL Hands-on Training　開催のお知らせ

2010-11-10T11:40:00.243+09:00

NOSQL AFTERNOON IN JAPANの大きな盛り上がりを受け、Geminiは、多くの方にNOSQLを学び、体験していただくため、NOSQL Hands-on Trainingを開催いたします。可能な限りスケジュールを合わせることができるよう、全日、夜間、平日昼間、土曜日の4つの時間帯で開催いたします。多くの皆様のご参加をお待ちしております。

1. 日程

夜間コース　2010年12月8日（水）、9日（木）、10日（金）
全日コース 2010年12月9日（木）
平日昼間コース　2010年12月10日（金）
土曜日コース　2010年12月11日（土）

2．コース概要

(1) Cassandra full day Hands-on by Riptano(全日)
Riptanoの講師より、Riptanoが米国で実施しているスタンダードのCassandra Hands-onトレーニングプログラムを日本語通訳付きで直接受講します。詳細についてはこちらもご参照ください。

(2) 100. NOSQL Technologies Overview (2時間)

Geminiの講師より、NOSQL関連論文を要約し、NOSQLの概要について学びます。また、Amazon EC2を利用してCassandraのオペレーションデモにより動作を確認します。

(3) 200. Cassandra Hands-on Basics (2時間)

Geminiの講師より、参加者自身のラップトップPCにVirtual Boxのアプライアンスをインストールし、実際に操作しながら、Cassandraの基礎について学びます（専門家である必要はありませんが、Java、C++、Pythonなどのプログラミング経験が必要です）。

(4) 201. Cassandra Hands-on Data Modeling (2時間)

Geminiの講師より、参加者自身のラップトップPCにVirtual Boxのアプライアンスをインストールし、Twitter類似のアプリケーション開発を通じて、Cassandraのデータモデルについて学びます（専門家である必要はありませんが、Java、C++、Pythonなどのプログラミング経験が必要です）。

日程スケジュール表

4．Geminiの講師

Geminiが提供するトレーニングの講師は、Gemini Mobile TechnologiesのグローバルR&Dを統括するGary Ogasawaraです。Gary Ogasawaraは、UCバークレーにてコンピューターサイエンスの博士号を取得後、シリコンバレーにおけるベンチャーや大手企業において15年以上に亘る開発経験を有しています。また、インクトゥミ社時代には、CAP定理を提唱したEric Brewerとともに当時最大手の検索エンジン関連開発に従事していました。

5. 場所

東京都渋谷区道玄坂1－10－5　渋谷プレイス7階　
ジェミナイモバイルテクノロジーズ会議室　地図

6．お申込み

以下のサイトで、Google Checkoutを利用して、チケットを購入していただくことでお申し込みできます(チケット価格はUSドルで表示されています)。

Cassandra full day Hands-on 全日コース

100. NOSQL Technologies Overviews 夜間コース

100. NOSQL Technologies Overviews 土曜コース

100. NOSQL Technologies Overviews 平日昼間コース(通訳付）

200. Cassandra Hands-on Basics 夜間コース

200. Cassandra Hands-on Basics 土曜コース

200. Cassandra Hands-on Basics 平日昼間コース(通訳付）

201. Cassandra Hands-on Data Modeling 夜間コース

201. Cassandra Hands-on Data Modeling 土曜コース

201. Cassandra Hands-on Data Modeling 平日昼間コース(通訳付）

7．その他

夜間コースと土曜日コースの講義は英語で行います。エンジニアリングレベルの英語を聴き取ることができることが必要です。なお、全日コースと平日昼間コースは日本語通訳が付きます。
Windows、Linux、Mac OSX搭載のラップトップPC持参をお願いいたします。
1コースあたり最小参加人数1名から実施いたします。また、Geminiが提供する各コースの定員数を15名、Riptanoが提供するトレーニングの定員数を20名としますので、小人数で深く学ぶことができます。

特に、Riptanoによる全日コース並びにGeminiによる200と201のコースでは、Cassandraなどの関連ソフトウェアをインストール済みのアプライアンスをご提供しますので、NOSQLに強い興味があるものの、実際に試してみる時間の余裕が無いという方に最適なコースだと考えています。多くの方のお申込みをお待ちしております。

Mongo DB mug cup

2010-11-08T12:46:00.002+09:00

NOSQL AFTERNOON IN JAPANにご出席の皆様に、10genから、Mongo DBのコーヒーマグカップのプレゼントがあります。

本来であれば、当日の出席者にお配りする予定でしたが、船荷が間に合いませんでした。そのため、お申し込みいただいた方に、米国より直接、郵送したいとのことです。ご希望の方は、以下のフォームでお申し込みくださいとのことです。
Mongo DB mug cup

また、お問い合わせは、10genのMeghan Gillまでお願いします。
@meghanpgill

(Geminiでは、その他詳細はわかりませんので、予めご了解いただければ幸いです。)

NOSQL AFTERNOON IN JAPANの振り返り

2010-11-05T06:25:00.052+09:00

発表者の皆様、運営をお手伝いいただいた皆様、ご相談させていただきました皆様、スポンサーの皆様、そして出席いただきました皆様、

多くのご協力いただき、本当にありがとうございました。今回の経験で多くのことを学びました。アンケートの結果やコメントを一部ご紹介しながら、今後の参考となるようなトピックをお伝えしたいと思います。

1. 会議全体の評価

約70名の方からアンケートに回答していただけました。約380名が出席したとすると、20%弱の回答率です。95％近くの方に「たいへん良かった」、「良かった」と回答していただきました。この高い評価を観るに、回答にバイアスがかかっているとも言えるかもしれません。「良い」と感じた人だけが回答している可能性です。

とはいえ、そんな統計的な意味合いはどうでも良い気分です。多くの方に喜んでいただけたという実感もありますので、運営側としても素直に喜んでいます。

2. 運営について

運営についても、全般的に良い評価をいただきました。

良い点についてのコメントは次のようなものが多く見られました。

時間通りの進行と熱心な運営
無料にもかかわらず同時通訳があった
国内外から一堂に集まり、直接話しを聞くことができた
初めてのため、わかりやすかった

一方、課題として次のようなコメントをいただいています。

６時間は長かった
パイプ椅子はつらかった
概要レベルだったので、もっと深い内容の話を聞きたかった
発表に共通の軸があると比較しやすかった
パネルがあると良かったのでは

上記のコメントは、仮に次の機会があれば当然ながら参考にしたいと思います。もしも、同種の会議を企画している方がいれば、ぜひともご参考になさってください。

3. いくつかのトピック

（1）無料で運営できた理由

日米の有名なNOSQLプロジェクトが一堂に介し、同時通訳も付いて無料。

この点については、Tweetも含め、高く評価をいただきました。しかし、米国からの渡航費、同時通訳機器、プロの通訳者、当日の運営者の人件費、会議スペース、これらの運営にかかったコストはそれなりのものになります。一般的には、これらのコストは情報を得る側が負担するのはないでしょうか。準備過程においても、いくたびか有料で開催してはどうかという提案もいただきました。

こちら側に先入観があったことも否定できないのですが、NOSQLという分野は未だアカデミックな色彩が強く、広く理解してもらうにはハードルが高く、英語では、そのハードルをさらに高くしてしまい、そのうえ有料にしたら、出席する人はかなり限定されてしまう、と考えていました。

そのため、「出席者の裾野を広げるためにはコストがかかる」ということを、関係者と相談し続けていました。発表者側としても、日本は世界で2番目に大きなNOSQLの市場と認識しています。スポンサーとなり運営コストを負担してでも、より多くの人に理解してもらえる機会と考えてくれたのだと思います。こうして、無料で開催できることになりました。

ただし、次回も無料開催にできるものかはわかりません。市場として魅力的に見えなければ、発表者側でコスト負担までしようと思わない可能性もあります。また、少ない人数で専門性の高い会議の場合には採算がとれないと考える可能性もあります。

そういう意味では、日本市場にビジネスとしても大いに関心を持ってもらえるよう、熱心に情報発信をし続けることが重要なのだろうと思います。

そして、それは、いまやグローバル語となった英語で伝えることが早道なのではないでしょうか。英語でプレゼンという挑戦を高く評価してもらえるとうれしいところです。

（2）日本語通訳が英語？

通訳者の方々には、「音の聞き易さ」という点からは、あまり良いとは言えない環境のもとで通訳をお願いしました。同時通訳であることから、ちょっとした発言や音声を聞き漏らすと、その部分は飛んでしまいます。

これが、フレーズ毎に通訳する逐時通訳であれば、確認しながら通訳できますので、そのような課題は少なくなります。ただし、英語で発言し、次に日本語で訳し、となりますので、プレゼンには倍の時間が必要になります。今回は多くのプロジェクトに参加いただいたことから、時間がタイトでした。そのため、今回のようにお願いすることとしました。

そのこととは無関係に興味深いTweetを見かけました。「日本語の通訳が英語・・・」、という感想です。専門用語に英語とカタカナ語が多いために、それらのキーワードや専門用語になじみが無いと、そんな感想も充分に理解できると思いました。

とはいえ、「帽子理論」と日本語で聞いたら逆にわからないかも・・・なんて心配も（冗談です）。

（3）日本流と分散システム

出席者の皆様のご協力により、受付、誘導、セキュリテリカードの登録や回収、レシーバーの配布〜回収〜整理〜片付け、時間通りの運営、スムースな入退場・・・、本当に整然(organized)とした会議運営になったと思います。

このことに米国側全員が驚いていました。別の機会にも、電車や駅を例に、その正確さと集団の秩序に基づき行動する日本流について議論したことがありました。集団としての利を得るために、個々人が自らを律し、浅く広く全員に少しづつ我慢してもらう（パイプ椅子固かったですか？・・・すみません。）。そんな日本流の分散システム？を示すことができたのではないかと思います。

繰り返しになりますが、ご協力いただきありがとうございました。いただきましたフィードバックを励みに、Hibariだけではなく、NOSQL市場全体の成長に引き続き尽力したいと思います。

Brief reviews of "NOSQL AFTERNOON in JAPAN"

2010-11-02T17:01:00.022+09:00

Yesterday afternoon, November 1, 2010, "NOSQL AFTERNOON in JAPAN" was held at the Rakuten meeting room in Shinagawa, Tokyo. Almost 380 people joined this first NOSQL conference in Japan despite the weekday afternoon. Also this conference became the largest generic NOSQL event in the world.

The meeting started from Opening Remarks from Shinya Motohashi (Gemini Mobile) and Tim Anglade (the founder of a nosql summer reading group),

(picture from Prof. Shudo)

who co-organized this event, by showing appreciations to sponsors and supporters of "Gemini Mobile Technologies", "InfinityGraph", "Scality", "10gen", "Cloudant", "CUPA", "Riptano" and "Rakuten".

As presenters, eight plus one NOSQL projects of Japan and US showed up. The followings are presentations from them (to be updated)

(1) Hibari (Gemini Mobile Technologies)
Joe Norton presented "Hibari". Hibari is written as "雲雀" in Kanji, which has the meaning of "Cloud Bird".

(2) Okuyama (Takahiro Iwase)
Takahiro Iwase presented "Okuyama" named from his favorite driving road.

(Picture from Prof. Shudo)

(3) Cassandra (Riptano)
Nate McCall presented "Cassandra", which was introduced as a hybrid of merits of BigTable and Dynamo.

(4) ROMA (Rakuten)
Muga Nishizawa presented "ROMA" developed by motivations to create distributed systems by Ruby.

(5) MyCassandra (Shunsuke Nakamura)
Shunsuke Nakamura is a graduate student of Tokyo Institute of Technologies and showed very unique project to mix up MySQL and Cassandra as "MyCassandra".

(6) Mongo DB (10gen)
Roger Bodamer presented "Mongo DB" of 90,000DL per month with very nice Mongo DB stickers.

(Picture from Prof. Shudo)

(7) kumofs (Sadayuki Furuhashi)
Sadayuki Furuhashi presented "kumofs". "Kumo (雲)" means "cloud" in Japanese and never falls down from the sky.

(8) Couch DB (Cloudant)
Alan Hoffman presented Couch DB. The word of "Futon"comes from the Japanese style bedding, "布団". Combination of Couch and Futon are very nice. Thanks to 2GB free cloud access card.

(Picture from Prof. Shudo)

(9) HBASE/Hadoop (Cloudera)
Todd Lipcon presented "HBASE/Hadoop". Thanks to rushing up from other appointments.

(Picture from Prof. Shudo)

This "NOSQL AFTERNOON in JAPAN" has received many positive feedbacks from attendees via Twitter by "hashtag of "#nosqlgogo". Also, you can watch presentations recorded in U-STREAM channel of "nosql-afternoon-in-japan.

Recorded presentations
Part 1 (Opening Remarks, Hibari, Okuyama, Cassandra, ROMA, MyCassandra)
Part 2 (Mongo DB, kumofs)
Part 3 (Couch DB, HBASE/Hadoop, Closing Remarks)

The meeting proceeded as planned agenda to finish by 1830pm and all of 200 interpreter's receivers and 400 guest security card were successfully collected without any loss. We highly appreciate for Not Only many attendances but also supports and cooperations to run the meeting smoothly. Finally, thank you very much for a big applause from all.

(picture from Prof. Shudo)

Cassandra Hands-on トレーニングの振り返り

2010-10-25T11:46:00.001+09:00

本年10月19日と20日に渋谷のGeminiオフィスにて、2日間に亘り計4時間のCassandra Hands-on トレーニングを開催いたしました。その2日目は、Chirperと名付けたTwitterに類似したアプリケーション開発を通して、Cassandraの列指向型(Column-oriented)のデータモデルについて学びました。第1日目に配布したVirtual Boxのアプライアンスを利用し、Single-userのケースとしてUserとTweetを加え、そのTweetを呼び出し(userline)、Multi-userのケースとして、friendを加え、そのfriendのTweetを呼び出す（timeline)というエクササイズです。そして、トレーニングの最後には、JMX（Java Management Extensions)を用いてアプリケーションのモニターもしました。

2日目のトレーニングは、活発な質問や議論のあった1日目のトレーニング模様から一転し、参加者の皆さんが講師のインストラクションに従い、休憩時間も使わず、黙々と考え、プログラミングしていたのがとても印象的でした。また、開発ツールであるEclipseを始めて利用したという方がいたにもかかわらず、参加者の方々の理解の速さと高いスキルに、たいへん驚かされました。

終了後、アンケートを実施しました。いただきました回答の一部をご紹介します。

トレーニングの改善点として、次のようなご意見をいただきました。

「標準のAPIやもっとシンプルなAPIの利用方法を説明して欲しい」
「稼働させた際の問題点や課題など、実践的な説明があると良いのでは・・・」
「日本語で説明のサポートがあると良いのでは・・」

その一方で、トレーニングに対して、多くのお褒めの言葉もいただきました。

「講師がたいへん丁寧に説明し、質疑に応じてくれた」
「事前に用意されたアプライアンスにより、全員が同じ環境で学べたことが良かった」
「トレーニングの環境が良かった」

このような、素晴らしいフィードバックをいただき、運営側としても、何とか年内にもう一度トレーニングを開催してみたいと思うようになりました（実は準備は結構たいへんです・・）。次回のトレーニングは、ご要望の多かったマルチノードを利用した環境をAmazon EC2を用いて設定し、ネットワーク構築やノード追加などのオペレーションを学ぶトレーニングなどはどうかと考えています。ただし、次回は運営コストを賄うことができるよう、トレーニングの回数を複数回設けるか、参加費を上げて実施する必要はありそうです。

さいごにはなりますが、参加者の皆様、ご参加いただき、また有用なご意見をいただき、本当にありがとうございました。また、今回ご参加できなかった皆様、次回は今回の経験も活かし、より良い内容にしたいと考えています。このブログなどでお知らせいたしますので、機会があれば、ぜひご参加ください。Big Dataを扱う技術にご関心を持っていただける多くの皆様にお会いできることを心から楽しみにしております。

Cassandra Hands-on トレーニング　第1日目

2010-10-20T10:31:00.001+09:00

10月19日（火）、渋谷にあるGeminiの会議室にてCassandra Hands-on トレーニング第1日目を開催しました。講師はGeminiのグローバルR&Dを統括するGary Ogasawaraです。10人の方々にお申込みいただきましたが、仕事などの都合で急遽参加できなくなった方もおり、計7人にご参加いただきました。

1時間目は、NOSQLとCassandraの概要です。NOSQLの概要として、NOSQLが必要になってきた技術的側面からの背景やNOSQLとSQLの違い、NOSQLのプロジェクトの分類などについて説明をいたしました。そして、Cassandraの概要としては、その技術的な特徴について説明をいたしました。特に強調したのは、列指向型と呼ばれるデータモデルと、書き込みはメモリー上の"In-Memory Table"とディスク上の”Commit Log”に行われ、"In-Memory Table"からディスク上の"SSTable"に複製（レプリカ）をすることで、サーバー障害などの際にメモリーが消滅してもディスク上にデータは残るというLocal Persistent(永続性）の仕組みでした。参加者の方々から、分散されたノードにデータを振り分けるコンシステント・ハッシングについてのご質問などにより、議論も盛り上がりました。

2時間目は、事前準備として参加者の方々に仮想化ソフトウェアであるVirtual Boxをインストールしておくことをお願いしてありましたが、そのVirtual BoxのRed Hat Linuxで動作するアプライアンスを皆さんにお配りしました。

このアプライアンスは、GeminiのUSの開発チームのトレーニング用に作成したものです。ただし、そのUSのトレーニングにおいては、ラップトップのメモリーサイズやディスクサイズなどのハードウェアの要因により、うまく動作しないというケースも見受けられました。そのため、予備のラップトップを用意してあったのですが、、あっという間に全員が設定を終えてしまいました。この手際の良さには、講師のGaryも驚いていました。

このアプライアンスには、Cassandra、YCSB、翌日に利用するTwitter類似のアプリなどが組み込まれています。そして、第1日目は、CassandraとYCSBを操作してみました。多少のトラブルもあるかと想定していましたが、参加者の方々は簡単に操作され、こちらは一安心といったところです。

こうして、ちょうど2時間で、CassandraとYCSBの操作までというセッションを終了しました。第2日目は、Twitterに類似したアプリケーションの開発を通して、Cassandraのデータモデルを理解します。この模様については、あらためてご報告することにいたします。

"NOSQL afternoon in Japan" 2

2010-10-14T15:07:00.001+09:00

本年11月1日（月）、楽天様の会議室をお借りして開催する"NOSQL afternoon in Japan"。本当に多くの皆様にお申込みをいただいています。150名であった定員数を200名に増やしましたが、数日のうちに300名を超えるお申込みをいただくことになりました。

100名近くの方が補欠となっていましたが、#nosqlgogoのTweetやatndのコメントには、どうしても参加したいとの多くのご意見が寄せられていました。

関係者の方から「400名まで定員を増やしましょう！」とのうれしいご連絡を昨晩遅くにいただき、本日早朝、すぐにatndの定員数を400名に増やしました。

「A nosql summer」の主催者から、日本でNOSQLの開発者が集まる会議に興味が無いか？と聞かれたのは、すでに2ヶ月以上も前のことです。そして、彼は日本に呼ぶことができる（だろう）NOSQLのプロジェクトとそれをサポートする企業名のリストを送ってきました。GeminiもNOSQLである分散KVSのHibariをオープンソースとしてリリースしており、米国を中心とした彼らの名前は良く知っています。以前の同僚がいる会社もあります。

しかしながら、Geminiは約2年前からHibariの技術をお客様に直接ご説明してきましたが、好意的なご意見をいただくものの、なかなかその先には進まないという経験を繰り返してきました。そのため、米国ではHadoopやCassandraを中心に盛り上がりを見せてはいるものの、日本において理解していただくにはもう少し時間がかかるであろうと考えていました。

そして、この会議を開催しても、平日の午後ですし、英語というハードルもありますので、100名集まっていただけるかどうか・・と躊躇いながら、コミュニティで中心になって活動されている方々にご相談してきました。また、少しでもご出席していただく方々の裾野を広げようと、通訳の手配についても、コスト面も含めて、いろいろな方にご相談させていただきました。

本当にありがたいことに、参加を表明してくれた米国側、日本側でクラウドを推進する活動を積極的に行っている方々が、これらのコストのスポンサーシップに応じてくれることになりました。また、楽天様が快く会場をご提供してくれることになりました。

募集を開始すると、関係者の皆様にご相談したことが恥ずかしくなるほどのお申込み数です。こんなにも多くの方々が関心を持っていたと知り、本当に驚いています。そして、基盤系の技術における、このような盛り上がりは、何か新しい時代の予感すらさせます。

多くの皆様が集まりますので、運営にはいろいろと心配もあります。ふと、昔の上司が「悲観的に計画し、楽観的に実行しろ」と言っていた言葉を思い出します。微力ではありますが最善を尽くしてみたいと思います。ぜひ、皆様におきましても、これがきっかけとなり、日本でもBig Dataの技術としてNOSQLが大きな波となるよう、ご協力をいただけると幸いです。

NOSQL afternoon in Japan

2010-10-08T18:20:00.000+09:00

昨日、10月7日（木）の朝7時より、"NOSQL afternoon in Japan"と題したNOSQLの開発者が集まる会合の募集をatndで行いました。数時間のうちに、200を超えるお申込みをいただきました。本当にありがとうございます。

http://atnd.org/events/8460

このブログ、NOSQL関連のMLで翌日に募集を開始するとお知らせしたところ、IT Proにも記事にしていただき、「準備中」、「募集は、しばらくお待ちください」、定員０と掲載しておいたにも関わらず、多くの方に「補欠」としてご登録いただき、結果として募集開始をお待ちいただくような形になりました。

IT Pro news

お知らせをするのであれば、すぐに募集を開始すれば良いのに・・・というご意見もあると思います。しかし、最後の最後まで、開発者達の参加について確認をしていました。実は、いまでも、まだ1社最終確認を待ってますが、その一方で、開催は1ヶ月を切っています。特に、平日の午後ですので、早くお知らせすることも必要です。そんな葛藤を経て、このような募集方法になりました。

また、共同で幹事をしている"A nosql summer"の主催者と案内文のやり取りをしているなかで、ここでご紹介したい、いくつかのトピックがありました。

1．Meet up

最初の会議名は、前回のブログにもあるように、"nosql meet up in Japan"としていました。しかし、このmeet upは、夕方の軽い会議に使われる表現だとのことでした。今回の会議は、午後一杯を使う会議です。そのため、meet upは適切ではないので、この際、Afternoonはどうだろう？との提案があり、こんな会議名としました。

2．NOSQL

最近、Webなどで良くNoSQLの表現を見かけるようになりました。そのため、自然にNoと記載していました。ところが、この"A nosql summer"の主催者は、"No"ではなく、"Not Only"　SQLであるという点を常に強調しています。そのため、Noではなく、Oを大文字で、NOSQLにして欲しいと提案してきました。こちらも、Not Only SQLの考え方には全面的に賛成なので、大文字で、NOSQLと表現することにしました。

3．#nosqlgogo

本当にありがたいことに、Tweetも増えてきました。ハッシュタグをすぐにつけようと提案がありました。その案として、#nosql no gogo という案が送られてきました。なんとなく意味不明です。No Go Goでは、「進むな！」のような印象もあります。そこで、Skypeで、ハッシュタグをどうする？と聞いたところ、自分の日本語は変か？のような質問をしてきます。そこで、やっと気がつきました。このgogoは、「午後」でした。日本側でご協力していただいている方に、この#nosql no gogo についてどう思うかお伺いしたところ、#nosqlgogoはどうでしょう？という提案もいただいていました。実は、理解していなかったのは、当方だけだったのかもしれません。

4．世界最大？

200名もの登録をいただく半日間、先方もフランスからatndの登録者数が増えているのを見守っていたようで、100を超えた、150を超えたと次々にメールを送ってきます。そのなかで、これまでのNOSQLの会合で世界最大になると興奮した様子で、何としても定員数を200に増やして欲しいと伝えてきました。すぐに会場をご提供いただく楽天様にご相談し、定員数を増やしました。

彼によれば、これまでの最大のNOSQLのイベントは、NOSQL EASTだったそうで、120名の参加者があったとのことです。そのため、仮にキャンセルがあったとしても200名近くの方にお集まりいただければ、世界最大になるとの考えでした。

nosql east conference

しかし、その時には興奮していましたが翌日確認したところ、HadoopNYは2000人の参加者があったとのこと。NOSQLという総称を使った会議では世界最大と、注意して表現しようと確認し合いました。

5．アジェンダ

10月8日現在でご案内しているアジェンダは、かなりタイトなものになっています。このような会議では、ブレイク（休憩）を多く入れ、開発者達と自由に雑談できる時間があるのが良いとのアドバイスをいただいております。最終確認が必要な開発者からの連絡を待ち、アジェンダの時間割も見直す予定です。

また、もしかすると、もう1社参加いただけるかもしれません。その場合には、少し終了時間が遅くなる可能性もあります。こちらも合わせて、あらためてご連絡いたします。

nosql meet up in Japan

2010-10-01T20:21:00.002+09:00

この数カ月、nosql summer reading in Tokyoという、グローバルで展開しているNoSQL論文の読書会の東京における開催のホストをしてきました。もう夏は終わりですが、10月に最終回を開催する予定です。

http://nosqlsummer.org/

ただし、それだけではなく、この主催者とともに、NoSQLの開発者が集まるmeet upと呼ぶ会合の準備を進めています。

このNoSQL meet upは、先日シアトルで開催されています。そして、10月後半にシリコンバレー。そして、日本。さらに他の国における開催も準備しているようです。

Seattle-Hadoop-HBase-NoSQL-Meetup

Silicon-Valley-NoSQL

日本では11月1日の開催を予定しています。日本からはHibariを含み4、米国から4の計８のプロジェクトが一堂に介して、半日に亘り、それぞれがプレゼンをします。

現在、最終の詰めを迎えており、いわゆるBig Nameからの最終確認待ちという段階です。なんとか来週にはお知らせできると良いなと思っています。

Cassandra Hands-on トレーニング開催のお知らせ

2010-09-23T10:25:00.003+09:00

最近、日本にもおいても多くのメディアや各種勉強会などにおいて活発に紹介され、注目を集めているCassandraのHands-on トレーニングを開催します。
Geminiは自社開発の分散型KVSであるHibariをオープンソースとしてリリースしていますが、同時に米国シリコンバレーのR&Dにおいては、CassandraのAPIを利用してデモアプリを開発するなど、多くの経験を積み重ねています。
このたび、GeminiのグローバルR&D責任者であるGary Ogasawaraが来日する機会に、2日間夕刻2時間の計4時間のHands-on トレーニングを開催するものです。Hands-onのため10名程度の参加者にて実施することを計画しています。参加希望、お問い合わせはメールにてご連絡いただければ幸いです。概要は次のとおりとなります。

Cassandra Hands-on トレーニングの実施概要

日時：　2010年10月19日（火）と20日（水）の2日間、
　　　　18時30分〜20時30分

場所：　ジェミナイ・モバイル・テクノロジーズ株式会社会議室
　　　　(ジェミナイ・モバイル・テクノロジーズ　地図/住所)

講師：　Gary Ogasawara　
（GeminiのグローバルR&D責任者、UCバークレー博士号取得後、検索最大手であったInktome社などにおいて15年以上に及ぶ開発マネジメント経験）

参加者数：　10名程度を募集

トレーニング概要：

目的：計4時間のHands-onトレーニングにより、参加者自身のコンピュータを利用してパフォーマンス・ベンチマーク（YCSB)を動かし、単純なTwitter類似のアプリケーションを開発することを通じてCassandraの初歩的な利用について学びます。

要件：

LinuxかMac OS XのノートブックPC
Java, C++, Python・・・などにおける開発経験（初歩的な経験で大丈夫です）
エンジニアレベルの英語　（トレーニングの大半は英語で行いますので聞き取りができることが必要です。ただし、日本におけるコミュニケーション経験豊富ですので、流暢である必要はありません）

アジェンダ：

Cassandra Basics (1時間目)

Non-relational DBs overview
Cassandra architecture
Cassandra data model

Cassandra setup and benchmarking (2時間目)

Setup: Install necessary software.
Configuration: Review different configuration settings.
YCSB benchmarking: Run simple benchmarks using YCSB.

Hands-on Twitter-like application (3、4時間目)

Building Twitter-like application
JMX, logging.

お問い合わせとお申込み

以下のメールアドレスにご連絡ください。

　　bigdata@geminimobile.com

　
その他

先着順とさせていただきます。
トレーニング前にCassandraのインストール方法など事前準備資料をお送りいたします。
トレーニング前後にアンケートを実施させていただきます。

ご不明点など、ご遠慮なくお問い合わせください。

お問い合わせ、お申込みを心よりお待ちしております。

「クラウド育ち」のOSS、主役に

2010-09-17T16:26:00.000+09:00

2010年9月15日発売の日経コンピュータ誌の特集「クラウド育ち」のOSS、主役に」において、Hibariが紹介されました。

Hibariは「クラウド育ち」の新型OSSがユーザー企業にもたらすメリットとして、「ハードウェア障害が起きても”落ちない”データベースシステムを運用できる」活用ソフトとして、「Cassandra」「Voldemort」とともに紹介されています。

また、日本企業からも登場し始めた「クラウド育ち」のOSSとして、

「Hibariは元々、ネット企業や通信事業者向けに開発したソフトだ。日本国内大手ネット事業者が提供するWebメールのストレージとして採用された実績がある。中国の大手通信事業者であるチャイナモバイルやチャイナユニコムもHibariを利用する」に加え、

「OSSとして公開して、まずは様々な企業に使ってもらおうと思った」と紹介されています。

多くの誌面に紹介していだだき心から感謝しているところですが、OSSとして公開した理由については、もう少し付け加えたいことがありました。

(1) エコシステム
OSSとして公開することにより、Hibariというデータベースを取り巻くエコシステムを作りたいと考えました。これはすでに動き始めているという実感があります。HibariはLinuxのRed Hat、Cent OS、Fedora LinuxをOSとしてサポートしてきました。それは利用していただいているユーザーの環境に合わせるためです。しかし、OSSとして公開した直後から、Debian、Ubuntu、さらにはMac OS Xも利用できるように、次々とパッチが送られてきています。このおかげで、さらに多くのOS環境から利用できるようになります。今後はクライアントAPIの言語においても、いろいろな言語から利用できるようになるとうれしいと考えています。

(2) チェイン・レプリケーション
Hibariは、結果として整合性が保たれるという｢結果整合性」ではなく、リクエストに対し更新を確認済みのデータを必ずリプライする「強い一貫性（Strong Consistency）」を提供するため、チェイン・レプリケーションという技術を実装しました。このチェイン・レプリケーションについて、いくつかの論文は発表されていますが、商用システムにおいて実装されたという事例はいまのところ発見できていません。おそらく、世界初であろうと考えています。OSSとして公開することにより、このチェイン・レプリケーションの実装方法をレビューしてもらい、今後のNoSQL技術の進化に貢献したいとも考えました。

(3) Big Dataアプリケーション
Hibariはデータベースです。そのため、このデータベースを利用するアプリケーションが必要です。HibariはWebメールのために最適化されていますが、これからのBigDataの時代には、想像を超えた広範囲な分野で活用される可能性があるのでは無いかと考えました。そんなユーザーに近いアプリケーションを開発している方々に、気軽にHibariを利用してもらえれば、Big Dataのアプリケーションに対する新しい領域が見えてくるのではないかと思いました。

このような理由も含め、HibariをOSSとして公開しました。しかし、実際にOSSとして公開してみると、公開前には想定していなかった効果が顕著になってきました。

それは、世界中からHibariのダウンロードがあり、さまざまな国々の方々から問い合わせをいただいているという点です。たとえば、ドイツ、英国、ウクライナ、ロシア・・。渋谷から半径何キロメートルから、ある日突然、世界に視野が広がったという感じです。

もっともっとHibariの知名度があがるようになれば、さらに想定していなかった効果があるのかもしれません。それは本当に楽しみです。

Hibari presentations in Chicago

2010-09-05T16:11:00.003+09:00

去る８月２５日、ChicagoのおけるErlangユーザーの集まりであるChicago Erlang User Groupにおいて、２時間に亘り、HibariについてのTech talkが開催されました。かっての同僚である開発者が説明しています。その模様が、ブログに掲載されましたのでご紹介いたします。

ブログ：http://www.snookles.com/slf-blog/2010/09/04/hibari-news-presentations-in-chicago-and-tokyo/

ビデオは２時間あり、見ごたえがあります。前半の約４５分は、以前ご紹介したHibariの日本語プレゼン資料の一部を利用していますので、内容は解りやすいかもしれません。後半は、英語版になりますが、HibariのReadmeをご覧いただければフォローしやすいと思います。

ビデオ：http://blip.tv/file/4052356/

Hibari Developers Guide: http://hibari.sourceforge.net/hibari-developer-guide.en.html

そのほか、質疑などの雰囲気も楽しめるかもしれません。前半の説明の終了時に当日プレゼンで利用している資料はGeminiの承認を未だ得ていないのでビデオで公開するのはどうする？・・・。ものすごく低い解像度で公開したら・・（笑）のようなやりとりも見られます。

NoSQLについて知るべき10の事柄

2010-09-02T15:21:00.053+09:00

このブログは技術的に深い内容をお伝えするのではなく、Big Dataにすでに直面しているが気が付いていない、気が付いているがその解決の糸口を探している・・・、という方々に読んでいただければと考えています。すでにBig Dataの問題に直面している方々は、ノン・リレーショナル、NoSQL、KVSといったリレーショナル・データベースではない解決方法について、よく理解されていると思います。

　しかし、Big Dataの問題に直面しながらも、NoSQLの課題のみに囚われているという方もいるのではないでしょうか（とはいえ、そういう方々がこのブログを発見することは無いと思いますが）。私たちも、つねにNoSQLには課題があるが、Big Dataの時代にはリレーショナル・データベースではできないことができる。これを組み合わせて利用する時代になるとお伝えしています。つい先日、”10 things you should know about NoSQL databases"というブログ記事を発見しました。とても良くまとまっていますので、以下に日本語でご紹介することにします。

(以下、翻訳)
  リレーショナル・データベースモデルは、数十年に亘り、優勢でした。しかし、NoSQLとして知られる、新しいタイプのデータベースが、企業において注目を集めています。ここでは、その長所と短所の概要を述べてみます。この四半世紀の間、リレーショナル・データベース（RDBMS）はデータベース管理の最有力なモデルでした。しかし、最近では、ノン・リレーショナル、「クラウド」、または「NoSQL」データベースが、データベースマネジメントにおける代替モデルとして、マインドシェア（顧客の心の中における特定ブランドの占有率）を高めています。この記事において、私たちは、これらのノン・リレーショナル NoSQLデータベースの10の重要な点を見てみます。すなわち、トップ5の優位点と、トップ5のチャレンジです。

NoSQLの5つの優位点

1：柔軟な拡張性
  数年間に亘り、データベース管理者は、「スケールアウト」　－　負荷が増大するに伴い複数のホストにまたがりデータベースを分散する – ことよりも、むしろ「スケールアップ」　－　データベースの負荷が増大するに伴い、より大きなサーバーを購入すること – に頼ってきました。しかし、トランザクションレートや可用性への要求が高まり、データベースがクラウドや仮想空間に移行するに伴い、汎用ハードウェアによるスケールアウトの経済的優位性は文句の言えないものとなってきました。RDBMSは汎用クラスター上において容易にスケールアウトはできないですが、NoSQLの新種のデータベースは新しいノードの利点を、明らかに活かすように設計されています。そして、それらは、通常、低コストの汎用ハードウェアを念頭に置いて設計されています。

2: Big data
   トランザクションレートが過去十年間の認識を超えて成長するにつれ、格納されているデータの量もまた膨大に増加してきました。オライリーは、これを「データの産業革命」と賢く呼んできました。RDBMSの容量はこれらの増加に合わせて増えてはいますが、トランザクションレートと同様に、単一のRDBMSで実質上管理できるデータ量の制約は、いくつかの企業で耐え難いものとなってきています。今日では、HadoopのようなNoSQLで取り扱える「big data」の量は、最大のRDBMSで取り扱える量を超えています。

3：さようならDBAs (また会いましょう？)
  数年間に亘るRDBMSベンダーにより主張されてきた多くの管理面での改善にもかかわらず、ハイエンドのRDBMSシステムは、高価であり、高度に訓練されたDBAs(データベース管理者)の支援によってだけ維持できます。DBAは、設計、設置とハイエンドRDBMSシステムの継続的なチューニングに密接に関わっています。NoSQLデータベースは、一般的に、より少ない管理　―　理論的には、自動修復、データ分散、そして、より少ない管理とチューニング要件　―　を根本から満たすように設計されています。実際のところ、DBAの死という噂は少し誇張されすぎているでしょう。誰かは常にミッションクリティカルなデータストアのパフォーマンスや可用性について責務を負うのでしょう。

4：経済性
  NoSQL データベースは典型的に、爆発的なデータとトランザクション量を管理するために安い汎用サーバーのクラスターを用います。その一方で、RDBMSは高価で専有型のサーバーやストレージシステムに頼る傾向があります。その結果、より安い価格でより多くのデータを格納し処理することにより、NoSQLにおけるギガバイトあたりのコストやトランザクション/秒は、多くの場合、RDBMSのコストよりも低くなりえます。

5：柔軟なデータモデル
  マネジメント変更は、大規模に稼働するRDBMSにとって、かなりの頭痛の種です。RDBMSのデータモデルに対するわずかな変更でさえ、注意深く管理されなければなりませんし、ダウンタイムやサービスレベル低下が起こりえます。NoSQL　データベースは、―　すなわち、実在さえしないー　データモデルの制約をはるかに緩やかなものとしています。NoSQLのKey Value storeとドキュメントデータベースは、アプリケーションを、データ構成部分のなかで、それが望むどのような構造にも仮想的に格納することを許しています。もっとも厳格に定義されるBig TableベースのNoSQLデータベース（Cassandra、HBase）でさえ、多すぎる混乱もなしに新しいコラムが作られることを概して許しています。その結果、アプリケーションの変更やデータベーススキーマの変更は、ひとつの複雑な変更の単位として管理される必要が無くなります。理論的には、仮にアプリケーションがデータの整合性の管理に失敗する場合には、明らかに望ましくない副作用がありうるものの、このことは、アプリケーションをより速くさせるでしょう。

NoSQLの5つのチャレンジ

  NoSQLデータベースへの期待は、多くの熱狂を生み出してきました。しかし、それらがエンタープライズの主流と言われるようになる前に、克服するべきいくつかの障害があります。

1：成熟性
  RDBMSシステムは昔からあります。NoSQL擁護派は、その進んだ年齢は退行のサインと主張するでしょう。しかし、多くのCIO達にとって、RDBMSの成熟度は安心を与えています。大部分において、RDBMSシステムは安定的で、リッチな機能があります。比較して、多くのNoSQL代替は、多くの主要機能がこれから実装されるプロダクション前の状態にあります。技術的な最先端に生きることは、多くの開発者にとってエキサイティングなことですが、企業は相当に警戒してそれに接近するべきです。

2：サポート
   企業は、仮に主要システムに障害が起きた場合に、タイムリーで有能なサポートを得ることができるという安心を望みます。対照的に、多くのNoSQLシステムはオープンソースプロジェクトであり、通常、それぞれのNoSQLデータベースに対してサポートを提供するひとつかふたつの企業があるものの、これらの企業は、たいてい、オラクル、マイクロソフトやIBMのようなグローバル展開や、サポートのリソース、信頼性の無い小さなスタートアップ企業です。

3：分析とビジネスインテリジェンス
  NoSQLデータベースは、最近のWeb2.0アプリケーションのスケール要求に合うよう進化してきています。結果として、それらの機能セットのほとんどは、これらのアプリケーションの要求に基づいています。しかし、あるアプリケーションのデータは、典型的なWebアプリケーションの挿入－読み出し－更新－削除というサイクルを超えたビジネスに価値があります。これらの効率性と競合性、そしてビジネスインテリジェンス（BI）を改善する企業データベースにある企業の鉱山情報は、すべての中堅、大企業にとっての主要なIT課題です。NoSQLデータベースはアドフォッククエリや分析への容易性はほとんど提供しません。単純なクエリでさえ、かなりのプログラミング専門性を必要としますし、普通に利用されるBIツールはNoSQLへの接続性を提供しません。やや助かるのは、HIVEやPIGといったHadoopクラスター、またはおそらく結果的に他のNoSQLデータベースにあるデータへの簡単なアクセスを提供するようなソリューションが現れてきたことです。

4：管理
  NoSQLにとっての設計ゴールは、全く管理しないソリューションを提供することかもしれません。しかし、最近の現実はそのゴールに全くもって足りていません。今日のNoSQLはインストールするために多くのスキルや維持するために多くの努力を要します。

5：専門性
   RDBMSのコンセプトやプログラミングを熟知した開発者は、世界中、そしてあらゆるビジネス領域に文字どおり数百万います。対照的に、ほとんどすべてのNoSQL開発者は、学習モードです。この状況は、時間とともに自然と解決するでしょう。しかし、いまのところ、NoSQL専門家よりも、経験豊かなRDBMSプログラマーや管理者を見つけることのほうが、はるかに簡単です。

結論
  NoSQLデータベースは、ますますデータベースのランドスケープの重要な部分になりつつあります。そして、適切に利用されたときには、本物の利益をもたらすことができます。しかしながら、企業はこれらのデータベースにある合理的な制約と課題を完全に認識するという慎重さを持って進むべきでしょう。（以上、翻訳）

  いかがでしたでしょうか。前半の優位点はNoSQLの擁護派の方々の声が大きくなるにつれ、これからさらに目立つようになる主張だろうと思います。一方の、チャレンジの部分は、そのとおりと思う部分もありますし、その課題をクリアしようとしているとお伝えしたい気持ちもありますが、このようなフェアな視点が大事だと思い、ご紹介いたしました。ご参考になれば幸いです。

Hibari presentation at Tokyo Erlang Workshop

2010-08-30T14:52:00.002+09:00

先日、第5回Erlang分散システム勉強会（Tokyo Erlang Workshop）において、Hibariのプレゼンテーションの機会をいただきました。大きな集まりにおける初めてのHibariのプレゼンテーションです。限られた時間でお伝えしたいことがたくさん有り、日本語で概要をご説明し、技術的に詳しい内容は英語で開発者よりお伝えするというご説明方法となりました。

参加いただいた皆さんには、とても真剣に耳を傾けていただき、心から感謝しています。また、とても鋭いご質問をいただきました。未だ英語のドキュメントがあるだけですので、リソースの関係で段階的にはなりますが、日本語でお伝えできるようにしていければと考えています。Slideshareの資料をご覧いただければ、英語での説明内容も日本語でカバーされているとは思いますが、Q&Aについて、ここで簡単に補足も含めてご紹介しておきたいと思います。

(1) Amazon S3のクライアントAPI
Amazon S3のクライアントAPIについてご質問をいただきました。現在、商用済み（Production-ready)システムのクライアントAPIにはUBFとNative Erlang Client APIを利用していますが、その他、Amazon S3、JSON-RPC-RFC4627によるクライアントAPIも用意しています。ただし、このAmazon S3は、GeminiでProductionはしていませんので、もしご関心のある場合には、ぜひとも、ご利用いただき、フィードバックいただければと考えています。

（2）Chain Replication
Chain ReplicationのFailoverについてご質問をいただきました。Hibariの場合には、CassandraのようなGossipプロトコルを利用しているのではなく、Admin serverが、各チェインを管理しています。このAdmin serverは、このFailoverのようにチェインに何らかの変更を加える必要があるときに機能します。

（3）Readのレイテンシー
HibariのRead（読み出し）のレイテンシーについてご質問をいただきました。Write（書き込み）のレイテンシーについては、Hibariは、fsyncによりDiskへのWrite（書き込み）を確認すること、またチェインの構造からWrite（書き込み）をシリアライズしている一方で、HBaseはfsyncがなく、またCassandraとともにWrite（書き込み）をパラレルで処理しているため、レイテンシーに差がでるとプレゼンのなかでご説明いたしました。一方の、Readに関しては、小さいValueの場合に１ms(ミリセカンド）程度の差が生じますが、パフォーマンステストの条件により充分に変わり得る（現在、YCSBパフォーマンステストを実施中です）と説明いたしました。むしろ、このRead（読み出し）が安定的であるといことは、アプリケーションを開発する方々にとって開発し易いというメリットがあるのではないかと考えています。

(4) github
Hibariは、なぜgithubを利用しなかったのかというご質問をいただきました。すでにgithubにもミラーサイトがありますが、Sorceforgeを利用した理由は統計機能が充実しているからとお答えしました。以前このブログでもご紹介いたしましたが、この統計機能により、世界中の国からのDLの数を知ることができます。リリースして約1カ月が経ちますが、あと数日で1000DLになると思います。その際にはぜひお知らせさせていただきます。

http://github.com/norton

（5）Network Partition
Chain Replicationという仕組みにおけるNetwork Partitionについてのご質問をいただきました。このNetwork Partitionとはネットワーク分断という意味ですが、ご質問の趣旨はPartition Tolerance(分断耐性）、つまり、ネットワークに一部障害があっても誤ったレスポンスを返さないという耐性についてのご質問と理解しています。未だに各種議論が絶えないBrewerのCAP定理においては、一般的にデータベースにおいては、Consistency（一貫性）、Availability（可用性）と、このPartition Tolerance(分割耐性）の3つの条件のうち、2つしか満たせないとされています。

Hibariの場合には、複数の複製（Replica）が存在する分散環境にあっても、Diskに書き込みを確認したデータだけを読み出すというConsistency（一貫性）と正常動作しているノードが受け取った全てのリクエストに対して必ずレスポンスをするというAvailability（可用性）を重視しています。しかし、最近では、実際のオペレーションにおいては、このAvailability（可用性）とPartition Tolerance（分割耐性）は排反事象だろうか？というような議論もあります。特に、Network Partition（ネットワーク分断）に際してはAvailability（可用性）までも失われるケースもあり得ますので、このPartition tolerance（分断耐性）については、さまざまなケースを想定しなければなりません。

詳細なケース分けは、バックアップ資料にあります。これを簡単に説明すると、Admin serverの分断については、3つのAdmin serverを配置することで分断耐性を持つことができます。一方、ChainのなかのHead、Middle、Tailの各ノードに関しては、仮に、Headが分断されたとしても、Middleがその役割を担うというように、Chainのなかで常にHeadとTailの役割が新たに割り振られます。その点では、Chainのなかでは分断耐性があります。しかし、仮にHead、Middle、Tailの3つのノードを含むChainが分断された場合には、分断されたChain側のクライアントに対しては結果的に（Eventually) 正しい答えを返しますが、異なる側からの書き込み、読み出しはできないという状況になります。この場合にはネットワーク全体としては、やがてConsistency（一貫性）を失うことにつながります。その場合にはAvailability（可用性）を犠牲にして、分断された側をストップさせてもConsistency（一貫性）を保つという対応も必要であろうと考えているところです。

なお、クライアントが分断された場合には、クライアントがAdmin serverと同じ側にあり、かつChainのサブセットが残っていれば分断耐性はありますが、完全にクライアントがChainから分断された場合と、クライアントがAdmin severと異なる側にある場合には分断耐性は無くなります（どんなシステムでも同じことが起きるのかもしれません）。

実際のオペレーションにおいて、このように分断される状況が発生しないようなネットワーク構成をとり、運用が行われるはずですが、バックアップ資料のようなさまざまなケースが想定され、またその組み合わせもあり、私たちとしても、さらに深く議論し、考えていきたいと思います。

Hibari Open Source Projectのメーリングリストなどにおける議論も大歓迎ですので、一緒に考える機会をいただければと思います。

Hibari at TEW5 (japanese)

View more presentations from geminimobile.

Summary of "Cassandra" for 3rd nosql summer reading in Tokyo

2010-08-26T14:29:00.001+09:00

第3回目となる"nosql summer reading in Tokyo"の論文は、最近注目を集めているCassandraをとりあげました。Cassandraは、以前ご紹介したGoogleのBigTableとAmazonのDynamoの良いところを合わせたと言われているとおり、論文からもそれを伺い知ることができます。

たとえば、分散されたノード間に主従関係を作らず、Gossipプロトコルにより、サーバー相互間で連絡をしあい、あるサーバーに障害が起きていないかと監視するという優れたメカニズムが実装されています。

また、SQL以外という意味で幅広いNo-SQLという分野においてコラム指向と分類されるように、キーに紐づくひとつのrow(行）に対して、いくつにでも増やせるという複数のコラムを持つことができます。そして、そのコラムはコラムファミリーとして、複数のコラムのグループをつくることもできます。このようなコラムのグループを作ることにより、検索を容易に行うことができるというメリットを得ることができます。

そして、この論文には言及されていませんが、データの一貫性（Consistency）のレベルを設定できるという点にもメリットがあります。たとえば、一貫性（Consistency）のレベルを、ゼロと設定すると、データの一貫性を全く確認することなく、書き込み/読み出しを実行します。以前にもご紹介した「Eventual Consistency（結果整合性）」を受け入れることができるアプリケーションの場合には、このトレードオフとして良いレイテンシーを得ることができるはずです。逆に、書き込むノードの数と読み出すサーバーの数の合計が、レプリカ（複製）する数よりも多いQUORUMに設定すれば、「強い一貫性（Strong Consistency）」を得ることもできます。この設定は、クライアント側で、書き込み/読み出しの都度設定します。

Hibariは、この人気が高いCassandraのAPIを利用できるように準備をしているところです。Hibariの場合は、Cassandraのようなコラムを複数持つデータモデルではなく、キーとバリューが対となるキー・バリュー型に分類されます。そのため、複数のコラムを持つCassandraのアプリケーションがHibariを利用する際に、複数のコラムファミリーでグループ化されたコラムを、ひとつひとつのコラムとします。また、HibariはChain Replicationにより「強い一貫性（Strong Consistency)」を保証するように設計されていますので、Cassandraのクライアント側で設定する一貫性（Consistency）のレベルに関する情報は必要が無くなります。

このように、HibariでCassandraのAPIを利用するためには、いくつかの仕組みを用意する必要はありますが、「書き込みを重視するCassandra」と「読み出しを重視するHibari」というように、それぞれの持ち味が異なります。

やがて、数多くのNoSQLのシステムに対する理解が深まり、その特徴が明確になり始めれば、アプリケーションのニーズに応じて、それぞれの特徴にあったシステムを選び使い分けることができるようになると考えています。

Summary of "Cassandra" for 3rd nosql summer reading in Tokyo

View more presentations from geminimobile.

Erlang, GB mail box web mail, Hibari

2010-08-25T16:42:00.003+09:00

先日、楽天技術研究所様の勉強会でHibariの開発言語であるErlangを中心に、GB（ギガバイト）のメールボックスを提供するWeb mail（私たちはCloud maiとも呼んでいます）と、このGB mail box web mailのデータベースに実装されているHibariについて、開発者からお話をさせていただきました。

楽天技術研究所様では、すでにErlangを用いた開発が進められており、その開発成果のご紹介をいただきましたが、いまだ日本では商用開発に利用しているケースは多くないようです。

Geminiは2008年よりErlangによる開発を始めました。大規模なシステムの一部として高性能の"User Profile"ストレージサーバーが必要でしたが、LDAPとRDBMSでは、ニーズを満たすことができず、Erlangにより自社開発するに至りました。

それ以降、C/C++とErlangを主に開発言語としています。そして、数百万人のユーザーにGBのメールボックスを提供するWebmailという大規模なシステムにおいては、既にC/C++で開発済みの一部コンポーネントを除き、システム全体のほとんどをErlangにより開発しています。

2005年のアイデア段階から、数年かけて開発してきたHibariも、このGB mailbox web mailに実装し、さらにテストやバグフィックスに多くの時間を費やし、より良いプロダクトにしました。

Erlangのメリットは、Big Dataの処理に必要な、複数のサーバーへの分散や並行処理に向いた関数言語であり、また、その効率性や生産性の高さにあります。Geminiの開発者は、分散や並行処理という重たい開発部分はErlangに任せることができるので、「小さなチームで大きな仕事ができる」と良く語ります。

今後、多くの方にErlangを利用していただき、そしてHibariのオープンソースプロジェクトにもご参加いただければと考えています。開発にご興味のある方々のために、いくつかのハンズオンミーティングも計画しています。準備ができましたら、あらためてお知らせさせていただきたいと思います。

"erlang, webmail and hibari" at Rakuten tech talk

View more presentations from geminimobile.

Hibariの由来

2010-08-16T15:02:00.003+09:00

とてもありがたいことなのですが、、Hibariにご興味を持っていただいている方々から、たびたびHibariの名前の由来についてご質問いただいています。日本語版のプレスリリースでは、「ヒバリ」について特別な注記をしませんでしたが、英語版のプレスリリースには、次の（　）を付けました。

Hibari (meaning "Cloud Bird" in Japanese)

漢字ではHibariは「雲雀」と書きますので、"Cloud Sparrow"が正しいのかもしれません。ただし、Sparrowと表現すると、「Sparrowとは何か？」という質問が続きそうですので、Birdとしました。そして、この漢字を見ていただければ、Hibariは「Cloudのなかで、たくさん使われそうな」技術？というイメージが湧きませんか。

このHibariという名前は、日本、米国、中国系とさまざまな国籍が入り混じったメンバーが、Hibariだけではなく、いわゆるnosqlの技術全般の打合せをしていた最後に、ひとりから「ところで、Hibariという名前はどうだろう？」との提案で、全員が「Hibari？」と、？マークを頭に浮かべながら、考え始めました。

日本人であれば、「ヒバリ」と聞くと、かなりの確率で「美空ひばり（30代後半以上かもしれませんが・・・）」を思い浮かべてしまいます。Geminiは双子座の意味ですので、「双子座の美空ひばり」ファンが開発者だと面白いTweetsもいただきました。渋谷の道玄坂生まれの「ひばり」ちゃんなのですか？という方もいらっしゃいましたが。

Hibariという発音に違和感が無いと言いながら、米国人はGoogleサーチを始めました。すぐに見つかるのは、Hibari（雲雀）というアニメだったようで、Hibariとはアニメか？と質問が続きます。

中国に長く滞在していた日本人がヒバリを中国語（漢字）で調べました。そして、ひとこと、ヒバリは「雲雀」と書くらしいと。中国系米国人が、あー、たしかに雲雀・・、それに同意します。

そんなやりとりで、Hibari（雲雀）という名前は、なかなか良いということになりました。あとづけのように、Hで始まるからApacheプロジェクトでHadoopの次に並ぶとか、HyperScaleというGeminiの別の技術名称と相性が良いとか・・、いろいろな講釈も続きます。

Hibari（雲雀）となりましたが、Hibariを提案した彼の意図はHibari(＝Skylark)としたかったとか。彼はStarwarsの大ファン。Skywalkerに始まるSkyシリーズ。分かる人には分かるかもしれません。そう考えると、Hibariの由来はそれなりに深めることができ、それぞれに思いがありそうです。早速、商標登録手続きを始めました。

なお、このHibariの絵はCEOが自ら書いています。Hadoopがかわいい象をロゴにしていることもありますが、基盤技術はBackEndと呼ばれるように、とかく裏方になりがちです。ロゴと言えども、すこしでも多くの人に理解し、親しんでもらうきっかけになれば良いなと思っています。

Summary of "Amazon's Dynamo" for the 2nd nosql summer reading in Tokyo

2010-08-05T12:15:00.001+09:00

第2回目の"nosql summer reading in Tokyo"では、"Eventual Consistency(結果整合性)"を提起したことで有名な、"Amazon's Dynamo"の論文を題材に読書会を開催しました。

この論文以前には、分散環境において複数のノードにレプリカ（複製）されたデータの一貫性（Consistency）を保つことは当然のことと考えられており、先に発表されたGoogleの"Big Table"は、"Strong Consistency(強い一貫性）"が前提となっています。

しかし、その1年後に発表されたAmazonの"Dynamo"は、すべてのアプリケーションが必ずしもデータの一貫性（Consistency）を求めている訳ではないという前提で開発され、そのトレードオフとして、遅延（Latency）が少ないというメリットを得ています。

この論文においては、他にも多くの分散環境に適切に対応する方法が提示されており、そのひとつに"Consistent Hashing"があります。これは、ハッシュ関数を用いて分散化されたノードに、偏りなく、均等にデータを格納するというものです。

なお、Hibariは、"Chain Replication"により"Strong Consistency(強い一貫性）を提供するという点ではDynamoとは異なりますが、この"Consistent Hashing"が実装されています。

Summary of "Amazon's Dynamo" for the 2nd nosql summer reading in Tokyo

View more presentations from geminimobile.

BIGDATAは中国から

2010-07-29T15:48:00.001+09:00

先日、Hibariのオープンソースについて、米国でプレスリリースをし、そのアクセス数からインターネット＝英語がBig Dataを作り出すのではないだろうか？、とお伝えしました。しかし、プレスリリースから2日経って、HibariのダウンロードサイトであるSourceforgeのStatisticsを見て驚きました。わずか1日の間にダウンロード数で中国がトップになりました。米国、日本が続きますが、圧倒的な差です。

おそらく、発表から1日経って、英語版のプレスリリースが中国語に翻訳され流れたのでしょう。10億人を超える人口と急激な経済成長。すでにBIGDATAという課題に日々直面しているのかもしれません。そして、Hibari（雲雀）という名前や、日本の品質基準をクリアし商用化されている技術だという点も注目を集めたのかもしれません。Hadoopのダウンロード数は、米国に次いで日本が第2位であると聞いたのは、わずか数カ月前ですが、Hibariのケースは異なりました。

先のブログでは、日本と米国でのHibariのプレスリリースから類推しアクセス数の差は3倍以上だろうとお伝えしましたが、日本と中国と間の差はもっと大きいようです。BIGDATAの技術という領域でも、あっという間に中国が存在感を示すことになるのでしょうか。

Open Source Release of Hibari, A Database for Big Data

2010-07-28T17:33:00.000+09:00

このブログでご紹介しているHibariのオープンソースについてプレスリリースを行いました。実は、このプレスリリースは日本と米国で別々に2回に亘り実施しました。日本は、7月14日のワイヤレスジャパン2010でHibariのオープンソース化を発表し、同時にプレスリリースを行いました。米国では、7月27日に行いました。

通常、このようなプレスリリースは日米同時に行うのかもしれません。しかし、2つの理由から、2回に分けて行いました。ひとつめの理由は単純です。米国でのプレスリリースを日本と同時に行うための負荷がかなり高くなり、無理をしなかったということです。多くのシリコンバレーのベンチャー企業は、広報をアウトソースしていますが、そのコストもセーブすることにしました。

もうひとつの理由ですが、日本と英語圏での反応の違いを見てみたかったということです。とはいえ、その違いをはかる客観的な基準はありませんので、今回はプレスリリースに対するGoogle Searchの検索結果数、TwitterのTweet数、Hibariのダウンロードサイトへのアクセス数を比べてみました。

その結果は、人口分布の差からも明らかですが、いずれも3倍以上の差がありました。Hibariのようなプレスリリースでさえ、こうなのですから、インターネットと英語の組み合わせは、日本語の情報に比べ、簡単にBig Dataになると実感しました。

また、Tweetからも面白い発見がありました。英語圏での発表の際のTweetに、「もうひとつのKVS」というような表現が多く見られたとことです。つまり、Hibariのような分散型でBig Dataを処理する技術は、すでにずいぶんと浸透している、ということなのだろうと思います。

Hibariは、すでに中国、日本での商用実績がありますが、このような状況を見ていると、気がつけば、あっという間に、世界のあちらこちらで利用されているということになるのかもしれません。

プレスリリースのリンクはこちらです。

Google's Big Table

2010-07-24T15:27:00.002+09:00

Key Value Store、NoSQL、Non-Relational DBなどとさまざまな呼ばれ方をするBig Dataを処理する技術や製品は、このブログでご紹介をしているHibari、Hadoop/HBase、Cassandra以外にも、数多くあります。この主にKeyとValueというシンプルなデータモデルにより分散型処理をする技術が、特に最近、脚光を浴びています。

しかし、そもそも分散処理という概念や技術は長い歴史があり、特別新しいというものではありません。MITでコンピュータサイエンスを学んだ同僚が言うには、仮に分散処理派と集中処理派があるとすれば、しばらくはマシーン１台あたりの処理能力が飛躍的に高まったことで、集中処理派の時代が続いたそうです。しかし、インターネットの普及が分散処理派のプレゼンスを高めたといいます。

なかでもGoogleの貢献が大きく、特に、Googleが2006年に発表した論文、「Google's Big Table」に触発され、Hadoopを始めとする多くのキー・バリューやNoSQLと呼ばれる技術開発が活発になりました。

このブログにリンクしていますが"nosql summer reading"というコミュニティがあります。これは、このGoogleのBig Tableを始めとする様々なNoSQLの論文を関心ある仲間が集まって読むという読書会です。これは、プレゼンをしたり、一人が説明するという会ではなく、お互いに論文を読み、わからない点や面白いと思う点を話し合うといった形式で進めます。つい先日、東京でも第1回目を開催いたしました。プロから見ても、論文だけでは、どうやって作られているのかわからない謎がたくさんあったようです。利用した資料をスライドシェアにアップロードしています。

http://www.slideshare.net/geminimobile/bigtable-4820829

Summary of "Google's Big Table" at nosql summer reading in Tokyo

2010-07-24T14:51:00.001+09:00

Check out this SlideShare Presentation:

Summary of "Google's Big Table" at nosql summer reading in Tokyo

View more presentations from geminimobile.

BIGDATAを処理する技術の性能比較をしてみると (YCSBの場合)

2010-07-07T16:41:00.003+09:00

BIGDATAを処理する技術の性能比較の方法については、未だ統一された方法や基準はありません。Geminiは、これまで数回に亘り、試行錯誤しながら性能比較をしています。以前のブログで、ご紹介した方法は、100万リクエストの書き込みと読み込みをランダムとシークエンシャル（連続）で行い、バリューのサイズが1KB、10KB、20KBの場合のスループット（MB/秒/ノード）として性能比較をしてみました。

それ以前には、5万リクエストで200KBや400KBのバリューを用いた性能比較も行っています。いずれも、大きなバリューに優れるHibariの性能の高さが際立つ結果となりました。

しかし、これではHibariが最適化される設定で性能比較をしているように思われてしまうかもしれません。そう考えていたところ、2010年5月、Yahoo！ Researchから”"Benchmarking Cloud Serving Systems with YCSB"というレポートが公開されました。このレポートは、いま話題を集めているBIGDATAを処理するHBASE、Cassandraに加え、Yahooで開発のPNUTSなどの性能比較をする方法を提案し、その結果をレポートしています。このレポートでは、次のように各システムの特徴を整理しています。

そして、その性能比較で利用したデータを生成するツールをオープンソースとして提供しています。このレポートにおけるテスト方法はGeminiで実施したテスト方法と異なります。1,000byteのレコードをWorkload (operation/秒）により測定しています。そして、その際に書き込みと読み込みを一定の確率で発生させています。

ただし、いずれのシステムもその開発者が最適にチューニングを行ったうえでテストをしたと報告しています。残念ながら、そのチューニングの詳細はわかりません。そのため、同じ結果を再現できるのか、Geminiにおいても、このツールを利用して再度、性能比較を行う準備をしています。その結果については、あらためてお知らせしたいと考えています。

BIGDATAを処理する技術はどう使われているのか (Hibariの場合）

2010-07-06T11:49:00.004+09:00

ここではHibariがどのように利用されているのかをご紹介したいと思います。

Hibariは、Geminiのシリコンバレー、San MateoのR&Dチームの「ブラウンバック・セッション」（茶色の袋に入ったランチを持ち寄るブレインストーミング）で、そのアイデアについて議論したことに始まります。

これは2005年のことです。その時点では、Hadoop/HBASEを始め、多くのNO-SQL関連の技術が触発されたと言われるGoogleの「Big Table」という論文は公開されていませんでした。そのため、Geminiは、このアイデアについて独自で研究しながら、開発に着手しました。

Geminiは国内外の大手携帯通信事業者のメッセージングシステムにおいて、それ以前にも、SQLとは異なる独自データベースを開発しており、Hibariは次世代のデータベースと位置付けられました。

そして、開発に数年を要したのち、携帯電話向けの3D(3次元)のSNSサービスにおいて、ユーザーのメッセージボックスやパーソナルボックスにデジタルグッズ（アバター、音楽、写真、動画など）をストレージするデータベースとして利用し、商用化しました。このサービスは現在、中国で提供されています。

その後、数百万人の利用者が想定され、各利用者に数GBのメールボックスを提供するWebメールサービスの開発においてHibariと同じ技術が採用されました。これは、数百万人に数GBという、まさにBIGDATAを処理できるという技術面の利点と同時に、Webメールの一般的なビジネスモデルとして求められる経済性が重視された結果です。

このWebメールにおいては、主に次の目的に使うデータベースとしてHibariの技術は利用されています。

メールのアーカイブとサマリー
アドレスブックのアーカイブとサマリー
メールのプロファイル
ユーザーのプロファイル
フィルターのプロファイル

このようにプロファイルやサマリーといった小さなデータから、画像やファイル添付のあるメールのアーカイブのような大きなデータに至る、多様なサイズのデータのストレージのために利用されることから、Hibariは幅広いデータサイズにおいて安定的な性能を発揮するよう開発されています。さらに、メールというアプリケーションであることから、読み込みと、データの一貫性という点で優れています。

その一方で、Geminiのラボテストによれば、数KBという小さなデータサイズを速く処理するという点においては、HBASEとCassandraが勝ります。

つまり、ノン・リレーショナル・データベースのそれぞれに特徴があり、利用するアプリケーションやその目的に応じて最適な技術を選ぶことが重要になるのでしょう。

BIGDATAを処理する技術はどう使われているのか

2010-06-28T17:13:00.005+09:00

　ここまでご紹介したBIGDATAを扱う技術ですが、実際にはどのように利用されているのでしょうか。

　myNoSQLというNo-SQLに関する記事を掲載するサイトに、HBASEとCassandra利用事例がわかりやすくまとめられていました。

　このまとめを見ると、多くのユーザを集めるWebサービスは、すでにHBASE、Cassandraを様々な目的で利用し始めています。

　おそらく、これらの利用方法は、BIGDATA以前には、従来のリレーショナル・データベースで処理でしていたものの、ユーザの増加とともに、やがてBIGDATAとなり、その処理をノン・リレーショナルやNoSQLと呼ばれる分散型の処理に移行していったものと想定されます。

　また、もしかすると、これまでは、ユーザーの利用履歴やログなどのデータは、ストレージせずに捨て去られていたものが、ストレージし、処理する手段を得たことにより、新たな分析の対象となり始めたとも言えるかもしれません。

BIGDATAを処理する技術の性能比較をしてみると

2010-06-28T17:04:00.004+09:00

さて、CAP定理による分類に続き、性能比較をしてみます。この性能比較は、Geminiのラボにおいて実施し、GoogleのBigTableの論文の比較方法に基づき、データは次のオープンソースの性能比較ソフトを利用しています。

(org.apache.hadoop.hbase.PerformanceEvaluation.)

そして、5台のPCサーバーを利用し、処理性能を測定しました。ここでは、100万リクエストの場合のランダムの書き込みと読み込みの結果をご紹介します。X軸は、キーに対応するバリューのサイズを1KB、10KB、20KBの3つのケースを表しています。Ｙ軸は、１秒あたり、ノードあたりのスループットで単位はMBです。

この結果を見ると、Cassandraは、全般的に読み込みよりも書き込みの処理能力が優れるよう最適化されていることがわかります。

　次のグラフは、同様の条件におけるHBASEの性能です。HBASEは、比較的小さなバリューサイズに優れていることがわかります。

　3つめのグラフはHibariを同様の条件でテストしてみた結果です。Hibariは大きなバリューに優れており、また、書き込みよりも読み込みに最適化されています。

　これは、Hibariは、SNSやCloud(Web)メールにおいて写真や画像などの大きなファイルがあることを前提に、テクストだけの小さなデータから、添付ファイルなどを伴う大きなデータサイズまでを一定の処理性能を提供するよう開発されており、結果として、HBASE、Cassandraと比較した場合に、大きなデータサイズの処理性能に優れるという結果となりました。

BIGDATAを処理する技術の課題と解決方法は？

2010-06-25T16:12:00.006+09:00

　この分散型によりBIGDATAを扱う技術には課題もあります。

　図に示すように、複数のPCサーバーにデータの複製（レプリカ）をストレージ（格納）するため、データの書き込み（更新）があった場合、データを読み込むタイミングによっては、更新前のデータを読み込んでしまう場合があります。

　このような状態を、データの一貫性（Consistency）が無いと言います。

　Geminiは、この分散型の課題である一貫性（Consistency)を保証するキー・バリューストアであるHibariを開発し、商用として提供しています。この一貫性を保証するために、チェイン・レプリケーションという技術を実装しました。

　このチェイン・レプリケーションは、複数（この例では3台）のPCサーバーを、１つのチェインとして、そのチェインにデータを複製（レプリカ）します。そして、このチェインにある3つのPCサーバーに格納されるデータのブリック（塊）をHead、Middle、Tailとして、書き込みは常にHeadから行い、読み込みは、常にTailから行います。このアルゴリズムにより、複数のPCサーバーにデータが複製（レプリカ）されている場合にも、更新前のデータが読み込まれることが無いという、強い一貫性（Strong Consistency）を保証するというものです。

What is BIGDATA?

情報産業新聞にCloudianが紹介されました

クリエーションライン様のホームページにCloudianが紹介されています

Cloudianのパートナーに関するプレスリリースを行いました

M&D Report 2月号にて、Cloudianが紹介されました

Cloud Storage： Leveling the playing field (米国ZDNet)

Cloudian Partners Summit 2011を開催しました

ミドクラ、クリエーションライン、Geminiの3社提携について発表しました

Cloudianが「ニフティクラウドストレージ」に採用いただいたことを発表しました

Cloudian-OpenStackディストリビューションについて発表しました。

Questions from the Tokyo Cassandra conference (The Japanese Translation Part 2)

Part 1に続き、Part 2です。

HyperStoreのプレスリリースをしました

Questions from the Tokyo Cassandra conference (The Japanese Translation Part 1)

Cloudian英文記事のご紹介

Cloudian presentation at U-Stream

Cloudian (クラウディアン)のプレスリリースを行いました

「みてわかるクラウドマガジン vol.3」にCloudianが紹介されました

Hibariの日本語プレゼン

NOSQL, Cassandra, Hibariのハンズオントレーニングを開催しました

Hibari 開発者向けガイド（日本語版）が完成しました

Hibari アプリケーション開発者ガイド 第1章（日本語版）

NOSQL, Cassandra, Hibariのハンズオントレーニングを開催いたします

Gemini Mobile announced a test version of software for large-scale cloud service (Translation of businessnetwork.jp articles)

Cloudian (クラウディアン)のプレスリリースを行いました

Flume-Cassandra Log Processing Systemのオープンソースリリースについて(2)

Flume-Cassandra Log Processing Systemのオープンソースリリースについて

NTTソフトウェア株式会社様オンサイトにてNOSQL トレーニングを開催しました

日経コンピュータ2月17日発売号に紹介されました

Mongo Tokyoイベントの特別割引のお知らせです

「Big Dataがモバイルビジネスに与える影響」

NOSQLの開発者を募集します

Riptano Cassandra Hands-on トレーニングの振り返り２

『「Big Data」との戦い』 連載第4回 「オープン化とBig Data技術」

日本語Hibariサイトを発見！

NOSQL Hands-on Trainingの振り返り

Riptano Cassandra Hands-on Training review

モバイルクラウド環境におけるBig Data技術

【事前準備のお知らせ】Riptano社によるCassandra Hands-on トレーニング

Cassandra Hands-on Training by Geminiの準備について

【講師のご紹介】Cassandra Hands-on Training by Riptano

【日本語通訳付】Cassandra Hands-on Training by Riptano

『「Big Data」との戦い』 連載を始めました

Erlang User Conference 2010

NOSQL Hands-on Training 開催のお知らせ

Mongo DB mug cup

NOSQL AFTERNOON IN JAPANの振り返り

Brief reviews of "NOSQL AFTERNOON in JAPAN"

Cassandra Hands-on トレーニングの振り返り

Cassandra Hands-on トレーニング 第1日目

"NOSQL afternoon in Japan" 2

NOSQL afternoon in Japan

nosql meet up in Japan

Cassandra Hands-on トレーニング開催のお知らせ

「クラウド育ち」のOSS、主役に

Hibari presentations in Chicago

NoSQLについて知るべき10の事柄

Hibari presentation at Tokyo Erlang Workshop

Summary of "Cassandra" for 3rd nosql summer reading in Tokyo

Erlang, GB mail box web mail, Hibari

Hibariの由来

Summary of "Amazon's Dynamo" for the 2nd nosql summer reading in Tokyo

BIGDATAは中国から

Open Source Release of Hibari, A Database for Big Data

Google's Big Table

Summary of "Google's Big Table" at nosql summer reading in Tokyo

BIGDATAを処理する技術の性能比較をしてみると (YCSBの場合)

BIGDATAを処理する技術はどう使われているのか (Hibariの場合）

BIGDATAを処理する技術はどう使われているのか

BIGDATAを処理する技術の性能比較をしてみると

BIGDATAを処理する技術の課題と解決方法は？

Cloud Storage：　Leveling the playing field　(米国ZDNet)

Hibari アプリケーション開発者ガイド　第1章（日本語版）

『「Big Data」との戦い』　連載第4回　「オープン化とBig Data技術」

『「Big Data」との戦い』　連載を始めました

NOSQL Hands-on Training　開催のお知らせ

Cassandra Hands-on トレーニング　第1日目