クラウド“ビッグ4”のデータセンターは、どのくらいビッグで複雑なのか?

IT Media社TechTargetにて連載「川田大輔のクラウド解体新書」の第2回記事「クラウド“ビッグ4”のデータセンターはどのくらいビッグで複雑なのか?が公開されましたTechTargetに会員登録いただきますとWebサマリー版では読めない後編1社で2000年当時のインターネット全体に匹敵する規模に成長したクラウド“ビッグ4”は複雑さをどう手なづけるのかを含むPDF提供の完全版がダウンロードいただけます

以下、完全版本文より抜粋

単純な比較はできないがノードの規模にだけ着目するならクラウドビッグ4(AWS、Microsoft、IBM、Google)は、それぞれ単独で1990年代末から2000年代初頭のインターネット全体と同等以上の複雑さを持っていると言っていい(余談だがMicrosoftがAzure内部ネットワークを、インターネットの経路制御プロトコルBGP<Border Gateway Protocol>で構築しているのも納得の規模だ)。これだけの規模のコンピュータ資源が(リージョン単位などの制御制約はあるにせよ)単一のシステムとしてリアルタイムに挙動監視されながら、単一のコントロールパネルで操作可能になっているだけでも驚くべき進歩といえる。


Read more

AWS圧勝とは限らない、クラウドシェア争いの現場で起きている“異次元成長”

IT Media社TechTargetにて新連載企画「川田大輔のクラウド解体新書がスタートしました。第一回としてWebサマリー版として前編AWS圧勝とは限らない、クラウドシェア争いの現場で起きている“異次元成長” が公開されております。TechTargetに会員登録いただきますとWebサマリー版では読めない後編、「次なる40億人」が決める、クラウドベンダーの勝者と敗者を含むPDF提供の完全版がダウンロードいただけます。

以下、完全版本文より抜粋
インターネットに国境はない、世界はフラットになった、といった無責任なスローガンを信じる読者は本稿など読んでいないだろう。中国の金盾を筆頭にいまや法域ごとにインターネットは分断[i]されているし、米国NSAや英国GCHQなどの政府機関は国内法を根拠に外国通信傍受を盛んに行なっている。(中略) 2012年に開催された世界国際電気通信会議、ITR改定を取り扱う。WCITはコンセンサス重視の運営がなされ全会一致を伝統としていたが、WCIT-12においてはWCIT史上初の多数決が実施されITRの大幅改定が行われた。)署名国と非署名国に分かれた日に牧歌的インターネットの時代は終わりを告げている。

ご一読いただければ幸いです。



Read more

ベアメタルサービス市場についてのメモ

類まれな良縁

IBMは2009年3月にOpen Cloud Manifesto(AmazonやMicrosoftが拒否したことで有名)策定に関わり、2011年12月にはThe Open GroupのSOCCI策定にも貢献するなど、早い時期からクラウドのあるべき姿についてのコンセプトワーク面で多大な足跡を残していますが、コンセプトを体現する製品〔サービス)に恵まれていませんでした。(IaaSランキングでもハイブリッドクラウド内で下位に留まっていました)

しかし2013年6月4日にSoftlayerの買収を発表し、翌月の7月9日には買収発表後1ヶ月を経ず買収完了を発表し、ここから猛烈な勢いでIBMのクラウドシフトが始まります。

買収されたSoftlayerは2005年にテキサス州ダラスで創業したホスティング事業者で、2010年8月に投資会社のGIパートナーズ傘下に入り、同じGIパートナーズ傘下にあったPlanetとの合併を経てIBMに買収されました。
Gartner Quadrant for IaaSのチャートを2011年から2014年分まで重ねたポジション遷移マップを作ってみたところ、他の多くのサービスと同様、ポジションを下げていたIBMは、市場のリーダーを狙える位置に踏みとどまっていたSoftlayerと出会って次世代のリーダーを狙えるビジョナリーに化けた、と読まれているらしいことが浮かび上がってきた。


Synergy Researchが四半期毎に発表しているIaaS/PaaS市場ランキングを元に市場上位事業者の成長速度を比較したところ、Gartner MagicQuadrantでビジョナリーに位置しているMicrosoft、IBM、google(Microsoftは2014年からリーダーに遷移)の三事業者の成長速度が業界平均成長率に留まるAWSに比べ、飛びぬけて高いことが見て取れる。

勃興するベアメタル生態系

現在Softlayerの代名詞となっているベアメタルクラウドは2009年10月5日に発表され、当初は2Coreで2GB RAM、250GBストレージを備え月額$159といった条件で提供されていました。現在同社より2.66-2.9GHz 8Core、128GB RAM、16TBストレージ、20TBアウトバウンド伝送量で月額$159にて提供されているSingle Processorモデルと比較すると、ささやかなスタートだったことが伺われます。

月額課金等の制約が残り、長らく類似サービスの登場に恵まれなかった(注: 2011年10月28日に発表されたvoxel dedicated hostingの例(発表後2ヶ月しか経たない12月30日にInternapに売却されたことで記憶されるべきか)や、CanonicalのJuju(ベアメタルのオーケストレーションも行う)例はある)ベアメタルクラウドですが、IBMによるSoftlyer買収を機に、2014年6月10日にMirantis OpneStack Expressが、続いて7月24日にはRackspace OnMetal Cloud Serversも登場して、にわかに活気付きました。これら新規参入者を迎え撃つSoftlayerは8月26日に時間課金制と30分以内デプロイを投入してハードルを引き上げにかかりました。利用者の立場からすると実に好ましい循環が生まれつつあるように見えます。

2014年に入ると国内でも日本IBMによるSoftlayerの大々的プロモーション活動が始まり、それまで国内で無名だったSoftlayerやベアメタルに注目が集まり始めます。競合事業者を見ても、5月28日にはリンクがベアメタル型アプリプラットフォーム発表、11月10日にはIDCフロンティアが高速ベアメタルサーバーを、その一週間後の11月17日にGMOインターネットがベアメタルサーバーも提供する、お名前.comクラウドを投入して、米国市場にさほど遅れることもなく活気付いてきました。これら新規参入者を迎え撃つSoftlayerは1月17日に発表していたグローバルクラウド12億ドル投資計画に基づき、12月22日に1万5000台の物理サーバを備えた(注:計画値)SoftLayer東京データセンター開設を発表、ポータルの日本語化も果たし、国内でも新規参入者を突き放しにかかっています。ここでも好循環が生まれつつあると言えそうです。

2014年になっても国内下位のオレオレクラウド事業者がIaaSを名乗りながら数日から一週間以内の変更要求反映であったり書面やメールによる申し入れに留まっているのに対し、Softlayerは2009年のベアメタル発表当初からベアメタルの展開、制御、管理のすべてをAPIによって実現しており徹底的な自動化を達成しています。一部を除き、ベアメタルを名乗るサービス提供事業者はSoftlayerと同様に展開、制御、管理の自動化を実現しており、上位事業者と下位事業者のサービス実装水準は乖離が大きくなる一方です。

ベアメタル台頭の理由

クラウドは本質的に1961年に誕生したTSS(Time Sharing System)の遠い子孫といえます。当時高価だった計算資源の所有と利用を切り離し、電話網を介して計算資源アクセスを提供していたTSSは、現代的に解釈するなら世界最古のPaaSと呼べるでしょう。
その後、計算資源単価の下落と小型化の進展によってTSSは廃れましたが、ジョージ・ギルダーが2000年に指摘した「豊かな資源を浪費して希少資源を節約する」(テレコズム)経済原則に従って、インターネットの普及によって安価になった伝送帯域を浪費し、希少な社会関係資本(ここではパットナム定義に従う)を節約(集約)するASPの勃興を経てその提供基盤を実現するクラウドとして再び脚光を浴びる時代を迎えたと位置付けられます。

2006年当時にエリック・シュミットが提唱した「クラウド」概念は2011年にDRAFTの文字が削除され一応の完成を見たNIST SP800-145(いわゆるNISTクラウド定義)を得て、分類と定量的な比較が可能になりました。(少なくともその第一歩を踏み出せたと言えます)

NISTクラウド定義は80-90年代を通じて主流であった計算資源の自己所有を前提とした利用モデルの外側に広がる所有と利用の分離形式のパターンを整理し、多くの公共インフラと同じように、組み合わせ最適化(離散最適化)を導入して、それまで計算機所有の費用とだけ認識されていた計算コストを計算費用(もっと言えば応答性能と遅延性能)と可用性確保費用に分解し、これまで気にされることのない埋没費用となっていた部分に光を当てたことに意義があったと考えます。

多くの利用者が共用するインフラストラクチャにおいては通常、費用対効果を最適化するために待ち行列理論を利用した組み合わせ最適化が図られます。この際、利用要求に対して資源配備が過小であれば、渋滞や輻輳、停電といった問題が発生します。利用要求に対して資源配備が過大であれば、渋滞や輻輳、停電といった問題は起きませんが、過大インフラの所有(利用)コストが重くのしかかってきます。

通常、IaaS事業者はオーバーコミット(要するに資源利用率管理のためにリソースプールから一定の資源を割り当て、物理資源量を超える要求を待ち行列に入れる処理)機能を利用して計算資源の組み合わせ最適化を行っています。このとき、IaaS事業者は提供する計算資源についてCPU性能とメモリ容量、ストレージ容量を明示して提供していますが、CPU性能についてはXeon XXGHz相当といった曖昧な表記をして提供されている場合が多々見られます。伝送遅延やストレージIOPSについてもサービスレベルを機器性能のように厳格に提示しない傾向があります。

資源割り当てと負荷が動的に変化するサービスにおいて、資源割り当ての組み合わせ最適化問題は取り扱う要素が増え、組み合わせ許容する条件が厳しくなると収容できる資源要求が減少するためコスト競争の厳しい市況においては、制約条件を一定限度ゆるく設定しないと事業として成立しなくなるため致し方ない側面もあります。

本質的に、性能を一意に保証する必要があるなら、資源占有させて(代わりにコスト制約をゆるめ)組み合わせ最適化問題を回避しなければなりません。このような厳格な性能管理を必要とする(かつ、コスト収容力のある)事業分野にオンプレミスシステムやベアメタルクラウドが求められる素地があると言えます。

資源占有して厳格な性能管理を実現するだけでなく、資源所有してオンプレミスシステムとして構築する経済合理性が成り立つ分野というと、国防などごく一部の分野に限られますので、ベアメタルを得てクラウドはオンプレミスに対して十分な代替性を得たと評することが出来る時代を迎えたのではないでしょうか。
資源割り当てについてのベアメタルと仮想化の考え方の違いの模式図。緑のブロックが、とある利用者の資源割り当て要求量だとして、ベアメタルの場合、ハードウェア資源割り当てできた場合は性能確保が容易。ただしハードウェア資源を引き当てられなかった場合はサービス停止するリスクもある。仮想化の場合、オーバーコミットによって資源共有するので資源確保がそもそも出来ないといった問題にはベアメタルより強いが、SLAの条件にもよるものの依存している資源の稼働率の影響を受けるため利用者のあずかり知らないところで性能低下するリスクを抱えることもある。また、ベアメタルは資源切り出し粒度がハードウェア粒度に制約される。利用者は性能要求とコスト制約、収容したいサービスの稼働率分布をよく考慮してデプロイ先を選択し、システム構築するプロビジョニンク力とでもいうべき能力を磨く必要があるだろう。


ベアメタルがクラウド進化のきっかけを生む可能性

様々な準拠法と政治的影響(政治的条件もファンダメンタルのひとつ)のもと、まちまちのSLAと約款に従って、複数の提供主体から、様々な世代の、まちまちの性能特性をもつ計算資源群を透過的に運用可能にするという、Open Cloud Manifestの描いた理想は現在もまだ夢のままです。
Open Cloud Manifestの理想を実現するためにはセキュリティ、データとアプリケーションの相互運用性、移植性、管理(制御)粒度の互換性確保とその測定基準の策定や評価基準の整備などが必要です。

このような多様な環境下での組み合わせ最適化を実現するためにはハイパーバイザーを利用した完全仮想化などの資源抽象化はオーバーヘッドというコストを支払ってもなお有効な解となります。この観点からコンテナ仮想化のゲスト隔離が不十分な現在において、ハイパーバイザーの全否定は短絡的といわざるを得ません。

ベアメタルが実現した物理資源のSoftware-Defined Infrastructure化は、あらゆる抽象化粒度(IaaS、PaaS、SaaS)のクラウドに対して、より高度な性能(品質)管理実現に向かうきっかけを与えたと評価できると考えています。物理資源により近い階層での制御粒度の詳細化が進まなければ、より抽象度の高い階層での制御粒度をいくら詳細にしても組み合わせ最適化は進まない道理です。

クラウドにおけるサプライチェーン高度化を支えるハードウェア層の可視化を提供し、オンプレミスシステムと完全仮想化を利用したIaaSの間を埋める提供粒度を実現したベアメタルは、その存在自体が、ICT市場におけるクラウドのプレゼンス増大の反映とも言え、多様化し繁栄するクラウドエコシステムを体現する領域とも言えるでしょう。

最近はCloudHarmonyが運営するCloudScoreにおいて調査参加事業者のSPECintベンチマークなどの各社サービスの性能情報が公開されるようになりはじめているので、ベアメタルの性能を基準指標とした性能(品質)管理の高度化は早晩進むものと考えています。

2015年以降、クラウド市場の成長を含むICT市場の変化について考える上でベアメタル市場の動向は重要な位置を占めるようになるでしょう。
Read more

世界のクラウド市場シェア推移2014Q3

引き続きSynergy Researchのリリースを利用して2012Q1から2014Q3までのプロバイダー別クラウド(IaaS/PaaS)シェア推移をグラフ化してみました。今回からリリース掲載のグラフがYoY成長率(縦軸)とシェア(横軸)になっていますね。バブルの大きさは説明がありませんが売上高っぽいです。相変わらず傍若無人なリリースで読み手泣かせでした。ちなみにリリース文中には"over 10%"とか"up to 27%"といった表現が並んでいますが、これを10%、27%と省略して訳すとひどい目にあいます。気をつけましょう。今回は"now passed the $4 billion milestone, with trailing twelve-month revenues exceeding $14.5 billion."という表現を手がかりにリリース掲載のグラフを素直に解釈して数字割り出しました。


今回リリースから長らくSynergyにその他大勢扱いされていたRackSpaceが個別銘柄として抜擢されています。2013Q1時点では老舗のRackSpacsはFujitsu、NTT、AT&T、Verizonの後塵を拝していたので今回のノミネートが6位入賞を意味するなら2013Q2-2014Q3までの間に身売り検討を経てシェア上位サービス群が繰り広げる価格競争と距離を置いたManaged Serviceへの転進を選択した結果は吉だった、という事なのかもしれません。
ただし、国内IaaS事業者各社(特にランキング下位)に釘を刺しておきたいのですがRackSpaceの云うManeged Serviceって国内で云うマネージドサービスとは質的に違うものですのでウチもこれでいいんだ、とは思わないでいただきたいものです。

もう一点、Salesforceのランキング下落が止まらないところに注目しています。2013Q3時点でMicrosoftに抜かれ、2013Q4にIBMに射程圏に捉えられ2014Q2に抜きされたところですが、成長率加味すると2014Q4-2015Q1あたりにgoogleにも抜かれる可能性が高くなってきている模様です。


今回もおまけとして2012Q2を基点とした指数グラフを作成してみました。相変わらずぶっちぎりの成長力を見せているMicrosoftはML投入OSSコミット強化など次々に施策打ち出していて目が離せません。勝つまでやめないMS魂は健在の模様。続いてWatson投入など、こちらもゲームルールチェンジを仕掛けつつ高い成長力を維持しているIBMからも目がはなせません。googleもKubernetesを発表し、さらにIaaSのあり方を再定義する可能性を秘めたGoogle Container Engineを投入して高成長を続けています。AWSは安定の市場平均成長率維持で巡航速度維持、高成長を続けるMicrosoft、IBM、google、AWSの割を食ってその他のシェアは2012Q2の60%から2014Q3には42%に低下している模様です。それでも9四半期で2倍に成長しているんですけどね。


話は逸れますがKubernetes開発にはDocker、IBM、Microsoft、RedHatも参加表明し、Dockerベースのコンテナオーケストレーションの標準になりそうな気配。さらにDockerからもDocker Hub Enterpriseが発表されて同時にMicrosoft、IBM、AWSからサービス提供のアナウンスがなされIaaSの標準的な抽象度は仮想マシンからDockerベースのコンテナにすんなり移行するかと思われたのもつかの間、CoreOSがRocketを発表してDockerに挑戦状を突きつける展開に。このあたりの動向も面白いですね。オンプレミスからオフプレミスへの移行や仮想マシンからコンテナへの移行、自動化や機械学習利用によるデザイン変化などが同時に起こっていて色々と目が離せません。てな話はまた別途。
Read more

世界のクラウド市場シェア推移2014Q2

前回に続いてSynergy Researchの7月28日付リリースが出たので2012Q1から2014Q2までのプロバイダー別クラウドシェア推移をグラフにしてみました。相変わらず解読しにくい発表です。


同社のリリースは、ついにMicrosoft、Salesforce、IBM、Googleの4社シェア合計がAWSを越えたと注目していますが2-5位が束にならないとかなわない1位って凄いものだと感心してしまいます。

参考まで、同社のリリースを解読して作成した各社の売上推移から2012Q2の売上を1として成長速度を指数として表してみました。


ちなみにSalesforceだけは2012Q3からしか数字が判明しなかったので2012Q3起点となっています。こうしてみるとAWSの成長速度はすなわちクラウド市場の成長速度となっていることがよくわかります。市場開拓者として先行者利益の貯金を取り崩すことなく巡航速度で成長しているようです。対して、MicrosoftとIBM、googleがキャッチアップするために猛烈な追い上げをかけているのが良くわかります。その他事業者の成長速度は一貫して上位事業者の成長速度を下回っていますね。この傾向が続くようだと、クラウド市場は英国鉄道史(日本もですが)や石油市場のセブンシスターズのような寡占市場に収斂していく可能性がありますね。

2013Q1時点で6、7位を占めた富士通とNTTの日本勢を除くと8位がAT&T、9位がVerizonと米国勢がずらりと上位に並んでいる状況を考えると、WCIT-12でITR改定に署名した諸国はガバナンスの観点から危機感を募らせているかもしれませんが、そういう話はまた別途。

Read more

世界のTablet市場シェア推移2014Q2

気になったのでIDCの7月24日付けリリース以下バックナンバー含めて拾って2011Q2から2014年Q2までのベンダー別Tabletシェア推移をグラフにしてみた。


やはり市場成長が止まっているようには見えないね。ちなみに、こちらで紹介したSTRATEGY ANALYTICSの数字とIDCの数字を比較するとこんな感じ。かなり近い。


なんとはなし、うれしい。(なんで?)

Read more

Tablet市場成長鈍化じゃないと思う。

Q2のPC市場動向を見ていて気になったTabletの件、STRATEGY ANALYTICSのリリースを3つ合成して2012Q4から2014Q2までの世界のTablet出荷台数OS別推移をグラフにしてみました。



Appleの出荷台数は減少してますがApple製品ってスマートフォン市場でも繰り返されていますが発売直後(前回は2013年10月23日)にドンと出て次の製品発表までずるずる減っていくパターンなので次の製品発表までQ3も減っていくんじゃないかと予想しています。なので、この段階でtabletが成長のピークアウトしたとはどうも考えにくいのではないかと。(というよりデータが少なすぎて予想のしようが無い)少なくとも前年同四半期比での成長は続いているので、PC市場が下げ止まってTablet市場(とスマートフォン市場)が成長というお財布につらい状況のようだなと。(地域別に見るともうちょっと事情が違いそうな気もしますが)
Read more