Amazon Web Servicesの秘密兵器：カスタムメイドのハードウェアとネットワーク
インターネットやソフトウェアの大手企業が効率性を高め、競争上の優位性を築くために、独自のハードウェアを設計し、さらには製造することは珍しいことではありません。
Googleは自社サーバーをカスタム設計し、Intel製の数百万個のチップを搭載している。また、5月にはニューラルネットワーク向けに独自の特定用途向け集積回路（ASIC）を設計したと発表した。Facebookは自社データセンターで独自のスイッチを使用している。
しかし、市場をリードするパブリッククラウド企業である Amazon Web Services は、この道の最も先を進んでいると言えるでしょう。同社は独自のルーター、チップ、ストレージサーバー、コンピューティングサーバーを設計するだけでなく、独自の高速ネットワークも設計しています。
「同じ会社に、チップセットを開発するデジタルデザイナー、NIC（ネットワークインターフェースカード）を開発するハードウェアデザイナー、そしてソフトウェア開発者がいます」と、AWSの副社長兼ディスティングイッシュドエンジニアであるジェームズ・ハミルトン氏は、11月に開催されたAWS re:Inventカンファレンスの基調講演で述べた。「水平方向と垂直方向の両方を掌握することで、私たちは慣れ親しんだペースで業務を進め、慣れ親しんだペースで変更を加え、慣れ親しんだペースで顧客の要望に応えることができます。これは本当に大きなことだと考えています。」
サーバー、ラック、ケーブルのクローズアップ写真満載の1時間半にわたるギークフェストで、ハミルトン氏は、ネットワークの世界はメインフレームと同じ道を辿り、「垂直スタックに細分化」され、様々な企業がそれぞれのスタック上で革新と競争を繰り広げていると主張した。これにより、ネットワーク機器はコモディティ化しており、AWSは自社開発することでコストを削減できると彼は述べた。
「私たちは自社仕様のカスタムメイドルーターを運用しており、独自のプロトコル開発チームも持っています」とハミルトン氏は語った。「独自の道を選んだのはコストの問題でした。（改善には）大きなコストがかかりますが…最大のメリットは信頼性の向上です」。このカスタムメイド機器には「私たちからの要件は一つだけ。私たちは判断力を発揮し、シンプルさを保っています。複雑な機能をたくさん搭載するのは楽しいですが、信頼性を重視しているため、そうはしていません」。
AWSが標準的な商用ルーターを使用していて問題が発生した場合、「最も熱心で真摯な企業でも」問題解決に6ヶ月かかるだろうと彼は述べた。「現状は最悪だ。だから、今の現状に満足している」
AWSは、ファイバーネットワークの転送速度として25ギガビットイーサネット（25GbE）を標準化しましたが、「一見、突飛な決定のように思えます」とハミルトン氏は述べました。「私はこの決定に深く関わってきたので、擁護します」
業界標準は10GbEと40GbEで、10GbEは1つの光波、40GbEは4つの光波を表しますが、光コストはほぼ4倍になると彼は指摘しました。「25GbEは10GbEとほぼ同じ価格なので、50GbEを（40GbEよりもはるかに低いコストで）運用できることになります。光の観点から言えば、これは間違いなく正しい答えです。…業界は最終的にここにたどり着くと信じています。」
AWSルーターは、70億個のトランジスタと128個の25GbEポートを備えたカスタマイズされたBroadcom Tomahawk ASICを搭載しており、総フロースルー容量は3.2テラビット（Tbit）です。「これはまさにモンスター級の性能です」とハミルトン氏はルーターを高く掲げながら語りました。6Tbitと13Tbitの容量を持つ同様のチップも、ほぼ同じ価格で登場予定です。
AWSのネットワーク戦略におけるもう一つの重要な要素は、ソフトウェア定義ネットワークです。これは、ネットワーク管理者がインターフェースを介してネットワークの動作を変更および管理できる機能です。その一環として、プロセスを可能な限りソフトウェアからハードウェアに移行しています。
「2011年頃、私たちは明白だが重要な観察に至りました。それは、非常に反復的なワークロードがある場合、その一部をハードウェアに落とし込んだ方がよいということだ」と彼は語った。
「『AWS が顧客のネットワーク機器を導入せざるを得なかったのは、そうでなければデータセンターで実現しているような帯域幅は得られないからだ』と言う人がいます」とハミルトン氏は語った。「それは違います。誰の機器を使っても、望むだけの帯域幅を提供できます。決して難しいことではありません。何が難しいかご存知ですか？レイテンシーです。これは物理的な問題です。ソフトウェア開発者にはこう言っています。計測しているのはミリ秒（1000分の1秒）単位です。ハードウェアでは、ナノ秒（10億分の1秒）やマイクロ秒（100万分の1秒）単位です。ですから、これが私たちが目指すべき方向なのです。」
AWSはまた、「Annapurnalabs」の名が入った独自のカスタムチップセットも製造しており、「当社が展開するすべてのサーバー」に使用しているとハミルトン氏は述べた。Amazonは昨年1月、イスラエルのチップメーカーAnnapnurnaを3億5000万ドルで買収したと報じられている。AWSがAnnapurnalabsのチップを使用していることを明らかにしたのは今回が初めてだ。
「私たちが半導体ビジネスに携わっているとでも思っているんですか？」とハミルトンは叫んだ。「ハードウェアを作っているだけでなく、これ自体も作ったんです」と彼はチップセットを見せながら言った。「これは非常に大きな出来事です。ハードウェア実装とレイテンシに関して先ほどお話ししたトレンドが正しければ ― この点についてはかなり自信がありますが ― シリコンに実装できるということになります。」
AWSはデータセンターにカスタムファームウェアを搭載した電力スイッチングギアを採用しており、センター外で障害が発生した場合でも施設は稼働を継続し、センター内で障害が発生した場合でも負荷が落ちないようにしています。ハミルトン氏によると、これにより、スイッチングギアによって予備発電機がロックアウトされ1億ドルの損失を被った航空会社や、同じ理由で2013年のスーパーボウル中継中に34分間の放送中断が発生したような問題を回避できるとのことです。
AWSの最新カスタムストレージサーバーは、標準サイズの42Uラック1台に1,100台のディスクを搭載し、11ペタバイト（100万GB）のデータを格納できます。これは、ハミルトン氏が展示した880ディスクモデルの8.8PBから大幅に増加しています。ハミルトン氏によると、同社の方針により最新モデルの展示は禁止されているとのことです。
同社のカスタムコンピューティングサーバーは、ラックの1スロットをそれぞれ占有しており、密度が低いとハミルトン氏は認めた。「これは熱効率と電力効率を高めるための実装であることが分かりました。…OEMメーカーが顧客に販売しているものは、おそらくこれの3倍、4倍、5倍の密度で、効率は劣ります。しかし、コストでそれを補っています。」
AWSのコンピューティングサーバーの電源と電圧レギュレーターは、90%以上の効率で動作します。AWSは電気代に数億ドルを費やしているため、「この電源が1%でも改善されれば、非常に興味深い数字になります」と語っています。
世界16のリージョンに展開するAWSのデータセンターは、AWSが独占的に管理する100ギガビットのプライベートネットワークで接続されており、他社が管理する相互接続サイトは一切ありません。「100ギガビットのリンクが多数並列に存在します。リンク障害が発生しても耐えられる能力を備えているため、たとえ1つのリンクが障害となっても、この部屋にいる誰かに影響を及ぼすことはありません。私たちはそのように設計しています。そうしないのは愚かなことです。」
「あらゆる場所で、すべてのリンクが100ギガビットです」とハミルトン氏は述べた。「これは非常に重要な資産です。この取り組みを始めた当初は、非常に、非常に、非常に高額だったので、少し不安でした。しかし、ネットワークチームは、これが正しい選択であると100%確信しています。」
AWSは短期および長期のリース契約、契約に基づくダークファイバーの敷設などを活用し、「場合によっては自社でケーブルを敷設している」と同氏は述べた。「必要なリソースを確保するために、最も費用対効果の高い方法はすべて講じます」。アマゾンは、オーストラリア、ハワイ、ニュージーランド、オレゴンを結ぶ全長1万4000キロメートルのハワイキ海底ケーブルに投資している。
ハミルトン氏は、通常は秘密に包まれているアマゾンのデータセンターについても詳細を明らかにした。リージョン内の各「アベイラビリティゾーン」には少なくとも1つのデータセンターが存在することは既に知られているが、ハミルトン氏は、新規データセンターのほとんどが25～32メガワット（MW）の電力を消費していると付け加えた。これは比較的小規模なデータセンターと言える。世界で最も電力を消費するデータセンターである中国電信の内モンゴル情報パークは、常時150MW以上を消費している。
「規模が大きくなるにつれてコスト優位性は大きく高まり、250MWの施設も簡単に建設できます。しかし、もし規模が縮小したら、良い状況とは言えません」と彼は述べた。「ですから、現時点では（25～32MW）が適切な施設規模だと考えています。この方針を採用するとコストはわずかに増加しますが、お客様にとって最適な選択だと考えています。」
ハミルトン氏の講演の完全版ビデオを以下でご覧ください。
