第15回itSMF Japanコンファレンス/EXPO
SCSK講演「圧倒的な自動化を実現！変化する時代と共に進化するデータセンター運営とは」

日本有数の規模を誇る「netXデータセンター」

netXデータセンターは全国に8拠点、10センターがあり、フラッグシップセンターは千葉県にある「netXDC千葉第2センター」と、兵庫県に新設された「netXDC三田第2センター」がある。総床面積は約83,000平方メートルと、日本有数の規模を誇る。「どのセンターにシステムをお預かりしても、論理的には同じひとつの大きなデータセンターとして利用していただける」ことをコンセプトにしていると、加藤氏は説明する。

加藤氏が統括する組織が提供するサービスは大きく3つ。

• ・障害時に連絡を行う「監視・通報サービス」
• ・豊富な経験に基づく「オペレーションサービス」
• ・システムの運用管理業務である「ITサービスマネジメント全般」

規模としては、顧客数が約300社、監視対象ノードは約26,000、オペレーション手順は3,000以上。加藤氏は、「きめ細かいサービスを行っており、ご利用いただきやすいサービスではあると思います。しかし、それゆえに起きてしまう運用の複雑化もあると考えています」と説明する。

netXデータセンターでの課題。
きめ細かいサービスが生む、複雑な運用

netXデータセンターは、国内最高クラスの堅牢性と柔軟性を有している。
しかし、お客様からの多様なニーズに対して柔軟に対応しているがゆえに、運用が多岐にわたり、アラートやメッセージ、オペレーションが複雑になっている、という課題があった。事実、10のデータセンターがあるが、それぞれにローカルのオペレーションがある。監視アラートは月に約16万件にものぼり、障害連絡は月に約15,000件も発生する。オペレータの定型作業は月に約6万件を超える。
「これはお客様のルールで、お客様の作法に順って行っているオペレーションです。監視アラートでは、このような電話のかけ方をしてほしい、メールはこのようなテンプレートで送ってほしい、と細かいニーズがあります」と言うように、どのような要望にも対応できるよう取り組むと、その分、複雑で手間のかかるオペレーションにならざるを得ないのだ。
こうした課題を解決するためには、自動化を推し進めていくしかない、という状態だった。

なぜ、複雑な運用が発生したのか

なぜ、このような複雑なデータセンターの運用が発生したのだろうか？その理由の背景は、SCSKの設立までさかのぼる。
SCSKは、2011年に住商情報システムとCSKが合併して生まれた。合併する前は当然、住商情報システムとCSKのセンターごとのルールとポリシーで運用が行われていた。2012年度から組織の融合が図られたが、データセンターの運用プロセスの統合までは手がつかず、各センターで独自の運用が続いた。個々に最適化を進めるのがやっと、という状況だった。そして、2015年から運用プロセスの統合がはじまり、集中管理ができる仕組みへと移行する取り組みがスタートした。
しかし、オペレーション体制には各々特徴があり、集中管理は不可能。センターごとに運用プロセスがあり、それがさらに複雑化したオペレーションが発生してしまうようなリスクを持った、厳しい状況のなかで運用を行うしかなかった。

複雑な運用の解決に向けて、
監視オペレーションの自動化へ

運用プロセス統合のためには、複雑化した月約16万件の監視アラートの切り分けと、お客様ごとに異なる作業の自動化が最優先課題と捉え、統合監視システム「FMA（Fault Management Architecture）」が開発された。FMAには「メッセージ自動切り分け」「フィルター」「コンバート」等の機能が搭載されていて、特徴は下記の通り。

・メッセージ自動切り分け機能

お客様に連絡するべき監視アラームか否か、その連絡は電話かメールかを切り分ける

・フィルター機能

お客様の「この時間帯は連絡しないでほしい」「アラートは無視してほしい」といった要件等に対応し、メッセージを非表示にする

・コンバート機能

監視システムが発報するシステマチックなメッセージを、人が見てもわかりやすいメッセージに変換して通報する

これにより監視オペレータは「電話連絡先自動表示」「障害連絡メール自動送信」「障害対応手順自動実行」機能を活用できるようになった。機能の特徴は下記の通り。

・電話連絡先自動表示

画面にお客様の電話番号、名前、話すべきスクリプトが表示される

・障害連絡メール自動送信

自動でコンバートしたメッセージを自動で送信する

・障害対応手順自動実行

復旧まで即時に行う

FMA導入前はオペレーションミスが0.01192%あったが、導入後は0.001759%に下がり、品質面でも効果が見られた。また、障害連絡の迅速化、オペレーション体制の効率化が実現された。

非定型作業を定型作業にし、自動化する

しかし、netXデータセンターの業務は監視オペレーションだけではない。
顧客フロント業務においても定型作業だけでなく、お客様からのさまざまなITサービスマネジメントにまつわる非定型作業がある。そういった業務も効率化し、自動化することに取り組むことになった。そこで、非定型作業を定型作業にし、最終的に自動作業にすることを計画したが、実際にはほとんど進まなかった。その原因は2つ。
ひとつは、非定型作業を定型化できなかったこと。フロント部署の担当者は、抱えている作業が複雑なため簡単には定型にはできないと主張した。「自分が今、やっている業務は自分でないとできない、価値の高いものだとプライドを持って業務にあたっているスタッフが多いため、簡単には定型化できなかった」と言う。
もうひとつは、定型作業を自動化するにあたり、スタッフから「自動化するスキルがない」「忙しく、自動化する工数がない」という反対意見である。「定型化及び自動化に1年間取り組んだが、成果は月間約6時間のオペレーションを自動化するにとどまってしまったという現状でした」と語る。
スタッフのなかには「自動化することで自分たちの仕事がなくなってしまうのではないか」という不安の声や、「コストが増えるのではないか」と懸念する声もあった。自動化するツールの使用にライセンスのコスト負担が発生すると考えられたからだった。

自動化を再検討。
仕組み・環境だけでなくマインドも改革

以上の取り組みから、自動化を推進するためには「仕組みと環境」を整備するだけでなく、改革に取り組む「マインド」も整備し、両方で推進しなければならないとわかった。そこで下記のことに取り組んだ。

・マインド

役員層を巻き込んだ強力な強力なトップダウン施策として実施

・自動化スキル・時間

センター部署内に自動化専任チームを発足し、通常業務と切り分けて対応した

・非定型業務の定型化スキル

自動化と非定型業務の定型化勉強会を開催

・コスト

自動化対応を無償に

・ツール（RBA）の制限クリア

netXデータセンターに設置されているシステムだけではなく、接続されている全てのシステム（パブリッククラウド含む）について、自動化可能なライセンスを採用。これによりお客様先に設置されているシステムの自動化も可能にした

不安を解消するべく、自動化の推進体制も再検討

また、自動化の推進体制も変更した。
顧客フロント部署は、自動化までは行わず、非定型作業を定型作業にすることのみ。そこからはセンター部署に業務移管し、センター部署が自動化を担当するように改めた。また、非定型業務の定型化のための勉強会や、業務受け入れのための説明会を実施したり、業務移管・自動化コストの無償化、自動化チームを発足、ツール（RBA）におけるライセンス上の制限をクリアとした。これにより2017年度の半期で、月間約300時間の自動化を実現した。
加藤氏は「監視オペレーションの自動化と合わせて、大きな成果がではじめた状況だった」と笑みを浮かべる。

さらなる自動化へ取り組む。
自動化運営の揺り戻し対策

しかし、自動化はこれで終わったわけではない。より高度な自動化を進める上で、難易度の高い課題が残されていた。たとえば、システムのアクセス権やセキュリティに関する問題や、RBAでの自動化にも限界があること等。
さらに、新たな問題として、自動化した業務の周辺に新たな手作業が発生している、という状況もあった。これは、自動化した作業に対して、お客様からイレギュラーの依頼があった場合、オペレータは自動化チームに相談するのではなく、新たな工程を追加したことにより起こったものだった。
「せっかく自動化したのにまた手作業が発生してしまう。時間が経つとそこが肥大化してしまいます」と加藤氏。これを「自動化ムーブメントの揺り戻し」だと説明する。

自動化に終わりはない。
さらなる推進へ

自動化に終わりはない。加藤氏は「今まで以上にフロント部署とお客様を巻き込んで、自動化を推進していきます」と語る。そのための施策について、以下のように話す。

• ・できない理由を考えるより、どうやったらできるのかを考える。そのため、継続的に勉強会を開催する
• ・RPAツールと組み合わせて自動化できる範囲を拡大していく
• ・自動化揺り戻し対策として、周辺手作業の撲滅に向けて啓蒙活動を継続する
• ・システム開発段階から自動化を前提として組み上げ、オペレーション不要の運用を図る

今後は、自動化できなかったフロント領域での障害対応、月次報告等も自動化し、監視領域では音声自動通達等で自動化を進める。そして、オペレーション領域では、LED確認や、電源のOFF・ON、データセンターにおけるお客様のアテンドも自動化に取り組む。
加藤氏は「こういったことにチャレンジすることで、データセンターの完全無人化に向かっていけるのではないか」と考えていると訴える。

運用発の効率化（自動化）は「慣性との戦い」

加藤氏は「自動化は、さまざまな企業が進めようとして課題になっていると感じています」と言う。運用は決められたことを決められた通りに行うことが文化となっている。それを変えるモチベーションはなかなか動きにくいなかで、自動化を進めなければならない。それが非常に厳しい課題となっていると指摘する。
そのため、「運用発の効率化（自動化）は『慣性との戦い』である」と掲げる。慣性とは、元の運用に戻そうとする力のこと。一度、構築した仕組みはなかなか変えられない。しかし、その仕組みをどれだけ払拭できるかの戦いでもある。そのため、1回では絶対にうまくいかないと訴える。
「何度も何度も戦い続けるしかないと思っています」と力強く語り、締めくくった。