初期データ移行の方式選定 — 回線で送るか物理搬送か

初期データ移行の失敗の多くは、技術選択の誤りではなく「転送時間を計算しないまま移行日を確定した」という設計プロセスの欠落から生まれる。データ量・回線帯域・業務停止許容時間の三変数を軸に、回線転送・物理搬送・差分同期の各方式をどの条件で選ぶべきか、判断基準と陥りやすい落とし穴を体系的に解説する。移行方式の選定は、スケジュール確定の前に完了させておくべき設計判断だ。

転送時間を測らずに移行日を決めて間に合わない構造

スケジュールが先行して転送設計が後回しになる経緯

移行プロジェクトでは、ビジネス側のリリース日がプロジェクト立ち上げの段階で決まり、技術側がその日程に合わせて計画を積み上げる流れが定番になっている。結果として「移行日の3週間前に実際のデータ量を確認したら想定の4倍あった」という事態が発生する。この順序が問題の構造そのものだ。転送時間の計算は単純な算術だが、その算術をスケジュール確定の後回しにする慣行が、移行失敗の入口になっている。データ量・帯域・業務停止許容時間の三変数を揃えた上で日程を逆算するのが、設計判断として正しい順序になる。

帯域と実効スループットの乖離を見落とすアンチパターン

契約帯域が1Gbpsであっても、実効スループットはTCPオーバーヘッド・暗号化処理・ネットワーク機器の処理能力によって50〜60%程度に落ちることが多い。例えば10TBのデータを1Gbps帯域で送る場合、理論値では約22時間だが、実効600Mbpsで計算すると約37時間になる。この乖離を見積もらないまま「夜間12時間で終わる」と判断すると、翌朝の業務開始に間に合わない。さらにストレージの読み書き性能がボトルネックになる場合は、帯域よりもディスクI/Oが律速になるため、回線帯域だけを確認していても実態を把握できない。事前に送受信双方のI/Oベンチマークを取得しておくことが、この落とし穴を回避する設計上の要件になる。

ドライランを本番前に実施する意義

転送時間の計算はあくまで試算だ。実際にはストレージのI/O性能・送受信ホストのCPU使用率・ファイル数の多さによる小ファイル処理のオーバーヘッドなど、数式に乗らない要素が重なって実測値が試算から大きく外れることがある。移行本番の2〜4週間前に、実データの10〜20%程度を使ったドライランを実施し、実測スループットを取得してから日程を再確認するのが正しい段取りだ。ドライランの結果が予想より悪ければ、方式変更や業務停止時間の再交渉を早期に判断できる。実測値なしで本番を迎えることは、見積もりの根拠をなくして進む設計判断の放棄に等しい。

一括転送で通る量と差分同期が要る量の見極め

データ量だけで判断するのが誤りである理由

「何TBまでは回線転送、それ以上は物理搬送」という単純なルールは実際には機能しない。重要なのはデータ量そのものではなく、「業務停止の許容時間内に転送が収まるかどうか」という時間軸の問題だ。同じ5TBのデータでも、業務停止が4時間しか許容されない環境と48時間許容される環境では、選ぶべき方式が逆になることがある。判断の基準軸は常に「許容停止時間 vs 転送所要時間」であり、データ量はその計算の入力値に過ぎない。この基準を持たずにデータ量の閾値だけで方式を決めると、選択ミスが起きやすくなる。

差分発生量の見積もりがスキップされやすい理由

一括移行と差分同期を組み合わせる方式では、初回一括転送が完了した後に「追いつき転送」が必要になる。この追いつきで処理しなければならない差分量は、一括転送にかかった時間と単位時間あたりの更新量の積で決まる。更新量の見積もりをスキップすると、追いつき転送が一括転送よりも長くなるという本末転倒な状況が生まれる。現場では「初回転送が20時間かかった環境で、追いつきに30時間かかることが判明した」という話を聞くことがある。差分発生量の見積もりは、一括転送量と同じ重みで計画に組み込む必要がある。

小ファイル多数環境での罠

画像・ログ・設定ファイルが混在する100万ファイルを超えるような環境では、合計容量が数百GBと小さくても転送時間が極端に伸びる。ファイル数が多いとメタデータ処理のオーバーヘッドが支配的になり、実効スループットが理論値の10分の1以下に落ちることもある。容量だけを見て「これなら回線で数時間」と計算した結果、実際には数日かかるケースが存在する。判断の前にファイル数・平均ファイルサイズ・ディレクトリ深さを把握しておくことが、方式選定の前提条件になる。小ファイル問題は物理搬送や並列転送設計を検討するきっかけになる判断材料だ。

比較表: 回線転送/物理メディア搬送/差分同期併用の比較

比較項目 回線転送 物理メディア搬送 差分同期併用
適した規模感 数百GB〜数TB(業務停止が十分取れる場合) 数十TB以上、または帯域が細い環境 業務継続が必要で停止時間を最小化したい場合
業務停止時間 転送時間+整合性検証時間が必要 物理搬送の日数分が必要(数日〜1週間) 差分のみのため最短化できる
帯域への影響 大(共用回線は制御が必要) なし 小(差分のみの転送)
主な整合性リスク 転送エラー・経路障害・暗号化ミス 媒体損傷・紛失・搬送中の事故 差分漏れ・追いつき遅延・CDC設定ミス
主な準備コスト 帯域設計・スループット実測・ドライラン 媒体手配・搬送手続き・受入環境整備 CDC設定・ログ保持期間調整・追いつき設計
カットオーバー精度 差分が残りやすい 搬送後の差分量が最大になりやすい 差分を最小化でき精度が高い

転送中に発生した更新分をどう追いつかせるか

カットオーバー直前の差分を最小化する設計思想

一括転送が完了してからカットオーバーするまでの間、元のシステムでは業務が継続され、データが更新され続ける。この「差分の窓」をどこまで小さくできるかが、移行品質を左右する設計の要点になる。差分の窓を縮めるには、カットオーバー直前の業務停止時間を設けるか、書き込みを読み取り専用モードに切り替えるか、変更ログをリアルタイムで転送し続けるかという選択肢を事前に検討しておく必要がある。どの手段もトレードオフを持つため、要件定義の段階で業務側と合意しておくことが求められる。差分の窓を「あとで何とかする」扱いにしたまま設計を進めると、カットオーバー直前に手戻りが発生する。

CDCを使う場合の前提条件と準備

Change Data Capture(CDC)を使ってリアルタイムに差分を転送する方式は、追いつき問題を根本から解消できる有力な手段だ。ただしCDCはデータベースのバイナリログや変更ストリームへのアクセスを前提とするため、移行元の設定変更・権限付与・ログ保持期間の調整が事前に必要になる。これらの準備が本番稼働中のシステムへの変更を伴う場合、移行設計よりも先に既存システムの変更承認プロセスを通す必要があり、スケジュールに余裕がない構築では見落とされやすい。CDCの導入可否と準備期間は、移行計画の初期段階で確認しておく必要がある。

手動差分適用と自動差分適用の線引き

CDCのような自動化が使えない場合、移行期間中の変更をログとして記録し、カットオーバー時に手動で適用する方法もある。ただしこの方法は移行期間が長くなるほど適用量が増え、人手による適用ミスのリスクが高まる。目安として、手動差分適用が現実的なのは移行期間が48時間以内かつ変更件数が数千件以下の小規模環境に限られる。それを超える場合は自動化の手段を先に確保しておくことが設計上の前提になる。手動に頼る計画を立てた後で件数が予想を上回った場合、対応手段がないまま本番を迎えることになる。

件数・ハッシュでの整合性検証をどこまでやるか

件数一致は整合性検証の入口に過ぎない

移行後の確認として「件数が合っている」だけで完了とするのは危険なアンチパターンだ。件数は一致していても、ファイルの中身が破損していたり、文字コードの変換で特定の文字が欠落していたりすることがある。件数確認はあくまで最低限の一次チェックであり、その後にハッシュ検証・サンプル抽出による内容確認・アプリケーション側の動作確認を段階的に実施することが必要だ。整合性検証の範囲と深度を事前に設計しておかないと、移行当日に「どこまで確認すれば完了か」の判断が止まる。件数確認で終わりにすることは、検証設計の放棄と同義になる。

全件ハッシュ検証のコストと対象を絞る判断

全ファイルのハッシュ値を生成・比較する全件検証は、データ量が大きくなるほど処理時間とストレージI/Oのコストが増大する。数十万ファイルを超える環境では、全件ハッシュ検証だけで数時間を要することがある。現実的な設計として、マスタテーブル・設定ファイル・認証情報などクリティカルなデータは全件検証し、ログや一時ファイルなど再生成可能なデータはサンプル検証にとどめるという優先度分けが有効だ。対象を絞ることで検証時間を短縮しつつ、品質の担保が必要な部分に集中できる。データの重要度に応じた検証範囲の設計は、移行品質の一部として扱う必要がある。

検証失敗時のリカバリ手順を先に決めておく

整合性検証で不一致が検出された場合のリカバリ手順は、移行当日に考えるのではなく事前に設計しておく必要がある。「何件の不一致まで許容するか」「不一致が見つかった場合は再送か上書きか」「カットオーバーを延期する判断基準は何か」を事前に合意しておかないと、本番当日に判断が止まる。移行チームと業務システム担当者の間でこの基準が共有されていない場合、現場で判断待ちの時間が発生し、それが別の問題を引き起こす。判断基準の文書化は検証設計の一部として扱うべきであり、担当者が当日に初めて考えるような状況を設計段階で排除しておくことが求められる。

帯域を使い切って本番業務を巻き込む境界

回線は移行専用ではないという設計の落とし穴

データ移行を回線転送で行う場合、その回線を業務システムと共用している環境では、移行中の帯域占有が既存業務に影響する。移行と並行して本番サービスが稼働している部分移行・段階移行のシナリオで問題になりやすく、データ転送ツールが帯域を使い切ると基幹システムの応答遅延や接続タイムアウトを引き起こすことがある。帯域を移行用に確保する設計をしていなければ、移行作業が業務停止を引き起こす逆転現象が起きる。業務インパクトの調査は移行設計と並行して実施しておく必要があり、後から発覚すると対処できる選択肢が大きく減る。

帯域制御の設定を設計に組み込む

移行転送ツールの多くは転送レートの上限を設定できる機能を持っている。業務時間帯は回線帯域の30%に制限し、夜間は80%まで使うという設計が基本パターンだ。ただしこの設定は「何%を移行に使えるか」が先に決まっていないと適切な値を設定できない。事前に帯域のベースライン使用量を計測し、業務への影響が出ない余裕分を把握した上で設定値を決めることが必要だ。帯域制御の値が未設定のまま本番を迎えた場合、ツールがデフォルトで全帯域を使う動作をすることがあり、それが業務影響の直接原因になることに注意が必要だ。

専用回線・VPN・オブジェクトストレージ経由の選択基準

回線転送でも「どの経路で送るか」によって業務への帯域影響が変わる。既存の業務VPNを経由させると、他の接続と帯域を奪い合う。クラウドプロバイダの専用接続サービスを使う場合は専用帯域を確保できるが、接続設定を移行前に完了させておく必要がある。オブジェクトストレージを中継点として使う方法は、転送とアップロードの二段階になるが、業務回線との分離が可能であり、段階的な移行設計にも組み込みやすい。経路の選択は帯域影響の設計として移行計画の初期段階で決めておくべき判断に属する。

データ移行方式チェックリスト

  • 移行対象のデータ量(合計容量・ファイル数・平均ファイルサイズ)を事前に計測し、設計の入力値として確定しているか
  • 業務停止の許容時間を業務側と合意し、その時間内に転送が収まるかどうかを基準に方式を選定しているか
  • 帯域の理論値ではなく、実効スループット(50〜60%程度の減衰を考慮した値)で転送時間を試算しているか
  • 送受信双方のストレージI/Oがボトルネックになっていないかを確認し、帯域と合わせて律速要因を特定しているか
  • 移行本番の2〜4週間前にドライランを実施し、実測スループットを記録した上で日程を再確認しているか
  • 小ファイルが多い環境では、ファイル数ベースの転送時間を容量ベースとは別に見積もっているか
  • 差分の発生量(単位時間あたりの更新量)を計測し、追いつき転送の所要時間を見積もっているか
  • CDCを使う場合、移行元のバイナリログ設定・権限・ログ保持期間を事前に確認し、必要な変更承認を取得しているか
  • 手動差分適用を選択する場合、変更件数と移行期間が現実的な許容範囲内であることを確認しているか
  • 整合性検証の対象・方法・合格基準を事前に設計しており、件数確認だけで終わらない仕組みになっているか
  • 検証失敗時のリカバリ手順(再送・上書き・延期基準)を移行チームと業務側で事前に合意しているか
  • 移行に使う回線が業務回線と共用かどうかを確認し、業務時間帯と夜間それぞれの帯域制御の設定値を決めているか
  • 転送ツールの帯域上限が明示的に設定されており、デフォルト動作で全帯域を占有しないことを確認しているか
  • 物理搬送を選択する場合、媒体の暗号化・搬送手続き・受入環境の整備が完了しているか
  • 移行方式の選定理由と判断根拠が文書化され、スケジュール変更が発生した際の再判断基準として参照できる状態になっているか

▶ 手を動かして本番まで到達する

脱属人化の第一歩は「読める・書けるスクリプト」から始まります

ここまでの設計判断は、読めば腹に落ちます。ですが「自分の手で本番まで通しきる自信」は、それとは別の話になります。

自動化の設計を、手を動かして身につける2日間です。手順書に閉じ込めた構築を、他人が読めて再現できる形へ変えていきます。

初期データ移行をスクリプトで自動化するシェルスクリプト実践コースへ →

シェルスクリプトマスターセミナー|自動化の設計を手で身につける2日間