フィールドテスト

実験室で性能を確認した製品でも、現場では通信、温度、作業の中断などの条件が重なります。
フィールドテストは、実際の使用場所や、それに近い環境で製品を試し、性能と運用上の問題を確かめる活動です。
製品を使う前の実態を調べる現場観察とは、目的を分けて考えます。

現場で確かめる条件を選ぶ

たとえば、屋外の水位を記録するセンサーを試すとします。
実験室では測定値と通信を確認し、現地では設置、降雨、電源、保守のしやすさを調べます。
どの条件を試すために現場へ出るかを明示すると、単なる実演で終わりにくくなります。
NASAの製品妥当性確認の説明も、想定する環境を含めて適合を確かめています。

試験前には、試験場所、製品の版、設置条件、観測期間、合否の基準を決めます。
比較する基準器や既存の方法があるなら、測定時刻と条件をそろえます。
現場の変化をすべて製品の効果として扱わないため、天候や作業の変更も記録します。
記録が途切れた場合、通信の停止と測定そのものの停止を区別できる設計が役立ちます。

製品以外の仕事も試す

センサーが動いても、設置に想定以上の時間がかかったり、電池交換へ安全に行けなかったりするかもしれません。
利用する人、保守する人、結果を見る人のそれぞれの作業を確認します。
試験中に開発者が常時付き添ったなら、その支援を通常提供で続けられるかを判断します。
手厚い支援がないと成立しない状態を、現場で自律運用できたと報告しないようにします。

異常が出たときは、その場の回復と、原因を調べるための記録を両立させます。
顧客の業務を止めてよい範囲、代替手段、停止する条件を事前に決めます。
試験品を通常の製品と取り違えないように、管理する責任者も明確にします。

結果を適用できる範囲

一か所で一定期間動いたことから、全地域や全季節の耐久性は判断できません。
試せた環境と、まだ試していない環境を分けます。
得られた問題が固有の設置条件によるものか、設計上広く起きるものかを比較して調べます。
必要なら、原因を切り分ける追加試験を管理された環境で行います。

終了時には、継続利用、設計変更、対象用途の限定のどれを選ぶかを示します。
長時間の劣化は耐久テスト、一般的な利用者の反応はベータテスト、目的との適合は設計妥当性確認とつなげて評価します。

参考資料