Datadog continuous testingについて調べたことのメモ。
E2Eの運用を楽にし、テストの信頼性を保つ仕組みを備えている、ようだ。
Chrome拡張のDatadog test recorderが必要。
それ以外の準備は不要ですぐに利用開始できる。
レコーディングする際は、popupで開くほうが良さそう（レコーディング画面内のUIはiframeなので）。
テスト実行に関するあらゆるオプションの設定。
Basic認証の対応ができたり、Cookie、リクエストヘッダの設定などもできる。
cf. テストコンフィギュレーション
Browser Testsで利用できるテスト項目についてそれぞれ見てみる。
DOM周りをチェックできるアサーション。
遷移系。
UIに関する操作系。
任意の変数が定義できる。
既存のブラウザテストを別のブラウザテストの中でも再利用できる。 最大2階層まで入れ子にして再利用することができる。
ブラウザテスト内でHTTPリクエストを実行できる。
実際どれくらいのまでの修復が可能なのか細かいところはわかってない。 UIの変更があった際に自動的に変更を検知して探索するとは書かれている。
If there is a UI change that modifies an element (e.g., moves it to another location), the test will automatically locate the element again based on the points of reference that were not affected by the change. Once the test completes successfully, Datadog will recompute, or “self-heal,” any broken locators with updated values. This ensures that your tests do not break because of a simple UI change and can automatically adapt to the evolution of your application’s UI. In the next section, we’ll look at how you can fine-tune your test notifications to ensure that you are only notified of legitimate failures.
cf. https://www.datadoghq.com/ja/blog/test-maintenance-best-practices/
あくまで”単純なUIの変更”に限るので、あまり期待を高めないようにするのが良さそう。
テストが正常に実行されると、ブラウザテストは壊れたロケータを更新された値で再計算 (または「自己修復」) し、単純な UI の更新でテストが壊れることがなく、テストがアプリケーションの UI に自動的に適応することを保証します。
cf. https://docs.datadoghq.com/ja/synthetics/browser_tests/advanced_options/
Syntheticの設定から並列化を設定できる。
cf. https://docs.datadoghq.com/ja/continuous_testing/settings/
Synthetic MonitoringとContinuous Testingの結果（CI Batches）およびテスト実行結果（Test Runs）を検索できる。 cf. https://docs.datadoghq.com/ja/continuous_testing/explorer/?tab=cibatches
RUM から収集したブラウザデータと Synthetic ブラウザのテスト結果を使用して、RUM アプリケーションのテストカバレッジ全体に関する洞察を提供 cf. https://docs.datadoghq.com/ja/synthetics/test_coverage/
どこがテストされていないのかといったことが分析できそう。テストケースの網羅性の改善に役立ちそう。 カバレッジの推移を追っていく
Synthetic testsは各種CIと連携できる。
用意されているインテグレーション。
cf. https://docs.datadoghq.com/continuous_testing/cicd_integrations/
cf. https://registry.terraform.io/providers/DataDog/datadog/latest/docs/resources/synthetics_test
DOMベースのテストになるのでコードからテストケースを起こすということは厳しいと思う。。。
Syntheticsとしての管理下にあるので通知周りは特に懸念なし。
1000回/$12（オンデマンドだと$18） cf. https://www.datadoghq.com/ja/pricing/?product=continuous-testing#continuous-testing
安価だと思う。 1000回以下は無料？？
シナリオが沢山用意されたときに破綻しないか？
テストシナリオの管理方針としては、
テストケース自体の管理方針としては、DRYにテストを作っていくことが推奨されており、サブテストを積極的に利用したほうが良さそう。 cf. https://docs.datadoghq.com/ja/synthetics/browser_tests/actions/?tab=%E3%82%A2%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%83%9A%E3%83%BC%E3%82%B8%E3%81%A7%E8%A6%81%E7%B4%A0%E3%82%92%E3%83%86%E3%82%B9%E3%83%88%E3%81%99%E3%82%8B#%E3%82%B5%E3%83%96%E3%83%86%E3%82%B9%E3%83%88
関連書籍