HTML/JSONの8項目整合検査:schema更新と実入力4対3の差分

同じ日次レポートのHTMLとraw JSONが存在しても、件数や一次URLが同じとは限りません。さらに生成形式が変わると、古い抽出規則が0件を返しても「一致」と誤認するおそれがあります。
2026年10月13日(日本時間)の実入力を、旧・新2種類のschemaを明示判別する標準Pythonで検査しました。日付、HTMLの表示宣言4件と観測4件、JSONの宣言3件と配列3件はそれぞれ内部では一致しました。一方、HTMLとJSONの件数は4対3、一次URL集合は不一致で、HTMLには実在するJSONと矛盾するraw未作成表示がありました。結果はFAIL、終了コード1です。
結論は、表示宣言件数・観測件数・別形式の宣言件数を分け、schemaとraw有無の主張も検査するです。ツールは記事本文の正しさや、HTMLとJSONのどちらが正しいかを判定しません。
検証条件と、比較しない情報
更新検証日は2026年10月13日(日本時間)、環境はWindowsとPython 3.14.2です。追加パッケージ、API、外部送信、追加費用はありません。入力は同日の日次レポートHTMLとraw JSONです。
記事タイトル、要約、考察、事業案は比較にも出力にも使いません。公開ZIPのfixtureはexample.comだけで作り、実レポート本文を含めていません。
| profile | HTMLの表示宣言件数 | HTMLの一次URL | JSON |
|---|---|---|---|
旧legacy |
.stamp strongの整数 |
article.news内のp.sourceにある最初のリンク |
調査日、採用件数、項目[].URL |
新current |
#news .section-head .note内のN件 |
article.news内のfooterにある最初のリンク |
report_date、accepted_count、items[].url |
旧・新markerが混在する、必要なkeyが一部だけある、どちらにも一致しない場合は、差分ではなく入力契約エラーとして終了コード2で止めます。黙って一方の規則へ寄せません。
入力のSHA-256は実行前後で一致しました。
HTML: 36C1FCFF8F16D6DDAED0B71AFF60B8B2BC6D668D9C94762BE05DED8626A1A964
JSON: 66D55CEC37614F21E96F48CFB5D630F22B86CD740A959EA22DD9EE55EA350041
これは検査中に入力のバイト列を変更しなかった証拠です。入力内容の正確性や、作成前から変更されていないことまでは保証しません。
実入力は日付一致、4対3、URL集合不一致、raw表示矛盾
実行結果を8検査に分けると、次のとおりです。
| 検査 | 結果 | 観測値 |
|---|---|---|
| schema profile | 一致 | HTML / JSONともにcurrent |
| 日付 | 一致 | HTML / JSONともに2026-10-13 |
| HTML表示宣言とHTML観測 | 一致 | 4 / 4 |
| HTML観測とJSON宣言 | 不一致 | 4 / 3 |
| JSON宣言とJSON配列 | 一致 | 3 / 3 |
| 一次URL集合 | 不一致 | HTML 4件、JSON 3件、共通0件 |
| 一次URL順序 | 不一致 | 件数と内容が異なる |
| raw有無の表示 | 矛盾 | JSON実在、HTMLはraw未作成と表示 |
| 全体 | FAIL | 終了コード1 |
上図はコマンド出力の件数を再構成した生成図で、生ログの画像ではありません。差分は3種類あります。件数差分、代表URLの採用集合の差分、そして「rawがない」というHTML表示と実在JSONの差分です。どれも自動上書きせず、生成工程へ戻して確認します。
旧8観点を残して、新schemaを追加した手順
コード、人工fixture、15件のテスト、READMEをまとめたZIPを展開し、そのフォルダで実行します。
python -m unittest discover -s . -p 'test_*.py' -v
python .\report_consistency.py .\fixtures\match.html .\fixtures\match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\current_match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\current_mismatch.json
python .\report_consistency.py .\fixtures\current_raw_claim.html .\fixtures\current_match.json
python .\report_consistency.py .\fixtures\current_match.html .\fixtures\mixed_schema.json
旧profileと新profileの一致fixtureは終了コード0です。URL差分とraw欠落claimは終了コード1、混在schemaは終了コード2になります。15件の単体テストは旧版の8観点を回帰確認し、新profile一致・不一致、HTML表示宣言件数、raw欠落claim、混在・未知schemaを追加で確認します。テスト一式は3回連続で成功し、公開ZIPを別フォルダへ展開した状態でも15件が成功しました。
中心となる比較条件は次の8つです。
checks = {
"schema_profile": html.profile == raw.profile,
"date": html.date == raw.date,
"html_declared_count": html.declared_count == html.observed_count,
"html_json_count": html.observed_count == raw.declared_count,
"json_count": raw.declared_count == raw.observed_count,
"url_set": set(html.urls) == set(raw.urls),
"url_sequence": html.urls == raw.urls,
"raw_availability_claim": not html.raw_missing_claim,
}
Python公式のjson資料に沿ってJSONを読み、Python公式のHTMLParser資料のイベントでHTML要素と属性を取り出します。正規表現だけでHTML全体を解析する構成にはしていません。
終了コード0・1・2を混ぜない
| 終了コード | 意味 | 次の行動 |
|---|---|---|
| 0 | 定義した8検査がすべて一致 | 内容確認とリンク確認を別に続ける |
| 1 | 入力は読めたが差分または表示矛盾あり | 生成元と一次情報を確認し、どちらを直すか人が決める |
| 2 | schemaが混在・曖昧・未知、必須項目欠落、JSON不正など | 入力契約か抽出規則を直して再実行する |
終了コード1と2を分ける理由は、処置が違うからです。4対3やURL差分は内容・生成工程の調査対象です。未知schemaを差分扱いすると、抽出できていないのに0件として処理を続ける危険があります。
9月25日の旧検証を履歴として残す
初版は2026年9月25日の旧schema実入力3件を検査し、日付と件数は一致、一次URL文字列は2件一致・1件差分、終了コード1でした。入力SHA-256はHTMLがEB045D42482FED112CE3B8BE6DD60B16E6CB2668CF24FC9D4164035704E20544、JSONがDBD2D699C149CA085F8953A74475C2890A241F77096979A954823E143B3460A2でした。
差分だった2文字列は9月27日に個別取得し、どちらもHTTP 200で同じcanonical URLと同じWordPress REST APIのpost IDを示しました。これは旧検証時点での文字列差分を取り消さず、転送・canonical判定をオフライン検査へ追加した結果でもありません。今回の更新でも旧fixtureと抽出規則を残し、回帰テストに含めています。
詰まった点と限界
新旧profileでは、一次URLの置き場所だけでなく件数表示の場所も違いました。そこでURL selectorだけを追加するのではなく、profileごとの必須markerを固定しました。将来3つ目のschemaが出た場合は終了コード2になります。これは停止優先の設計であり、自動追随ではありません。
URLは集合と順序を別検査にしています。集合が同じで順序だけ違う場合も分かりますが、重複URLの個数だけが変わった場合は順序検査でしか検出できません。URLの存在、安全性、内容、公開日、転送、canonical URLは検査外です。
raw欠落claimはrawの近くに「未作成」「存在しない」「なし」「欠落」などがあるかを見る限定的な規則です。言い換えをすべて理解する自然言語判定ではなく、反対にコード例や過去説明に同じ文言があれば検出する可能性があります。終了コード1を根拠に自動削除せず、人が該当箇所を確認します。
有限のfixtureと15テストは、任意のHTMLを正しく解釈する形式証明ではありません。機械検査のPASSは、本文の事実、一次情報の公開日・仕様・料金、公開可否を保証しません。
実務での使い方と関連先
生成直後にこの検査を置き、終了コード1または2なら公開処理を止めます。まず原本、JSON生成、HTML生成の順に日付・件数・URL・raw表示が変わった場所を確認します。片方が新しいと決めつけず、一次情報と生成記録を照合してから修正します。
ニュース候補の48時間判定は、JSON内の公開日時と重複候補を仕分けます。静的サイトの内部リンク検査は、ビルド済みサイト内のページと見出しの行き先を調べます。本稿は、その前段で同じ日付のHTMLとraw JSONの構造上の整合を検査します。
更新履歴:2026年10月13日に新current schema、HTML表示宣言件数、URL集合、raw欠落claim、混在・未知schemaの検査を追加しました。旧legacy schemaと9月25日・27日の検証結果は履歴として残しています。表紙は4対3の構造差分を表す生成イラストへ更新しましたが、検証証拠には数えていません。