Webスクレイピングの法的リスクと安全運用｜“規約→同意→頻度→記録”でトラブルを回避する実務ガイド

件名：データ利用のご相談（サイト名）
◯◯運営ご担当者さま
貴サイトの◯◯ページに掲載の【価格/在庫/日付 等の事実データ】を、社内分析（目的：◯◯の月次推移把握）の範囲で、
1) 頻度：1日1回／深夜帯回避／同時接続1
2) 取得項目：商品名・価格・日付（テキスト/画像の複製なし）
3) 取得方法：公式APIがあればAPI優先、なければHTTP GETのみ
4) 利用範囲：社内集計のみ、第三者提供なし
で取得したく、ご懸念があれば方針に従います。可能であればAPIのご案内、または上記の形での許諾可否をご教示ください。
署名：氏名/所属/連絡先/Fromヘッダのドメイン

import urllib.robotparser as rp
from urllib.parse import urljoin

BASE = "[https://example.com/](https://example.com/)"
ROBOTS = urljoin(BASE, "/robots.txt")
ua = "pythonbunseki-bot/1.0 ([+contact@example.com](mailto:+contact@example.com))"

r = rp.RobotFileParser()
r.set\_url(ROBOTS)
r.read()
can\_fetch = r.can\_fetch(ua, urljoin(BASE, "/list"))
if not can\_fetch:
raise SystemExit("Blocked by robots.txt")

import time, random, requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

s = requests.Session()
s.headers.update({"User-Agent": ua, "From": "[contact@example.com](mailto:contact@example.com)"})
retry = Retry(total=3, status\_forcelist=\[429, 500, 502, 503, 504], backoff\_factor=1.5)
s.mount("https\://", HTTPAdapter(max\_retries=retry))

for page in range(1, 6):
url = f"{BASE}list?page={page}"
res = s.get(url, timeout=20)
if res.status\_code in (403, 429):
raise SystemExit("Respect block & stop")
\# parse ...
time.sleep(1 + random.random()\*2)  # polite wait

etag_cache = {}
res = s.get(url, headers={"If-None-Match": etag_cache.get(url, "")})
if res.status_code == 304:
    pass  # unchanged
else:
    if et := res.headers.get("ETag"):
        etag_cache[url] = et
    # save new content

import hashlib
prev = load_last_hash(url)
cur = hashlib.sha256(res.content).hexdigest()
if prev != cur:
    save_content(res.content)
    save_last_hash(url, cur)

- 取得対象：事実データ（価格/日付 等）に限定。テキスト/画像は収集しない。
- 技術制御：User-Agent/From明示、同時接続≤2、待機1–5s、差分取得、429/403で停止。
- 利用範囲：社内分析のみ、第三者提供なし（必要時は匿名化/集計のみ）。
- 記録：URL/日時/件数/失敗/問い合わせログを90日保存。
- 変更：規約改定/ブロック時は即停止し、運営者の指示に従う。

project_root/
  README.md         # 目的/範囲/頻度/法的配慮/連絡先
  compliance.md     # 規約/robots/問い合わせ履歴
  crawler/
    fetch.py        # UA/レート制御/差分取得
    parse.py        # 最小限項目のみ抽出
  data/             # 保存（PII禁止・保存期間明記）
  logs/             # 監査ログ
  tests/            # 最小pytest（URL数/差分検知）