till e61a81eb9a Crawler: Per-Host-Proxy-Routing (HTTP_PROXY_URL nur für harte Hosts via CRAWL_PROXY_HOSTS, Rest direkt) -> Residential-Proxy später mit minimalem Traffic einsetzbar. Hinweis: Datacenter-Proxys (Webshare Free) knacken Bauhaus/Otto NICHT

2026-06-29 12:36:57 +00:00

..

__pycache__

Crawler: Auto-Discovery der Klimageraete-Kategorieseiten (toom+OBI) findet Produkte selbst (Daten-Hygiene-Filter, Zubehoer raus); 3-Min-Takt; paralleles Crawling; discovered-Flag + Counts im Snapshot

2026-06-29 12:29:14 +00:00

app.py

Crawler: Per-Host-Proxy-Routing (HTTP_PROXY_URL nur für harte Hosts via CRAWL_PROXY_HOSTS, Rest direkt) -> Residential-Proxy später mit minimalem Traffic einsetzbar. Hinweis: Datacenter-Proxys (Webshare Free) knacken Bauhaus/Otto NICHT

2026-06-29 12:36:57 +00:00

discovery.py

Crawler: Auto-Discovery der Klimageraete-Kategorieseiten (toom+OBI) findet Produkte selbst (Daten-Hygiene-Filter, Zubehoer raus); 3-Min-Takt; paralleles Crawling; discovered-Flag + Counts im Snapshot

2026-06-29 12:29:14 +00:00

Dockerfile

Crawler-Dockerfile: curl für Coolify-Healthcheck (python:slim hatte keins -> Rollback); behebt Deploy der 13 offiziellen Quellen

2026-06-28 16:42:49 +00:00

requirements.txt

Live-Crawler-Service (FastAPI+httpx+APScheduler, AidaBot-Muster): scrapt echte OBI/Bauhaus-Seiten, serviert /api/live, Restock-Historie

2026-06-28 07:37:58 +00:00

sources.py

Crawler umfangreicher (17 Quellen: +Hornbach De'Longhi, +toom Comfee Mobile/PAC, +OBI Suntec) + 5-Min-Takt + paralleles Crawling (Semaphore); 2 neue Geräte (Suntec Progress 12.000, Comfee PAC 12000)

2026-06-29 12:23:33 +00:00