Різні JSON-джерела проксі та одна внутрішня модель

Першою думкою було зробити універсальний connector: даю йому URL, він читає JSON, усі задоволені 🚀

Перший реальний feed швидко пояснив, що мій оптимізм нічим не підкріплений 😅

Одне джерело повертає ip, інше host, протокол лежить то в type, то в protocol. Якщо додавати всі ці винятки у fetcher, через місяць там буде музей чужих форматів.

Тому всередині залишив одну модель:

host, port, protocol, source, credential_ref, metadata

А різницю виніс у adapters. Джерела вмикаються явно:

{
  "allowed_connector_types": [
    "jsonl_inventory", "http_json_feed"
  ],
  "active_connectors": [{
    "type": "jsonl_inventory",
    "name": "lab-lxc",
    "path": "/inventory/upstreams.jsonl"
  }]
}

Автоматично імпортувати всі Python-файли з каталогу теж не став. Випадково підкинутий файл не повинен раптом стати дозволеним мережевим джерелом 🔐

Fetcher збирає записи, прибирає дублікати й публікує proxy_pool:raw:v1. Але raw — це ще не пул. Це список адрес, яким поки що ніхто не вірить.