DuckDuckGo URL Collector

Collects URLs from DuckDuckGo with optional site: filtering and rate limiting

Ili estas versioj de tiu ĉi skripto, kie la kodo estas ĝisdatigita. Montri ĉiujn versiojn

  • v1.3 2025/04/27

    user can now stop it mid-scrape

  • v1.2.2 2025/04/03
  • v1.2 2025/04/03

    Key Updates:
    1. Removed reference to page 2 detection
    2. Added site-specific filtering as an optional feature
    3. Updated rate limiting to reflect 420 URLs instead of 30
    4. Added mention of break notification banner
    5. Updated customization section with new rate limit options
    6. Added troubleshooting for unexpected pauses

  • v1.1 2025/01/29