DuckDuckGo URL Collector (Rewritten)

Collects URLs from DuckDuckGo with optional site: filtering and rate limiting, updated for modern DuckDuckGo

ही स्क्रिप्ट इंस्टॉल करण्यासाठी तुम्हाला Tampermonkey, Greasemonkey किंवा Violentmonkey यासारखे एक्स्टेंशन इंस्टॉल करावे लागेल.

You will need to install an extension such as Tampermonkey to install this script.

ही स्क्रिप्ट इंस्टॉल करण्यासाठी तुम्हाला Tampermonkey किंवा Violentmonkey यासारखे एक्स्टेंशन इंस्टॉल करावे लागेल..

You will need to install an extension such as Tampermonkey or Userscripts to install this script.

ही स्क्रिप्ट इंस्टॉल करण्यासाठी तुम्हाला Tampermonkey यासारखे एक्स्टेंशन इंस्टॉल करावे लागेल..

ही स्क्रिप्ट इंस्टॉल करण्यासाठी तुम्हाला एक युझर स्क्रिप्ट व्यवस्थापक एक्स्टेंशन इंस्टॉल करावे लागेल.

(माझ्याकडे आधीच युझर स्क्रिप्ट व्यवस्थापक आहे, मला इंस्टॉल करू द्या!)

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला Stylus सारखे एक्स्टेंशन इंस्टॉल करावे लागेल.

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला Stylus सारखे एक्स्टेंशन इंस्टॉल करावे लागेल.

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला Stylus सारखे एक्स्टेंशन इंस्टॉल करावे लागेल.

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला एक युझर स्टाईल व्यवस्थापक इंस्टॉल करावे लागेल.

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला एक युझर स्टाईल व्यवस्थापक इंस्टॉल करावे लागेल.

ही स्टाईल इंस्टॉल करण्यासाठी तुम्हाला एक युझर स्टाईल व्यवस्थापक इंस्टॉल करावे लागेल.

(माझ्याकडे आधीच युझर स्टाईल व्यवस्थापक आहे, मला इंस्टॉल करू द्या!)

लेखक
Ghosty-Tongue
दैनिक इंस्टॉल
0
एकूण इंस्टॉल
5
रेटिंग
0 0 0
आवृत्ती
1.5
बनवली
2025-01-29
अपडेट केली
2025-07-28
आकार
9.69 KB
License
MIT
यांवर लागू होते:

DuckDuckGo URL Collector (Rewritten)
A Tampermonkey/Greasemonkey script for comprehensive search result management

🔍 Description

This userscript automatically collects all unique URLs from DuckDuckGo search results, including those hidden behind pagination ("More Results"). Features include:

  • 🌈 RGB-animated collection button
  • ⏱️ Real-time duration timer
  • 🔄 Automatic pagination handling
  • 📋 Duplicate prevention
  • 📥 Automatic TXT file download
  • 📊 Progress logging/notifications
  • 🖥️ Visual feedback during processing
  • 🌐 Optional site-specific filtering
  • ⏸️ Rate limiting breaks

📥 Installation

  1. Install a userscript manager:

  2. Install the script

  3. Confirm installation in your userscript manager

🚀 Usage Guide

  1. Navigate to DuckDuckGo
  2. Perform any search (optional: use site:domain.com for filtering)
  3. Look for the animated 🦆 button (top-right corner)
  4. Click the button to start collection
  5. Wait while the script:
    • Automatically loads all results (clicking "More Results")
    • Collects unique URLs (filtered by site: if specified)
    • Shows progress in console
    • Pauses for 15 seconds every 420 URLs
  6. Automatic download (urls.txt) when complete

⚙️ Technical Features

  • Smart Detection: Uses DOM queries ([data-testid="result"])
  • Efficient Storage: Set object for O(1) lookups
  • Site Filtering: Optional domain restriction with site: searches
  • Rate Limiting: 15-second break after every 420 URLs
  • Visual Feedback:
    • Button animation during processing
    • Desktop notifications
    • Console logging (F12 to view)
    • Break notification banner
  • File Handling: Creates Blob URLs for instant download
  • Performance: 2-second delays between page loads

⚠️ Limitations

  1. Only works on DuckDuckGo search results pages
  2. Dependent on DuckDuckGo's DOM structure
  3. Requires JavaScript enabled
  4. May not work with some privacy extensions
  5. Limited to ~1000 results (DuckDuckGo's pagination limit)

📜 License

MIT Licensed - Feel free to modify/redistribute but please:

  • Maintain author credit
  • Link to original source
  • Share improvements with community