Hướng Dẫn Sử Dụng Crawl For AI: Thu Thập Dữ Liệu Tự Động Hiệu Quả

    # Tạo môi trường ảo với UV
    uv venv
    
    # Cài đặt các thư viện từ requirements
    uv pip install -r requirements.txt
    
    # Cài đặt browser cho Crawl For AI
    playwright install
    

    # Ví dụ 1: Simple Crawling
    python 1_simple_crawl.py
    

    # Ví dụ 2: Structured Output với LLM
    # Đoạn prompt
    prompt = """
    Tôi đang crawl data từ trang n8n workflow.
    Hãy extract các thông tin sau từ dữ liệu thô:
    - Title của workflow
    - Description
    - Author
    - URL trực tiếp
    - Tags
    """
    
    # Schema mẫu
    schema = {
      "title": "string",
      "description": "string",
      "url": "string",
      "author": "string",
      "tags": ["string"]
    }
    
    python 2_structured_output.py
    

    # Ví dụ 3: Multi URL Crawling
    # Trích xuất URLs từ file JSON đã crawl
    with open('output/data.json', 'r') as f:
        data = json.load(f)
    
    urls = [item['url'] for item in data]
    
    # Thiết lập tham số
    concurrency = 5  # Số lượng request đồng thời
    respect_robots_txt = True  # Tôn trọng robots.txt
    rate_limit = 2  # Số giây giữa các request
    
    python 3_multi_url_crawl.py
    

    # Ví dụ 4: Crawl trang yêu cầu đăng nhập
    # Chạy với tùy chọn headful để xem quá trình
    python 4_profile_crawl.py --headful
    
    # Chạy với profile đã lưu
    python 4_profile_crawl.py --profile=my_profile
    

    # Lệnh thực thi trong node Execute Command của n8n
    cd /path/to/scripts
    source venv/bin/activate
    python 1_simple_crawl.py