跳转至

示例新闻爬虫,演示如何抓取列表数据

基本信息

项目
爬虫名称 news_spider
平台 测试平台
版本 1.0.0
作者 noimank

请求参数

参数名 类型 必填 默认值 说明
category str tech 新闻分类
limit int 10 获取数量限制

使用示例

API 调用

curl -X POST http://localhost:8380/api/v1/spiders/run   -H "Content-Type: application/json"   -d '{
    "spider_name": "news_spider",
    "params": { ... }
  }'

Python SDK

import httpx

async with httpx.AsyncClient() as client:
    resp = await client.post(
        "http://localhost:8380/api/v1/spiders/run",
        json={
            "spider_name": "news_spider",
            "params": { ... }
        }
    )
    result = resp.json()

返回格式

{
  "success": true,
  "message": "执行成功",
  "data": { ... },
  "execution_time": 1.23
}