示例新闻爬虫,演示如何抓取列表数据
基本信息
| 项目 | 值 |
| 爬虫名称 | news_spider |
| 平台 | 测试平台 |
| 版本 | 1.0.0 |
| 作者 | noimank |
请求参数
| 参数名 | 类型 | 必填 | 默认值 | 说明 |
category | str | ✗ | tech | 新闻分类 |
limit | int | ✗ | 10 | 获取数量限制 |
使用示例
API 调用
curl -X POST http://localhost:8380/api/v1/spiders/run -H "Content-Type: application/json" -d '{
"spider_name": "news_spider",
"params": { ... }
}'
Python SDK
import httpx
async with httpx.AsyncClient() as client:
resp = await client.post(
"http://localhost:8380/api/v1/spiders/run",
json={
"spider_name": "news_spider",
"params": { ... }
}
)
result = resp.json()
返回格式
{
"success": true,
"message": "执行成功",
"data": { ... },
"execution_time": 1.23
}