+-
![]()
LittleCrawler
“
基于 Python 异步编程的多平台社交媒体爬虫框架，支持小红书（xhs）、知乎（zh）、闲鱼（xy）平台的公开信息抓取。
Github地址
https://github.com/pbeenigg/LittleCrawler
支持平台
|
平台 |
代号 |
功能 |
|---|---|---|
|
小红书 |
xhs |
笔记、详情、作者 |
|
小黄鱼 |
xhy |
商品、笔记、作者 |
|
知乎 |
zhihu |
文章、详情、作者 |
快速开始
📦 环境要求
-
Python >= 3.11
-
uv (推荐) 或 pip
📥 安装
#克隆项目
git clone https://github.com/pbeenig/LittleCrawler.git
cd LittleCrawler
#安装依赖
uv sync
#或
pip install -r requirements.txt
#安装浏览器
playwright install chromium
▶️ 运行
#默认运行（使用 config/base_config.py 配置）
python main.py
#指定平台和爬虫类型
python main.py --platform xhs --type search
#初始化数据库
python main.py --init-db sqlite
🖥️ Web 后台
## Step 1: 编译前端页面 到 `api/ui` 目录下
cd ./web && npm run build
## Step 2: 启动 完整服务（API + 前端页面）
uv run uvicorn api.main:app --port 8080 --reload
## Step 3： 访问 `http://127.0.0.1:8080`
## Step 1: 启动仅 API 服务（不含前端页面）
API_ONLY=1 uv run uvicorn api.main:app --port 8080 --reload
## Step 2: 开发模式启动 Web 后台
cd ./web && npm run dev
## Step 3： 访问 `http://127.0.0.1:8080`
