树洞剪藏#剪藏#树洞剪藏

Scraperr能从网页中抓取数据

2024 年 12 月 2 日约 1 分钟

分享Twitter / X Telegram 微博

同步来源：树洞剪藏源站剪藏 ID：176 原文地址：https://mp.weixin.qq.com/s/8hdADtdXWudte2OiQ3TUig

打开原文 · 打开源站剪藏快照

Scraperr能从网页中抓取数据

原创

杨浦老苏

各种折腾

2024年07月29日 19:01 上海

各种折腾聚沙成塔，集腋成裘 764篇原创内容

公众号，

什么是 Scraperr ？

Scraperr 是一个自托管的 Web 应用程序，允许用户通过 XPath 指定元素从网页中抓取数据。用户可以提交要抓取的 URL 和相应元素，结果将显示在表格中。用户可以下载作业结果的 Excel 表，以及重新运行该作业的选项。反向代理安装完成后，如果直接用 IP 访问，虽然能看到主界面，但是点什么都反应，所以我们需要通过反代实现域名的解析。官方用的是 traefik ，这个老苏不熟悉，所以换成了 nginx proxy manager 因为无公网访问需求，本文采用了 tailscale + npm 方案

文章传送门：用自定义域名访问tailscale节点假设我们实际访问地址为： https://pc.xxsu.cf

域名局域网地址备注 pc.xxsu.cf http://192.168.0.197:8124 Scraperr 的访问地址在 npm 中的设置 SSL 都勾选了安装在群晖上以 Docker 方式安装。在注册表中搜索 scraperr ，选择第一个 jpyles0524/scraperr ，只有一个 latest 版本，双击直接下载采用 docker-compose 安装，将下面的内容保存为 docker-compose.yml 文件 version: '3'

services: scraperr: image: jpyles0524/scraperr:latest container_name: webscrape-app init: True ports:

8124 :8000 volumes:
/var/run/docker.sock:/var/run/docker.sock environment:
MONGODB_URI=mongodb://root:example@webscrape-mongo:27017
SECRET_KEY=your_secret_key
ALGORITHM=HS256
ACCESS_TOKEN_EXPIRE_MINUTES=600
HOSTNAME=pc.xxsu.cf

mongo: image: mongo:4.4.29 container_name: webscrape-mongo restart: always volumes:

./data:/data/db environment: MONGO_INITDB_ROOT_USERNAME: root MONGO_INITDB_ROOT_PASSWORD: example

注意事项：

为避免在某些机器上出现指令不兼容的情况， WARNING: MongoDB 5.0+ requires a CPU with AVX support, and your current system does not appear to have that! ，老苏用了 mongo:4.4.29 ，而不是 mongo:latest ；

如果 MONGO_INITDB_ROOT_USERNAME 和 MONGO_INITDB_ROOT_PASSWORD 修改了， MONGODB_URI 要相应的变化；

HOSTNAME ：设置为域名；然后执行下面的命令

新建文件夹 scraperr 和子目录

mkdir -p /volume1/docker/scraperr/data

进入 scraperr 目录

cd /volume1/docker/scraperr

将 docker-compose.yml 放入当前目录

一键启动

docker-compose up -d

运行在浏览器中输入 https://pc.xxsu.cf 就能看到主界面，第一次要注册账号，点 Login --> NO ACCOUNT? SIGN UP 注册成功会有提示登录成功后用法测试抓个标题看看，还是以老苏的博客为例

URL ：老苏的博客地址为 https://laosu.tech

Multi-Page Scrape ：看需要，这里没有勾选，所以只会抓取第一个（后来测试勾选了会失败）

Name ：因为是抓标题，所以输入了 title

XPath ：可以在浏览器中获取到 /html/body/main/div[2]/div[1]/article/header/h2/a 点 + 号添加，可以设定多个条件点 submit 提交到任务队列很快就有结果可以下载 Excel 文件 API Scraperr 提供了 API ，打开 https://pc.xxsu.cf/docs 可以找到该 API 的文档页面参考文档

jaypyles/Scraperr: Self-hosted webscraper. 地址：https://github.com/jaypyles/Scraperr Update to Self-Hosted Webscraper "Scraperr" : r/selfhosted 地址：https://www.reddit.com/r/selfhosted/comments/1e8ryua/update_to_selfhosted_webscraper_scraperr/

各种折腾聚沙成塔，集腋成裘 764篇原创内容

公众号， @所有人：写文不易，如果你都看到了这里，请点个赞和在看，分享给更多的朋友；为确保你能收到每一篇文章，请主页右上角设置星标。

预览时标签不可点

群晖 668 docker 675 爬虫 2

群晖 · 目录

上一篇 PDF管理器和查看器PdfDing 下一篇轻量级服务器资源监控平台Beszel

个人观点，仅供参考阅读原文

关闭

小程序广告

搜索「undefined」网络结果

微信扫一扫关注该公众号

当前内容可能存在未经审核的第三方商业营销信息，请确认是否继续访问。

继续访问取消微信公众平台广告规范指引

：，。

视频小程序赞，轻点两下取消赞在看，轻点两下取消在看分享留言收藏

新建文件夹 scraperr 和 子目录

进入 scraperr 目录

将 docker-compose.yml 放入当前目录

一键启动

相关文章

新建文件夹 scraperr 和子目录