树洞剪藏#剪藏#树洞剪藏

网站存档服务ArchiveBox-CSDN博客

2024 年 12 月 2 日1 分钟
分享Twitter / XTelegram微博

同步来源:树洞剪藏 源站剪藏 ID:186 原文地址:https://blog.csdn.net/wbsu2004/article/details/124746443

打开原文 · 打开源站剪藏快照


网站存档服务ArchiveBox-CSDN博客

博客

下载

学习

社区

C知道

GitCode

InsCode

会议

搜索

会员中心

消息

历史

创作中心

发布

网站存档服务ArchiveBox

最新推荐文章于 2024-08-12 09:01:12 发布

杨浦老苏

于 2022-05-13 10:37:51 发布

阅读量2.6k

收藏

1

点赞数 2

文章标签: 群晖 docker 稍后阅读

版权

今天是老苏居家隔离的第 43 天。

周四除上午,下午各一次抗原外,上午还做了一次核酸;周五上午两个抗原(间隔 4 小时),下午1点还有一次核酸。

现在核酸也不像之前,一栋一栋通知下楼,又开始变得乱糟糟的也没人管,越来越看不懂。

本文是应网友 akimo 的要求写的

都说 互联网 是有记忆的,可实际上很多时候说没也就没了,再也无处寻觅。但生活中总有些东西是值得被记住的, ArchiveBox 可以帮你做到这一点,它能帮你 搭建网站 的存档,包括内容、链接、资源等等,让你保留该网站的完整记忆。

什么是 ArchiveBox ?

ArchiveBox 是使用 Python 编写的功能强大的自托管 Internet 归档解决方案。您向它提供要存档的页面的 URL ,然后根据设置和其中的内容将它们以各种格式保存到磁盘。

安装

在 群晖 上以 Docker 方式安装。

在注册表中搜索 archivebox ,选择第一个 archivebox/archivebox ,版本选择 latest 。

容器名称

一般来说,老苏都是用的默认生成的容器名称,但是因为后面还需要进入到容器内部操作,所以需要一个相对简单又容易辨识的名称

在 docker 文件夹中,创建一个新文件夹,将其命名为 archivebox

文件夹 装载路径 说明 docker/archivebox /data 存放数据

端口

本地端口不冲突就行,不确定的话可以用命令查一下

查看端口占用

netstat -tunlp | grep 端口号

1 2

本地端口 容器端口 4800 8000

环境

可变 值 MEDIA_MAX_SIZE 媒体文件的最大尺寸

命令行安装

如果你熟悉命令行,可能用 docker cli 更快捷,老苏更喜欢命令行,搭建环境比较快捷

新建文件夹 archivebox

mkdir -p /volume2/docker/archivebox

进入 archivebox 目录

cd /volume2/docker/archivebox

运行容器

docker run -d \ --restart unless-stopped \ --name archivebox \ -p 4800 :8000 \ -v $( pwd ) :/data \ -e MEDIA_MAX_SIZE = 750m \ archivebox/archivebox:latest

1 2 3 4 5 6 7 8 9 10 11 12 13 14

也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件

version : '2.4'

services : archivebox : image : archivebox/archivebox : latest container_name : archivebox command : server - - quick - init 0.0.0.0 : 8000 ports :

  • 4800 : 8000 environment :
  • ALLOWED_HOSTS=*
  • MEDIA_MAX_SIZE=750m volumes :
  • /volume2/docker/archivebox : /data

1 2 3 4 5 6 7 8 9 10 11 12 13 14

然后执行下面的命令,在 portainer 中执行也是可以的

进入 archivebox 目录

cd /volume2/docker/archivebox

将 docker-compose.yml 放入当前目录

一键启动

docker-compose up -d

1 2 3 4 5 6 7

运行

软件 有个初始化过程,需要稍作等待,或者你直接观察 终端机

或者 日志

当看到 Starting development server at http://0.0.0.0:8000/ ,就可以在浏览器中输入 http://群晖IP:4800 ,加载成功就能看到主界面

创建管理员

通过命令行进入容器内,执行创建管理员用户的操作

【注意】:不能用 root 用户,老苏用了容器内置的账号 archivebox ,原因官方有说明,有兴趣的自己去看: https://github.com/ArchiveBox/ArchiveBox/wiki/Security-Overview#do-not-run-as-root

进入容器(前一个 archivebox 是用户名,后一个 archivebox 是容器名)

docker exec -it --user archivebox archivebox /bin/bash

创建管理员

archivebox manage createsuperuser

1 2 3 4 5

输入用户名,如果留空,会默认使用 archivebox 做用户名 输入邮箱地址 输入密码

老苏只是测试,所以用了非常简单的密码,因此导致了一堆的警告,但是最后老苏用 y 直接跳过,反正进入系统后可以改密码的

抓取网站

以老苏的博客为例

URLs :这里输入老苏博客的地址, https://laosu.ml URLs format :选择了 URL List tags :老苏留了空 Archive depth :老苏选了 depth = 1 Archive methods :还是留了空,如果你想快一点,可以只选择一项,比如 singlefile

点 Add URLs and archive + 就开始干活了

注意看 /docker/archivebox/archive 目录,慢慢的会有目录和文件

资源占用会变高

有时候整个机器是这样的

PUBLIC

SNAPSHORT

如果中途因为种种原因中断了,可以勾选未完成的链接,直接点 pull 继续

参考文档

ArchiveBox/ArchiveBox: 🗃 Open source self-hosted web archiving. Takes URLs/browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more… 地址: https://github.com/ArchiveBox/ArchiveBox

Docker · ArchiveBox/ArchiveBox Wiki 地址: https://github.com/ArchiveBox/ArchiveBox/wiki/Docker

杨浦老苏

关注 关注

2

1

0

复制链接

分享到 QQ

分享到新浪微博

扫一扫

Archive Box 开源的自托管Web 存档 。-Python开发

05-25

:card_file_ box :开源的自托管Web 存档 。 记录浏览器的历史记录/书签/口袋式/ Pinboard /等,保存HTML,JS,PDF,媒体等... Archive Box 开源的自托管Web 存档 。 :play_button:快速入门| 演示| Github | 说明文件| 信息与动机| 社区| 路线图“您自己的个人Internet 存档 ”( 网站 存档 /爬虫) Archive Box 提取您要 存档 的 网站 URL的列表,并创建这些 网站 内容的本地,静态,可浏览HTML克隆(保存HTML,JS,媒体)文件,PDF,图像等)。 您可以使用它通过将其离线存储在本地来保留对您关注的 网站 的访问。 氩气

electron- archive box :用于 Archive Box 互联网 存档 器的桌面电子应用程序。 (Α

07-23

Archive Box 桌面(alpha,需要帮助!) Archive Box 的电子桌面应用程序概念。 我们正在寻找贡献者来帮助我们改善 dekstop 应用程序体验! 如果您有兴趣提供帮助,请或打开。 快速开始 桌面应用程序依赖于已在您的...

Archive Box 浏览器扩展项目教程

12-1

配置扩展: 在src/options/index.ts文件中配置扩展的行为,如指定需要归档的域名、设置归档模式等。 通过以上步骤,您可以顺利地启动和配置 Archive Box 浏览器扩展项目。 archive box -browser-extensionOfficial Archive Box browser extension: automatically/manually preserve your browsing history using Archive Box ....

github 开源项目python_python项目 github

12-1

Archive Box :基于 Python 实现的 网站 归档平台。就是可以自动把网页(HTML、PDF、图片等)变成静态页面,下载到本地存储和管理的工具。可以用来做镜像站、档案馆、离线 阅读 等 Airtest:适用于移动端应用的跨平台 UI自动化框架。基于图像识别定位元素,可能都不需要一行代码就可以很方便地用它来测试 APP 或刷游戏 ...

探秘 Archive Box :一站式网页 存档 解决方案

gitblog_00011的博客

03-19

828

探秘 Archive Box :一站式网页 存档 解决方案 项目地址:https://gitcode.com/gh_mirrors/ar/ Archive Box 在互联网信息快速流动的时代,有时我们需要保存有价值的信息或网页以备后续查阅。 Archive Box 就是这样一个工具,它是一个开源、自托管的系统,用于离线保存和检索网页内容。本文将深入探讨 Archive Box 的工作原理、应用场景和技术特性,帮助你...

网页 存档

weixin_34397291的博客

04-09

149

结构之法 算法之道 http://blog.csdn.net/v_JULY_v

微软、Google等面试题 - 剑指Offer:名企面试官精讲典型编程题 http://zhedahht.blog.163.com/

陈硕的Blog 介绍一些计算机深入的基础问题 http://blog.csdn.net/Solstice

Auckland U. Data Stru...

自主托管的网络档案馆: Archive Box ,你的数据守护者

最新发布

gitblog_00275的博客

08-12

418

自主托管的网络档案馆: Archive Box ,你的数据守护者 项目地址:https://gitcode.com/gh_mirrors/ar/ Archive Box Archive Box 是一个强大且易于使用的开源网络 存档 解决方案,让你可以离线保存和查看网页。 互联网上的信息犹如浮云,瞬息万变。虽然像 Archive .org这样的公共 服务 提供了宝贵的资源,但它们可能无法保存所有类型的内容,而且对隐私保护有...

Archive Box 开源项目安装与使用指南

gitblog_00443的博客

08-10

383

Archive Box 开源项目安装与使用指南 Archive Box ???? Open source self-hosted web archiving. Takes URLs/browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more...项目地址:https://gitcode.com/g...

两个基于爬虫的项目: Kiwix & Archive Box

JackLang的博客

08-31

2715

本文分享了两个基于爬虫的项目: Kiwix & Archive Box 。这两个项目个人感觉想法都很棒,虽然完善程度不同,但都值得和大家分享~

Python- Archive Box 获取您要归档的 网站 URL列表并从这些 网站 创建内容的本地静态可浏览HTML克隆

08-10

通过 Archive Box ,你可以轻松地将所需 网站 的全部内容保存到本地,包括HTML、JavaScript、媒体文件、PDF和图像等,确保信息的持久 存档 和离线访问。 一、 Archive Box 的工作原理 Archive Box 的核心功能是能够接收一...

PyPI 官网下载 | archive box -0.4.16.tar.gz

01-31

"PyPI 官网下载 | archive box -0.4.16.tar.gz" 指的是从PyPI官方 网站 获取的 archive box 项目的0.4.16版本的源码包。这个源码包以tar.gz格式压缩,是Python开发者常见的代码分发方式。 ** archive box ** 是一个用于保存...

Archive Box ::card_file_ box :开源自托管Web归档。 使用浏览器历史记录书签PocketPinboard等,保存HTML,JS,PDF,媒体等。

02-04

"Your own personal internet archive " ( 网站 存档 / 爬虫) Archive Box 是使用Python编写的功能强大的自托管Internet归档解决方案。 您向它提供要 存档 的页面的URL,然后根据设置和其中的内容以各种格式将它们保存到...

homebrew- archive box : Archive Box 自托管互联网归档解决方案的Homebrew公式

02-04

自制档案盒 自托管的Internet归档解决方案的官方brew.sh公式。 快速开始

:woman_mage: :sparkles: the magic incantation

brew install archive box / archive box / archive box archive box version archive box init archive box add ' https://example.com ' 在macOS上进行了测试,如果可能,在Linux上应该使用。 发展历程 确保首先位于主 Archive Box 存储库文件夹中。 cd Archive Box / git submodule update --init

推荐一款强大的网页 存档 工具: archive is

gitblog_00097的博客

06-03

758

推荐一款强大的网页 存档 工具: archive is archive isA simple Python wrapper for the archive .is capturing service项目地址:https://gitcode.com/gh_mirrors/ar/ archive is 项目介绍 archive is 是一个简洁的Python库,为 archive .is网页 存档 服务 提供了一层方便的封装。...

AngularJS相关 网站 存档

爱雨轩

05-05

661

教程AngularJS入门教程:http://www.ituring.com.cn/minibook/303AngularJS 教程:http://www.runoob.com/angularjs/angularjs-tutorial.html文件上传 : angularJS的底层一次只能上传一个文件API : http://www.bootcdn.cn/angular-file-upload/re

【工具】 Archive Box - 收藏夹管理、 网站 快照爬虫

LawssssCat的博客

12-19

343

Open-source self-hosted web archiving.

推荐开源神器:SavePageNow - 实时网页 存档 工具

gitblog_00005的博客

06-06

617

推荐开源神器:SavePageNow - 实时网页 存档 工具 项目地址:https://gitcode.com/gh_mirrors/sa/savepagenow 项目介绍 SavePageNow 是一个强大的开源工具,致力于帮助用户轻松保存网页到互联网档案馆(Internet Archive )以进行长期存储和访问。无论你是研究人员,新闻工作者,还是普通网络冲浪者,这个工具都能确保你不会错过任何有价...

推荐: Archive Box 浏览器扩展——您的个人网络时光机

gitblog_00012的博客

06-26

441

推荐: Archive Box 浏览器扩展——您的个人网络时光机 archive box -browser-extensionOfficial Archive Box browser extension: automatically/manually preserve your browsing history using Archive Box .项目地址:https://gitcode.com/gh_mir...

探索Wayback:历史网页 存档 的利器

gitblog_00085的博客

03-25

493

探索Wayback:历史网页 存档 的利器 waybackAn archiving tool with an IM-style interface that prioritizes privacy and accessibility, integrated with various archival services including Internet Archive , archive .today...

【GitHub项目推荐-- 网站 归档平台】【转载】

j8267643的博客

01-24

689

Archive Box 是基于 Python 的强大网页归档解决方案,可以自动把网页变成静态页面(HTML、PDF、图片),并自动提取和保存文本、音频等内容,可以用来做镜像站、档案馆、离线 阅读 等。开源地址:https://github.com/ Archive Box / Archive Box 。 Archive Box : 网站 归档平台。

查看 网站 历史记录的2种办法,怎样查看 网站 历史记录?

xhbh666的博客

01-16

7208

说到这里,想起来当年曾经有一个企业 网站 因为没续费过期后, 网站 文件还丢了,但这时候迫切需要重建 网站 ,他们就是通过百度快照,一页一页的把绝大部分文章页、产品页、图片、文字给找回来了,复原了这个企业 网站 ,解决了燃眉之急。有一个 网站 可以查看全世界 网站 的历史记录,名字叫:waybackmachine(互联网档案馆),域名 web.archinve.org,存储了全世界所有能搜索到的 网站 历史快照 存档 。这个 网站 甚至能保留被抓取 网站 的文字、图片、链接、样式、文字颜色等等,一应俱全,是原汁原味的抓取了 网站 历史记录快照。

关于我们

招贤纳士

商务合作

寻求报道

400-660-0108

[email protected]

在线客服

工作时间 8:30-22:00

公安备案号11010502030143

京ICP备19004658号

京网文〔2020〕1039-165号

经营性网站备案信息

北京互联网违法和不良信息举报中心

家长监护

网络110报警服务

中国互联网举报中心

Chrome商店下载

账号管理规范

版权与免责声明

版权申诉

出版物许可证

营业执照

©1999-2024北京创新乐知网络技术有限公司

杨浦老苏

CSDN认证博客专家

CSDN认证企业博客

码龄5年

暂无认证

621 原创

5855 周排名

2550 总排名

464万+ 访问

等级

1万+ 积分

3161 粉丝

4163 获赞

846 评论

6574 收藏

私信

关注

热门文章

适合国内网盘的免费挂载工具CloudDrive

41830

适配Ollama的前端界面Open WebUI

41520

能在路由器里挂载阿里云盘的aliyundrive-webdav

39609

能将阿里云盘挂载为webdav的webdav-aliyundriver

37931

将webdav挂载成为群晖的本地盘

35631

最新评论

开源无代码网络数据提取平台Maxun

杨浦老苏: 网络问题需要自己想办法解决,网上能搜到很多教程的

开源无代码网络数据提取平台Maxun

2401_82664598: 老哥,ERROR: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)这个怎么解决?

在线表单收集系统Tduck(docker篇)

杨浦老苏: 这个很久没维护了,而且现在已经有官方镜像了

在线表单收集系统Tduck(docker篇)

tonay_yin: 运行日志显示ls: cannot open directory '/docker-entrypoint-initdb.d/': Permission denied

在线表单收集系统Tduck(docker篇)

杨浦老苏: 现在已经有官方镜像了

目录

安装

容器名称 卷 端口 环境 命令行安装 运行

创建管理员 抓取网站 参考文档

最新文章

多功能一站式服务平台UniBoard

Lofi音乐播放器NextBeats

HivisionIDPhoto:一键生成高清证件照

2024

12月 2篇

11月 21篇

10月 17篇

09月 16篇

08月 19篇

07月 18篇

06月 17篇

05月 17篇

04月 17篇

03月 18篇

02月 16篇

01月 18篇

2023年 188篇

2022年 162篇

2021年 75篇

隐藏侧栏

新手引导

客服

举报

返回顶部

相关文章