czkawka——NAS可用的文件、照片、视频去重工具
本文最后更新于 2024-06-28,文章内容可能已经过时。
大家好,这里是Cherry,喜爱折腾、捡垃圾、玩数码,热衷于分享NAS、docker玩耍经验~
前言
不知道大家有没有这样的困惑,那就是NAS中海量的文件资源如何管理。
随着我们对NAS的接受度越来越高,使用也越来越娴熟后,遇到的问题就是海量的文件资源不知道如何管理。尤其是涉及到一家人都将照片、文件上传到家庭存储中心,那么多的资源,哪些是重复的,哪些是可以删除的,我们都一头雾水,只能为了保存而保存。就像很多朋友给cherry留言,咨询过关于照片、视频管理,以及如何去重、删除重复照片的问题一样。
所以今天,通过介绍几款照片、视频比对和去重软件,为大家的NAS减减负吧~
先介绍一下github上部分开源软件,以czkawka为例,这款软件在github上有17.8k星星,目前更新到了7.0版本,是比较流行的一款工具,支持linux、macOS、windows操作系统,下面是czkawka和一些常见的开源照片、视频去重软件对比。
一、文件传输协议介绍,以及各NAS如何开通这些服务
为了获取更好的去重可视化操作,也方便大家的操作习惯,一律不建议在NAS端进行去重操作。一是因为NAS端虽然是linux底层,但是实际文件作用我们并不清楚,如果没有设置好路径、配置,很容易造成NAS系统无可修复的损伤。二是因为CLI的操作比可视化GUI界面复杂很多,从安装、配置、调试都不如一个windows/mac软件来的好用。
所以为了我们能在windows下对NAS进行操作,我们首先需要对NAS磁盘进行挂载。
这里简单介绍一下挂载的几种方法,以下协议没有绝对的运用场景,只是更适用于局域网或互联网中,比如Cherry就喜欢Webdav走天下。
局域网
🔻SMB服务
最常用的挂载方法,windows下在文件管理器输入//ip就可以实现挂载,macos下输入smb://ip来实现挂载。如果NAS使用双网络,可以使用聚合SMB挂载,突破单根网线速率。
🔻ATP服务
ATP服务仅在Apple系列产品中运用,NAS开通ATP服务后,可以在macos等进行挂载。当然MacOS也支持SMB和NFS等服务。
🔻NFS服务
NFS全程Network File System,是基于TCP/IP 传输的网络文件系统协议,依赖于RPC机制。通过使用NFS协议,客户机可以像访问本地目录一样访问远程服务器中的共享资源。。
互联网
🔻WebDav服务
WebDav是一种基于Web的分布式编写和版本控制的超文本传输协议 (HTTP)的扩展,核心是HTTP协议,主要在互联网端提供网络传输服务。PC电脑一般需要通过webdav客户端访问到nas服务上,windows下常用的是Raidrive这个软件,有免费版。
群晖开通方法: 【控制面板】——【文件服务】中,可以找到相关协议模块并启用。
威联通开启方法: 【控制台】——【网络和文件服务】,可以找到相关协议模块并启用。
绿联开启方法: 【网络服务】——【登录本地账号】,可以找到相关协议模块并启用。
UNRAID开启方法: Unraid目前支持SMB和NFS文件协议,webdav可以通过docker部署相关服务获取。
二、各类文件去重方法和实操
🔻以图像识别为例,支持调整算法和哈希大小、哈希类型。
🔻全部5000张图片,大概花了半小时左右。
🔻分析结果可以打开流览图查看,可以看到不同大小的图片也能筛查出来
🔻还可以将两张图片放在一起比较细节
🔻我觉得最厉害的,是支持软链接、硬链接代替删除,这样可以保持文件结构不变的情况下节约更多的空间出来。同理也可以运用的影视剧管理中。