百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux|最佳命令行下载加速器(linux缓存加速)

ahcoder 2025-05-07 22:28 10 浏览

引言

无论是远程工作还是本地工作,我们经常需要从外部获取信息。在没有其他选择的情况下,使用命令行工具来获取这些信息是一个不错的选择。

本文[1]将介绍一些通过命令行下载内容时最常使用的工具。

Wget

我们首先介绍一个广受欢迎的工具 wget。它是一个网络工具,支持通过 HTTP、HTTPS 和 FTP 协议下载内容。wget 可以在后台或前台运行,这让它在你需要下载大文件时非常有用,即便你已经退出登录,下载也不会中断。

wget 提供了丰富的选项,包括进行需要认证的下载、设置递归下载的深度限制、支持 URL 的正则表达式匹配、允许排除特定内容、从文件中读取 URL 等。wget 的功能非常全面,建议通过运行命令查看其帮助文档来了解更多选项。

$ wget -h
  • wget最基本的下载示例是:
$ wget https://wordpress.org/latest.zip
  • 从文件中列出的 URL 下载的示例。首先是我们的文件列表:
$ cat list.txt

https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-9-4-Stable-Full_Package.zip
https://ftp.drupal.org/files/projects/drupal-8.4.5.zip

然后您可以使用以下命令运行下载:

$ wget -i list.txt
  • 要在后台运行下载,您可以使用:
$ wget -b https://wordpress.org/latest.zip
  • 如果您想使用 wget 结合 FTP 下载单个文件。
$ wget ftp://user:password@host:/path-to-file/file.txt
  • 一个更有用的示例是使用后台和递归模式,以便您可以获得目录中的所有文件和文件夹。
$ wget -br ftp://user:password@ftp-host:/path-for-download/

许多现代 Linux 发行版上都预装了 Wget,但如果您需要安装它,可以使用:

$ sudo apt install wget    # Debian/Ubuntu like distros
# yum install wget         # CentOS/RHEL
# dnf install wget         # Fedora

Curl

curl 是一个功能强大的数据传输工具,能够与服务器进行数据交换。它兼容多种网络协议,包括但不限于 DICT、FILE、FTP、FTPS、GOPHER、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、POP3、POP3S、RTMP、RTSP、SCP、SFTP、SMB、SMBS、SMTP、SMTPS、TELNET 和 TFTP,根据其官方文档所述。

可以想象,有了这样的支持,curl 的应用场景非常广泛。你可能已经意识到,curl 不仅支持通过代理进行数据传输,还能够处理用户认证、FTP 的文件上传和下载、断点续传等功能。

下面是一些 curl 的使用实例:

  • 下载一个文件:
$ curl -O https://wordpress.org/latest.zip
<./pre>
Download a file to output file by your choice:

$ curl -o wordpress.zip https://wordpress.org/latest.zip
  • 要恢复中断的下载,您可以使用:
$ curl -C - O https://wordpress.org/latest.zip

要安装curl,您可以使用:

$ sudo apt install curl    # Debian/Ubuntu
# yum install curl         # CentOS/RHEL
# dnf install curl         # Fedora

Aria

Aria 是一款多功能的下载管理器,它支持包括 HTTP/HTTPS、FTP/SFTP、BitTorrent 和 Metalink 在内的各种协议。Aria 的一些独特之处在于,它能够同时从多个源点下载文件、处理磁力链接,并且具备完整的 BitTorrent 客户端功能。

作为 BitTorrent 客户端,Aria 支持分布式哈希表(DHT)、对等交换(PEX)、加密传输、磁力链接(Magnet URI)、网页播种、选择性下载以及本地对等体发现等高级特性。

以下提供了一些 Aria2 的基本使用示例:

  • 下载一个 torrent 文件的命令示例
$ aria2c http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso.torrent
  • 使用文本文件中列出的 URL 下载:
$ aria2c -i downloadurls.txt
  • 恢复未完成的下载:
$ aria2c -c http://releases.ubuntu.com/18.10/ubuntu-18.10-desktop-amd64.iso.torrent
  • 从受密码保护的网站下载:
$ aria2c --http-user=xxx --http-password=xxx https://protectedwebsite.com/file
  • 要安装 Aria2,您可以使用以下命令:
$ sudo apt install aria2      # Debian/Ubuntu
# yum install aria2           # CentOS/RHEL
# dnf install aria2           # Fedora

Axel

我们列表中的第四款下载工具是 Axel,它通过为单个文件建立多个连接来优化下载流程。Axel 能够利用多个下载源进行单一文件的下载。开发者指出,Axel 能够将下载速度提升高达 60%,并且它兼容 HTTP/HTTPS、FTP 和 FTPS 等协议。

我们曾在一篇专门的文章中详细介绍了 Axel,你可以通过这个链接访问:如何在 Linux 系统中使用 Axel 加速 FTP 和 HTTP 下载。

在那篇文章中,你可以找到 wget、HTTP 直接下载与 Axel 在下载时间上的对比分析。

以下是一些使用 Axel 的基本示例:

  • 执行一个简单的下载任务,你可以使用如下命令
$ axel https://wordpress.org/latest.zip
  • 您可以使用相应的选项 --max-speed 或短选项 -s 设置最大下载速度。该值以每秒字节数设置:
$ axel --max-speed=512000 https://wordpress.org/latest.zip
  • 要以不同的名称保存文件,可以使用 -o 选项指定文件名:
$ axel -o wordpress.zip https://wordpress.org/latest.zip

如果您想在 Linux 系统上安装 Axel,请使用以下命令中的相应命令:

$ sudo apt install axel                                  # Ubuntu/Debian
# yum install epel release && yum install axel   # CentOS/RHEL
# dnf install axel                                       # Fedora

[1]


Source: https://www.tecmint.com/commandline-download-accelerators-for-linux/

相关推荐

Nginx的http块sendfile,keepalive_timeout的配置指令说明,

sendfile是用来设置Ngnix服务的一种静态资源的写法sendfile:用来设置Nginx服务器是否使用sendfile()传输文件,该属性可以大大提高Nginx处理静态资源的性能这里send...

Docker安装和配置Nginx(docker-compose部署nginx)

下载镜像dockerpullnginx检查Nginx镜像dockerimages创建挂载目录mkdir-p/home/docker-nginx/confmkdir-p/home/doc...

记:Nginx 如何配置SSL证书(nginx添加ssl证书)

引言最近,有几个其他项目团队的同事问了我几个类似问题:“钦哥,我们微信小程序微信支付,怎么回调不没反应?”“钦哥,我们的项目怎么无法通过https访问的?”然后就有想把配置ssl证书的过程,记录一...

多项目nginx部署配置(nginx多站点配置示例)

在前后端分离的项目中,前端部署大部分都采用nginx部署。在我参与的一个项目中,后台管理前端和业务应用前端是作为两个独立项目开发的。以往部署时通过不同端口来访问这两个项目,这就导致前端存储的token...

NGINX最佳缓存配置策略(nginx最佳缓存配置策略有哪些)

Nginx可以配置的参数有很多,今天我们来看一下Nginx的缓存如何配置。no-cache和no-store“no-cache”表示必须先与服务器确认返回的响应是否发生了变化,然后才能使用该响应来满足...

通过 docker 学习 nginx,附全部配置及 API 测试,使用 apifox 直接打开

本篇文章以前端的视角,介绍下nginx的常见配置,并通过docker的方式学习nginx,这保证所有实例配置都能正常运行。我将本文所有关于docker/nginx的配置放置在simple...

nginx配置负载均衡 以及宕机了后,怎么配置高可用

Nginx负载均衡配置是一个分发请求的过程。可以通过将同一个服务的多个实例配置到不同的服务器上,通过Nginx代理请求,将请求分发到这些实例上实现负载均衡。下面详细介绍Nginx负载均衡的配置过程和宕...

nginx反向代理加https证书和自动跳转配置

nginx反向代理加https证书和自动跳转配置如果对运维课程感兴趣,可以在b站上搜索我的账号:运维实战课程,可以关注我,学习更多免费的运维实战技术视频1.机器规划:nginx代理机器:192.16...

【Nginx基础】Nginx常见负载均衡策略配置示例

下面是一些常用的Nginx负载均衡策略及其配置示例:轮询(RoundRobin)这是默认的负载均衡策略,它将请求依次分配给不同的后端服务器。upstreambackend{server...

nginx中配置固定的JSON响应(nginx指定conf)

前提在进行性能测试时,使用mock接口是一种非常有效的方法,可以帮助您模拟真实服务的行为,从而避免对外部系统的依赖。使用Nginx作为mock接口的返回源不仅可以快速配置,还能确保mock接口本身不...

Nginx基本安全配置(防盗连、隐藏版本号、防嵌套等)

在生产环境中nginx有很多安全方案,我在为生产环境部署中得到很多经验,收集到的一些常用配置,简单记录一下。安装Nginx正常安全Nginx大家应该都会,但是各位要知道在安全要求很高的生产环境中,是无...

nginx如何配置跨域(nginx配置解决跨域)

要在Nginx中配置跨域,可以使用add_header指令来添加Access-Control-Allow-*头信息,如下所示:location/api{if($reques...

Nginx合集-限流配置方案参考(nginx lua限流)

Nginx为我们提供了请求限制模块(ngx_http_limit_req_module)、基于令牌桶算法的流量限制模块(ngx_stream_limit_conn_module),可以方便的控制令牌速...

韩国站群服务器Nginx反向代理多IP配置指南

在站群服务器的运营中,Nginx反向代理技术如同一座智能调度中心,既能隐藏真实服务器架构,又能实现流量精准分发。尤其对于部署在韩国数据中心的站群而言,合理配置多IP反向代理,可显著提升SEO安全性与服...

Nginx配置前后端服务(nginx配置前端页面部署)

nginx安装完成后,可以通过命令查看配置文件nginx-t配置文件nginx.conf,是总的配置,有的人会把配置全部配置到这个文件中,如果服务很多,这个文件变得非常庞大,我见过一个配置很大的,在...