linux之curl命令

curl命令 是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称curl为下载工具。作为一款强力工具,curl支持包括HTTP、HTTPS、ftp等众多协议,还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化,curl可以祝一臂之力。

命令语法

  1. > curl (选项)(参数)

命令选项

-a/--append 上传文件时,附加到目标文件
-A/--user-agent 设置用户代理发送给服务器
-anyauth 可以使用“任何”身份验证方法
-b/--cookie cookie字符串或文件读取位置
--basic 使用HTTP基本验证
-B/--use-ascii 使用ASCII /文本传输
-c/--cookie-jar 操作结束后把cookie写入到这个文件中
-C/--continue-at 断点续传
-d/--data HTTP POST方式传送数据
--data-ascii 以ascii的方式post数据
--data-binary 以二进制的方式post数据
--negotiate 使用HTTP身份验证
--digest 使用数字身份验证
--disable-eprt 禁止使用EPRT或LPRT
--disable-epsv 禁止使用EPSV
-D/--dump-header 把header信息写入到该文件中
--egd-file 为随机数据(SSL)设置EGD socket路径
--tcp-nodelay 使用TCP_NODELAY选项
-e/--referer 来源网址
-E/--cert 客户端证书文件和密码 (SSL)
--cert-type 证书文件类型 (DER/PEM/ENG) (SSL)
--key 私钥文件名 (SSL)
--key-type 私钥文件类型 (DER/PEM/ENG) (SSL)
--pass 私钥密码 (SSL)
--engine 加密引擎使用 (SSL). “--engine list” for list
--cacert CA证书 (SSL)
--capath CA目录 (made using c_rehash) to verify peer against (SSL)
--ciphers SSL密码
--compressed 要求返回是压缩的形势 (using deflate or gzip)
--connect-timeout 设置最大请求时间
--create-dirs 建立本地目录的目录层次结构
--crlf 上传是把LF转变成CRLF
-f/--fail 连接失败时不显示http错误
--ftp-create-dirs 如果远程目录不存在,创建远程目录
--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
--ftp-pasv 使用 PASV/EPSV 代替端口
--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
--ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输
--ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输
-F/--form 模拟http表单提交数据
--form-string 模拟http表单提交数据
-g/--globoff 禁用网址序列和范围使用{}和[]
-G/--get 以get的方式来发送数据
-H/--header 自定义头信息传递给服务器
--ignore-content-length 忽略的HTTP头信息的长度
-i/--include 输出时包括protocol头信息
-I/--head 只显示请求头信息
-j/--junk-session-cookies 读取文件进忽略session cookie
--interface 使用指定网络接口/地址
--krb4 使用指定安全级别的krb4
-k/--insecure 允许不使用证书到SSL站点
-K/--config 指定的配置文件读取
-l/--list-only 列出ftp目录下的文件名称
--limit-rate 设置传输速度
--local-port 强制使用本地端口号
-m/--max-time 设置最大传输时间
--max-redirs 设置最大读取的目录数
--max-filesize 设置最大下载的文件总量
-M/--manual 显示全手动
-n/--netrc 从netrc文件中读取用户名和密码
--netrc-optional 使用 .netrc 或者 URL来覆盖-n
--ntlm 使用 HTTP NTLM 身份验证
-N/--no-buffer 禁用缓冲输出
-o/--output 把输出写到该文件中
-O/--remote-name 把输出写到该文件中,保留远程文件的文件名
-p/--proxytunnel 使用HTTP代理
--proxy-anyauth 选择任一代理身份验证方法
--proxy-basic 在代理上使用基本身份验证
--proxy-digest 在代理上使用数字身份验证
--proxy-ntlm 在代理上使用ntlm身份验证
-P/--ftp-port 使用端口地址,而不是使用PASV
-q 作为第一个参数,关闭 .curlrc
-Q/--quote 文件传输前,发送命令到服务器
-r/--range 检索来自HTTP/1.1或FTP服务器字节范围
--range-file 读取(SSL)的随机文件
-R/--remote-time 在本地生成文件时,保留远程文件时间
--retry 传输出现问题时,重试的次数
--retry-delay 传输出现问题时,设置重试间隔时间
--retry-max-time 传输出现问题时,设置最大重试时间
-s/--silent 静默模式。不输出任何东西
-S/--show-error 显示错误
--socks4 用socks4代理给定主机和端口
--socks5 用socks5代理给定主机和端口
--stderr
-t/--telnet-option Telnet选项设置
--trace 对指定文件进行debug
--trace-ascii Like --跟踪但没有hex输出
--trace-time 跟踪/详细输出时,添加时间戳
-T/--upload-file 上传文件
--url Spet URL to work with
-u/--user 设置服务器的用户和密码
-U/--proxy-user 设置代理用户名和密码
-w/--write-out [format] 什么输出完成后
-x/--proxy 在给定的端口上使用HTTP代理
-X/--request 指定什么命令
-y/--speed-time 放弃限速所要的时间,默认为30
-Y/--speed-limit 停止传输速度的限制,速度时间

文件下载

  • curl命令可以用来执行下载、发送各种HTTP请求,指定HTTP头部等操作
  • curl是将下载文件输出到stdout,将进度信息输出到stderr,不显示进度信息使用—silent选项。
  1. > curl https://rumenz.com --silent

下载文件到指定的文件小写-o,大写-O 保存文件和它的原始文件名

  1. > curl https://rumenz.com/1.html -o 2.html

大写-O 保存文件和它的原始文件名

  1. > curl https://rumenz.com/1.html -O

--progress显示进度条

  1. > curl https://rumenz.com/2.html -o 2.html --progress

断点续传

  1. > curl -O -u 'rumenz':'test' ftp://rumenz.com/jdk.tar.gz

然后你的连接突然断开,你可以用以下命令继续下载

  1. curl -C - -O -u 'rumenz':'test' ftp://rumenz.com/jdk.tar.gz

注意断点续传的参数是-C, 要自动续传的话要使用 -C -, 否则需要手工指定断点的字节位置.

伪造请求来源

  1. > curl -e https://json.im https://rumenz.com

参照页是位于HTTP头部中的一个字符串,用来表示用户是从哪个页面到达当前页面的,如果用户点击网页A中的某个连接,那么用户就会跳转到B网页,网页B头部的参照页字符串就包含网页A的URL。也可以使用--referer选项指定参照页字符串.

-H参数可以通过直接添加标头 Referer,达到同样效果

  1. > curl -H 'Referer: https://json.im' https://rumenz.com

设置请求header

  1. > curl -H "Host:rumenz.com" -H "accept-language:zh-cn" URL

curl的带宽控制

  1. > curl --limit-rate 200k https://rumenz.com/1.html

用curl进行认证

使用curl选项 -u 可以完成HTTP或者FTP的认证,可以指定密码,也可以不指定密码在后续操作中输入密码:

  1. > curl -u user:pwd https://rumenz.com
  2. > curl -u user https://rumenz.com

只打印响应头

  1. > curl -I https://rumenz.com
  2. HTTP/1.1 200 OK
  3. Server: openresty/1.19.3.1
  4. Date: Wed, 02 Jun 2021 13:37:41 GMT
  5. Content-Type: text/html; charset=utf-8
  6. Connection: keep-alive

使用curl模拟get请求

直接显示网页内容

  1. > curl https://json.im/1.txt
  2. 123
  3. 456

显示请求头和网页内容

  1. > curl -i https://json.im/1.txt
  2. HTTP/1.1 200 OK
  3. Server: openresty
  4. Date: Wed, 02 Jun 2021 14:02:30 GMT
  5. Content-Type: text/plain
  6. Content-Length: 8
  7. Last-Modified: Wed, 02 Jun 2021 14:00:57 GMT
  8. Connection: keep-alive
  9. ETag: "60b78f19-8"
  10. Accept-Ranges: bytes
  11. 123
  12. 456

直接显示网页内容

  1. > curl -l https://json.im/1.txt

显示get请求全过程解析

  1. > curl -v https://json.im/1.txt

·

使用curl模拟post请求

  1. > curl -d "param1=value1&param2=value2" https://json.im/login
  2. > curl -d'login=rumenz&password=123' -X POST https://json.im/login
  3. > curl -d 'login=rumenz' -d 'password=123' -X POST https://json.im/login

--data-urlencode 参数等同于-d,发送 POST请求的数据体,区别在于会自动将发送的数据进行 URL 编码.

  1. > curl --data-urlencode 'comment=hello world' https://json.im/login

上传文本文件

  1. > curl -d '@data.txt' https://json.im/upload

post json格式的数据

  1. > curl -l -H 'Content-type: application/json' -X POST -d '{"rumenz":"123"}' https://json.im/123.json
  1. > curl https://json.im --cookie "user=rumenz&pass=123456"
  1. > curl -c cookies.txt https://json.im

上传二进制文件

-F参数用来向服务器上传二进制文件。

  1. > curl -F "file=@123.png" https://json.im/uploadfile

上面命令会给 HTTP 请求加上标头 Content-Type: multipart/form-data ,然后将文件123..png作为file字段上传。

-F 参数可以指定MIME 类型。

  1. > curl -F 'file=@123.png;type=image/png' https://json.im/uploadfile

上面命令指定 MIME 类型为image/png,否则 curl 会把 MIME 类型设为 application/octet-stream。

-F参数也可以指定文件名。

  1. > curl -F 'file=@123.png;filename=rumenz.png' https://json.im/uploadfile

上面命令中,原始文件名为123.png,但是服务器接收到的文件名为rumenz.png

请求跟随服务器的重定向

-L参数会让 HTTP 请求跟随服务器的重定向。curl 默认不跟随重定向。

  1. > curl -L -d 'rumenz=123' https://json.im/

调试参数

-v 参数输出通信的整个过程,用于调试。

  1. > curl -v https://json.im/1.txt
  2. * Trying 150.109.147.28...
  3. * TCP_NODELAY set
  4. * Connected to json.im (150.109.147.28) port 443 (#0)
  5. * ALPN, offering h2
  6. * ALPN, offering http/1.1
  7. * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH
  8. * successfully set certificate verify locations:
  9. * CAfile: /etc/ssl/cert.pem
  10. CApath: none
  11. * TLSv1.2 (OUT), TLS handshake, Client hello (1):
  12. * TLSv1.2 (IN), TLS handshake, Server hello (2):
  13. * TLSv1.2 (IN), TLS handshake, Certificate (11):
  14. * TLSv1.2 (IN), TLS handshake, Server key exchange (12):
  15. * TLSv1.2 (IN), TLS handshake, Server finished (14):
  16. * TLSv1.2 (OUT), TLS handshake, Client key exchange (16):
  17. * TLSv1.2 (OUT), TLS change cipher, Client hello (1):
  18. * TLSv1.2 (OUT), TLS handshake, Finished (20):
  19. * TLSv1.2 (IN), TLS change cipher, Client hello (1):
  20. * TLSv1.2 (IN), TLS handshake, Finished (20):
  21. * SSL connection using TLSv1.2 / ECDHE-RSA-AES128-GCM-SHA256
  22. * ALPN, server accepted to use http/1.1
  23. * Server certificate:
  24. * subject: CN=json.im
  25. * start date: Apr 27 14:50:23 2021 GMT
  26. * expire date: Jul 26 14:50:23 2021 GMT
  27. * subjectAltName: host "json.im" matched cert's "json.im"
  28. * issuer: C=US; O=Let's Encrypt; CN=R3
  29. * SSL certificate verify ok.
  30. > GET /1.txt HTTP/1.1
  31. > Host: json.im
  32. > User-Agent: curl/7.54.0
  33. > Accept: */*
  34. >
  35. < HTTP/1.1 200 OK
  36. < Server: openresty
  37. < Date: Wed, 02 Jun 2021 14:31:36 GMT
  38. < Content-Type: text/plain
  39. < Content-Length: 8
  40. < Last-Modified: Wed, 02 Jun 2021 14:00:57 GMT
  41. < Connection: keep-alive
  42. < ETag: "60b78f19-8"
  43. < Accept-Ranges: bytes
  44. <
  45. 123
  46. 456
  47. * Connection #0 to host json.im left intact

--trace参数也可以用于调试,还会输出原始的二进制数据。

  1. > curl --trace - https://json.im

返回笔记列表
入门小站