控制台工具

与网页抓取和数据处理相关的控制台工具

HTTP 客户端
特定格式处理

HTTP 客户端

curl - 支持 SSL 证书、HTTP POST、HTTP PUT、FTP 上传、基于 HTTP 表单的上传、代理、HTTP/2、cookies、用户+密码认证（基本、Plain、Digest、CRAM-MD5、NTLM、Negotiate 和 Kerberos）、文件传输恢复、代理隧道等。
httpie - 使用简单自然的语法发送任意 HTTP 请求，并显示彩色输出。 HTTPie 可用于测试、调试以及通常与 HTTP 服务器交互。
wget - 使用最广泛使用的 Internet 协议 HTTP、HTTPS 和 FTP 检索文件的包。它是一个非交互式命令行工具，因此可以很容易地从脚本、cron 作业、不支持 X-Windows 的终端等中调用它。

特定格式处理

Office
- unoconv - 在 LibreOffice/OpenOffice 支持的任何文档格式之间进行转换。
CSV
- csvkit - 用于转换和使用 CSV 的实用程序。

代理包装器

proxychains - 强制任何给定应用程序建立的任何 TCP 连接通过代理的工具
proxychains-ng - 一个预加载器，它在动态链接的程序中挂钩对套接字的调用，并通过一个或多个 socks/http 代理重定向它。继续未维护的代理链项目

其他

structured-text-tools - 用于操作结构化文本数据的命令行工具列表。