在大数据时代，网络爬虫已成为采集、分析数据的重要工具。作为 Golang 领域中最流行、最优雅的爬虫框架之一，Colly 不仅拥有简洁直观的 API，还具备强大的性能和灵活的扩展能力。本文将带你深入了解 Colly，从基本安装到进阶用法，再到分布式爬取和代理切换，帮助你快速上手并构建属于自己的爬虫项目。
Colly 是由 gocolly/colly 提供的 Golang 爬虫框架。它的设计理念是“快速、优雅、灵活”，能够帮助开发者高效地实现网页抓取、数据提取以及分布式爬虫等任务。无论你是需要抓取简单页面的数据，还是构建一个复杂的异步爬虫，Colly 都能满足你的需求。
主要特点：
Colly 只依赖于 Go 语言环境，你只需在终端中运行以下命令即可安装（推荐使用 Go Modules）：
Life is like a journey
go get -u github.com/gocolly/colly/v2
在项目根目录下创建 go.mod 文件（如未初始化）：
go mod init your-module-name
在使用 Colly 之前，你可以通过 colly.NewCollector() 创建一个收集器（Collector）。创建时可以传入一些选项以满足特定需求，例如限制抓取域名、设置爬虫深度、启用异步模式等：
import (
"github.com/gocolly/colly/v2"
)
func main() {
// 限制只爬取 www.example.com 域名下的页面，最大抓取深度为 2
c := colly.NewCollector(
colly.AllowedDomains("www.example.com"),
colly.MaxDepth(2),
)
// 其他配置……
}
此外，Colly 还支持通过环境变量配置一些默认参数，如 USER_AGENT、ALLOWED_DOMAINS、MAX_DEPTH 等，方便在不修改代码的情况下进行微调。
Collector 是 Colly 的核心组件，负责管理网络请求、响应处理和回调函数的调度。通过调用 colly.NewCollector() 创建一个 Collector 实例后，你可以在其上注册各种回调函数来处理抓取过程中的不同事件。
Colly 采用事件驱动模式，在请求生命周期的各个阶段触发相应的回调函数。常用的回调函数有：
在 OnHTML 回调中，传入的参数类型为 *colly.HTMLElement。它封装了页面 DOM 信息，并提供了便捷的方法来获取元素属性、文本内容及子元素内容，例如：
Attr("href")：获取属性值。ChildText("selector")：获取子元素文本内容。ForEach("selector", func(index int, element *HTMLElement))：遍历匹配的子元素。下面通过几个简单的示例来展示如何使用 Colly 实现网页抓取。
package main
import (
"fmt"
"log"
"github.com/gocolly/colly/v2"
)
func main() {
// 创建 Collector 对象
c := colly.NewCollector()
// 当找到 <title> 标签时触发
c.OnHTML("title", func(e *colly.HTMLElement) {
fmt.Println("页面标题：", e.Text)
})
// 打印请求 URL
c.OnRequest(func(r *colly.Request) {
log.Println("正在访问：", r.URL.String())
})
// 错误处理
c.OnError(func(r *colly.Response, err error) {
log.Println("请求出错：", err)
})
// 访问目标网站
c.Visit("https://www.example.com")
}
package main
import (
"fmt"
"log"
"github.com/gocolly/colly/v2"
)
func main() {
// 限制只爬取 example.com 域下页面
c := colly.NewCollector(
colly.AllowedDomains("www.example.com", "example.com"),
)
// 注册 HTML 回调，查找所有 a 标签的 href 属性
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
fmt.Printf("发现链接：%q -> %s\n", e.Text, link)
// 访问绝对 URL（如果 link 是相对路径）
e.Request.Visit(e.Request.AbsoluteURL(link))
})
c.OnRequest(func(r *colly.Request) {
log.Println("正在访问：", r.URL)
})
// 开始爬取首页
c.Visit("https://www.example.com")
}
对于大规模爬虫，异步抓取和限速非常重要。下面的示例展示如何启用异步模式，并设置请求间隔和并发数：
package main
import (
"fmt"
"log"
"time"
"github.com/gocolly/colly/v2"
)
func main() {
// 创建异步 Collector
c := colly.NewCollector(
colly.Async(true),
)
// 限速：每个请求间随机延迟最多 500 毫秒，并发数限制为 5
err := c.Limit(&colly.LimitRule{
DomainGlob: "*",
RandomDelay: 500 * time.Millisecond,
Parallelism: 5,
})
if err != nil {
log.Fatal(err)
}
c.OnHTML("h1", func(e *colly.HTMLElement) {
fmt.Println("标题：", e.Text)
})
c.OnRequest(func(r *colly.Request) {
log.Println("正在访问：", r.URL)
})
// 启动爬虫
c.Visit("https://www.example.com")
// 等待所有异步任务完成
c.Wait()
}
当目标网站对 IP 请求有限制时，代理切换器能够帮助爬虫在多个代理间轮换。Colly 内置了代理切换功能，可以通过 SetProxyFunc 实现：
package main
import (
"log"
"github.com/gocolly/colly/v2"
"github.com/gocolly/colly/v2/proxy"
)
func main() {
c := colly.NewCollector()
// 使用内置代理切换器，轮流使用多个代理
proxySwitcher, err := proxy.RoundRobinProxySwitcher(
"socks5://127.0.0.1:1080",
"http://127.0.0.1:3128",
)
if err != nil {
log.Fatal(err)
}
c.SetProxyFunc(proxySwitcher)
c.OnRequest(func(r *colly.Request) {
log.Println("请求代理：", r.ProxyURL)
log.Println("正在访问：", r.URL)
})
c.Visit("https://www.example.com")
}
Colly 还支持将页面数据直接绑定到结构体中，简化数据提取工作。例如，假设我们需要从一个页面提取文章标题和作者，可以定义结构体并使用 e.Unmarshal 方法：
package main
import (
"fmt"
"log"
"github.com/gocolly/colly/v2"
)
type Article struct {
Title string `selector:"h1.article-title"`
Author string `selector:"span.author-name"`
}
func main() {
c := colly.NewCollector()
var articles []Article
c.OnHTML("div.article", func(e *colly.HTMLElement) {
var art Article
if err := e.Unmarshal(&art); err != nil {
log.Println("解析错误：", err)
return
}
articles = append(articles, art)
})
c.Visit("https://www.example.com/articles")
for _, art := range articles {
fmt.Printf("标题：%s，作者：%s\n", art.Title, art.Author)
}
}
对于大规模数据采集任务，可以将爬虫分布到多个节点上运行。Colly 支持通过自定义存储后端（例如 Redis、SQLite 等）来持久化 Cookie 和已访问 URL，从而避免重复抓取。详细用法可参考 Colly 官方文档 。
Limit 方法控制并发请求数和请求间延迟，既保证抓取速度，也避免被目标网站封禁。OnRequest、OnResponse 与 OnError 回调记录日志，方便调试和错误排查。必要时可使用 Colly 内置的调试器（见 extensions）。Colly 是一个功能强大且易用的 Golang 爬虫框架，其清晰的 API 设计、强大的并发支持以及丰富的扩展能力，使其成为构建网络爬虫的理想选择。本文详细介绍了 Colly 的安装、核心概念、基本与进阶用法，以及开发爬虫时的最佳实践。
希望本文能帮助你快速上手并构建出高效、稳定的爬虫应用。
你有任何疑问或想要进一步讨论 Colly 的用法，欢迎在评论区留言交流！