用Golang写个俄罗斯篮球比分爬虫？这事儿比想象中有意思

先别急，我知道你搜“俄罗斯篮球比分网”是想看比赛数据，但作为一个写代码的，我第一反应是——这玩意儿能不能用Golang自己撸一个？你别说，我还真试过，今天不聊那些枯燥的API文档,就唠唠我踩过的坑和摸出来的门道。

为什么偏偏是Golang？

市面上的爬虫教程十个有八个是Python写的，但俄罗斯篮球比分网这种站有个特点：页面结构乱，有些数据还是异步加载的，Python应付起来有点肉，但Go的goroutine天生适合并发抓取，我试过用Python requests库硬爬，结果被对方服务器限流到怀疑人生；换Go之后，协程一开,效率直接翻倍。

更关键的是，Go编译出来是个独立二进制文件，扔到服务器上不用装环境，你在本地跑通，go build一下，直接传到VPS就能定时抓数据，这感觉，就像用瑞士军刀切西瓜——顺手。

第一步：别急着写代码，先拆解页面

俄罗斯篮球比分网（我拿某个知名站举例，名字就不点了）主要暴露三个数据块：

1. 实时比分 - 比赛进行中的分数变化
2. 球队统计 - 投篮命中率、篮板、助攻这些
3. 历史交锋 - 两队过往对战记录

最容易踩的坑：很多数据藏在<script>标签里的JSON中，表面HTML只有壳子，用正则硬抠？你会抠到怀疑人生，正确姿势是先用Go的net/http拿到整个页面，再用goquery（类似Python的BeautifulSoup）解析DOM。

// 伪代码示意，别直接抄
doc, _ := goquery.NewDocumentFromReader(resp.Body)
doc.Find(".score-board").Each(func(i int, s *goquery.Selection) {
    score := s.Find(".team-score").Text()
    // 处理数据...
})

这时候你会遇到第二个坑——编码问题，俄罗斯网站很多用Windows-1251编码，直接读会乱码，记得用golang.org/x/text/encoding/charmap转成UTF-8,我当初卡在这浪费了两小时。

并发抓取：goroutine是救星也是魔鬼

比分网通常有多个联赛页面（VTB联赛、超级联赛、学生联赛等），按传统方式一个个抓，慢得像蜗牛，用goroutine可以同时抓，但要小心别被防火墙封IP。

我试过一把梭，开了50个协程，结果三分钟IP就被ban了，后来学乖了，用golang.org/x/time/rate做了限速，每秒最多5个请求，效果立竿见影,抓一整轮联赛数据也就几分钟。

limiter := rate.NewLimiter(rate.Every(200*time.Millisecond), 1)
for _, url := range urls {
    limiter.Wait(context.Background()) // 每个请求间隔200ms
    go fetchAndParse(url)
}

注意：别用全局共享变量存结果，除非你上了sync.Mutex，我图省事直接写文件，每个协程负责一个独立文件,省得锁的麻烦。

数据清洗：看起来简单，其实最耗时间

原始网页数据是给浏览器看的，不是给程序用的,你会发现：

• 分数里有换行符和空格
• 球队名有全角和半角差异（“莫斯科中央陆军”和“莫斯科中央陆 军”）
• 时间格式不统一（有的19:30，有的19:30:00）

这时候正则表达式反而不是最靠谱的，因为页面改版一次我就得跟着改，我推荐一种笨但有效的方法：先定位特征字符串，再截取，比如定位到"match-id":后面跟的数字,就一定是比赛ID。

// 更稳的解析方式
re := regexp.MustCompile(`"match-id":(\d+)`)
matchID := re.FindStringSubmatch(rawHTML)[1]

千万别信网站自带的API，很多页面虽然有/api/score.json这样的接口，但你真去调会发现要么被CORS拦住，要么参数加密了，老老实实解析HTML,虽然慢点但绝对稳。

存储：SQLite比MySQL香

抓下来的数据存哪？如果你只是自己看，SQLite完全够用，而且Go标准库不支持直接连SQLite，得用mattn/go-sqlite3这个驱动，别用MySQL，杀鸡用牛刀,还得折腾服务。

我一般这么设计表：

这样设计有个好处：原始数据不动，你后续想怎么分析都行，比如统计某个球队的客场胜率，一个SELECT就能搞定。

定时任务：用cron还是用time.Sleep？

抓取策略：联赛期间每30秒刷一次比分，非比赛时段每小时同步一次,实现方式：

1. 简单粗暴：for {}循环里time.Sleep(30*time.Second)
2. 优雅一点：用robfig/cron库

我一开始用的Sleep，但后来发现程序跑久了内存会涨（因为某些第三方包有内存泄漏），换了cron库，每个任务独立管理，崩溃了能自动重启,好很多。

c := cron.New()
c.AddFunc("0 */1 * * *", func() {
    // 每小时同步球队列表
    syncTeams()
})
c.AddFunc("*/30 * * * * *", func() {
    // 每30秒更新比分
    updateScores()
})
c.Start()

运营提示：如果你的VPS在俄罗斯境外，访问速度会慢，可以设置HTTP代理，或者换个角度——用timeout参数控制等待时间,别无限等。

可视化展示：丑但能用

数据都抓下来了，最后一步是展示，我不会前端，所以用最笨的方法：生成一个HTML文件，用Go的html/template填充数据，表格样式直接用CSS框架（比如Bootstrap CDN）,简单还好看。

tmpl, _ := template.New("scores").Parse(`
<table class="table">
  <tr><th>日期</th><th>主队</th><th>比分</th><th>客队</th></tr>
  {{range .Rows}}
  <tr><td>{{.Date}}</td><td>{{.HomeTeam}}</td><td>{{.Score}}</td><td>{{.AwayTeam}}</td></tr>
  {{end}}
</table>
`)

打开浏览器就是实时更新的比分板，虽然糙但管用,你还可以加个自动刷新标签：

<meta http-equiv="refresh" content="30">

这样页面每30秒自动刷新一次,跟职业网站一样。

最后说点实在话

写这个爬虫，技术上最难的部分不是代码，而是如何优雅地处理异常，俄罗斯网站有时候会反爬（返回验证码页面），有时候服务器挂了（超时），你的程序得学会“认怂”——记录错误,过会儿再试。

我用Go写了个简单的重试机制：

func fetchWithRetry(url string, maxRetries int) (*http.Response, error) {
    for i := 0; i < maxRetries; i++ {
        resp, err := http.Get(url)
        if err == nil && resp.StatusCode == 200 {
            return resp, nil
        }
        time.Sleep(time.Duration(1<<i) * time.Second) // 指数退避
    }
    return nil, errors.New("fetch failed")
}

这种诚实面对错误的态度,反而比写一堆花里胡哨的代码更能解决问题。

至于那些数据怎么用，你可以算胜率、做预测，甚至生成数据可视化图表，但那就是另一个故事了，先把你的Go程序跑起来，让它在角落里默默工作，第二天起来看数据——那感觉,比看比赛还带劲。