2020 写爬虫用什么语言工具?

语言 优点 缺点
Java 耗时、占内存
JavaScript 友好的 Web API
快速适应站点修改
工具少
GO 性能好 会的人少
Python 库多、开发快 难维护

大家还有其他推荐吗?

  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    89 引用 • 220 回帖
  • 2020
    15 引用 • 60 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    1733 引用 • 11436 回帖 • 584 关注

赞助商 我要投放

20 回帖
请输入回帖内容 ...
  • iwh718 1

    我一直用 PHP。😂

  • Vanessa 1

    以下纯属玩笑,请不要选我为最佳回答

    • 用 GO 进行代理和抓取
    • 用 JavaScript 解析页面获取最终结果
    • 用 Java 将结果存到数据库中
    • 用 PHP 监控错误发送到微信进行报警
    • 用 Python 将爬到的数据进行分析
    1 回复
  • Gakkiyomi2019 1

    推荐 python 和 go

  • InkDP 1

    go 还可以,上周末用爬虫扒了一波扑飞的漫画

  • 88250 1

    好久没写爬虫了,以前用的 Go

  • CismonX 1

    为啥你会有 python 代码难维护的错觉doge 不应该更容易维护么?

    还有 JS 的相关轮子也不少啊

    1 回复
  • 233333

    用 c++ 模拟登陆并证明自己不是机器人huaji

  • JokerLee 1

    爬虫我个人一般用 python,第三方库给力,就随便写两行代码就可以了,贼简单

  • jones2000 2

    直接买第 3 方的云抓取的爬虫, 配置就可以,方便, 数据下来再自己用 py 数据解析。 自己搞麻烦,还要买代理 ip, 否则抓几下就封 ip 了。

    1 回复
  • gmt

    主要是公司会 python 的人少,而且大家风格迥异。估计还是只能用 Java 写了。

  • gmt

    原来还有这样的用法,能推荐个爬虫云服务商么?

    1 回复
  • ghostsf

    python 呗,会 go 就用 go

  • adlered 1 评论

    Java 是三次元最好的语言

    1 操作
    adlered 在 2020-07-01 13:34:59 更新了该回帖
    PHP 是宇宙上最好的语言
    nomec
  • wizardforcel

    难维护?你个渣渣

  • MingGH

    那我岂不是都用,除了 GO

  • qloog

    用 Go 好,速度快,多协程跑

  • jones2000 1

    我们公司数据部门好像是买的八爪鱼来抓的

    1 回复
  • gmt

    感谢推荐,这就去搜搜看

  • illn

    PHP in swoole

  • Rabbitzzc

    JS 才是占内存,速度慢。可以试试 go 呗

请输入回帖内容 ...