登录 注册

2020 写爬虫用什么语言工具？

本贴最后更新于 1390 天前，其中的信息可能已经天翻地覆
语言 优点 缺点
Java 耗时、占内存
JavaScript 友好的 Web API
快速适应站点修改		 工具少
GO 性能好 会的人少
Python 库多、开发快 难维护

大家还有其他推荐吗？

  • 爬虫

    网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。

    106 引用 • 275 回帖 • 1 关注
  • 2020
    26 引用 • 124 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    6515 引用 • 29295 回帖 • 247 关注
成都 位置
100 悬赏
1 感谢
3 关注
20 回帖
3
2
6.2k 208 1.7k 628 1.3k 82 5 192 2.1k

相关帖子

20 回帖
2020 写爬虫用什么语言工具？

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • yf98 • • 1

    我一直用 PHP。😂

  • Vanessa • • 1
    订阅者 付费者

    以下纯属玩笑，请不要选我为最佳回答

    • 用 GO 进行代理和抓取
    • 用 JavaScript 解析页面获取最终结果
    • 用 Java 将结果存到数据库中
    • 用 PHP 监控错误发送到微信进行报警
    • 用 Python 将爬到的数据进行分析
    1 回复
  • Gakkiyomi2019 • • 1
    订阅者

    推荐 python 和 go

  • InkDP • • 1
    捐赠者

    go 还可以，上周末用爬虫扒了一波扑飞的漫画

  • 88250 • • 1
    订阅者

    好久没写爬虫了，以前用的 Go

  • someone48938 • • 1
    捐赠者

    为啥你会有 python 代码难维护的错觉doge 不应该更容易维护么？

    还有 JS 的相关轮子也不少啊

    1 回复
  • 233333 •
    捐赠者

    用 c++ 模拟登陆并证明自己不是机器人huaji

  • JokerLee • • 1

    爬虫我个人一般用 python,第三方库给力,就随便写两行代码就可以了,贼简单

  • jones2000 • • 2

    直接买第 3 方的云抓取的爬虫， 配置就可以，方便， 数据下来再自己用 py 数据解析。 自己搞麻烦，还要买代理 ip， 否则抓几下就封 ip 了。

    1 回复
  • gmt •
    作者

    主要是公司会 python 的人少，而且大家风格迥异。估计还是只能用 Java 写了。

  • gmt •
    作者

    原来还有这样的用法，能推荐个爬虫云服务商么？

    1 回复
  • ghostsf •
    付费者 捐赠者

    python 呗，会 go 就用 go

  • adlered • • 1 评论
    捐赠者

    Java 是三次元最好的语言

    1 操作
    adlered 在 2020-07-01 13:34:59 更新了该回帖
    PHP 是宇宙上最好的语言
    nomec •
  • wizardforcel •

    难维护？你个渣渣

  • MingGH •
    捐赠者

    那我岂不是都用，除了 GO

  • qloog •
    捐赠者

    用 Go 好，速度快，多协程跑

  • jones2000 • • 1

    我们公司数据部门好像是买的八爪鱼来抓的

    1 回复
  • gmt •
    作者

    感谢推荐，这就去搜搜看

  • illn •
    订阅者 捐赠者

    php in swoole

  • Rabbitzzc •
    捐赠者

    JS 才是占内存，速度慢。可以试试 go 呗

请输入回帖内容 ...
gmt
你好，我的朋友。 成都
回帖
58
 帖子
4
 积分
1132

近期热议

推荐标签 标签

  • 面试

    面试造航母，上班拧螺丝。多面试，少加班。

    324 引用 • 1395 回帖 • 3 关注
  • LeetCode

    LeetCode（力扣）是一个全球极客挚爱的高质量技术成长平台，想要学习和提升专业能力从这里开始，充足技术干货等你来啃，轻松拿下 Dream Offer！

    209 引用 • 72 回帖
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    284 引用 • 4481 回帖 • 656 关注
  • MongoDB

    MongoDB（来自于英文单词“Humongous”，中文含义为“庞大”）是一个基于分布式文件存储的数据库，由 C++ 语言编写。旨在为应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 JSON 的 BSON 格式，因此可以存储比较复杂的数据类型。

    90 引用 • 59 回帖 • 2 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 25 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 604 关注
  • wolai

    我来 wolai：不仅仅是未来的云端笔记！

    1 引用 • 11 回帖 • 1 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统，它问世于 1985 年，起初仅仅是 Microsoft-DOS 模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。

    215 引用 • 462 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧！

    7 引用 • 55 回帖 • 97 关注
  • 阿里云

    阿里云是阿里巴巴集团旗下公司，是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务，以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖 • 2 关注
  • 百度

    百度（Nasdaq：BIDU）是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 252 关注
  • 微信

    腾讯公司 2011 年 1 月 21 日推出的一款手机通讯软件。用户可以通过摇一摇、搜索号码、扫描二维码等添加好友和关注公众平台，同时可以将自己看到的精彩内容分享到微信朋友圈。

    129 引用 • 793 回帖
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目，是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台，为开发者提供便利的 API 接口来调用服务，让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 437 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系，基于确定和自然的设计价值观上的模块化解决方案，让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件，让构建、部署、自动化集成项目变得简单易用。

    51 引用 • 37 回帖
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    90 引用 • 383 回帖 • 1 关注
  • AngularJS

    AngularJS 诞生于 2009 年，由 Misko Hevery 等人创建，后为 Google 所收购。是一款优秀的前端 JS 框架，已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性，最为核心的是：MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 422 关注
  • 设计模式

    设计模式（Design pattern）代表了最佳的实践，通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    198 引用 • 120 回帖
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端，也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • Maven

    Maven 是基于项目对象模型（POM）、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    185 引用 • 318 回帖 • 348 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 54 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    25 引用 • 191 回帖 • 19 关注
  • 周末

    星期六到星期天晚，实行五天工作制后，指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • Markdown

    Markdown 是一种轻量级标记语言，用户可使用纯文本编辑器来排版文档，最终通过 Markdown 引擎将文档转换为所需格式（比如 HTML、PDF 等）。

    163 引用 • 1450 回帖 • 2 关注
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统，实现一个自托管的 Git 项目仓库，可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖
  • 七牛云

    七牛云是国内领先的企业级公有云服务商，致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景，七牛先后推出了对象存储，融合 CDN 加速，数据通用处理，内容反垃圾服务，以及直播云服务等。

    25 引用 • 215 回帖 • 163 关注
  • 倾城之链
    23 引用 • 66 回帖 • 96 关注

最新标签