一开始对社区的导航方式无法适应,不知道从哪里开始查看感兴趣的贴子(开始没有发现登录后可以直接使用搜索功能以为只能用 Google 的站内搜索),所以想把贴子标题爬下来快速浏览,最初的想法是从最新贴子里找动态加载分页信息的 url,但是发现不好计算出总页数也无法区分动态加载的 JSON 数据是不是含有重复的混淆数据,试了 ..

【释疑贴】社区贴子与用户的数据统计(新手必看)

一开始对社区的导航方式无法适应,不知道从哪里开始查看感兴趣的贴子(开始没有发现登录后可以直接使用搜索功能以为只能用 Google 的站内搜索),所以想把贴子标题爬下来快速浏览,最初的想法是从最新贴子里找动态加载分页信息的 url,但是发现不好计算出总页数也无法区分动态加载的 JSON 数据是不是含有重复的混淆数据,试了好几次没有结果。

后来发现主页的底部导航有数据统计的页面链接,没想到社区所有注册用户信息是可以公开访问的,于是先爬了下七百多页的用户列表页提取出了 50207 位用户的用户名和个人主页链接,接着逐个爬取用户主页上的数据,最后爬取公开贴子列表用户(有 68 位用户选择不公开贴子列表)的贴子列表获取到 16124 条贴子的数据。最近将爬取到的数据做成了 3 个 Excel 表,部分截图如下,有兴趣的小伙伴可以查看隐藏的打赏内容。

post.PNG
U.PNG
P.PNG

先来看下注册用户数最多的 10 个城市(基于公开城市位置的用户统计):
TOP.1 : 北京 : 4270
TOP.2 : 上海 : 2637
TOP.3 : 深圳 : 2224
TOP.4 : 广州 : 1870
TOP.5 : 杭州 : 1768
TOP.6 : 成都 : 1310
TOP.7 : 武汉 : 969
TOP.7 : 南京 : 928
TOP.8 : 重庆 : 675
TOP.8 : 西安 : 613
TOP.9 : 苏州 : 596
TOP.9 : 长沙 : 542
TOP.9 : 郑州 : 526
TOP.10 : 济南 : 434

接着来看下注册用户中【黑客】成员与【画家】成员的数量:
【黑客】成员:46424 位(占比 92%)
【画家】成员:3783 位(占比 8%)

再来看下发贴数不为 0 的用户数:2730 位(参与发贴的用户占比 5.4%)
发贴数不少于 10 的用户数:396 位(占发贴用户数的 14.5%)

基于贴子的核心数据统计:

另外粗略统计了 8 月份每小时访问网站的在线人数平均值(是按数据统计里显示的在线用户数减去所有数据里面最低的一个数值 116):

6~7 点 : 53
7~8 点 : 61
8~9 点 : 91
9~10 点 : 190
10~11 点 : 280
11~12 点 : 336
12~13 点 : 328
13~14 点 : 317
14~15 点 : 344
15~16 点 : 372
16~17 点 : 394
17~18 点 : 385
18~19 点 : 305
19~20 点 : 248
20~21 点 : 230
21~22 点 : 223
22~23 点 : 212
23~0 点 : 187
0~1 点 : 142
1~2 点 : 100
2~3 点 : 77
3~4 点 : 66
4~5 点 : 59
5~6 点 : 53

新增关于用户登录之后在黑客派网站上停留时间的统计:

以上社区开放的数据只放在社区给大伙解疑。如果你还对会员升级系统感兴趣,请看:
【释疑贴】黑客派新手升级资深会员指南

打赏 1 积分后可见  
1 积分 • 8 打赏
  • 黑客派

    黑客派是 B3log 开源社区的线上论坛,这里主要汇聚了程序员和设计师。HacPai 分别取 Hacker / Painter 的头三个字母组成,源自《黑客与画家》。

    我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

    更多细节请浏览黑客派简介

    320 引用 • 6560 回帖 • 684 关注
  • 数据统计
    2 引用 • 19 回帖
       
mfabian 在 2019-08-24 12:50:24 更新了该帖
mfabian 在 2019-09-01 14:21:45 更新了该帖
mfabian 在 2019-09-05 18:21:43 更新了该帖
5 回帖   
请输入回帖内容...
  • mfabian

    换了个浏览器就上传图片,上传文件失败的,真扫兴。
    from Linux Mint 19 Cinnamon Chrome 版本 76.0.3809.100(正式版本) (64 位)

  • kafuly

    可以不错哟,加油棒棒哒

  • 88250

    你应该是通过 API 而不是解析 HTML 吧?😂

    📝 社区客户端 API 文档

  • csfwff  

    厉害了 word 哥

  • iwanna  

    好像还可以反应该城市 IT 行业发展度😄