web-bee

Project Url: java-webbee/web-bee
Introduction: 🐝 为乐趣而生的 web 垂直爬虫框架
More: Author   ReportBugs   OfficialWebsite   
Tags:

Build Status Coverage Status DownloadsLicense Sauce Test Status

  • webBee 基于jdk8 是一个持续成长的垂直爬虫框架项目
  • webBee 遵循MIT开源协议

  • webBee 是一个不错的 java 进阶项目

  • 欢迎大家贡献代码,如果觉得这个项目不错,请为它 点赞

演示站点

设计初衷

  • 设计简洁,面向接口
  • 配置简单,明了
  • 一次配置,自动匹配

涉及技术栈

  • httpcomponents
  • jsoup
  • redis
  • 代理
  • 多线程

即将完善的内容

  • 分布式爬取
  • 代理接口
  • 通过配置智能寻找目标 url
  • 图片、视频的处理
  • 可对熊猫 tv斗鱼 tv等弹幕网站弹幕监听分析
  • 制作一个炫酷的官网实例

开源讨论群

  • 147255248

开源协议

Support Me
Apps
About Me
Google+: Trinea trinea
GitHub: Trinea