C#常用爬虫框架_c# 爬虫框架-程序员宅基地

技术标签: C#  c#  爬虫  

这里写图片描述

1:.Net开源的跨平台爬虫框架 DotnetSpider Star:430

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

2:俄国牛人写的开源爬虫xNet Star:117

这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议的底层都实现了一遍,这有啥好处?只要你是写爬虫的,都会遇到一个让人抓狂的问题,就是明明知道自己Http请求头跟浏览器一模一样了,为啥还会获取不到自己想要的数据

3:开源的.net爬虫Abot Star:1050

Abot是一个开源的.net爬虫,速度快,易于使用和扩展

4:C#仿火车头的开源数据采集器V5_DataCollection Star:25

V5 数据采集器是一款面向个人及专业用户提供的一款专业的数据采集软件,即适用于简单化配置操作,也适应针对复杂数据采集的能力,所见即可采。 V5数据采集器独有的代理轮询采集机制,可有效的解决网站屏蔽问题,可用于互联网数据动态监控,绝对是您的首选

5:C#爬虫引擎内核版SmartSpider Star:17

SmartSpider爬虫引擎内核版,全新的设计理念,真正的极简版本。

6:.Net开源的超级爬虫Hawk Star:1039

HAWK是一种数据采集和清洗工具,依据GPL协议开源,能够灵活,有效地采集来自网页,数据库,文件, 并通过可视化地拖拽, 快速地进行生成,过滤,转换等操作。其功能最适合的领域,是爬虫和数据清洗

7:基于C#.NET的简单且高效的网站爬虫 Star:58

Simple-Web-Crawler - 基于C#.NET的简单网页爬虫,支持异步并发、切换代理、操作Cookie、Gzip加速。

8:网站数据采集软件网络矿工采集器(原soukey采摘)

Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。Soukey采摘当前提供的主要功能如下: 1. 多任务多线程数据采集,支持POST方式;…

9:网站数据采集软件NETSpider Star:94

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。 软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的. NETSpider采摘当前提供的主要功能如下: 1. 多任务多线程数据采集,支持POST方式(待定); 2. 可…

10:网络爬虫程序NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序

11:Web爬虫工具NCrawler

NCrawler 是一个Web Crawler 工具,它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式,并且具有可以延展的能力,让开发人员可以扩充它的功能,以支援其他类型的资源(例如PDF /Word/Excel 等档案或其他资料来源)。 NCrawler 使用多执行绪…

12:多线程web爬虫程序spidernet

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件. 源码中TODO:标记描述了未完成功能, 希望提交你…

13:网页爬虫ScrapingSpider Star:48

ScrapingSpider 是一个业余时间开发的,支持多线程,支持关键字过滤,支持正文内容智能识别的爬虫。 爬虫的核心实现在ScrapingSpider.Core程序集中。爬虫类为Spider类,爬虫的爬取逻辑,与页面处理逻辑通过事件分离,两个关键事件为AddUrlEvent和Data…

14:爬虫小新Sinawler

国内第一个针对微博数据的爬虫程序!原名“新浪微博爬虫”。 登录后,可以指定用户为起点,以该用户的关注人、粉丝为线索,延人脉关系搜集用户基本信息、微博数据、评论数据。 该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持,但请勿用于商业用途。该应用基于.NET2.0框架,需SQL SER…

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_42418169/article/details/115047206

智能推荐

基于paddle的数据可视化以及paddlepaddle安装 百度深度学习7日—Day01_paddlepaddle label-程序员宅基地

文章浏览阅读2.6k次。百度深度学习7日—Day01数据可视化以及框架安装- 快速安装paddlepaddle1.环境准备 2.安装步骤 3.验证安装- 疫情数据可视化1.爬取丁香园公开数据2.安装第三方库pyecharts3.数据可视化快速安装paddlepaddle参考飞桨官方网站的安装说明(https://www.paddlepaddle.org.cn/documentation/d..._paddlepaddle label

poj 2954(pick定理)_2s=2a+b-2-程序员宅基地

文章浏览阅读198次。pick定理:一个计算点阵中顶点在格点上的多边形面积公式,该公式可以表示为2S=2a+b-2,其中a表示多边形内部的点数,b表示多边形边界上的点数,s表示多边形的面积。一个蛮神奇的定理。。用来求内点。。边界点作差求gcd就可以了。。#include#include#include#include#include#include#define inc(i,l,r) for(int_2s=2a+b-2

4.x版本内核中platform_device的生成_of_platform_bus_probe 与 of_platform_populate 的区别-程序员宅基地

文章浏览阅读3.2k次,点赞2次,收藏9次。内核版本:Linux-4.9在3.x版本内核中platform_device不再静态定义,而是通过device tree来动态生成,例如(arch/arm/mach-s3c24xx/mach-sc2416-dt.c):[cpp] view plain copystatic void __init s3c2416_dt_machine_init(void) { of_platform_p..._of_platform_bus_probe 与 of_platform_populate 的区别

最新版CentOS8安装全流程_cent8安装-程序员宅基地

文章浏览阅读307次。前置条件你需要提前下载好VM虚拟机(百度下载就好很多)和CentOS8(建议官网直接下载)--需要链接可回复步骤一,打开VM虚拟机打开虚拟机,点击创建虚拟机,然后下面的步骤全部用图片展示。一目了然(保姆级别)..._cent8安装

跟着Datawhale学习集成学习_datawhale 集成学习-程序员宅基地

文章浏览阅读287次。集成学习1、机器学习的主要任务1.1监督学习1.1.1回归1.1.2 分类1.2无监督学习1、机器学习的主要任务我理解的机器学习就是,如何通过设计算法使得机器掌握学习的能力,发现数据中的规律。今天主要来熟悉机器学习的主要任务。具体地说,从有无因变量的角度出发,可以将机器学习任务分为有监督学习和无监督学习。其次,在有监督学习的大框架下,我们又可以根据因变量是否连续将问题分为回归问题和分类问题。下面我们可以来看一些例子(例子代码由Datawhale团队提供)首先导入相应的包import numpy as_datawhale 集成学习

require、include、require_once、include_once区别? 加载区别? 如果程序按需加载某个php文件你如何实现?-程序员宅基地

文章浏览阅读506次。作用上同:包含文件并运行(使用位置:函数内、函数外、方法内)异:include_once/require_once是include/require基础上进一步封装,增加了一个“文件是否已经包含”的判断性能上异:由于include_once/require_once是include/require基础上进一步封装,所以include_once/requir_require、include、require_once、include_once区别? 加载区别? 如果程序按需加载

随便推点

linux编写数字瀑布,Android Icon数字角标Badge的实现方式-程序员宅基地

文章浏览阅读150次。Android系统 小米,三星,索尼手机发送桌面快键提醒数字图标,在Android系统中,众所周知不支持BadgeNumber,虽然第三方控件BadgeView可以实现应用内的数字提醒,但对于系统的图标,特别是app的logo图标很难实现数字标志,即使是绘图的方式不断修改,但这种方式天生弊端,实用性很差。但幸运的是,某些ROM厂商提供了私有的API,但也带来了难度,API的不同意意味着代码量的增加..._"putextra(\"icon_number"

MySQL 1226 User 'root' has exceeded the 'max_questions' resource解决办法-程序员宅基地

文章浏览阅读9.6k次。User 'root' has exceeded the 'max_questions' resource (current value) 出现这个问题很可能是你查询的时候一次连接的时间太久了,每次连接的查询是有限制的,可以动态修改下max_question修改步骤为:use mysql;update user set max_questions=0;flush privile_user 'root' has exceeded the 'max_questions' resource (current value: 1)

solaris系统自启动文件设置_solaris errpom 修改启动项-程序员宅基地

文章浏览阅读1.2k次。一、知识点补充 在/etc/的目录里,可以看到rc1.d,rc2.d,rc3.d,rc0.d,rcS.d 和 init.d这些目录,在init.d的目录下放的脚本,会在系统启动时或运行级别改动是,由系统的init进程执行。在以rc开头的文件夹里放置的脚本都会以K或S开头命名,命名的规则是 [K/S] + [nn] + [scriptname], K表示kill,S表示start, n..._solaris errpom 修改启动项

OpenCV 图像边缘提取(二)—— Sobel算子原理及OpenCV API使用(C#)_opencv边缘捕捉-程序员宅基地

文章浏览阅读837次。OpenCV 图像边缘提取(二)—— Sobel算子原理及OpenCV API使用(C#):在图像边缘像素跃迁大,对图像求一阶导数,导数值最大处即为边缘像素所在位置。当dx=0,dy=1时候,y方向轮廓被保留明显;当dx=1,dy=0时候,x方向轮廓被保留明显;本案例在.NET使用的OpenCV库为。_opencv边缘捕捉

Android Studio学习笔记_注册界面_检查用户名与密码是否符合规则_android studio remote error: 请检查用户名或密码是否正确-程序员宅基地

文章浏览阅读9.4k次,点赞14次,收藏53次。2019/5/12/1:45这是我第一次在论坛上发文章,主要是想记录一下自己学习的过程最近在跟铁子做移动应用,于是开始学安卓死丢丢,今天进行到了注册界面部分。先粘贴XML部分的代码<?xml version="1.0" encoding="utf-8"?><RelativeLayout ="http://schemas.android.com/..._android studio remote error: 请检查用户名或密码是否正确

Android高仿qq及微信底部菜单的几种实现方式-程序员宅基地

文章浏览阅读79次。最近项目没那么忙,想着开发app的话,有很多都是重复,既然是重复的,那就没有必要每次都去写,所以就想着写一个app通用的基本框架,这里说的框架不是什么MVC,MVP,MVVM这种,而是app开发的通用模式,一般的app都是底部有几个菜单按钮,类似qq这样的,只不过个数不一样而已,设计上说底部的..._android仿腾讯底部导航栏

推荐文章

热门文章

相关标签