爬虫Larbin解析(一)——Larbin配置与使用

tar -zxvf  larbin-2.6.3.tar.gz
cd larbin-2.6.3
./configure
make

adns_status adns__parse_domain(adns_state ads, int serv, adns_queryqu,
         vbuf *vb, parsedomain_flags flags,
         const byte *dgram, int dglen, int *cbyte_io, int max);

adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
         vbuf *vb, adns_queryflags flags,
         const byte *dgram, int dglen, int *cbyte_io, int max);

sudo apt-get install xutils-dev

using namespace std;

make

 ./larbin

 ctrl+c

./larbin -scratch

larbin_2.6.3 is starting its search
Unable to get the socket for the webserver (8081) : Address already in use

netstat -anp | more

kill -9 18066

###############################################
//客户端标记，当对其他网站抓取时，被抓取的网站知道是什么抓取的

UserAgent larbin_2.6.3

############################################
# What are the inputs and ouputs of larbin
# port on which is launched the http statistic webserver
# if unset or set to 0, no webserver is launched

//用于运行的http web服务器的端口号（larbin运行时访问http://localhost:8081/，设置为http_port 8081）.如果将端口设为0，则不会启动web服务器。通过这个可以查看爬行结果

httpPort 8081

# port on which you can submit urls to fetch
# no input is possible if you comment this line or use port 0

//你要爬取url的端口。如果注释掉或设为0，则可能没有任何输入。如果通过手动或者程序提交爬取的//urls，则必须练就到计算机的TCP端口1976,即设为:inputPort 1976,可以添加爬行的url。

#inputPort 1976

############################################
# parameters to adapt depending on your network
# Number of connexions in parallel (to adapt depending of your network speed)
//并行爬取网页的数量，根据自己环境的网速调解，如果超时太多，则要降低这个并行数量

pagesConnexions 100

# Number of dns calls in parallel
//并行DNS域名解析的数量。

dnsConnexions 5

# How deep do you want to go in a site
//对一个站点的爬取的深度

depthInSite 5

# do you want to follow external links
//不允许访问外部链接。如果设置则只可访问同一主机的连接
#noExternalLinks

# time between 2 calls on the same server (in sec) : NEVER less than 30
//访问同一服务器的时间间隔。不可低于30s，建议60s
waitDuration 60

# Make requests through a proxy (use with care)
//是否用代理连接，如果用，则要设置、可以不用尽量不要用，这个选项要谨慎
#proxy www 8080

##############################################
# now, let‘s customize the search

# first page to fetch (you can specify several urls)
//开始爬取的URL
startUrl http://slashdot.org/

# Do you want to limit your search to a specific domain ?
# if yes, uncomment the following line
//这个选项设置了，则不可以爬行指定的特殊域名
#limitToDomain .fr .dk .uk end

# What are the extensions you surely don‘t want
# never forbid .html, .htm and so on : larbin needs them
//不想要的扩展名文件。一定不要禁止.html、.htm.larbin爬取的就是它们。禁止也是无效的
forbiddenExtensions
.tar .gz .tgz .zip .Z .rpm .deb
.ps .dvi .pdf
.png .jpg .jpeg .bmp .smi .tiff .gif
.mov .avi .mpeg .mpg .mp3 .qt .wav .ram .rm
.jar .java .class .diff
.doc .xls .ppt .mdb .rtf .exe .pps .so .psd
end

// Select the output module you want to use

//默认模式。什么也不输出，不要选择这个
#define DEFAULT_OUTPUT // do nothing...


//简单保存，存在save/dxxxxx/fyyyyy文件中，每个目录下2000个文件
//#define SIMPLE_SAVE // save in files named save/dxxxxxx/fyyyyyy

//镜像方式存储。按网页的层次存储，可以作为网页的字典。
//#define MIRROR_SAVE // save in files (respect sites hierarchy)

//状态输出。在网页上进行状态输出，可以查看http://localhost:8081/output.html查看结果
//#define STATS_OUTPUT // do some stats on pages