刘稻博客

分享一些关于网络推广经验、网站推广方法、网站优化技巧、SEO优化方案、网络营销方案!

robots.txt文件中的语法规则及用法

搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等),自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。 通过根目录中创建的纯文本文件robots.txt,每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容...

各搜索引擎蜘蛛名字对应表

各搜索引擎蜘蛛名字如下:百度、Google、LIVE(MSN)、雅虎、搜狗、有道、搜搜、搜狗、Alexa.com、爱问、Excite.com、FAST (AllTheWeb.com)、Inktomi.com、AltaVista.com、Crawler.de、InfoSeek.com、Lycos.com等......

分页:[«]1[»]
订阅刘稻博客

什么是RSS订阅?查看解释
订阅到您的在线阅读器

抓虾 google reader my yahoo bloglines 鲜果 哪吒

博客作者

刘 稻

日历

<< 2017-4 >>

Sun

Mon

Tue

Wed

Thu

Fri

Sat

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

最近引用

Copyright 2009-2011 网络营销方案. Some Rights Reserved.

Powered By Z-Blog 1.8 Walle Build 100427 Code detection by Codefense Template Designed By houbenbo