返回列表 回复 发帖

1.5伪静态后百度蜘蛛只抓动态页面而不抓静态页面

1.5伪静态后百度蜘蛛只抓动态页面而不抓静态页面
1.5伪静态后百度蜘蛛只抓动态页面而不抓静态页面,知情者请告知原因:
我昨天在论坛上加了个搜索引擎蜘蛛爬行统计系统`  统计页面
http://www.gm925.net/plugin.php?id=study_arrecord:showrecord
蜘蛛到是来的很快`  但是他收录的全是动态的页面http://www.gm925.net/forum.php?r... age%3D1-page-2&
网站首页:http://www.gm925.net伪静态内页:http://www.gm925.net/thread-117-1-1.html
我看了几个伪静态的网站`


http://www.deesha.net/plugin.php?id=study_arrecord:showrecord

http://www.lai0898.com/plugin.php?id=study_arrecord:showrecord

百度跟别的蜘蛛全是爬的他们静态的`
我不知道我那里设置错误了 还是什么`
希望帮下`

我的论坛搜索引擎优化那里
是按小工大哥的  thread-{tid}-{page}-1.html写的
不自动换页
都要爬的。只要你能访问伪静态页设置就没问题。
如果不想费事就在robots.txt中把动态地址中把动态地址屏蔽掉。

看了下dz 也支持canonical tag标签了,不知道现在百度支不支持,我想它也会参考吧。
交流QQ群:13519368
返回列表