小工请问下 这样会不会被收录~！

yjlrwmqj

现在页面有两种访问地址
一种是 xxx.com/1234546
另外一种是 xxx.com/1234546/
我想用 robots.txt 禁止掉 xxx.com/1234546 的收录
请问该怎么写》？？？

本来想让没有/的不能访问来的
但又觉得如果有用户直接输地址 没输/的话就访问不到了
所以就没去掉

SEO小工

实际上服务器对于这种xxx.com/1234546请求，会自动301跳转到xxx.com/1234546/这种标准的形式，应该不会有问题。

只禁止xxx.com/1234546 而不影响 xxx.com/1234546/，根据robots.txt语法规则，是
disallow: /xxx.com/123456$

yjlrwmqj

伪静态的不会自己跳转的
另外 123456 是变量。。。。
这样好像无法禁止~~~

yjlrwmqj

我在robots.txt中禁止掉了*.asp的收录
会影响 /xxx/的收录吗
（xxx目录的默认主机头是index.asp）

另：
如果我只想收录一级目录的话用下面的规则可以吗？
Allow: /*/$
Disallow: /*

SEO小工

禁止*.asp不会影响/xxx/收录，即使它的索引文件是.asp

Allow: /*/$ 不只充许一级目录，所有目录都是允许的，因为*也匹配了/
Disallow: /* 这个写法有点蒙，意义应该和 Disallow: / 是一样的，呵
如果这两个组合，那就是只允许收录目录。
只允许收录一级目录的规则想不出来怎么写，也许真的没法实现。

关于robots.txt 的作用可以用google管理员工具来测试。当然各SE的规则还是不太一样的,见discuz robots.txt设置最后有简单的总结，不过很久了。
百度也推出管理员工具了，不知道开放注册没，不知道有没有测试robots.txt的功能，好久不关注这些了