经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：成都服务器托管

陇川网站制作公司哪家好，找成都创新互联公司！从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作，到程序开发，运营维护。成都创新互联公司从2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司。

1. 屏蔽下载任何文件

.htaccess

2. 屏蔽下载部分文件

.htaccess

网站标题：apache使用.htaccess文件实现屏蔽wget下载网站内容
标题来源：http://cdweb.net/article/dcghi.html