https://blog.csdn.net/fanghua_vip/article/details/79535639
http://tool.chinaz.com/robots/
User-agent: * Disallow: Crawl-delay: 5 Disallow: /bin/ Disallow: /photos Sitemap: http://xieboke.net/sitemap.xml
def robots(request): with open("joyoo/robots.txt", "r") as f: content = "<pre>" for text in f.readlines(): content += text content += "</pre>" return HttpResponse(content)
urlpatterns = [ url(r'^robots', robots), ]
Zhuoyuebiji ( 广东·深圳 )
🚩成长的时候,能帮有需要的你
我是 卓越笔记,软件测试工作者,热爱互联网,喜欢琢磨,遇到问题就一定要找到答案。我的博客主要记录学习中遇到的知识点和遇到的问题及问题的解决方法。欢迎同样热爱互联网的小伙伴们交换友链,一起探索互联网的世界 😊
为向您提供更好的服务,我们使用 Cookies。更多相关信息请查阅我们的 隐私政策 和 免责声明