网站防护

最近辣鸡轻量服务器资源频频飙红，开始还以为流量暴涨，自己要发了。结果一看日志——原来是每天被各种AI爬虫轮番“光顾”，资源被薅到见底……如何礼貌地拒绝这些不请自来的“访客”呢？这时，robots.txt文件就可以派上用场了。什么是robots.txt...