信息收集
翻译：
在这个小小的训练挑战中，你将学习机器人的排除标准。robots.txt文件用于网络爬虫检查它们是否被允许抓取和索引您的网站或仅部分网站。有时，这些文件揭示了目录结构，而不是保护内容不被抓取。享受吧!
解题思路
根据题目可以联想到 君子协议robots.txt
在url后输入 ：
点击查看代码
/robot.txt
可以看到有一个 fl0g.php 的文件
在url后输入
点击查看代码
/fl0g.php
就可以获得flag
总结
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
这个协议也不是一个规范，而只是约定俗成的，有些搜索引擎会遵守这一规范，有些则不然。