标签：robots-txt php google-calendar-api icalendar

我正在寻找最好的解决方案,我可以确保我正确地做到这一点：

我的网站上有一个日历,用户可以在其中使用日历iCal Feed并将其导入到他们偏好的外部日历中(Outlook,iCal,Google Calendar等).

为了阻止坏人抓取/搜索我的网站上的* .ics文件,我设置了Robots.txt以禁止存储订阅源的文件夹.

因此,基本上,iCal Feed可能如下所示：webcal：//www.mysite.com/feeds/cal/a9d90309dafda390d09/feed.ics

据我所知,上面仍然是一个公共URL.但是,我有一个功能,用户可以根据需要更改其Feed的地址.

我的问题是：除Google日历外,所有外部日历都无法导入/订阅日历Feed.它会抛出消息：由于robots.txt限制,Google无法抓取该网址. Google’s Answer to This.

因此,搜索后,我发现以下工作：

1)设置一个PHP文件(我正在使用),它本质上强制下载文件.它基本上看起来像这样：

<?php
$url = "/home/path/to/local/feed/".$_GET['url'];
 $file = fopen ($url, "r");
 if (!$file) {
    echo "<p>Unable to open remote file.\n";
    exit;
  }
 while (!feof ($file)) {
  $line = fgets ($file, 1024);
 print $line;
}
fclose($file);
?>

我尝试使用此脚本,它似乎与Google日历一起使用,没有任何问题. (虽然,我不确定它是否更新/刷新.我还在等着看它是否有效).

我的问题是：有没有更好的方法来解决这个问题？我想保留当前的Robots.txt以禁止抓取我的目录以获取* .ics文件并保持文件隐藏.

解决方法:

在我看来你有两个问题：

>防止坏行为机器人
访问该网站.
>之后
安装robots.txt,允许
Googlebot访问您的网站.

robots.txt无法解决第一个问题.正如Marc B在评论中指出的那样,robots.txt是一种纯粹的自愿机制.为了一次性阻止坏机器人,我建议你使用某种行为分析程序/防火墙来检测坏机器人并拒绝来自这些IP的访问.

对于第二个问题,robots.txt允许您将特定机器人列入白名单.以http://facebook.com/robots.txt为例.注意到谷歌以不同的名称识别他们的机器人(用于广告,搜索,图像搜索,移动搜索),如果谷歌日历机器人使用通用的谷歌机器人名称,我不是.

标签：robots-txt,php,google-calendar-api,icalendar
来源： https://codeday.me/bug/20190827/1737773.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。