二维码应用。静态 URL 对蜘蛛有点抵抗力？答案

【问题标题】：QR Code application. Static URL somewhat resistant to spiders?二维码应用。静态 URL 对蜘蛛有点抵抗力？
【发布时间】：2011-12-02 21:29:27
【问题描述】：

我正在实施一个应用程序来创建将打印在纸质媒体上的二维码。该应用程序在 Perl 中，我正在成功生成代码。（使用GD::Barcode::QRCode btw。铅管束带..）

二维码将包含一个静态 URL。目标扫描仪将是移动设备上的任何二维码阅读器。 “服务器”就是任何网络服务器。我的应用程序生成的代码包含指向服务器上可变目录中众所周知的类型文件（vCard 或 vCalendar）的链接：例如http://www.server.com/dir[XYZ]。

由于要打印二维码，所以 URL 需要是静态的。

我知道X-Robots-Tag: no index 并放置了一个robot.txt 文件。虽然这可能会阻止谷歌，但我不确定其他蜘蛛是否尊重这些标签。我无法想象的垃圾邮件发送者的蜘蛛。

背景：

这个应用程序是为了让印刷材料链接到网络上的动态元素。大多数 QR 阅读器（Android、i-nigma、QRReader 等）都能正确处理 vCard 或 vCalendar 下载。虽然我可以将 vCard 或 vCalendar 的数据直接嵌入到 QR 码中，但最好将文件放在 Web 服务器上，并在 QR 码中包含指向该文件的 URL。虽然这些文件不需要安全，但我希望它们不是垃圾邮件发送者的奶酪。

我知道如果有人输入http://www.myurl.com/random_string，则可以下载那里的数据元素。这不是问题。我不想要用户确认或身份验证（除非这是客户端的行为。）只是在访问 URL 时将目录中的文件下载到 Web 客户端并在客户端知道如何处理的情况下进行处理。

问题

如果我的http://www.myserver.com/randomXYZ 在互联网上没有指向该 URL 的其他链接，蜘蛛如何找到它？我可以在静态 URL 中使用一些 Javascript 来执行此操作吗？有没有办法（我目前看不到）静态 URL 可以在一定程度上抵抗蜘蛛和机器人？

【问题讨论】：

标签： javascript android iphone dns qr-code

【解决方案1】：

我不能肯定地说这将保证您的文件不受蜘蛛的影响，但我建议您查看以下网站，该网站概述了目录权限的工作原理。

http://ag.arizona.edu/ecat/web/permissions.html

可以限制目录权限，以便必须通过服务器端请求访问文件，例如 (php) include、require。

当然，与任何网站一样，如果有人想从您的网站上获得某些东西并投入足够的时间，他们就会得到它。

【讨论】：

【解决方案2】：

您可以在链接中嵌入基本身份验证：

http://username:password@www.foo.com

【讨论】：