¿Eres un SearchBot?

Un bot es un programa robot instalado en algún lugar de Internet con alguna finalidad específica.

Por ejemplo, hay unos que se conectan a algún servidor con chat (IRC o red social) y escuchan lo que se comenta, y si detectan ciertas palabras, realizan alguna acción predeterminada.

También hay otros que recorren nuestros sitios cuando le pedimos a un servicio publicado que nos analice en búsqueda de errores de codificación o vulnerabilidades.

¿Qué es un SearchBot?

Un SearchBot, también conocido como web spider o crawler, es una variante que se dedica a navegar por Internet buscando páginas web que hayan sido publicadas recientemente, y las almacena para crear índices sobre su contenido, alimentando una base de datos que sirve como fuente para búsquedas. Un SearchBot descubre una nueva página porque alguien puso un enlace a ella en otro lado ya conocido.

Google, Bing y otros motores de búsqueda poseen un ejército de SearchBots escarbando bits por todos lados, dejando su marca cada vez que nos visitan.

¿Qué tan seguido nos visitan los SearchBot?

Dependiendo de la popularidad de nuestras páginas, lo cual está basado en la cantidad de enlaces externos que nos referencian, y en lo dinámico que sea el contenido, las visitas de un mismo bot pueden hacerse más frecuentes.

Esta página intenta verificar qué tan seguido vienen a este humilde sitio los bots de los buscadores, y para ello examina las cabeceras de los requerimientos solicitados en cada conexión, observando qué agente es el informado, aunque podría no ser real.

Por ejemplo, éstas son las cabeceras que estás informando ahora:

X_CC_ID = ccc04-02
HOST = www.vitoco.cl
USER_AGENT = CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
ACCEPT = text/html,application/xhtml+xml,text/xml;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
ACCEPT_LANGUAGE = en-us,en;q=0.5
ACCEPT_ENCODING = gzip
ACCEPT_CHARSET = ISO-8859-1,utf-8;q=0.7,*;q=0.7
CONNECTION = close
CACHE_CONTROL = no-cache
PRAGMA = no-cache

El campo USER_AGENT es el que informa qué tipo de agente (programa) es el que accede, incluyendo los navegadores (browsers). El agente es la marca que indica qué programa se está usando para navegar, y podría corresponder a un SearchBot. No siempre se informa el agente, pero para los sitios es útil saber con qué navegador tratan, de forma de alterar el contenido de las páginas para aprovechar características especiales de algunas versiones o corregir deficiencias de otras.

Acceso más reciente de un posible SearchBot

El agente que visitó esta página justo antes de ti fue Java/1.4.1_04 el día 2012-02-23 a las 02:38:11.

Resumen de visitas

El ránking de los agentes ordenados por su cantidad de accesos a esta página desde el día 2011-08-01 a las 17:40:33 es:

Visitas	Identificación del Bot (agente)	Primera	Última
211	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	2011-08-03 07:17:14	2012-02-22 11:40:33
54	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)	2011-08-03 11:08:25	2011-10-25 18:16:19
33	findlinks/2.0.2 (+http://wortschatz.uni-leipzig.de/findlinks/)	2011-08-24 01:36:23	2012-02-15 22:14:13
28	Mozilla/5.0 (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)	2011-08-10 11:39:51	2011-12-19 19:12:02
21	Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)	2011-08-03 14:23:59	2012-02-17 19:59:46
11	Mozilla/5.0 (compatible; MJ12bot/v1.4.1; http://www.majestic12.co.uk/bot.php?+)	2011-12-23 04:23:08	2012-02-07 08:57:34
9	Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)	2011-12-10 01:05:30	2012-02-16 01:55:54
9	Java/1.6.0_21	2011-12-22 14:31:57	2012-02-03 21:32:15
8	Java/1.4.1_04	2011-08-16 12:52:01	2012-02-23 02:38:11
5	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)	2011-09-29 08:56:47	2012-02-19 05:56:03
5	findlinks/2.0.1 (+http://wortschatz.uni-leipzig.de/findlinks/)	2011-10-28 13:57:21	2012-02-16 04:46:39
5	Mozilla/5.0 (Windows NT 6.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1	2011-10-02 15:04:15	2012-02-03 13:35:16
5	findlinks/2.0.4 (+http://wortschatz.uni-leipzig.de/findlinks/)	2011-09-14 04:27:02	2012-01-13 06:14:40
5	Mozilla/5.0 (Windows; U; Windows NT 6.1; es-CL; rv:1.9.2.18) Gecko/20110614 Firefox/3.6.18	2011-08-01 17:40:33	2011-08-21 11:39:22
4	Mozilla/5.0 (compatible; MJ12bot/v1.4.2; http://www.majestic12.co.uk/bot.php?+)	2012-02-14 04:49:28	2012-02-21 18:31:51
4	Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)	2012-01-28 17:06:11	2012-02-03 17:22:44
4	findlinks/2.1.5 (+http://wortschatz.uni-leipzig.de/findlinks/)	2011-11-08 14:01:01	2011-12-12 15:39:08
4	Java/1.6.0_27	2011-08-29 19:51:09	2011-10-28 03:16:51
3	Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)	2011-12-31 00:22:22	2012-02-22 15:06:50
3	Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	2011-08-07 00:26:53	2012-02-17 01:45:32
3	Mozilla/5.0 (compatible; WBSearchBot/1.1; +http://www.warebay.com/bot.html)	2011-12-12 00:44:03	2012-02-15 05:11:06
3	SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)	2011-08-07 09:40:01	2011-12-24 13:13:44
3	Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.8) Gecko/20100721 Firefox/3.6.8	2011-11-13 13:08:53	2011-12-01 11:59:12
3	DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)	2011-11-22 22:33:11	2011-11-27 22:43:50
3	Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/)	2011-08-27 13:17:43	2011-10-31 21:22:07
2	Mozilla/5.0 (compatible; SpiderLing (a SPIDER for LINGustic research); http://nlp.fi.muni.cz/projects/biwec/)	2011-12-20 19:52:14	2012-02-22 17:26:18
2	Mozilla/5.0 (compatible; SEOkicks-Robot +http://www.seokicks.de/robot.html)	2012-02-09 09:50:39	2012-02-22 06:36:46
2	Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7	2012-02-09 12:05:32	2012-02-12 11:59:05
2	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7	2012-02-03 17:46:24	2012-02-10 08:46:01
2	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7	2011-12-23 20:12:24	2011-12-30 19:20:50
2	Mozilla/5.0 (compatible; WebCopy/0.98b7; +http://www.inf.utfsm.cl/~vparada/webcopy.html)	2011-08-22 13:57:23	2011-12-06 00:00:52
2	findlinks/2.1.3 (+http://wortschatz.uni-leipzig.de/findlinks/)	2011-09-04 14:11:37	2011-10-27 22:33:42
2	User-Agent=Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1	2011-10-12 05:35:04	2011-10-16 13:47:10
2	Mozilla/5.0 (Windows; U; Windows NT 6.1; es-CL; rv:1.9.2.22) Gecko/20110902 Firefox/3.6.22	2011-09-14 15:35:34	2011-09-15 08:23:20
2	Mozilla/5.0 (Windows; U; Windows NT 6.1; es-CL; rv:1.9.2.20) Gecko/20110803 Firefox/3.6.20	2011-08-23 14:51:08	2011-08-30 10:45:13
2	Java/1.6.0_02	2011-08-24 21:15:01	2011-08-28 09:02:17
1	CCBot/1.0 (+http://www.commoncrawl.org/bot.html)	2012-02-23 04:39:35	2012-02-23 04:39:35
1	Opera/9.80 (Windows NT 5.1; U; en) Presto/2.10.229 Version/11.60	2012-02-21 04:15:08	2012-02-21 04:15:08
1	Mozilla/1.22 (compatible; MSIE 2.0d; Windows NT)	2012-02-16 21:52:15	2012-02-16 21:52:15
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts; .NET CLR 1.1.4322; PeoplePal 6.2)	2012-02-13 11:42:49	2012-02-13 11:42:49
1	Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.10.229 Version/11.61	2012-02-11 19:43:29	2012-02-11 19:43:29
1	Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)	2012-02-10 23:50:02	2012-02-10 23:50:02
1	Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7	2012-02-10 12:09:48	2012-02-10 12:09:48
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)	2012-02-09 23:01:26	2012-02-09 23:01:26
1	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)	2012-02-09 11:26:37	2012-02-09 11:26:37
1	Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0) Gecko/20100101 Firefox/10.0	2012-02-07 14:28:17	2012-02-07 14:28:17
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; Win 9x4.90)	2012-02-06 19:42:07	2012-02-06 19:42:07
1	Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.10.229 Version/11.61	2012-02-04 08:15:04	2012-02-04 08:15:04
1	Mozilla/5.0 (Windows NT 6.1; rv:5.0.1) Gecko/20100101 Firefox/5.0.1	2012-02-03 16:04:22	2012-02-03 16:04:22
1	Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)	2012-02-03 14:57:16	2012-02-03 14:57:16
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; KKman2.0)	2012-02-01 09:58:15	2012-02-01 09:58:15
1	Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.75 Safari/535.7	2012-01-23 09:45:39	2012-01-23 09:45:39
1	Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)	2012-01-22 07:15:54	2012-01-22 07:15:54
1	Mozilla/5.0 (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/)	2012-01-21 16:37:30	2012-01-21 16:37:30
1	Mozilla/4.0 (compatible; MSIE 7.0;Windows NT 5.1;.NET CLR 1.1.4322;.NET CLR 2.0.50727;.NET CLR 3.0.04506.30) Lightspeedsystems	2012-01-14 00:52:50	2012-01-14 00:52:50
1	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.75 Safari/535.7	2012-01-13 17:42:01	2012-01-13 17:42:01
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)	2012-01-05 12:09:55	2012-01-05 12:09:55
1	Java/1.6.0_17	2012-01-03 18:21:35	2012-01-03 18:21:35
1	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648)	2012-01-02 01:52:34	2012-01-02 01:52:34
1	Opera/9.80 (Android; Opera Mini/6.1.25577/26.1305; U; es) Presto/2.8.119 Version/10.54	2012-01-01 07:59:07	2012-01-01 07:59:07
1	Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7	2011-12-28 00:32:03	2011-12-28 00:32:03
1	Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)	2011-12-26 05:18:38	2011-12-26 05:18:38
1	Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7	2011-12-22 02:43:54	2011-12-22 02:43:54
1	Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2	2011-12-12 17:46:10	2011-12-12 17:46:10
1	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko)	2011-12-10 01:04:30	2011-12-10 01:04:30
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322; FDM)	2011-12-03 11:46:46	2011-12-03 11:46:46
1	Mozilla/5.0 (Windows; U; Windows NT 6.0; es-ES; rv:1.9.2.24) Gecko/20111103 Firefox/3.6.24	2011-11-29 17:20:14	2011-11-29 17:20:14
1	Java/1.6.0_06	2011-11-29 04:15:24	2011-11-29 04:15:24
1	Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)	2011-11-25 00:59:03	2011-11-25 00:59:03
1	Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.9.168 Version/11.51	2011-11-14 16:38:10	2011-11-14 16:38:10
1	Java/1.6.0_20	2011-11-13 20:01:40	2011-11-13 20:01:40
1	DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)	2011-11-08 18:04:14	2011-11-08 18:04:14
1	Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1	2011-11-02 11:59:37	2011-11-02 11:59:37
1	Java/1.6.0_10	2011-10-26 15:21:06	2011-10-26 15:21:06
1	Opera/9.80 (Android; Opera Mini/6.1.25577/26.1023; U; es) Presto/2.8.119 Version/10.54	2011-10-26 10:16:47	2011-10-26 10:16:47
1	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)	2011-10-26 00:49:04	2011-10-26 00:49:04
1	Mozilla/5.0 (compatible; NerdByNature.Bot; http://www.nerdbynature.net/bot)	2011-10-25 09:43:40	2011-10-25 09:43:40
1	Content Crawler	2011-10-17 12:32:33	2011-10-17 12:32:33
1	Mozilla/7.0 Firefox/7.0.1	2011-10-09 15:40:48	2011-10-09 15:40:48
1	Opera/9.80 (Android; Opera Mini/6.1.25577/26.958; U; es) Presto/2.8.119 Version/10.54	2011-10-06 23:05:42	2011-10-06 23:05:42
1	MLBot (www.metadatalabs.com/mlbot)	2011-10-05 06:45:04	2011-10-05 06:45:04
1	woobot/1.1	2011-09-29 07:54:39	2011-09-29 07:54:39
1	Mozilla/5.0 (Windows NT 6.1; rv:6.0.1) Gecko/20100101 Firefox/6.0.1	2011-09-05 13:18:34	2011-09-05 13:18:34
1	Java/1.6.0_26	2011-09-01 15:07:31	2011-09-01 15:07:31
1	LinkWalker/2.0	2011-08-26 08:11:02	2011-08-26 08:11:02
1	Java/1.6.0_04	2011-08-25 03:26:53	2011-08-25 03:26:53
1	Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/534.24 (KHTML, like Gecko; Google Web Preview) Chrome/11.0.696 Safari/534.24	2011-08-23 14:50:49	2011-08-23 14:50:49
1	Mozilla/5.0 (Windows NT 6.1; rv:5.0) Gecko/20100101 Firefox/5.0	2011-08-15 19:09:51	2011-08-15 19:09:51
1	Mozilla/4.0 (compatible; MSIE8.0; Windows NT 6.0) .NET CLR 2.0.50727)	2011-08-14 03:20:22	2011-08-14 03:20:22
1	Mozilla/5.0 (compatible; XML Sitemaps Generator; http://www.xml-sitemaps.com) Gecko XML-Sitemaps/1.0	2011-08-07 21:26:50	2011-08-07 21:26:50
1	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)	2011-08-06 01:31:31	2011-08-06 01:31:31
1	Mozilla/5.0 (compatible; SISTRIX Crawler; http://crawler.sistrix.net/)	2011-08-02 21:18:40	2011-08-02 21:18:40

NOTA: las 524 visitas consideran a las personas curiosas navegando por mi sitio.