¿Cómo funciona el web crawling? 

Los motores de búsqueda encuentran la información utilizando un robot o web crawler que básicamente lo que hace es entrar en una página web recoger algunos datos, identificar los enlaces en la página web y finalmente seguir estos enlaces como haría un usuario para repetir el proceso una y otra vez. De esta forma el web crawler va saltando de un link a otro y navegando por distintas páginas de las que va recopilando datos y con las que alimentar su base de datos. Esta es la manera en la que un buscador encuentra la información. Después llega el momento de indexar la información. 

¿Cómo se indexa la información? 

Una vez que el robot o spider, también conocido como web crawler , encuentra la información, se crea un índice (index en inglés) con la información esencial de la página web que se almacena en su base de datos y que únicamente será mostrado a cuando realicemos una búsqueda en el motor. En relación a la calidad de los resultados mostrados por el buscador dependerá por supuesto el tipo de petición que se haga y por supuesto elegir el motor de búsqueda más apropiado para cada ocasión, del algoritmo básicamente. Entre mejor o peor sea el algoritmo dependerá también la calidad de los resultados mostrados por el buscador. De ahí que sea la parte más importante de los motores de búsqueda.

¿Qué es un motor de búsqueda?

• Básicamente un motor de búsqueda es un software o programa que localiza contenidos en Internet de una forma rápida y muy eficiente para luego, en función de tus peticiones de búsqueda, presentarnos los resultados que ha almacenado previamente en su base de datos o índice. La clave está en cómo construyen su base de datos y la categorizan después los resultados que van a mostrar a sus usuarios. Un ejemplo muy concreto de alguno de los buscadores conocido y que hayas utilizado son: Google , Bing , Yahoo! y tal vez Ask ..

El corazón de todo motor de búsqueda es sin duda el algoritmo que dirige al robot o spider y después categoriza la información que se mostrará tras las peticiones de los usuarios. Estos algoritmos son realmente complejos y su composición como funcionamiento depende directamente de sus desarrolladores.  Sin embargo, el algoritmo no sirve si el buscador no cumple con otras dos funciones: 
 

1. Recoger la información usando técnicas de web crawling
2. Almacenar e indexar la información

Los motores crean listados de páginas web utilizando sus spiders o robots a través de técnicas de web crawling y después organizan la información encontrada, creando índices de los contenidos en la web.

¿Qué son los motores de búsqueda?

Los motores de búsqueda pueden devolver resultados rápidamente, incluso con millones de sitios web en línea, escaneando Internet continuamente e indexando cada página que encuentran.

Cuando un usuario ingresa un término de búsqueda, el motor de búsqueda mira los títulos de la página del sitio web, el contenido y las palabras clave que ha indexado y usa algoritmos (operaciones paso a paso) para producir una lista de sitios, con los sitios web más relevantes en la parte superior. de la lista.

Las empresas utilizan la optimización de motores de búsqueda (SEO) para ayudar a los motores de búsqueda a reconocer sus sitios web como altamente relevantes para búsquedas particulares. Los motores de búsqueda populares incluyen Google, Bing y Yahoo. Los motores de búsqueda son aplicaciones muy complejas que se actualizan constantemente.

Los motores de búsqueda tienen dos funciones principales, que hurgan la red y la construcción de índices, con esto te proporcionan respuestas mediante un cálculo de relevancia y así mostrarte resultados óptimos. En Posicionamiento MX hemos hablado en muchas ocasiones sobre búsquedas y buscadores de internet . Por esto nos llevó a la pregunta.

¿Qué son motores de búsqueda en facebook?

Esta herramienta es en realidad un motor de búsqueda que puede indexar toda la información en Facebook, desde las fotos que publica hasta el contenido que le gusta. Filtre esta información a contenido compartido con usted (por personas de su propiedad en Facebook) o contenido público (por personas que publican contenido como "público").

Como la herramienta está programada para indexar más y más contenido en Facebook, y eventualmente incluso contenido que nos gusta en otros sitios, En Facebook se puede comenzar a responder las búsquedas que estamos haciendo actualmente en Google y Bing. Por ahora, esto todavía tiene un largo camino por recorrer, y es una gran afirmación.

¿Qué son motores de búsqueda en internet?

Los motores de búsqueda de Internet son sitios especiales en la Web diseñados para ayudar a las personas a encontrar información almacenada en otros sitios. Los diferentes motores de búsqueda funcionan de manera diferente.

El primer motor de búsqueda tiene un índice de cientos de miles de páginas y documentos, y puede recibir mil o dos mil consultas cada día. Hoy en día, los principales motores de búsqueda indexan cientos de millones de páginas y responden a decenas de millones de consultas todos los días.

¿Qué son motores de búsqueda especializados?

Los motores de búsqueda especializados son una herramienta más para incluir en su arsenal de SEO. A diferencia de los motores de búsqueda de propósito general, los motores de búsqueda especializados indexan páginas solo para temas particulares y, muy a menudo, hay muchas páginas que no se pueden encontrar en los motores de búsqueda de propósito general, sino solo en los especializados. Algunos de los motores de búsqueda especializados son sitios enormes que en realidad albergan los recursos a los que se vinculan, o que solían ser directorios de búsqueda, pero han evolucionado para incluir enlaces no solo a los sitios que se les enviaron.

Hay muchos motores de búsqueda especializados para cada tema imaginable y siempre es aconsejable estar al tanto de los motores de búsqueda especializados para su nicho. Los ejemplos de la siguiente sección no son de ninguna manera una lista completa de motores de búsqueda especializados, pero están destinados a darle una idea de lo que está disponible. Si busca más en la Web,

¿Por qué son importantes los motores de búsqueda?

Los motores de búsqueda son importantes porque determinan cada vez más la información sobre marcas, productos y servicios a los que los clientes acceden en línea. Ser fácil de encontrar en Google, Yahoo y MSN es ahora una necesidad de marketing tan importante como tener una fuerte presencia en los medios impresos y de radiodifusión o un programa de marketing directo tradicional eficaz. Y a medida que los consumidores y las organizaciones dependan cada vez más de los motores de búsqueda para encontrar los bienes, servicios y proveedores que necesitan, la importancia de los motores de búsqueda para las empresas modernas solo aumentará.

¿Para qué sirve un motor de búsqueda?

Un motor de búsqueda es un servicio que permite a los usuarios de Internet buscar contenido a través de la World Wide Web (WWW). Un usuario ingresa palabras clave o frases clave en un motor de búsqueda y recibe una lista de resultados de contenido web en forma de sitios web, imágenes, videos u otros datos en línea que coinciden semánticamente con la consulta de búsqueda.

La lista de contenido devuelto a través de un motor de búsqueda a un usuario se conoce como página de resultados del motor de búsqueda (SERP) .

¿Cómo funciona un motor de búsqueda?

Y no es que exista algún “secreto” en el funcionamiento pero nos dará un panorama basto de comprender mejor de cuáles son estas estas herramientas y que podemos esperas de ellas.

Simplificando el concepto introductorio, un motor de búsqueda consta de cuatro partes básicas:

• Un interfaz para el usuario para hacer peticiones de búsqueda
• Un robot o spider que busca la información en Internet
• Un algoritmo que conecta las peticiones de los usuarios con la base de datos
• Y una base de datos donde se han indexado todos los contenidos

¿Quién usa el motor de búsqueda?

Generalmente, las personas utilizan los motores de búsqueda para una de estas tres cosas: investigación, compras o entretenimiento. Es posible que alguien esté investigando para restaurar su automóvil clásico. O buscando un lugar que venda repuestos para autos clásicos. O simplemente busca matar el tiempo con un video que muestre carreras de autos personalizados.

Los motores de búsqueda se sienten naturalmente atraídos por los sitios orientados a la investigación y, por lo general, los consideran más relevantes que los sitios orientados a las compras, razón por la cual, muchas veces, la lista más alta para la consulta promedio es una página de Wikipedia. Wikipedia es un sitio de referencia en línea de código abierto que tiene una gran cantidad de información que se puede buscar, estrechamente entrelazada con millones de enlaces hacia atrás. Wikipedia está prácticamente garantizado para tener una lista alta solo por la solidez de la arquitectura de su sitio. Wikipedia es un proyecto de código abierto, por lo que la información debe tomarse con un grano de sal, ya que no hay garantía de precisión. Esto le lleva a una lección importante de los motores de búsqueda: ellos basan la "autoridad" en la experiencia percibida. La exactitud de la información no es uno de sus criterios: la notabilidad sí lo es.

¿Qué motor de búsqueda es mejor?

No hay un motor de búsqueda que sea mejor que todos los demás. Mucha gente podría argumentar que el motor de búsqueda de Google es el mejor y es el más popular y conocido. Es tan popular que la gente lo usa a menudo como un verbo cuando le dice a alguien que busque su pregunta.

El motor de búsqueda Bing de Microsoft también es popular y utilizado por muchas personas. Bing hace un excelente trabajo al buscar información y responder preguntas. Bing también es lo que impulsa la búsqueda en Windows 10 y el motor de búsqueda de Yahoo .

Los usuarios preocupados por la privacidad, disfrutan usando Duck Duck Go . Este motor de búsqueda hace que sus usuarios sean anónimos y es una excelente solución para los usuarios preocupados por la cantidad de información que Google y Bing recopilan sobre sus usuarios.

Motor de búsqueda de Google

Google es un buscador completamente automatizado que utiliza programas de software denominados rastreadores web para explorar la Web periódicamente en busca de sitios que pueda añadir a su índice. De hecho, la mayoría de los sitios que se muestran en los resultados de la Búsqueda no se envían manualmente, sino que se encuentran y se añaden automáticamente cuando rastreamos la Web. El próximo trabajo de Google es descubrir cómo hacer coincidir y mostrar mejor la información en su base de datos cuando alguien escribe una consulta de búsqueda . Sin embargo, la escala se convierte en un problema. Google procesa más de 3.500 millones de búsquedas al día y ese número aumenta cada año.

Motor de búsqueda de Bing

El motor de búsqueda es propiedad y está operado por Microsoft y es la última versión de motores anteriores como MSN Search, Windows Live Search y Live Search. Presentado por el ex director ejecutivo de Microsoft, Steve Ballmer, en 2009, el motor de búsqueda es actualmente el segundo motor de búsqueda más grande de EE. UU., Detrás de la importante participación de mercado de Google.
Bing tiene una amplia gama de funciones, desde filtros avanzados que permiten a los usuarios refinar los resultados de búsqueda, hasta búsquedas de imágenes y videos. Su función de respuestas instantáneas abarca deportes, finanzas, diccionario, cálculos y seguimiento de vuelos. Traducción y conversión de unidades, entre otros.

Motor de búsqueda de Tor

El motor de búsqueda TOR es básicamente una forma de buscar en la red TOR, incluidas la mayoría de las webs oscuras o webs oscuras. Pero para comprender qué es el motor de búsqueda TOR, primero debe tener un conocimiento básico de la red y el navegador TOR. También debe comprender cómo funcionan juntos para proporcionar una navegación anónima y privada de Internet. Los sitios TOR son fáciles de identificar porque terminan con ".onion" en la URL y no se puede acceder a ellos con navegadores normales. La red TOR incluye su propio navegador TOR para que pueda acceder a estos sitios .onion. También le permite ver TOR, la mayoría de las webs oscuras de forma anónima y privada, así como la Internet "normal" (la llamamos web abierta). Los usuarios de la red abierta pueden utilizar TOR para evitar que los proveedores de servicios de Internet (ISP) y los anunciantes recopilen datos sobre sus actividades en línea.

Motor de búsqueda de Yandex

Yandex es el motor de búsqueda más utilizado en Rusia y el quinto motor de búsqueda más popular del mundo. Posee acciones que cotizan en el Nasdaq y tiene un valor de mercado de más de 14 mil millones de dólares estadounidenses. Sin embargo, según los expertos en ciberdelincuencia, el sitio aún no ha implementado los controles utilizados por otros motores de búsqueda importantes, que reducen la accesibilidad de las imágenes que representan el abuso sexual infantil. Dicen que, por lo tanto, Yandex se ha convertido en un importante medio de difusión de pornografía infantil en línea, e incluso proporciona un camino fácil de usar a los rincones más oscuros de Internet. El papel de la empresa en la difusión de imágenes ilegales en todo el mundo parece ser en gran parte una consecuencia involuntaria de las políticas del gobierno ruso.

Motor de búsqueda de Firefox

Firefox es un navegador web más pequeño y rápido que el navegador Mozilla y, en algunos aspectos, más seguro que el navegador Mozilla del que se originó la mayor parte de su código. Comparado con Internet Explorer, el navegador web más popular, Firefox ofrece a los usuarios una interfaz más simple y velocidades de descarga más rápidas. En noviembre de 2008, la participación de Firefox en el mercado mundial de navegadores era aproximadamente del 20%. Internet Explorer tiene alrededor del 70%.

Desde entonces, muchas de estas características han sido adoptadas por otros navegadores, aunque la gran base de desarrolladores de Firefox continúa creando nuevos complementos para brindar mayor usabilidad y funcionalidad. Debido a que los controles de secuencia de comandos como Java y ActiveX se pueden deseleccionar fácilmente durante el proceso de instalación, es posible mejorar la seguridad.

Motor de búsqueda de Safari

El navegador web Safari es el navegador predeterminado para iPhone, iPad y macOS. Fue lanzado por primera vez por Apple en 2003 y estuvo disponible brevemente en Windows de 2007 a 2012. La popularidad del navegador Safari se ha disparado con la llegada del iPhone y el iPad, y actualmente existe alrededor del 54% del mercado de navegadores móviles de EE. UU. En la mayoría de los casos, Safari es como cualquier otro navegador popular. Los usuarios pueden navegar por sitios web, agregar marcadores y abrir varios sitios web en las pestañas. Safari es compatible con el motor WebKit y es uno de los primeros navegadores web que admite el nuevo estándar HTML 5. También es uno de los primeros navegadores en deshabilitar la compatibilidad con Adobe Flash de forma predeterminada, y la versión móvil de Safari nunca es compatible con Flash.

Safari en Mac OS se encuentra actualmente en la versión 11.1, que incluye una actualización a Intelligent Tracking Prevention. Esta función ayuda a evitar que un sitio web específico rastree las páginas navegadas en otros sitios web, un proceso llamado 'seguimiento entre sitios'. Safari en iOS comparte su versión con la versión de iOS, que actualmente se encuentra en la 12.1.

Motor de búsqueda de Internet Explorer

Internet Explorer (IE) es un navegador World Wide Web que viene incluido con el sistema operativo ( SO ) Microsoft Windows . El navegador quedó obsoleto en Windows 10 a favor del nuevo navegador Edge de Microsoft. Sigue siendo parte del sistema operativo aunque ya no es el navegador predeterminado.

En agosto de 2016, Internet Explorer era el segundo navegador web más utilizado en los sistemas operativos de escritorio, con el 29,6% del mercado, en comparación con el 50,9% del navegador Google Chrome , según NetMarketShare. IE fue el navegador más popular desde 1999, cuando superó a Netscape Navigator, hasta 2012, cuando Chrome tomó la delantera. Otros competidores incluyen Mozilla Firefox , un navegador de código abierto desarrollado usando el código de Netscape Navigator y Safari de Apple .

Motor de búsqueda de Chrome

Google Chrome es un navegador web gratuito desarrollado por Google, que se utiliza para acceder a páginas web en Internet. En mayo de 2020 , es el navegador web más popular en todo el mundo, con más del 60% de la cuota de mercado de los navegadores web. Google Chrome también es un navegador multiplataforma, lo que significa que hay versiones que funcionan en diferentes computadoras, dispositivos móviles y sistemas operativos. Según Statista , Google Chrome para Android es la versión más utilizada, con más del 32% de la cuota de mercado global de navegadores web en febrero de 2020.

Al igual que otros navegadores web, Google Chrome incluye funciones básicas del navegador como un botón de retroceso, botón de avance, botón de actualización, historial, marcadores, barra de herramientas y configuración. También al igual que otros navegadores, Chrome incluye un modo de incógnito , que le permite navegar de forma privada sin tener su historial , cookies o datos del sitio rastreados. También incluye una amplia biblioteca de complementos y extensiones.

Motor de búsqueda de Citrio

Citrio es un navegador web limpio y rápido con muchas funciones adicionales. Verá que este navegador es similar a Google Chrome, pero Citrio ha superado muchas de las deficiencias de Google Chrome. Tiene un administrador de descargas potente e inteligente que puede detectar y resolver descargas relacionadas con torrent. Por lo tanto, cuando usa este navegador, no necesita un cliente torrent adicional para completar la descarga, por lo que si está buscando un navegador de descarga inteligente, este navegador puede ser una buena opción.

Motor de búsqueda de Edge

En otras palabras, Internet Explorer, el antiguo navegador de Internet insignia de Microsoft, existe desde hace años y a pocas personas les gusta. Esa es una gran razón por la que en 2015 Microsoft lanzó Edge , su nuevo y mejorado navegador. Microsoft ha hecho un gran esfuerzo con Edge para mejorar la experiencia de navegación y ha valido la pena. Microsoft Edge tiene suficientes características y beneficios que en realidad es una alternativa real a los navegadores más populares como Chrome o Firefox.

Si se registra para obtener una cuenta gratuita de Microsoft, puede sincronizar sus marcadores, historial, contraseñas y más. Esto significa que si usa Edge en una computadora diferente, tendrá todos sus datos de navegación disponibles en unos momentos.

Motor de búsqueda de Midori

"Midori" es la palabra japonesa para verde. Ese nombre en realidad no tiene ningún significado para el navegador web , aparte del logotipo que es una pata de gato verde. Dejando a un lado el nombre, Midori es un navegador web minimalista que se enfoca en ser liviano al reducir la cantidad de funciones. En otras palabras, es fácil de usar (con algunas advertencias) y genera sitios web muy rápidamente. Como era de esperar, el conjunto de funciones de Midori es bastante básico. Sin embargo, eso no significa que carezca de las funciones básicas a las que los usuarios pueden estar acostumbrados. 

Aunque Midori se lanzó originalmente a finales de 2007, todavía se considera software beta. Para hacer las cosas un poco más confusas, la única forma de instalar Midori en muchas distribuciones de Linux es a través de un paquete instantáneo, y eso aporta un cierto nivel de inestabilidad a la aplicación. Por lo tanto, la perspectiva de utilizar Midori conlleva el entendimiento de que es posible que algunas características no funcionen.

Motor de búsqueda de Opera

Opera ofrece un navegador web limpio y moderno que es una alternativa a los otros proveedores importantes. Si no está satisfecho con su navegador actual, considere Opera como una opción viable. Opera proporciona su software de navegación de forma gratuita y está disponible en casi cualquier dispositivo. El navegador Opera le permite acceder a la web desde su PC, Mac o dispositivo móvil. Hay algunas opciones diferentes para aprovechar al máximo su experiencia en Internet. Dependiendo de su dispositivo y sus necesidades, es posible que desee considerar qué versión del navegador de Opera funcionará mejor para usted.

Una vez que haya decidido qué navegador es el adecuado para usted, deberá descargarlo en su dispositivo. Simplemente navegue al sitio web de Opera para descargar un navegador para una computadora o un dispositivo móvil .

Ejemplos de motores de búsqueda:

Google

Google es un motor de búsqueda totalmente automatizado que utiliza programas de software llamados rastreadores web para escanear periódicamente la web en busca de sitios que se puedan agregar a su índice. De hecho, la mayoría de los sitios que aparecen en los resultados de búsqueda no se envían manualmente, sino que se encuentran y agregan automáticamente cuando los rastreamos.

Yahoo

Yahoo es uno de los motores de búsqueda más conocidos del mundo después de Google. Yahoo es una empresa estadounidense. Se lanzó por primera vez en la década de 1990. Yahoo ofrece a sus usuarios varias otras facilidades además de la plataforma de los motores de búsqueda. Yahoo ofrece Yahoo Mail, Yahoo News, Yahoo Dictionary, Yahoo Maps y muchos más servicios.

Bing

Bing es un motor de búsqueda creado y operado por Microsoft, que reemplaza sus ofertas anteriores de Live Search, Windows Live Search y MSN Search. El CEO de Microsoft, Steve Ballmer, reveló el motor de búsqueda en mayo de 2009. Bing estaba en pleno funcionamiento en junio de 2009. Bing tiene en cuenta más de 1000 señales para ordenar sitios web en las páginas de resultados de los motores de búsqueda ( SERP ).

Baidu

Baidu es el motor de búsqueda líder en China; puede considerarlo como el Google de China. Y aunque Google tiene presencia global y los usuarios chinos pueden acceder a él (hasta cierto punto), Baidu es el motor de búsqueda preferido allí.  Para los usuarios de EE. UU. Y los hablantes de inglés, deben saber esto: si bien Baidu se cargará en mandarín al principio, puede cambiar fácilmente su configuración para navegar en inglés.  Cuando vaya a Baidu, o cualquier sitio que no esté en un idioma que lea, debería obtener una ventana emergente para traducirlo. Si no lo hace, o si lo descarta accidentalmente, haga clic en el ícono de Páginas en la barra de direcciones. Al hacer clic en eso, podrás elegir tu idioma, que traducirá la página.

Ask

Preguntar es el nombre común del motor de búsqueda Ask.com , que permite a los usuarios realizar una búsqueda en forma de pregunta para encontrar resultados relevantes. Ask.com (originalmente Ask Jeeves ) se inició en 1996 por Garret Gruener y David Warthen . Consideraron que los usuarios se acercan a una búsqueda haciendo una pregunta, en lugar de buscar una sola palabra o varias. El sitio es popular entre los usuarios de Internet, a pesar de la competencia de otros motores de búsqueda como Google , Bing y Yahoo! .

DuckDuckGo

Aunque la mayoría de la gente tiende a usar Google para búsquedas en la web, DuckDuckGo es un motor de búsqueda alternativo que es favorecido por los usuarios que desean preservar su privacidad en línea. Google y otras herramientas de búsqueda comunes (como Bing y Yahoo, por ejemplo) capturan mucha información sobre usted cuando realiza una búsqueda. Gran parte de esta información se proporciona a los anunciantes o se transmite a otros sitios web. DuckDuckGo, sin embargo, tiene una política de no rastrear a sus usuarios; no recopila información personal, no usa cookies ni captura la dirección IP de su computadora.

AOL Search

Para los clientes de AOL, no es necesario salirse de la función de búsqueda de AOL para obtener resultados de Google porque utiliza el índice basado en rastreadores de Google para proporcionar resultados similares y, en algunos aspectos, mejores. Los clientes no solo obtienen resultados de búsqueda de la Web en general, sino también de la enorme biblioteca de contenido de AOL. Eso le da la capacidad de dos búsquedas en una: AOL y Google . El punto de acceso externo de AOL Search no proporciona enlaces a contenido interno y se proporciona principalmente para extender la marca AOL y, con suerte, firmar a algunos visitantes como clientes.

Otra cosa a tener en cuenta para los clientes de AOL es que, si bien AOL Search ofrece resultados basados ​​en Google, no proporciona acceso a otros elementos de Google, como páginas web almacenadas en caché.

Yandex

El motor de búsqueda Yandex responde a las consultas de los usuarios con documentos web relevantes que encuentra en Internet. Sin embargo, el tamaño de Internet se calcula actualmente en términos de exabytes: quintillones, o miles de millones de miles de millones, de bytes de información. No hace falta decir que Yandex Search no rastrea esta enorme pila de datos cada vez que responde a una nueva consulta de búsqueda. El sistema, por así decirlo, hace su tarea. Un motor de búsqueda web funciona en dos etapas. Primero, rastrea la web, guardando su 'copia' en sus servidores. En segundo lugar, responde a la consulta de búsqueda de un usuario recuperando una respuesta de sus servidores.

Motores De Búsqueda [Vídeo]