Se sabe que en el siglo XVI, la Hermandad, que ya existía, encargó realizar una imagen de la Virgen del Rosario. Está Imagenio es de candelero, con rostro bello y sereno y que sostiene en su mano izquierda al Niño Jesús.

La Santísima Virgen ha sido restaurada en varias ocasiones: En el año de 1856, en el año de 1943, retocándole la cara y en el año de 1950, cuando fue restaurada por el escultor Ribera. Entre los años de 1987 y 1989 las imágenes de la Virgen y el Niño son restaurados por el reputado profesor Juan Manuel Miñarro López.

Se sabe que, por estilo y proporción, las manos lo son las originales de la imagen, así como el cuerpo aparecía desproporcionado y la cabeza una al cuerpo de manera extraña

La policromía que tenía no era la original. Se pudo demostrar ya que la pasta que rodeaba sus ojos, la policromía era la misma que la del resto de la cara, no presentando repuntes, que hubieran apuntado a lo contrario. Está policromía es, probablemente del siglo XVII, en que la imagen, como otras tantas, debió ser adaptada a la moda de la época, de tal manera que se pensaba que la imagen era de este siglo.

Posee la imagen ojos de cristal que, naturalmente, no son de la época original. Es más que probable que la Virgen tuviera los ojos talados, y eso se puede asegurar, por que los ojos de cristal fueron colocados desde fuera, ya que ni los párpados ni la órbita presentan la madera original, sino una pasta de estuvo que se colocó sobre la cuenca ocular, una vez que éste fue puesto en el hueco vacío.

Ha sido con esta última restauración del profesor Miñarro, con la que la imagen ha vuelto a recuperar gran parte de su estado primitivo, resaltando la encarnadura, similar a la que el Niño Jesús posee.

No se puede documentar, de manera fidedigna, el origen de la devoción a la Virgen del Rosario de la Villa de Rota. Lo que si se sabe es que el 28 de enero del año de 1653, el Rvdo. Padre Fray Francisco de San Lorenzo, Comendador del Convento de Mercedarios Descalzos de la Villa, solicitó al Ayuntamiento que se nombrase Patrón de Rota a san Pedro Nolasco, acordándose en Cabildo acceder a tal petición, nombrándolo en segundo lugar, después del patronato de la Nuestra Señora del Rosario, que ya en aquella fecha era consideraba patrona desde “tiempo inmemorial”

El documento más antiguo que hace referencia a la existencia de una Cofradía con el título del Rosario, es del año de 1671, en el que consta que Doña Juana Izquierdo comenzara a construir una capilla para Nuestra Señora del Rosario. Así mismo dejaba en su testamento sus bienes en favor de la Cofradía del Rosario, para que se siguiera con la obra de la capilla.

Entre los años de 1751 y 1810, se mantuvo la costumbre de sacar, a la puerta de la iglesia a la Virgen, ante la grave calamidad que afectaba a la Villa. Se suspendió en el año de 1810, por motivo de la invasión francesa, sacando el estandarte de la Cofradía escoltado por faroles. Esto se mantuvo durante bastantes años, hasta que desapareció entre los años de 1885 y 1894, debido al enfriamiento de la religiosidad y a las turbulencias políticas del país, motivando que las fiestas del Rosario, casi desaparecieran.

En el año de 1755, el maremoto de Lisboa derrumbó la capilla de la Virgen, lo que hizo que en el año de 1758 comenzarán las obras para levantarla de nuevo.

El 13 de septiembre de 1805, el rey Carlos IV, aprueba la separación de la Hermandad filial de Cádiz, constituyendo sus propias Reglas, por lo que la Hermandad ostenta el título de Real y Antiquísima. El ayuntamiento reitera el nombramiento de la Virgen del Rosario cómo patrona de Rota, que lo era desde tiempo inmemorial, de igual manera se acordó, como era tráfico, que el ayuntamiento asistiera a la Función que se celebraba anualmente en Honor a su Patrona.

En el año de 1883, la Banda de Música Municipal acompaña por vez primera a Nuestra Señora del Rosario, en su salida procesional anual del mes de octubre.

En el año de 1936, se lleva a cabo la reorganización de la Cofradía, siendo desde entonces cuando toma un mayor reconocimiento entre los cofrades. Desde entonces se puede hablar del resurgir de la Hermandad del Rosario.

El 4 de mayo de 1947, con motivo de la Coronación Canónica de Nuestra Señora del Rosario, Patrona de Cádiz, la Virgen del Rosario de Rota viaja en barco hasta la capital.

El 10 de enero del año de 1951, el ayuntamiento de la Villa acordó, en sesión plenaria, nombrar a la Patrona Alcaldesa Honoraria, encabezando la Corporación Municipal la suscripción pública del bastón y medalla, como atributos del cargo que en adelante ostentaría la Virgen. El 11 de agosto de ese mismo año, se celebró la solemne entrega del bastón de mando de Alcaldesa. El 19 de agosto la Patrona de Cádiz visitó Rota.

En el año de 1959, el Ayuntamiento acuerda, en sesión pelnaria, poner el rosario en el escudo de la ciudad.

El 10 de agosto de 1972, el ayuntamiento concede a la Virgen del Rosario la medalla de oro de la Villa.

El 25 de marzo de 2003, el obispo de Asidonia-Jerez, Don Juan del Río Martín concedió, mediante Decreto, la Coronación Canónica a la Sagrada Imagen de Nuestra Señora del Rosario. La misma tuvo lugar el 7 de octubre de 2003, festividad de Nuestra Señora del Rosario, fiesta local en la Villa y último día del Año del Santo Rosario, proclamado por su Santidad, el Papa san Juan Pablo II.