Schon 1505 wird in der Vorstadt eine Schenkstatt erwähnt, bei der es sich wahrscheinlich um den so genannten Ochsenhof an der Stelle der heutigen Schwanenwirtschaft handelt. In den Zeiten, da noch am Abend die Stadttore verschlossen waren, war es für Reisende von großem Nutzen, wenn noch eine Herbergsstätte vor den Toren der Stadt vorhanden war. Der Ochsenhof, bzw. die Herberge hatte noch 1617 bestanden. Er scheint während des 30jährigen Krieges verbrannt und denn verfallen zu sein.
1702 erlaubt der Bamberger Bischof Lothar Franz von Schönborn dem Zeiler Kastner Johann Rudolph Moser, auf der Ochsenhofstatt zwischen Friedhof und Stadttor, die sehr lange öde gelegen hatte, ein Haus zu bauen. Es sollte noch einen "bequemen Keller" erhalten, damit das Haus einmal "zu einem sauberen Wirtshaus gebraucht werden könne. Auch bekam der Bauherr - gegen den Widerstand des Zeiler Rats - das Brau- und Schenkrecht verliehen, damit diese Gaststätte – nach dem Willen des Bischofs - einmal "zur Zierde des Städtleins" gereichen werde. Moser musste versprechen, dass er, so lange er Beamter in Zeil ist, keine Gastwirtschaft betreiben dürfe. Moser ist übrigens mit seiner Familie in einem gemauerten Grab in der Pfarrkirche beerdigt worden.
Bis etwa 1870 führte die Ortsdurchgangsstraße durch die Stadt über die Langgasse am Unteren Tor entlang der heutigen Friedhofstraße vorbei. Insofern war die Schwane an einem recht günstigen Standort, der nach der Umleitung des Verkehrs durch die heutige Bamberger Straße verloren ging. Der Untere Turm an der Ecke Judenstraße ist 1829 eingelegt worden. Die Steine hat man zum Ausbau der Friedhofstraße verwendet, die früher eher einem Hohlweg geglichen hat.
In den Häuserverzeichnissen des Jahres 1805 wird auf der Schwanenwirtschaft Gastwirt Nikolaus Grau, Sohn (?) des Bürgermeisters Sebastian Grau erwähnt. Er ist 1820 auch als Zunftmeister der Brauer genannt worden. 1826 wird das den Nicolaus Grauischen Eheleuten gehöriges Gast- und Brauhaus zum Verstrich angeboten. Es wird wie folgt beschreiben: "Das Gebäude ist 2-stöckig, der untere Stock ist von Steinen, der obere vorne ebenfalls von Steinen, rückwärts aber von Holz erbaut, hat im untern Stock eine große Stube und Nebenkammer, Küche, großen Vorplatz, Schenkkammer, im oberen Stock drei ineinander gehende Zimmer auf die Straße heraus, und noch ein Zimmer rückwärts, geräumige Böden und Keller, eine große Hofreith mit doppelter Einfahrt, Scheuern, Stallung, Brauhaus und Holzhalle, dann ein Hausgärtchen."
1828 erscheint ein Michael Gräb, der die "Schwane dann 1836 an Michael Jung aus Neuhausen verkaufte. 1839 erhielt das Gasthaus die Conzession für die erste Weinschenke in Zeil. Von 1844 an, betreibt die "Schwane" der Gastwirt und Brauer Michael Kraus. Diese Familie hatte viele Jahrzehnte lang Gasthäuser im Besitz. Der Gastwirt Andreas Popp – der offenbar Besitzer war - verkaufte die Gaststätte 1852 an Michael Kraus. Zur Befriedigung ihrer Gläubiger musste 1859 die Witwe Kraus das Gasthaus versteigern lassen. Zu dieser Zeit erwog die Stadtverwaltung, dieses Haus zu erwerben, um im Rahmen der sog. Hofmann' schen Armenstiftung ein Krankenhospital in diesem Gebäude zu betreiben. Die vermögende Messerschmidts-Tochter Elisabetha Hofmann hatte um 1855 eine gut dotierte Stiftung erlassen zum Wohle der Armen und Kranken der Stadt. Als einzige Gegenleistung verlangte sie lediglich, dass die Insassen zu bestimmten Zeiten für die edle Stifterin beten. Als Kaufsumme wurden 3.000 Gulden genannt. Durch den Weiterverkauf der Braugebäude und der Requisiten erhoffte die Stadt 1.850 Gulden zu erlösen. Als vorteilhaft wurde erkannt, dass das Objekt nahe der Kreuzkapelle in sonniger Lage steht. Man dachte dabei an die Auflage, dass die Insassen an Gebete und Gottesdiensten teilzunehmen haben. Das kgl. Landgericht hatte jedoch die Genehmigung zur Errichtung einer Krankenanstalt verweigert und stattdessen eine solche als Distriktskrankenhaus in Eltmann errichten lassen. Die Gebete verrichteten die Insassen des Armenspitals im Haus. Der kleine Vorbau auf die Bundesstraße zu soll als kleiner Altar benutzt worden sein.
1861 wird das Anwesen von Ludwig Lesch erworben, dem einstigen Wirt des Gasthauses "Weißes Lamm" neben dem Pfarrhaus am Marktplatz. 1886 zog Georg Wolf als neuer Besitzer ein, der bis zur Veräußerung an Karl Amrhein im Jahre 1911 noch Bier gebraut hat. Amrhein, der von Rotenfels kam, tat sich besonders als Förderer des Fremdenverkehrs hervor und ließ vor dem 1. Weltkrieg die "Schwane" zum "bestrenommiertem Lokal" werden. Bereits 1912 ließ der rührige Amrhein einen Tanzsaal bauen. Häufig hielt er im Schatten der Kastanienbäume vor der Wirtschaft Gartenfeste ab.
Sommerfrischler, wie die Urlauber damals geheißen wurden, kamen besonders aus dem Sächsischen, nachdem Amrhein auch noch Fremdenzimmer einbauen ließ. In einem Gutachten wird dem Besitzer versichert, dass er mit einer treuen und festen Kundschaft rechnen könne, obwohl – was auch heute noch Gültigkeit hat – kein Durchgangsverkehr zu Buche schlägt, da die Wirtschaft abseits der Verkehrsstraße liegt. 1923 soll im "Schwanensaal" anlässlich einer NSDAP-Veranstaltung der berüchtigte Gauführer Julius Streicher aus Nürnberg gesprochen haben. Streicher wurde während des 3. Reiches berühmt durch sein von ihm herausgegebenes Hetzblatt "Der Stürmer".