Chelsea belegt in England Platz 5 der durchschnittlichen Besucherzahlen, es kommen regelmäßig mehr als 40.000 Fans zu den Heimspielen. Die Zuschauer kommen zumeist aus den Arbeitervierteln Hammersmith und Battersea sowie aus den wohlhabenderen Gegenden in Chelsea und Kensington. Der Club selbst beziffert die Zahl der Anhänger im Vereinigten Königreich auf etwa vier Millionen.

Neben den üblichen englischen Fangesängen wie Who ate all the pies gibt es eine Reihe von Chelseafangesängen. Zu diesen zählen Carefree, Blue is the Colour, Keep the Blue Flag Flying High, We all Follow the Chelsea (zur Melodie von Land of Hope and Glory), Ten Men Went to Mow sowie Celery. Celery wird häufig bei Siegen gesungen, dabei wurden bis vor kurzem auch Selleriestangen auf den Platz geworfen. Die Clubführung untersagte dies jedoch im März 2007.

Chelsea hat keine klassischen Rivalitäten wie Liverpool und Everton, obwohl sich Reibereien bei derzeit 5 Premier League Clubs aus London nicht ganz vermeiden lassen. Eine Umfrage ergab, dass die Fans Arsenal, Tottenham und Manchester United (in dieser Reihenfolge) als ihre größten Rivalen betrachten. Ein weitaus schlechteres Verhältnis hat Chelsea zu Leeds United, das auf mehrere Spiele in den 1960er und 70ern zurückgeht, insbesondere auf das FA Cup Finale 1970. Da Leeds United jedoch nicht mehr mit Chelsea in einer Liga spielt, ist diese Rivalität in den Hintergrund getreten. In jüngster Zeit entwickelt sich ein Konkurrenzkampf zwischen Chelsea und Liverpool, da sich diese beiden Teams in nur drei Jahren (seit 2004) 15 Mal gegenüberstanden. Hierbei dominierte Chelsea die meisten Ligaspiele, während Liverpool sich in den Pokalwettbewerben fast immer durchsetzte.

International ist der FC Barcelona Chelseas größter Rivale, seit 2000 spielten beide in fünf Spielzeiten zehn Mal gegeneinander in der Champions League; einmal in der Vorrunde und vier Mal in den K.O.-Runden. Dabei schied einmal Barcelona (2004/05) und viermal Chelsea (1999/2000); (2005/06); (2006/07); (2008/09) aus.

Während der 1970er und 80er Jahre gerieten Club und Anhänger aufgrund von Problemen mit Hooligans, den Chelsea Headhunters in Verruf. Zusammen mit den Hooliganvereinigungen anderer Clubs, besonders mit der Inter City Firm (West Ham United), den Millwall Bushwhackers (FC Millwall) und den Salford Reds (Manchester United) galten sie als aggressivste und gefährlichste Verbindung.Außerdem standen die Headhunters mit Neonazigruppen wie Combat 18 und der British National Party in Verbindung. Aufgrund der Gewalttaten gab es Überlegungen Elektrozäune entlang des Felds aufzustellen, die jedoch abgelehnt wurden, so dass nur jeweils hinter den Toren normale Zäune aufgestellt wurden. Seit den 1990er Jahren sind die Zwischenfälle während der Spiele deutlich zurückgegangen, hauptsächlich aufgrund von mehr Kontrollen, Videoüberwachung und dem Verbot von Stehplätzen.