Lorsqu'il est fondé fin 1906, le SCA adopte les couleurs jaune et noir. Son ancêtre le Stade albigeois jouait en blanc. On ne trouve nulle mention du choix de ses couleurs dans les différents ouvrages écrits sur le SCA. Notons cependant que le jaune rappelle le lion d'or présent sur le blason de la ville d'Albi. Enfin, autre raison évoquée, le jaune et le noir étaient deux couleurs de maillot les moins dures à produire à l'époque. Ce qui explique que beaucoup de clubs les portent.

C'est donc tout naturellement que le logo du club reprend ces deux couleurs. Ce dernier a beaucoup changé à travers les âges. Au départ, il est en forme d'écusson traditionnel, avec des bandes jaune et noir. Contrairement aux maillots de 1912 où elles sont horizontales, elles sont là verticales. Plus tard, à l'intérieur de l'écusson, on marquera SC Albi sur un fond blanc.

Quand le club accède au Top 14 dans les années 2000, changement de paradigme, le logo devient en forme de bouclier sur lequel est inscrit SCA en haut, tout simple.

En 2011, nouveau changement. Le club choisit un logo plus épuré, plus aéré. En dessous, on ajoute depuis 1907. En 2022, le logo évolue légèrement. La police depuis 1907 change et on met deux croix cathares à la place des deux petits boucliers qui entouraient "depuis 1907".

À l'occasion des 120 ans, le club a engagé une réflexion sur le logo, afin de le moderniser. Pas de panique, les couleurs seront préservées tout comme les rayures. Mais le jaune sera... plus jaune !