Третьи в истории и первые в Америке. Благодаря успешному выступлению американских атлетов на Играх I Олимпиады в Афинах (1896) и Играх II Олимпиады в Париже (1900) Международный олимпийский комитет недолго сомневался в выборе столицы Игр III Олимпиады: это должен был быть один из городов США. Сначала претендентом № 1 был Чикаго. Однако в связи с переносом Всемирной выставки, посвящённой 100-летию присоединения к США бывших французских владений на 1 год вперёд (с 1903 на 1904), главным претендентом на проведение Олимпиады стала столица штата Миссури г. Сент-Луис (игры проводились в рамках Всемирной выставки). Игры 1904 г. вошли в историю как «американские», потому что подавляющее число спортсменов представляли олимпийскую сборную США, которая в итоге выиграла 78 золотых медалей из 95 разыгранных.

Впервые в истории Игр был зафиксирован случай мошенничества. После преодоления примерно 14,5 км дистанции американский марафонец Ф. Лорц, бежавший в лидирующей группе, остановился из-за судорог, сводивших ноги. В это время мимо проезжал его менеджер на автомобиле и предложил подвезти Лорца. Тот согласился, а за 8 км до финиша сказал, что ему уже лучше, вышел из машины и финишировал в гордом одиночестве под овации 2 тыс. зрителей на стадионе. В это время истинный лидер забега американский бегун Т. Хикс в сопровождении официального наблюдателя на автомобиле продолжал бежать. Обман был раскрыт, и, хотя Лорц говорил, что просто пошутил, спортсмена дисквалифицировали.

Критике со стороны участников соревнований по плаванию подверглись организаторы, ведь пловцам приходилось стартовать с плота, не выдерживавшего веса 8 пловцов. Плот погружался в воду в момент прыжка, и спортсмены не прыгали, а просто падали в воду.

Героем Олимпиады стал 25-летний уроженец Праги гимнаст А. Хейда, выступавший за США и выигравший 5 золотых медалей.

Чтобы привлечь внимание зрителей и повысить их интерес к спорту, дирекция выставки решила параллельно с официальными состязаниями проводить соревнования местных спортсменов, которые тоже именовала «олимпийскими играми», а 390 победителей этих состязаний наградила медалями и присвоила звание «олимпийских чемпионов» (От Афин до Москвы. Москва, 1979).

Среди прочих особенностей Игр III Олимпиады было введение в программу т. н. антропологических дней, когда выступали небелые спортсмены; это вызвало возмущение у П. де Кубертена и больше никогда не практиковалось.