Модуляцио́нная неусто́йчивость, самопроизвольное нарастание в пространстве и времени возмущений амплитуды и фазы почти монохроматической волны, распространяющейся в нелинейной среде или в динамической системе без потерь энергии. Модуляционная неустойчивость развивается в пространстве, если фазовая скорость волны уменьшается при увеличении интенсивности, т. е. при положительном коэффициенте нелинейности $α.$ Модуляционная неустойчивость развивается во времени, если произведение коэффициента $α$ и производной групповой скорости по частоте $dυ_{гр}/dω$ положительно. При развитии модуляционной неустойчивости происходит самомодуляция волновых пакетов и самофокусировка волн: пакет волн разбивается на серию импульсов во времени и отдельные пучки в пространстве. Модуляционная неустойчивость является частным случаем параметрической неустойчивости. Она определяет процесс коллапса волн в нелинейных средах.

Модуляционная неустойчивость может возникать при распространении гравитационных волн на поверхности глубокой жидкости, при распространении света в различных нелинейных средах, при распространении ленгмюровских волн в плазме.