Рассматривается задача увода с орбиты крупногабаритного космического мусора с помощью тросовой транспортной системы, включающей в себя орбитальный буксир, трос и нефункционирующий космический аппарат с остатками топлива. Исследуется движение выбранной системы в плоскости орбиты при допущении, что орбита является круговой. Движение тросовой системы изучается в орбитальной системе отсчета в предположении, что тяга орбитального буксира постоянна, как по величине, так и по направлению. На основе формализма Лагранжа построены нелинейные уравнения движения, в которых, кроме сил инерции, учтены гравитационные моменты. Определены два варианта устойчивых положений относительного равновесия, реализация которых определяется основными параметрами тросовой системы: соотношением линейных размеров и масс троса, орбитального буксира и пассивного аппарата. Составлены уравнения первого приближения, описывающие колебания системы в окрестности каждого из двух вариантов положений относительного равновесия. Анализ коэффициентов этих уравнений показал, что при определенном соотношении параметров системы возможно сближение всех трех собственных частот системы. Найдены условия, при выполнении которых частоты имеют близкие значения. Приведены результаты численного моделирования движения нелинейной системы, подтверждающие возможность обмена энергией при колебаниях с близкими частотами. Показано, что при увеличении начальных отклонений от относительного равновесия в системе возможно возникновение хаотических колебаний. Результаты работы могут быть полезны для анализа поведения и выбора параметров тросовой транспортной системы, предназначенной для увода с орбиты космического мусора с остатками топлива (верхних ступеней ракет-носителей и нефункционирующих спутников).