В 1870 году открылось движение по железной дороге Москва — Смоленск. Позже линия продолжилась до Бреста. В рамках этого проекта построили станцию у переправы через реку Вопь, недалеко от деревушки Ярцóво. Вскоре после её открытия с московского поезда здесь сошёл важный гость — Алексей Иванович Хлудов, купец первой гильдии, со своей свитой и прислугой. Он представился местным властям Духовщинского уезда и отправился осматривать места для строительства будущей хлопчатобумажной фабрики.
Это начинание стало возможным благодаря деловой хватке его отца, Ивана Ивановича Хлудова, выходца из рязанских крестьян. Иван Хлудов, обладая правами на любую деятельность для уплаты налогов, первоначально зарабатывал на продаже скота. Позже он переехал в Москву, где основал производство кушаков. В 1829 году он стал купцом III гильдии, приобрёл дом в Москве и открыл две торговые лавки.
Алексей Хлудов родился в Москве в 1818 году. После неожиданной смерти отца в 1835 году он вместе с братьями унаследовал значительное состояние в 200 тысяч рублей ассигнациями. Братья Хлудовы не только сохранили это наследство, но и увеличили его. В 1842 году они перешли в первую гильдию купечества, что свидетельствовало о повышении их статуса. В том же году братьям разрешили открыть свой торговый дом.
Инвестиции Хлудовых в строительство бумагопрядильной фабрики в Егорьевске принесли им признание в текстильной отрасли. Алексей Хлудов два года провёл в Лондоне и Ливерпуле, изучая фабричное производство и выбирая современное оборудование. Он открыл торговые конторы в этих городах и договорился о переезде в Россию английских специалистов.
Строительство фабрики в Егорьевске способствовало развитию города, превратив его в крупный промышленный центр. В 1869 году благодаря усилиям братьев Хлудовых до Егорьевска была протянута железнодорожная ветка. В 1853 году Хлудовы стали почётными гражданами, а в 1857 году стали поставщиками императорского двора, что позволило им размещать государственный герб на своей продукции.
В 1860-е годы Хлудовы вышли на международный уровень и на Всемирной выставке 1867 года в Париже получили бронзовую медаль за качество тканей. Решив расширить свои производственные мощности, братья выбрали Ярцево для строительства новой текстильной фабрики. Строительство началось в 1873 году, и уже в 1876 году заработал прядильный корпус, а в 1878 году — ткацкий. Фабрика в Ярцеве была оснащена современными станками из Англии и производила востребованную пряжу, кашемир, бязь и другие ткани.
Она стала крупнейшим промышленным предприятием не только в Смоленской губернии, но и одной из крупнейших текстильных фабрик России. Она способствовала развитию других производств в округе. Алексей Хлудов, как и его отец, был старообрядцем и страстным коллекционером старообрядческих рукописей и книг. В его коллекции находилась уникальная греческая псалтырь IX века, хранящаяся сейчас в Государственном историческом музее.
Хлудов не жил в Ярцеве, а управлял фабрикой из Москвы, периодически приезжая в город. В Ярцеве фабрикой руководил управляющий — один из директоров правления, который контролировал все производственные процессы через мастеров.
Алексей Хлудов умер в Москве 22 марта 1882 года, пробыв вместе с братом Герасимом во главе семейного дела 37 лет. В связи с различными обстоятельствами Алексей не смог передать фабрику своим сыновьям или внуку. Дело унаследовала его вдова Вера Александровна Хлудова, а в 1907 году фабрика в Ярцеве перешла к Н. И. Прохорову, владельцу «Трёхгорной мануфактуры». Прохоров стал директором-распорядителем ярцевской фабрики, а Вера Александровна Хлудова оставалась членом правления до революции.