На Духов день, 9 июня 1930 года, в Козельске по традиции состоялась ярмарка, на которую съехалось несколько тысяч человек. В этот день произошло столкновение крестьян с милицией, во время которого был убит крестьянин, власти решили воспользоваться случившимся и арестовать часть монахов, обвинив их в подстрекательстве к мятежу. 19 августа 1930 года было арестовано сорок человек – монахов и мирян, и среди них игумен Пантелеймон; его обвинили в руководстве «монашеско-монархической» группой, которая будто бы ставила своей задачей реставрацию монархического строя. Все арестованные были отправлены в тюрьму в Сухиничи. После предъявления следователем обвинения игумен Пантелеимон сказал: «Организатором и руководителем как Подпольного монастыри, так и контрреволюционной монархической группы города Козельска я не был. По этой линии никаких указаний никому не давал и никакого участия по этой деятельности не принимал. Работы, никакой против советской власти никогда не вел. В Козельске никого монастыря и не было... Концентрация монашествующих в городе Козельске, произошла из-за непосредственной близости монастырей Оптина Пустынь и Шамордино. Их ликвидация вынудила монахов поселиться в Козельске. Из других же городов и монастырей приезжали просто потому, что в Козельске жили Старцы схимонахи, а не потому, что кто-то этим вопросом умышленно занимался и преднамеренно стягивал монашествующих в Козельск».27 ноября 1930 года тройка ОГПУ приговорила игумена Пантелеимона к десяти годам заключения, но затем срок был сокращен до пяти лет, и отец Пантелеймон был направлен сначала в Вишерский лагерь, а затем в ссылку и юрод Елец. По окончании срока, в 1935 году, он устроился псаломщиком во Введенском храме в Ельце.
Здесь его застало безпощадное гонение 1937 года. Игумен Пантелеймон был арестован 16 сентября 1937 года, заключен козельскую тюрьму и на следующий день допрошен.
Вы признаете себя виновным в предъявленном вам обвинении? – спросил его следователь.