Возглавлял Самарскую епархию в 1850–1856 гг.

Родился 21 декабря 1806 (2 января 1807) года в селе Чёрный Верх Белевского уезда Тульской губернии (теперь Арсеньевский район Тульской области) в семье дьячка местной церкви Святого Великомученика Димитрия Солунского Поликарпа Ефимовича Орлинского (1778–1833) и его супруги Марфы Ивановны (1776–после 1834), дочери священника Преображенской церкви соседнего села Мишины Поляны Ивана Лазаревича Руднева.

Первоначальное образование получил в Тульской семинарии. В 1828 году поступил в Московскую духовную академию, которую окончил в 1832 году со степенью магистра. Перед её окончанием, 29 мая 1832 года был пострижен в монашество; 1 рукоположен в иеродиакона, а 3 июля — в иеромонаха и 29 августа того же года назначен инспектором Вифанской духовной семинарии. С 25 ноября 1834 года — инспектор Московской духовной семинарии. С 21 ноября 1838 года — инспектор и бакалавр Московской духовной академии; 15 октября того жегода возведён в сан архимандрита.

В мае 1841 года «за примерно-ревностное и полезное прохождение возложенной на него должности» был возведён в степень экстраординарного профессора, а 17 ноября 1841 года назначен ректором Московской духовной академии.

С 9 апреля 1842 года определён настоятелем Московского Богоявленского монастыря, а 31 августа 1845 года получил в управление и Высоко-Петровский монастырь. 9 марта 1847 года хиротонисан во епископа Винницкого с назначением настоятелем Шаргородского Николаевского монастыря и ректором Санкт-Петербургской духовной академии.

С 10 декабря 1850 года был назначен епископом новооткрытой Самарской кафедры. В период своего архипастырства преосвященный Евсевий построил ряд церквей и основал несколько монастырей. Так, им основана Покровская церковь в г. Самаре. В Самаре же им основан Иверский женский монастырь, а в Бузулуке — мужской Спасо-Преображенский. При нем в Самаре открылось духовное училище и попечительство о бедных духовного звания. В
1856 г. был награжден орденом Св. Владимира.С 3 ноября 1856 года — епископ Иркутский и Нерчинский. В марте 1858 года был возведён в сан архиепископа. С 29 августа 1860 года — архиепископ Могилёвский и Витебский. До
1876 года состоял почётным членом Санкт-Петербургской академии. Владыка Евсевий 16 апреля 1878 года был избран в члены Святейшего Синода. Весной 1882 года его здоровье так ухудшилось, что с июля (после того, как 2–3 июля 1882 г. в Могилеве торжественно праздновалось 50-летие служения архиепископа Евсевия в священном сане) епархией временно управлял епископ Муромский Иаков (Кротков), викарий Владимирской епархии. 6 октября 1882 года он был уволен на покой в могилевский Братский Богоявленский монастырь с оставлением в звании члена Святейшего Синода и пенсией 2000 рублей в год.
Скончался 21 февраля (5 марта) 1883 года. Погребен в Могилёвском Спасском монастыре. Могила не сохранилась.