В работе и повседневной жизни мы буквально окружены текстами: книги и статьи, письма и чаты, веб-страницы и программный код. Да что там — сама биологическая жизнь основана на ДНК. И для эффективной работы по поиску или модификации текста уже давно был придуман мощный инструмент — регулярные выражения, или regex. Однако по ряду причин далеко не все их используют, или имеют дело с ними только когда заставили при крайней необходимости. В этой статье я попытаюсь исправить эту печальную ситуацию.
Чтобы функции отыскать, воедино созвать и единою чёрною волей сковать.
На Хабре уже есть ряд хороших статей, которые помогут разобраться в основах:
- Регулярные выражения в Python от простого к сложному
- Регулярные выражения, пособие для новичков
Мы не будем углубляться в работу регулярных выражений или пытаться в полном объёме покрыть все возможности, а рассмотрим на самых элементарных примерах, насколько просто начать пользоваться этим замечательным инструментом.
Иногда случается так, что регулярные выражения приходят в нашу жизнь совершенно неожиданно. Например, вы разбираетесь с валидацией пароля и сталкиваетесь со следующим:
^(?=.*[a-z])(?=.*[A-Z])(?=.*[0-9])(?=.*[!@#$&^()*])[a-zA-Zа-яА-Я0-9!@#$&^()*]{1,}$
после чего настроение неизменно падает. Даже если и удалось продраться через нагромождение символов, то желание возвращаться к регулярным выражениям наверняка сильно уменьшится. Человек же со стороны вообще может принять это за инопланетный язык и начать сторониться аки чумы: «Зачем мне ещё один язык программирования, да к тому же такой сложный?».
Гэндальф ещё Серый, а потому боится использовать regex.
Поиск
Для экспериментов нам понадобится старый добрый Властелин Колец и любой текстовый редактор с поддержкой регулярных выражений. В данной статье будет использоваться Notepad++ (простой, удобный и расширяемый – очень рекомендую).
Копируем текст без оглавления в приложение, Ctrl+f, отмечаем «Regular expression» и вперёд!
Пример окна поиска в Notepad++.
1. Точное совпадение с фразой
Попробуем найти Исилдура (того, что у Саурона кольцо подрезал) на страницах «Властелина колец»
Поздравляю! Вы только что использовали регулярное выражение «Исилдур».
Тут всё просто – совпадение один к одному. Есть еще магия регистров букв (отмечаем галочку «Matсh Case»), но по умолчанию она обычно не включена. «Исилдур», «исилдур», «ИсИлДУР» дадут один и тот же результат. Если же мы знаем регистры букв искомого слова, то можем указать их и отбросить лишние результаты. Однако это может сыграть злую шутку, когда при последующем поиске может потеряться часть результатов. Убирайте галочку, если регистры букв могут быть разными.
Веб браузеры, текстовые редакторы, мессенджеры – все имеют такую функцию. Однако не все об этом знают. Жаль, что у бумажных книг нет такой возможности.
Первый шаг сделан, и ничего не мешает двигаться дальше.
2. Символы подстановки
Еще одна распространённая возможность — это символ подстановки (wildcard) звёздочка «*». Она заменяет любое количество любых допустимых символов. Самый распространённый пример – поиск файлов.
Скажем, мы хотим найти фотографии отдыха на море. Для этого в строке поиска введём «*.png» – и получим список всех фотографий в папке:
Скан паспорта.png
Море Испания.png
Тосса-де-Мар, море.png
Трудовые будни.png
Закатное море, Сант-Себастиа.png
Уже хорошо. А что будет, если мы добавим слово «море» до или после звездочки?
море*.png
Море Испания.png
*море.png
Тосса-де-Мар, море.png
Следующий вариант вернёт то, что нужно:
*море*.png
Море Испания.png
Тосса-де-Мар, море.png
Закатное море, Сант-Себастиа.png
«*море*.png» — наглядный пример шаблона поиска, или маски – мы что-то знаем о структуре искомой строчки (в данном случае расширение «.png» в конце и где-то слово «море»), в остальных местах предполагаем любые символы.
Регулярные выражения, как развитие подстановочных символов, имеют в своём арсенале огромный набор разнообразных средств, с помощью которых мы можем более тонко составлять шаблон поиска. Но пока познакомимся с аналогом звёздочки — точка и звёздочка «.*».
3. Точка со звёздочкой «.*»
Забудем о значении звёздочки в подстановочных символах – в регулярных выражениях она обозначает «любое количество, от 0 и до бесконечности». А точка обозначает «любой строковый символ». Вместе получаем «любое количество любых строковых символов».
Точка не включает в себя символ новой строки, поэтому поиск будет производится до конца строки, или, другими словами, абзаца. Посмотрим, как часто Фродо и Сэм оказывались вместе: для этого поищем по шаблонам «Сэм.*Фродо» и «Фродо.*Сэм»»:
215 совпадений. Кто бы сомневался…
Можно это сделать проще, одним запросом. Для этого используем специальный знак ИЛИ «|»: альтернативные варианты разделяются вертикальной чертой и окружаются скобками:
(Фродо.*Сэм|Сэм.*Фродо)
Можно заметить, что такой поиск выдал меньше совпадений — 213. Так получается, потому что, например, строчку «Рядом с Фродо шел всхлипывающий Сэм, да и сам Фродо безмолвно плакал.» раздельные запросы найдут два раза.
Чтобы узнать, как часто упоминается Гэндальф в полной форме, используем шаблон:
Гэндальф (Серый|Белый)
Всё. Имея на руках рассмотренное выше, можно начинать исследовать текстовые моря или болота логов. Начните с малого, исследуйте на возможность поиска те приложения, которыми вы часто пользуетесь. Задавайте поиску простые вопросы, и со временем вы сами почувствуете желание сделать поиск более сложным.
А если остались силы, то можно копнуть чуть глубже и взять на вооружение ещё два базовых понятия, изучив которые вы станете истинными начинающими regex-волшебниками.
Саруман понимает, какая мощь в его руках, и не боится её. Поэтому он всегда в курсе всех дел.
4. Количество повторений или квантификаторы
С одним квантификатором мы уже познакомились – звёздочка. Есть ещё несколько способов задать количество:
Некоторые часто используемые диапазоны имеют собственные символы:
Спросим, как часто упоминается одно и то же слово в одном абзаце:
Бильбо 2 раза — «(Бильбо.*){2}» — упоминается в 7 случаях, а большее количество раз в абзаце — «(Бильбо.*){3,}» — ни разу. Слово «Хоббит» встречается аж 3 раза в строке, как часть слов «Хоббиты» «хоббита» и «Хоббитании».
5. Представление символов
Точка (любой символ) — один из примеров представления символов. Другими примерами являются цифра «d», цифра или буква «w», набор символов «[abc], «[1-9], «[.,?:;]».
Например, мы хотим узнать, как часто числа используются в книге:
«d+» или «d{1,}» – как минимум одна цифра подряд:
Находим номера глав и даты. Если не брать совсем уж легендарные времена (37г.), то рассказ ведётся о втором тысячелетии по летоисчислению хоббитов (Л. Х.) Оценим масштаб саги, для этого найдём 4 цифры подряд — d{4}
Первая дата говорит нам о начале табаководства у хоббитов в 1070 году, а Фродо уплывает от нас на Запад в 1421 — 351 год.
С остальными представлениями символов предлагаю познакомиться самостоятельно.
Замена
Как только фамилию Бильбо не переводили: Сумникс, Беббинс, в нашем случае – Торбинс, но для меня есть только один вариант — Бэггинс. Однако это не проблема: почти всегда рядом с возможностью поиска есть возможность замены. Найденное слово можно заменить по всему тексту в одно действие. Для этого воспользуемся вкладкой «Replace»:
Теперь можно читать книгу с привычным переводом. Но будьте осторожны: шаблон поиска может подойти не только желаемому слову, но и более длинному, содержащему в себе искомое. Тогда при замене «дача» на «деревня» мы неожиданно можем получить «удеревня» или «телепередеревня». Желательно предварительно провести поиск по такому же шаблону и проверить результаты. Усложняйте шаблон для более точного поиска. В случае «дача» мы можем добавить пробел до слова и пробел или знаки препинания в конце: « дача[ .,!?;:]».
Практика использования
Для создания, редактирования или исследования регулярных выражений советую использовать понравившийся вам онлайн-редактор. Для меня самым удобным оказался REGEX101:
Кольцо находит все определения функций в ISO C99, и потому такое могущественное.
В строке сверху мы вводим регулярное выражение, а снизу — текст, по которому производим поиск. Редактор автоматически подсвечивает найденные совпадения, при наведении на части выражения всплывают подсказки, объясняющие значение, и много других полезных функций. Для замены нужно выбрать «Substitution» в левой панели.
Заключение
- Чаще пользуйтесь поиском для удобства и ускорения работы.
- Используйте звёздочку при поиске файлов, создавая простые шаблоны.
- Начните использовать простые регулярные выражения в повседневной работе, накапливая опыт и постепенно изучая новые возможности.
Конечно, в этой статье затронута лишь самая верхушка. Осталось без внимания множество как полезных возможностей, так и возможных проблем. Но если у вас появилось желание более основательно погрузиться в мир regex, помимо справочников и учебников в интернете, на Хабре можно почитать следующие статьи:
- Квантификаторы в регулярных выражениях
- 8 полезных регэкспов с наглядным разбором
- Некоторые ошибки при написании регэкспов
Сегодня я уже не представляю свою работу без регулярных выражений, как и без слепого метода печати. А требовалось всего лишь начать использовать. Чего вам и желаю.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
На сколько хорошо вы знаете и как часто используете регулярные выражения?
6.28%
Примерно знаю, но никогда не пользовался.
13
27.05%
Приходится разбираться, когда сталкиваюсь по работе, а так не использую.
56
45.41%
Иногда использую простые regexp’ы для поиска и замены в текстах.
94
19.32%
Постоянно пользуюсь, используя большую часть возможностей.
40
Проголосовали 207 пользователей.
Воздержались 17 пользователей.
ТАСС-ДОСЬЕ. 29 ноября 2021 года на 94-м году жизни умер народный артист СССР режиссер Владимир Наумов.
Владимир Наумович Наумов родился 6 декабря 1927 года в Ленинграде (ныне Санкт-Петербург) в семье кинооператора Наума Соломоновича Наумова-Стража (1898-1957) и театральной актрисы Агнии Васильевны Бурмистровой (1906-1971).
В 1951 году окончил в Москве режиссерский факультет Всесоюзного государственного института кинематографии (ВГИК; ныне Всероссийский государственный институт кинематографии им. С. А. Герасимова), где занимался в мастерской Игоря Савченко. В студенческие годы был его ассистентом на съемках фильма «Третий удар» (1948), в котором также дебютировал как киноактер. После смерти руководителя мастерской вместе с режиссером Александром Аловым завершил картину Игоря Савченко «Тарас Шевченко» (1951). С этого момента началось творческое сотрудничество Наумова и Алова. Среди их первых совместных работ — «Тревожная молодость» по трилогии Владимира Беляева «Старая крепость» (1954), «Павел Корчагин» по роману Николая Островского «Как закалялась сталь» (1956), «Ветер» (1958). В 1961 году на экраны вышла военная драма «Мир входящему», тогда же удостоенная специального приза жюри XXII Международного кинофестиваля в Венеции за лучшую режиссерскую работу и премии «Кубок Пазинетти» (приз итальянских кинокритиков за лучший иностранный фильм). В 1962 году в Брюсселе картина получила национальную бельгийскую кинопремию «Фемина».
В 1966 году режиссеры экранизировали рассказ Федора Достоевского «Скверный анекдот». Картина вызвала критику со стороны официальных властей: Наумова и Алова обвиняли в «сгущении красок», в «искажении идеи Достоевского» и др. По воспоминаниям Владимира Наумова, глава Госкино Алексей Романов сказал режиссерам, что из-за них может «лишиться партийного билета». В итоге фильм был запрещен к показу и вышел на экраны только в 1987 году.
Среди других совместных фильмов Владимира Наумова и Александра Алова: «Бег» по мотивам произведений Михаила Булгакова (1970, вошел в основной конкурс Каннского фестиваля 1971 года), «Легенда о Тиле» по мотивам романа Шарля Де Костера «Легенда об Уленшпигеле» (1976), «Тегеран-43» (1980, СССР — Швейцария — Франция), «Берег» по роману Юрия Бондарева (1983, СССР — ФРГ). В 1971 году они также выступили в качестве театральных режиссеров, поставив в Московском театре «Современник» спектакль «Тоот, другие и майор» по пьесе Иштвана Эркеня.
После смерти своего коллеги в 1983 году Владимир Наумов снял посвященную ему документальную ленту «Алов» (1985). Также продолжил режиссерскую деятельность в художественном кино, поставил фильмы: «Выбор» по произведению Юрия Бондарева (1987), «Закон» (1989), «Десять лет без права переписки» (1990), «Белый праздник» по мотивам повести Тонино Гуэрра «Сто птиц» (1994), «Часы без стрелок» (2001), «Джоконда на асфальте» (2007). В 2012 году Владимир Наумов приступил к съемкам картины «Сказка о царе Салтане». Планировалось, что она станет первым в киноцикле «Сказки Пушкина». Однако из-за недостатка средств ее производство не было завершено. Большинство фильмов Владимир Наумов снимал по собственным сценариям (всего он написал сценарии к 18 лентам).
Несколько раз Владимир Наумов выступал в качестве киноактера. После небольшой роли лейтенанта в картине «Третий удар» он сыграл штабс-капитана в трагикомедии Александра Митты «Гори, гори моя звезда» (1969), полковника милиции в телефильме Александра Гордона «Кража» (1970). Впоследствии снимался только в своих картинах («Часы без стрелок», «Джоконда на асфальте»).
В 1963 году Владимир Наумов стал художественным руководителем созданного при киностудии «Мосфильм» творческого объединения писателей и киноработников. После его преобразования в кинокомпанию «Союз Навона» занял пост ее генерального директора.
С 1976 года также являлся секретарем правления Союза кинематографистов СССР.
С 1980 года руководил мастерской во ВГИКе. Профессор (1986). В 2010-х годах вместе с супругой, известной российской актрисой Наталией Белохвостиковой, вел актерско-режиссерскую мастерскую в Московской школе нового кино.
Автор книги «В кадре» (2000, в соавторстве с Наталией Белохвостиковой).
В 2004 году Владимир Наумов в качестве продюсера работал над лентой «Год лошади. Созвездие Скорпиона», режиссером которой стала его дочь Наталия.
Являлся президентом Национальной академии кинематографических искусств и наук России.
Был членом Союза кинематографистов РФ и Европейской киноакадемии.
Заслуженный деятель искусств РСФСР (1965). Народный артист СССР (1983).
Владимир Наумов был награжден орденами «Знак Почета» (1971), Трудового Красного Знамени (1977), Дружбы народов (1987), «За заслуги перед Отечеством» II, III и IV степеней (2007, 2018, 1997), Почета (2013).
Лауреат Государственной премии СССР в области литературы, искусства и архитектуры (1985, за фильм «Берег»).
Обладатель кинопремии «Золотой орел» в почетной номинации «За выдающийся вклад в мировой кинематограф» (2008).
Являлся почетным членом Российской академии художеств.
Владимир Наумов был женат вторым браком на народной артистке РСФСР Наталии Белохвостиковой (род. 1951). Их дочь Наталия Наумова (род. 1974), в детстве снялась в фильме «Тегеран-43». Впоследствии окончила актерский факультет ВГИК и Высшие курсы сценаристов и режиссеров, снималась в фильмах отца, но выбрала карьеру режиссера. В 2007 году Владимир Наумов и Наталия Белохвостикова усыновили мальчика Кирилла (род. 2004). Первой супругой режиссера была заслуженная артистка РСФСР Эльза Леждей (1933-2001). От брака с ней — сын Алексей.
Жизни и творчеству кинематографиста посвящены документальные фильмы «Свидетель времени. Владимир Наумов» (2007, режиссер Наталия Наумова) и «Владимир Наумов. Монологи кинорежиссера» (2012, Наталия Урвачева), а также сборник «Алов и Наумов» (2016, составитель Любовь Алова).