{ "version": "https:\/\/jsonfeed.org\/version\/1.1", "title": "eelmaa.life → место, где живут мои тексты: заметки с тегом музыка", "_rss_description": "eelmaa.life → место, где живут мои тексты", "_rss_language": "ru", "_itunes_email": "eelmaa@gmail.com", "_itunes_categories_xml": "", "_itunes_image": "https:\/\/eelmaa.life\/pictures\/userpic\/userpic-square@2x.jpg?1738339447", "_itunes_explicit": "no", "home_page_url": "https:\/\/eelmaa.life\/tags\/muzyka\/", "feed_url": "https:\/\/eelmaa.life\/tags\/muzyka\/json\/", "icon": "https:\/\/eelmaa.life\/pictures\/userpic\/userpic@2x.jpg?1738339447", "authors": [ { "name": "Юрий Ээльмаа", "url": "https:\/\/eelmaa.life\/", "avatar": "https:\/\/eelmaa.life\/pictures\/userpic\/userpic@2x.jpg?1738339447" } ], "items": [ { "id": "465", "url": "https:\/\/eelmaa.life\/all\/avtomonitoring-muzkollekcii\/", "title": "Как мониторить музыкальную коллекцию?", "content_html": "
\n\"\"\n<\/div>\n

Сколько себя помню — музыка звучала всегда. В детстве дома крутились детские пластинки, у папы на пластинках и бобинах хрипел Высоцкий. Потом начались собственные бесконечные увлечения: обмены с друзьями, ларьки звукозаписи 80-х, сотни магнитофонных кассет 90-х и море стопок компакт-дисков нулевых. А уж когда началась эра MP3 — тут я от жадности совсем с ума сошел с Napster`ом на dial-up модеме. Что уж говорить, кого инет стал постоянным и быстрым…<\/p>\n

Музыка — это и фон, и настроение, и смысл. И за долгие десятилетия этой страсти все это великолепие осело на жестком диске в виде многих-многих-многих аудиофайлов в папке ELM-MUSIC.<\/p>\n

\n\"\"\n<\/div>\n

Объемы, а также количество папок и вложенных файлов, там, мягко говоря, запредельные:<\/p>\n

\n\"\"\n<\/div>\n

Файлы эти, естественно из разных источников, по-разному атрибутированные. Где-то по науке — со всеми метатегами (если сам когда-то «грабил» с CD), где-то — и их большинство — добыты честным разбоем в разных закромах и потому абы как обозванные. Состав папок — тоже все по-разному. Если группа любимая и проверенная временем — кладем полную дискография. Если исполнитель просто симпатичен — пара сборников или классические Greatest Hits. При этом я не безумный аудиофил, чтобы складировать гигабайты бутлегов, синглов, EP\/LP, концертных записей, радиоверсий и юбилейных переизданий. Мое правило простое: в фонотеке должны лежать только полноценные номерные студийные альбомы. Но даже при таком подходе коллекция неизбежно перерастает в зоопарк, в котором черт ногу сломит.<\/p>\n

Да, вот еще что. Есть артисты, которые свой земной и студийный путь уже завершили: Элвис Пресли или группа Queen в классическом составе вряд ли запишут новый номерной материал. Но при этом десятки коллективов продолжают активно творить прямо сейчас.<\/p>\n

И уже давно на горизонте встал практический вопрос: а как вообще вовремя узнавать, что кто-то из музыкантов в твоей немаленькой подборке выпустил свежий материал?<\/b> Можно, конечно, от A до Я руками проверять по Википедии, но мы не любим ходить на танк с ножом.<\/p>\n

Первая мысль (и очень правильная!), которая приходит в голову: надо озадачить искусственный интеллект. Создать умного агента, который бы методично ходил по официальным сайтам музыкантов, мониторил их соцсети и аккуратно дергал меня за рукав, когда на горизонте появляется новый студийный альбом. Но реальность тут же становится к лесу передом \/ ко мне задом: у одних групп есть нормальный сайт, у других его никогда не было и новости ходят радиосарафаном, у третьих вся жизнь теплится исключительно в ВК-группах или небольших телеграм-каналах. Идти на этот танк в лоб — вполне себе безумие.<\/p>\n

Да и умный ИИ сразу опустил меня с небес на землю: соцсети блокируют скрапинг, сайты меняют верстку, туча всего закрыта капчей. И предложил архитектуру менять в корне: сначала сканируем локальный каталог Music, затем сверяем его со строгими централизованными мета-базами (MusicBrainz, Spotify, Discogs), а тяжелую артиллерию ИИ-контура подключаем только на сложный остаток — туда, где базы споткнулись.<\/p>\n

Замысел свелся к прозрачной двухходовке:<\/p>\n

    \n
  1. Скрипт сканирует музыкальную папку на диске, извлекает имена артистов и фиксирует не всю дискографию подряд, а лишь самый свежий по дате альбом, который уже есть у меня в наличии.<\/li>\n
  2. С этим списком скрипт обращается к каталожным базам. Находит исполнителя — сравнивает даты: если в мире вышло что-то новее имеющегося, сообщает о находке. Если релизов нет — спокойно идет дальше. А всех редких, спорных или ненайденных откладывает в отдельный список, по которому уже точечно можно пустить языковую модель.<\/li>\n<\/ol>\n

    Казалось бы — прекрасный план, мистер Фикс? Но в следующий момент реальность разбилась… ДА ОБО ВСЕ НА СВЕТЕ ОНА ВДРЕБЕЗГИ НАФИГ РАЗБИЛАСЬ!!!<\/p>\n

    Сканируем папочку<\/h1><\/p>\n

    Пишем первый скрипт на Python. Ну что значит пишем… ИИ рассказывает, что тут нужен Python. Рассказывает, как проверить, что он на компе не установлен. Рассказывает, как установить. По ходу всей пьесы подсказывает названия python-библиотек для моих целей и руководит моими действиями в командной строке. Скрипт<\/s>им, но продвигаемся.<\/p>\n

    Так вот, пишем с ИИ скрипт на Python, вооружаемся библиотекой для чтения тегов аудиофайлов, запускаем сканирование — и… тишина. Процесс идет мучительно долго. Оказывается, скрипт честно взялся вскрывать внутренние заголовки и атрибуты каждого трека. А мы помним, что в папке лежит 112 тысяч файлов! Бедный жесткий винчестер взвыл, судорожно открывая и закрывая каждую песню, и я понял, что из таких кубиков мы слово «вечность» не сложим.<\/p>\n

    Подумалось: зачем вообще лезть внутрь файлов и спотыкаться о битые метаданные? Ведь вся коллекция годами бережно раскладывалась по полочкам, и правильная информация уже зашита в самих названиях папок. Меняем стратегию на лету: пишем сканер, который не трогает музыку руками, а просто пробегает взглядом по структуре каталога Elm-Music. Никаких открываний файлов, никакой возни с форматами.<\/p>\n

    Логика нового похода выстроилась так.<\/p>\n

    Первым делом скрипт заглядывает в корень диска и забирает только папки верхнего уровня. Имя папки — это и есть эталонное имя музыканта или проекта. Сразу выстраиваем всех по алфавиту. Если название дано с ошибкой — эта проблема вылезла позже.<\/p>\n

    Спуск на один пролет вниз. Для каждого артиста открываем подпапки 2-го уровня. Каждая такая папка — это альбом (релиз). Разрозненные файлы, синглы без отдельной папки или залетные текстовые буклеты сканер безжалостно игнорирует.<\/p>\n

    Самая изящная часть плана — охота за датами. Скрипт не пытается понять человеческий язык названий — он в имени каждой папки старается выцепить отдельно стоящее 4-хзначное число в диапазоне от 1950 до 2029 года. Нашел — фиксируем точный год альбома. Не нашел — ставим честный null. Будь в названии хоть 1985 — Hunting High And Low<\/b>, хоть Blues Power (2016)<\/b>, хоть 1979-Accept<\/b> — скрипт уверенно выдергивает именно дату.<\/p>\n

    Теперь надо посчитать дискографию и найти точку отсечения. По каждому исполнителю суммируется общее количество найденных альбомов и вычисляется ключевой ориентир — последний год. Это максимальный год среди всех обнаруженных пластинок артиста. Именно эта цифра станет датой отсечения: все, что вышло позже, мы потом будем искать в сети как новинки.<\/p>\n

    Финал операции — аккуратная выгрузка всей этой древовидной структуры в единый компактный json. Но тут вылез привет из 90-х: кракозябры. Старая беда формата MP3: часть русскоязычных альбомов имеют, естественно, теги с кириллицей, которая была записана в мезозойской кодировке CP1251, которую современная библиотека посчитала за Latin-1. И в отчете множественно красовалась нечитаемая бурда. Новый скрипт: дописать в код функцию обратного декодирования, чтобы на лету возвращать русским буквам человеческий вид.<\/p>\n

    И о границах дозволенного.<\/p>\n

    Что взяли на борт? Точные имена исполнителей по папкам верхнего уровня для будущих API-запросов; универсальный парсинг дат независимо от стиля оформления папки; поддержку нескольких релизов, вышедших в один и тот же год.<\/p>\n

    Что намеренно выкинули за борт? Полное игнорирование внутренностей аудиофайлов (иначе бы каждый скан-прогон занимал часы, но ничего бы существенного не приносил); отказ от погружения глубже 2-го уровня (папки с дисками вроде CD1 и CD2 внутри альбомов не раздувают счетчик); пропуск безымянных папок без года (VOL 1, Greatest Hits и подобные); и отказ от ранней классификации — до 1950 года.<\/p>\n

    Разбираться, где тут номерной студийник, где сингл, а где концертная запись, наш шустрый сканер не станет — эту аналитическую работу мы целиком переложили на плечи сетевого чекера.<\/p>\n

    Ушел на базу. Буду поздно<\/h1><\/p>\n

    Когда каталог наконец собрался, я подключил открытую международную базу MusicBrainz<\/a>. После описанной выше фильтрации MusicBrainz отработал отлично.<\/p>\n

    Попробовали подключить Spotify<\/a> API — попрыгали с девелоперской бюрократией создания приложений («поставь галочки в самые нужные на свете чекбоксы, ну и что, что их 2985757903 штук?») и бубнотанцами с подтверждениями аккаунта. Подключили. Прогнали список через базу Spotify — не найдено никаких отличий от MusicBrainz ни совсем, ни вообще. Ок, считаем Spotify лишним звеном. Забыли.<\/p>\n

    Но обнаружилась другая проблема: западное аудио MusicBrainz знает прекрасно, а вот с русскоязычными исполнителями, бардами и самиздатом начинаются провалы.<\/p>\n

    Тут на помощь пришел любимец любого винилового маньяка — Discogs<\/a>. Он бережно хранит память о пластинках фирмы «Мелодия», магнитоальбомах и переизданиях русского рока.<\/p>\n

    Скриптом объединяем обращение к API MusicBrainz и Discogs в единую цепочку: сначала опрашиваем первую базу, а всех, кого она не нашла, отдаем на растерзание Discogs. Итог: из сотен артистов обе базы корректно нашли обновления для 363 исполнителей.<\/p>\n

    А за бортом остался нераспознанный остаток — ровно 88 папок.<\/p>\n

    ИИ-фальстарт<\/h1><\/p>\n

    Вот на этих 88 позициях и должен был начаться звездный час нейросетей. Почему базы их отвергли? Базы — существа формальные. Встретился лишний пробел между именем и фамилией David<\/b> и Knopfler<\/b> или символы подчеркивания в Stevie_Ray_Vaughan<\/b> — база разводит руками. Попалась папка со сборником Cafe Enigma<\/b> или Blues Guitar Duels<\/b> — база ищет артиста с таким именем и закономерно возвращает пустоту.<\/p>\n

    Тут-то и нужен языковой интеллект, умеющий понимать человеческий контекст.<\/p>\n

    Но попытка автоматизировать этот шаг через скрипт превратилась в отдельный блокбастер.<\/p>\n

    Сначала собрали контур на Gemini API со встроенным веб-поиском Google Search. И тут же прилетает отказ: встроенный живой поиск Google в API тарифицируется отдельно, и бесплатный ключ уперся в ошибку исчерпания кредитов предоплаты. Хорошо, меняем тактику: веб-поиск отдаем бесплатному внешнему модулю DuckDuckGo, а текст скармливаем модели для анализа. Тут Google отключает модель gemini-2.5-flash как устаревшую — переключаемся на свежую gemini-3.8-flash. Пробуем альтернативный сервис Groq с быстрой Llama — модель переименовывают на стороне сервера прямо в процессе, и скрипт спотыкается о статус 404. Это очень краткое описание бесконечного такта исправления ошибок, тактов этих было больше 40 и постепенно они начали случаться уже по кругу.<\/p>\n

    В какой-то момент я взорвался: мне надоело, давай с этими 88 исполнителями пойдем каким-то другим путем<\/i>.<\/p>\n

    И тут всегда стремящийся понравится ИИ мгновенно соглашается:<\/p>\n

    «Полностью вас понимаю: возиться с бесконечной сменой версий моделей, биллингом и падениями сторонних API — это потеря времени. Самый простой, надежный и прозрачный путь — переложить анализ этих 88 папок прямо сюда в чат. Вам больше не нужны никакие нейросетевые API-ключи, Groq, биллинги и поисковые библиотеки. Сделайте следующее: 1. Выгрузите список в текстовый файл. 2. Просто вставьте имена этих исполнителей прямо в чат. Я сам: 1. Отсею компиляции и мусорные сборники 2. Исправлю опечатки в именах. 3. Проверю их официальные дискографии на предмет полноценных студийных альбомов и сообщу, какие релизы вышли и чего не хватает в вашей коллекции».<\/p>\n

    Ctrl+С → Ctrl+V = вуаля: ИИ моментально сделала то, ради чего городился огород: моментально рассортировала контекстный мусор — папки Аэростат, Арзамас и три десятка компиляций вроде Romantic Collection отправились в понятную категорию «не трогать, это радиопередачи, лекции и сборники». Потом исправила опечатки и проверила статус ветеранов: убедилась, что ушедшие классики закрыли дискографии. В конце выдала сухой остаток: реальных новых номерных альбомов среди этих 88 папок не хватало ровно у 3 (!!!) артистов.<\/p>\n

    Согласен, решение не изящное, ручное. Лучше бы оно зажило в автоматическом цикле. Но как есть.<\/p>\n

    Ну не запускать же скрипт ручками!<\/h1><\/p>\n

    Ок, фонотека была вычищена и оцифрована в единый структурированный реестр. Но цель состояла в постоянном автоматическом дозоре, чтобы не запускать проверки руками каждый раз.<\/p>\n

    Обязательно держать домашний компьютер включенным круглые сутки для этой задачи бессмысленно. Поэтому далее разделили идею на две независимые части:<\/p>\n