Чтение онлайн

10. Средство "Контексты употребления слов". Допустим, мы хотим узнать, в каких фразах у нас используется слово "язык". Для этого вводим запрос:

* язык

и программа показывает фразы из проиндексированных текстов: русский язык, английский язык и т. п. То есть если при обычном поиске мы заранее знаем, какие слова ищем, то при поиске контекстов мы узнаем, какие слова у нас встречаются возле заданного слова или фразы. Можно вводить и более сложные запросы:

*ый *ать *

Например, для LibRu программа по этому запросу выдала такие варианты:

который двадцать лет

способный превращать в

готовый сделать все

• В настройках индекса есть секция "Разбиение файлов". Это пригодится прежде всего тем пользователям, у которых много Фидо-сообщений, сохраненных в одном объемном файле. Задаем строку разбиения, и Архивариус 3000 сначала разделяет большой текст на части, а затем уже индексирует как отдельные сообщения. В результате работа с такими базами сообщений значительно упрощается.

• Средство "Поиск похожих документов". Позволяет находить как точные копии (совпадение байт в байт либо совпадение с убранными пробелами), так и похожие документы, в текст которых были внесены незначительные изменения (добавили новые слова, убрали или заменили букву в слове).

• Наконец, еще одна возможность - "Поиск литературы". Пока распознаёт только 4400 произведений. Распознаёт именно по содержанию. То есть, если мы внесем небольшие изменения в текст, например уберем название или, наоборот, добавим рекламу (пусть даже в середину текста - между абзацами), программа все равно определит, что это Артур Конан Дойль "Пляшущие человечки". Книг, конечно, в мире больше, чем 4400, но потихоньку можно будет и добавить. :)

Думаю, всем понятно, что Архивариус 3000 из поисковой индексной системы эволюционировал в мощнейший аналитический инструмент data mining. Признаюсь, о таком феерическом перевоплощении даже не смел и мечтать! Браво, Евгений!

Мне остается лишь произнести заключительную фразу, которая обретает особый смысл в устах матерого бакунианца: 395 рублей, заплаченных за Архивариус 3000, без малейшего сомнения, станут самой эффективной IT-инвестицией вашей жизни! Не говоря уж о том, что столь смехотворная цена за ТАКОЙ колоссальный инструмент - it’s a steal [Чистое воровство (англ.)]!

АНАЛИЗЫ: Два пути в никуда

Авторы: Алексей Тутубалин, Илья Борг

За последние десять-пятнадцать лет цифровая фотография вытеснила фотопленку практически из всех традиционных областей применения. Потребителям проданы сотни миллионов цифровых камер, даже без учета тех, что встроены в мобильные телефоны. Столь массовая индустрия не может существовать без стандартов - и таковые, казалось бы, имеются: стандартизованы устройства для хранения данных (флэш-карточки) и формат изображений JPEG, удовлетворяющий потребности подавляющего числа пользователей.

Однако формат JPEG далеко не всегда устраивает профессионалов - фотографов, дизайнеров, сотрудников prepress-бюро, фотобанков и фотоархивов. Зачастую не удовлетворяет он и продвинутых фотолюбителей. Именно поэтому многие модели камер, позиционируемые производителем как профессиональные и полупрофессиональные, поддерживают, кроме JPEG, и запись изображения в формате RAW. У стороннего наблюдателя может сложиться мнение, что RAW - это тоже стандартный формат, обеспечивающий лучшее качество - "качество для профи". Однако это не так: на самом деле жизнь гораздо сложнее, а положение профессионалов на сегодняшнем цифровом фоторынке просто ужасно и к тому же быстро ухудшается (тогда как у менее притязательных любителей все прекрасно).

RAW и JPEG: в чем разница

При сохранении фотографии в формате JPEG все стадии обработки изображения (установка баланса белого, контраста, насыщенности и т. п.) выполняются самой камерой перед записью файла. Напротив, RAW-снимок - это практически неизмененные, сырые данные, полученные при считывании со светочувствительной матрицы фотокамеры и сохраненные в файле.

Рассуждая в классических фотографических терминах, JPEG - это почти готовый снимок (аналог Поляроида), а RAW - полуфабрикат, аналог латентного, скрытого изображения на непроявленной пленке, требующий обязательной обработки [Обработка исторически называется "конверсией RAW", а программы для нее - RAW-конверторами] (проявки) - с той существенной разницей, что пленку проявить можно лишь однажды, а RAW - столько раз, сколько захочется, и притом - воспользовавшись разными "проявителями" (конверторами), экспериментируя столько, сколько понадобится, пока не будет достигнут нужный результат.

Разумеется, чтобы получить на выходе камеры JPEG, также выполняется конвертация RAW. Соответствующий конвертор - часть интеллекта камеры. Если конвертация, выполненная самой камерой, неудовлетворительна (плохой контраст, неестественный цвет, слишком плотные тени, слишком яркие света), исправить существенные ошибки этой стадии при дальнейшей обработке изображения на компьютере уже невозможно. При сохранении в формате JPEG значительная часть данных изображения, зафиксированного камерой, теряется безвозвратно. Кроме того, используемое в JPEG сжатие с потерями сильно ограничивает и возможности последующей коррекции снимка.

При записи изображения в формате RAW (в отличие от записи в JPEG) камера никакой цифровой обработки изображения не выполняет - вся обработка делается после съемки, на мощном компьютере с хорошим монитором. Это позволяет использовать более сложные алгоритмы и визуально контролировать и процесс, и его результаты. Как правило, качество результирующего изображения существенно выше, а кроме того, можно подбирать параметры обработки в широких пределах, со значительно меньшим риском возникновения постеризации [Постеризация (от слова poster, плакат) - уменьшение количества оттенков изображения при обработке], роста шумов и появления всяческих артефактов.

Обработка RAW-файлов требует и дополнительных навыков, и дополнительных затрат времени, поэтому данный формат используется меньшинством фотографов: продвинутыми любителями и профессионалами - в тех случаях, когда качество результата важнее оперативности его получения или когда условия съемки не допускают применения JPEG в связи с его ограниченным по сравнению с RAW динамическим диапазоном. Кроме того, иногда съемки в RAW требует заказчик, а иногда ее используют в качестве своеобразной подстраховки. Впрочем, "меньшинство" - это миллионы пользователей во всем мире.

Отнюдь не способствует распространению RAW - при всех его достоинствах - и почти полное отсутствие разумных стандартов на этот формат, из-за чего участники рынка вынуждены иметь дело с десятками (или сотнями - как считать) вариантов представления данных.

Форматы данных и совместимость

Фотография - одна из тех отраслей, которая во многом зависит от прозрачного и взаимнооднозначного обмена данными между участниками процесса. Порой эти ожидания оправдываются (JPEG, TIFF, многие другие "стандартные" форматы), однако в случае RAW - это совсем не так. Например, фотограф, выполнив съемку в RAW и просмотрев ее результаты с помощью своего конвертора, не может вслепую отдать RAW-файлы в подготовку к печати - из-за использования различных конверторов или даже различных версий одного конвертора результаты конвертации могут оказаться разными, - даже если фотограф передаст параметры конвертации вместе с самим файлом.

На сегодняшний день общепринятых стандартов RAW нет. Исторически сложилось так, что формат выдаваемых конкретной фотокамерой RAW-файлов определяется ее производителем. В большинстве случаев используются расширения формата TIFF, но они у каждого производителя свои. Ряд производителей имеет несколько (несовместимых) форматов RAW. Бывает и так, что одна камера может выдавать несколько разных форматов.

Как правило, документация на форматы публично недоступна. Некоторые производители принимают дополнительные меры по закрытию данных (к примеру, шифрование части полей данных, используемое компанией Nikon, но это не единственный случай).