Учёные из Калифорнийского университета в Риверсайде (UCR) разработали метод, решающий проблему снижения безопасности в моделях искусственного интеллекта при их адаптации для работы на маломощных устройствах, таких как смартфоны и автомобили. При оптимизации моделей для повышения эффективности на таких устройствах, они могут терять встроенные механизмы безопасности, предотвращающие генерацию оскорбительного или опасного контента. В ходе исследования авторы работы изучили влияние изменения выходного слоя модели (этап обработки информации, на котором выдаётся результат) на её безопасность. Изменение его положения позволяет ускорить и повысить эффективность вывода, поскольку система пропускает некоторые слои обработки. Однако, как выяснилось, пропущенные слои могут быть критичными для фильтрации небезопасных запросов. «Оказалось, что некоторые из пропущенных слоёв необходимы для предотвращения небезопасных выводов», — объяснил Амит Рой-Чоудхури, профессор электротехники и компьютерной инженерии и ведущий автор исследования. «Если их исключить, то модель может начать отвечать на вопросы, на которые ей не следует отвечать». Иллюстрация: Sora Для решения этой проблемы учёные переобучили внутреннюю структуру модели, чтобы она сохраняла способность идентифицировать и блокировать небезопасный контент даже в урезанном варианте. Этот подход не включает внешние фильтры или программные патчи, а изменяет способ интерпретации моделью опасных входных данных. «Наша цель заключалась в том, чтобы модель не забывала, как вести себя безопасно, после уменьшения её размера», — добавил Сакеть Бачу, аспирант UCR и соавтор исследования. В качестве тестовой модели использовалась LLaVA 1.5 — визуально-языковая модель. После перемещения выходного слоя модель начала отвечать на опасные запросы, включая подробные инструкции по изготовлению бомб. После переобучения уменьшенная модель последовательно отказывалась давать небезопасные ответы. «Речь идёт не о добавлении фильтров или внешних ограждений», — подчеркнул Бачу. «Мы меняем внутреннее понимание модели, так что она по умолчанию ведёт себя корректно, даже будучи модифицированной». Авторы работы назвали свою методику «доброжелательным взломом» — способом укрепления моделей до того, как уязвимости будут использованы злоумышленниками. «Ещё предстоит проделать большую работу», — отметил Рой-Чоудхури. «Но это конкретный шаг к разработке ИИ, который был бы одновременно открытым и ответственным»....
Сообщает www.ixbt.com
Новость из рубрики: Технологии, Наука
Поделиться новостью:
Топ новости часа
- Установить зарядной станции для электромобиля правильно...
- Pantum расширяет линейку для бизнеса: представлены новые А3 МФУ серии UTILITY с фокусом на безопасность и эффективность...
- Американский певец Джейсон Деруло повторил скандальный номер Егора Крида, из-за которого тот конфликтовал с Екатериной Мизулиной...
- В Китае представили новый Audi A6L: новая платформа, новая система помощи водителю от Huawei, новый салон и три мотора...
- Google Aluminium OS — новая операционная система для ПК на базе Android...
- Футбольный тренер Жозе Моуринью оставил счёт почти на 1 млн долларов за номер в Four Seasons после ухода из "Фенербахче"...
11:07, 13 Авг Учёные признали зелёный чай способом снижения «плохого» холестерина Ежедневный приём напитка даёт позитивную динамику в минимизации рисков инсультов и сердечных болезней. Учёные Университета штата Пенсильвания (США) признали зелёный чай способом снижения «плохого» холестерина. Исследователи провели наблю...
17:07, 14 Июл В России начали решение проблемы бензина с продажи мини-НПЗ, ценник начинается от 1 млн руб. В разгар топливного кризиса, когда цены на бензин бьют рекорды, а на заправках в ряде регионов введены лимиты, на российских онлайн-площадках появилось предложение, которое звучит как решение всех проблем: мобильный мини-НПЗ всего за 1 миллион рубле...
14:14, 10 Дек Разработка технической карты сварки В производстве и строительстве ключевым фактором безопасности и качества является строгое соблюдение технологических процессов. Особенно это актуально для сварочных работ на объектах повышенной опасности, где малейшее отклонение от нормы может приве...
11:07, 20 Авг В бета-версии macOS Tahoe 26.7 нашли больше 20 еще не выпущенных устройств Apple Apple выпустила релиз-кандидат macOS Tahoe 26.7, и в коде обновления снова обнаружилось то, что компания пока держит в тайне: кодовые имена десятков непоказанных устройств — домашний хаб, AirPods с камерой, новые iMac, MacBook Pro и целая лине...
13:36, 18 Дек Матрица судьбы как зеркало жизни и скрытых возможностей Интерес к самопознанию всегда был частью человеческой природы. В разные эпохи люди искали ответы в философии, религии и науке, а сегодня всё чаще обращаются к нумерологии. Одним из самых глубоких и наглядных инструментов считается Матрица судьбы на ...
04:07, 01 Авг Финансовые проблемы меняют мозг: учёные увидели это на МРТ Финансовый стресс убивает мозг и заставляет стареть быстрее. Можно забыть дома кошелёк, но мысли о деньгах всё равно останутся с вами. Они всплывают по дороге на работу, за ужином и перед сном: хватит ли до зарплаты, чем платить за квартиру, что дел...
23:07, 30 Дек 6 потерянных городов, которые ученые так и не нашли Некоторые древние города все еще не найдены, и не известно, сможем ли мы их обнаружить Археологам до сих пор удается находить руины древних городов, которые на протяжении тысяч лет скрывались за слоями земли и песка. Это значит, что многие поселения...
01:07, 03 Апр Ученые нашли белок, скрывающий рак от иммунитета Исследователи из Henry Ford Health и Michigan State University Health Sciences выявили механизм, позволяющий опухолям, связанным с вирусом папилломы человека, избегать распознавания иммунной системой. Результаты работы опубликованы в журнале Proceed...
14:07, 08 Сен Ученые нашли сходства между обучением человека и ИИ Новое исследование показало, что люди и искусственный интеллект (ИИ) используют схожие механизмы обучения, сочетая быстрый и гибкий способ усвоения знаний с постепенным накоплением опыта. Работа опубликована в журнале Proceedings of the National Aca...
19:07, 18 Сен Ученые нашли объяснение временной забывчивости при беременности Ученые обнаружили возможный биологический механизм временного ухудшения памяти во время беременности. Исследование специалистов Медицинского колледжа Бейлора и других научных организаций опубликовано в журнале Science Bulletin. Исследователи изучили...
18:07, 31 Июл Вам советуют подышать и успокоиться. Но ученые нашли нюанс Глубокий вдох может успокоить и… заставить принять рискованное решение Перед важным решением нам часто советуют сделать глубокий вдох и выдохнуть. Считается, что это успокаивает нервы и помогает мыслить ясно. Но нейробиологи обнаружили, что ды...
01:07, 21 Июл Учёные нашли в Норвегии следы рыболовства возрастом 7 тыс. лет Археологи обнаружили свидетельства того, что жители Скандинавии могли искусственно зарыбить горное озеро кумжей около семи тысяч лет назад. Результаты исследования специалистов Университета Осло и их коллег опубликованы 20 июля в научном журнале Ant...
00:07, 14 Авг Учёные нашли надёжный способ измерения сознания Опыты на дрозофилах могут стать основой в лечения коматозных пациентов. Группа исследователей под руководством ученых из Университета Монаш (Австралия) обнаружила неврологические сигналы у бодрствующих и спящих дрозофил. Учёные нашли надёжный способ...
22:07, 06 Мар Ученые нашли способ уменьшить депрессию за 10 минут Иногда для первого шага к улучшению не нужен кабинет психолога, достаточно десяти свободных минут. Источник изображения: sciencealert.com Многие люди уверены, что чтобы справиться с депрессией, нужен психотерапевт, антидепрессанты или как минимум ка...
18:07, 25 Апр Где жил Уильям Шекспир: ученые нашли точный адрес его дома Дом великого писателя уже давно был у всех на виду Четыре столетия историки знали, что Шекспир владел недвижимостью в Лондоне, но не могли точно сказать, где именно стоял его дом. Случайная находка в архиве решила загадку, которая мучила ученых с 18...
09:07, 17 Фев У неандертальцев была религия? Ученые нашли доказательства в пещерах Ученые находят много доказательств того, что неандертальцы верили во что-то высшее Религия, вера в духов и потусторонние силы — это то, на чем держится практически любая человеческая культура. Самые ранние следы таких верований ведут нас в древнекам...
13:07, 13 Окт На Луне нашли ржавчину: учёные раскрыли, откуда она взялась На Луне действительно найдена ржавчина (гематит). Луна, которую мы привыкли считать серой и безжизненной, на самом деле покрыта следами ржавчины. Ещё в 2020 году индийская миссия «Чандраян-1» обнаружила на её поверхности минерал гематит — оксид желе...
20:07, 19 Сен Ученые НАСА нашли доказательства существования жизни на Марсе Космический марсоход НАСА обнаружил новые свидетельства потенциального существования жизни на Марсе, в том числе воду. Об этом сообщило издание Mirror. Учеными были найдены 24 минерала в кратере Езеро на Марсе, которые указывают на то, что вулканиче...
18:07, 09 Сен Учёные нашли нефть для создания более эффективных лекарств от ран Исследователи Пермской фармацевтической академии, Пермского политеха и Научно-аналитического центра рационального недропользования им. В. И. Шпильмана обнаружили в Ханты-Мансийском округе месторождение нефти, продукты переработки которой обладают вы...
00:07, 19 Май Ученые нашли способ перерабатывать пластик в качественное горючее Представьте: горы пластикового мусора превращаются в топливо, которое не застывает в мороз. Звучит как магия, но это чистая химия. Ученые из НГУ и Института катализа СО РАН научились "пересобирать" молекулы полимерных отходов, превращая их в качеств...
06:07, 24 Мар Ученые нашли новый способ защитить от инсульта без таблеток Существующие металлические импланты не всегда идеально прилегают к стенкам сердца Ученые успешно испытали на животных новый метод защиты от инсульта при мерцательной аритмии. Они научились вводить прямо в сердце особую магнитную жидкость, которая за...
16:07, 27 Июл Ученые нашли защищающие сердце от сильного стресса нейроны Собственная нервная система сердца помогает поддерживать его работу при сильном стрессе. Американские ученые обнаружили несколько типов нейронов, которые регулируют частоту сокращений и защищают орган от критических нарушений. Результаты исследовани...
08:07, 26 Авг В кошачьей моче нашли тайный код: учёные только что его расшифровали Секретные «послания» в кошачьей моче помогают им узнавать друг друга Если у вас есть кот, вы наверняка сталкивались со странностями кошачьего поведения: например, как он метит углы, а другой кот потом подолгу обнюхивает это место и странно замирает ...
20:07, 13 Апр Ученые случайно нашли остров которого нет ни на одной карте Ледокол «Полярштерн» в водах Антарктики Международная экспедиция в море Уэдделла наткнулась на «грязный айсберг», который оказался настоящим скалистым островом, неизвестным науке. Остров длиной 130 метров до сих пор не нанесен ни на одну морскую нав...
17:07, 25 Сен Есть одному или вместе? Ученые нашли важную разницу Семья ужинает на кухне Как часто вы едите в компании? Международная команда исследователей решила выяснить, как это связано с ощущением счастья. Они изучили данные из 142 стран и нашли закономерность, которая удивила даже самих авторов работы. Оказа...
22:07, 27 Апр Учёные нашли остров в Антарктиде, которого не было на картах Карты врали: учёные нашли остров, который никогда не существовал официально. В эпоху спутников высокого разрешения сложно поверить, что целый остров может прятаться у всех на виду, особенно когда учёные уже давно изучают, что скрывается подо льдами ...
22:07, 27 Апр Где граница Млечного Пути: учёные нашли край галактики Наконец найдена граница нашей галактики — учёные разгадали главную тайну Млечного Пути Международная группа астрономов впервые определила край звёздообразующего диска Млечного Пути — области, где рождаются новые звёзды. Граница пролегает примерно в ...
07:07, 30 Авг Ученые нашли способ, как восстанавливать зрение без лазерной коррекции Ученые разработали новый, более безопасный способ восстановления зрения Современная офтальмология во многом ассоциируется с лазерными технологиями. С конца 1990-х годов именно лазерная коррекция зрения, известная как LASIK, стала самым распространен...
22:07, 17 Апр Учёные нашли «слепое пятно» в методах моделирования материалов Химики из Института органической химии РАН обнаружили, что распространённые методы квантовой химии (мета-GGA функционалы) не различают некоторые варианты распределения электронов в молекулах. Это приводит к ошибкам «при моделировании новых лекарств ...
04:07, 03 Ноя ОКР — прощай? Ученые нашли сигналы в мозге, ответственные за расстройство Ученые из группы Инго Виллуна вместе с коллегами из Амстердамского университетского медицинского центра нашли мозговые волны, которые особенно активны при обсессивно-компульсивном расстройстве (ОКР). Результаты исследования опубликовали в журнале Na...
18:07, 11 Авг Ученые нашли способ борьбы с СOVID-19 через кишечник Если «задавить» вирус в ЖКТ сердце и легкие не пострадают. После ряда исследований на птицах ученые Новосибирского государственного аграрного университета и Сибирского федерального научного центра агробиотехнологий пришли к выводу &mdash...
07:07, 13 Дек Японские ученые нашли эффективный способ борьбы с укачиванием Справиться с укачиванием может помочь однотонный звук частотой сто герц (Гц). Для сравнения, нота «до» первой октавы звучит в диапазоне примерно 261 Гц. При этом слушать его нужно всего в течение одной минуты. К такому выводу пришла кома...
22:07, 15 Сен Прогулка по рифу: ученые нашли акулу, которая умеет ходить Ученые обнаружили акулу, которая способна «ходить» по морскому дну, используя собственные плавники. Такое поведение меняет привычное представление о движении этих морских хищников. Об этом сообщило Surfer. Необычное животное получило наз...
08:07, 29 Май Ученые нашли третий глаз у человека и объяснили смысл его существования Изучающие мистический третий глаз внутри человеческой головы ученые считают, что он играет ключевую роль после миллионов лет эволюции, и знают, как он сформировался. Исследователи из Великобритании и Швеции назвали этот древний орган составным среди...
01:07, 19 Дек Ржавчина в вакууме. Учёные нашли на Луне то, чего там быть не может Крошечная пылинка, найденная российскими учеными в лунном грунте, ставит под сомнение всё, что мы знали о спутнике Земли. Она доказывает, что Луна в прошлом была миром с вулканическими газами и, возможно, своими месторождениями полезных ископаемых. ...
09:07, 24 Фев Почему скотч так противно скрипит при отклеивании: ученые нашли объяснение Ученые объяснили, почему скотч издает такой неприятный звук Вы наверняка слышали этот звук сотни раз — резкий, пронзительный визг, который издает клейкая лента, когда вы разматываете рулон. Кто-то морщится, кто-то просто терпит, но мало кто задумыва...
14:07, 25 Июл Учёные КФУ нашли способ усилить гербициды в 2–4,5 раза и снизить их токсичность Исследователи Казанского федерального университета разработали добавку для гербицидов, которая повышает их эффективность в 2–4,5 раза и одновременно снижает токсичность для живых организмов. В основе технологии — особые молекулы-пилларарены, которые...
13:07, 13 Июн Учёные нашли связь между кошками и шизофренией: насколько это опасно Кошки влияют на психику не всегда положительно: учёные нашли связь с шизофренией Кошки для многих давно не просто питомцы, а члены семьи: у них есть свои местечки дома, они спят на наших кроватях и коленях, мурлычут, делают дом уютнее и даже заметно...
19:07, 06 Авг Обезьяны заводят питомцев? Учёные нашли сотни необычных случаев Хохлатый седой лангур заботливо гладит гигантскую белку в Национальном парке Яла, Шри-Ланка Обезьяна вычёсывает собаку, катается верхом на олене или нянчит чужого детёныша — таких историй набралось уже несколько сотен. В природе хватает неожиданных ...
10:07, 17 Авг Учёные КФУ нашли новые нефтеносные зоны по остаткам древних организмов Специалисты Казанского федерального университета совместно с «Татнефтью» реконструировали процессы осадконакопления в Поволжье, происходившие 360 млн лет назад, и выявили новые нефтеперспективные зоны. Результаты опубликованы в журнале «Георесурсы»....
17:07, 15 Июн Российские ученые нашли разгадку темной материи в невидимых атомах Международная группа ученых с участием специалистов из НИЯУ МИФИ и Южного федерального университета разработала новую модель для объяснения темной материи. Концепция предполагает, что невидимая масса состоит не из одиночных частиц, а образует сложны...
21:07, 11 Июн В Антарктиде нашли пирамиду? Почему ученые не верят в древнюю цивилизацию Спутниковый снимок горы в Антарктиде, которая похожа на пирамиду. Источник изображения: Live Science В глубине Антарктиды, среди снега и льда, стоит гора с идеально ровными горами. На спутниковых снимках она кажется рукотворной, поэтому сторонники т...
19:07, 25 Авг Разговариваете с ChatGPT о своих проблемах? Ученые нашли скрытый риск Пользоваться чат-ботами бездумно может быть опасно, но существуют и безопасные способы Нейросети умеют слушать, не перебивают и запоминают все, что вы им рассказали. Многие уже используют их как бесплатного психолога. Но ученые проанализировали боле
Топ новости часа