Параметры сервера.
Server Supermicro SYS-5018R-MR
1 х CPU Intel Xeon Processor E5-1650 v3 (15M Cache, 3.50 GHz)
1 x BOARD Super X10Sri-F Rev.1.0
4 х DDR4 2133MHz 8Гб (32Гб)
2 x SSD  256 GB Samsung 850 PRO 2.5" RAID1 (Система)
1 x HDD SATA 1000 GB, 7200rpm, 64 MB cache, SATA 6Gb/s 3.5" (Бэкапы)


Проблема. У нас выделенный сервер, на котором крутиться только 2 наших сайта. 2 отдельных лицензии битрикс. Сайты не связанны друг с другом.
23 сентября, обмены с сайтами начали тормозить, скорость обмена резко упала в 10-15 раз.
В логах обмена подивились строки с %, которых раньше не было:
03.10.2016 8:15:15--Отправка запроса на авторизацию.
03.10.2016 8:15:15--Отправка запроса на инициализацию, для определения версии обмена данных.
03.10.2016 8:15:22--Процес выполнения обмена: Распаковка архива завершена.
03.10.2016 8:15:22--Процес выполнения обмена: Временные таблицы удалены.
03.10.2016 8:15:23--Процес выполнения обмена: Временные таблицы созданы.
03.10.2016 8:15:38--Процес выполнения обмена: Обработано 1.53% файла.
03.10.2016 8:15:54--Процес выполнения обмена: Обработано 2.89% файла.
03.10.2016 8:16:10--Процес выполнения обмена: Обработано 4.3% файла.
03.10.2016 8:16:26--Процес выполнения обмена: Обработано 5.62% файла.
03.10.2016 8:16:42--Процес выполнения обмена: Обработано 6.96% файла.
03.10.2016 8:16:58--Процес выполнения обмена: Обработано 8.32% файла.
03.10.2016 8:17:14--Процес выполнения обмена: Обработано 9.72% файла.
....
03.10.2016 8:32:10--Процес выполнения обмена: Обработано 95.46% файла.
03.10.2016 8:32:26--Процес выполнения обмена: Обработано 96.95% файла.
03.10.2016 8:32:42--Процес выполнения обмена: Обработано 98.45% файла.
03.10.2016 8:32:58--Процес выполнения обмена: Обработано 99.9% файла.
03.10.2016 8:32:59--Процес выполнения обмена: Файл импорта прочитан.

Наши разработчики, пытаются решить эту проблему уже больше месяца. Пока безуспешно.
Параллельно переписываются с тех. поддержкой битрикса, пока тоже без результата.

Попробовали выгрузить сайт на бесплатный хостинг, там обмены с тестовой базой пошли нормально, без тормозов. Из чего сделали выводы, что ошибка не в программном коде сайта. А в настройках сервера.
В течении месяца разработчики занимаются настройками различных параметров сервера. После которых тестируем обмен. Эффекта 0.

Помогите советом. Куда копать. Думаю найти эксперта по обмену с битриксом, но не знаю где искать.

Выгрузка в папку на диске идёт быстро?

(0) смотрите на компоненты обмена которые установлены на серверах.

(1) Да

(1) Делали такой обмен. Мы выгружаем из 1с в xml идет быстро. Потом разработчики загружают этот xml на сайте, идет медленно. Проблема на сервере сайта.
(2) Со слов разработчиков, для них компонент обмена - это черный ящик. И они никак не могут этот компонент изменить. По этому вопросу, они уже больше 3-х недель переписываются с тех. поддержкой битрикса.

(0) может там сеть загружена? (много посетителей, вирус)

(5) Посетителей мало, где-то 100 в день.
Что под вирусом подразумеваешь, атаку на сайт?

(5) Загрузку сети не проверяли, но думаю там все в порядке.
Потому что каждые 15 минут идут обмены по РИБу с базами 1с, через ftp. Файл 100 мб, достаточно быстро передается.

Смотрим производительность сервера через iostat и htop, там нет загрузки не дисков не процессора. ОЗУ занятно менее 3 ГБ.

(6) помимо атаки есть еще и заражение сайта (установка стороннего кода без ведома владельца через какую-нибудь дыру), а потом сервер будет например ботом бот-сети

(8) Понятно, спасибо, посмотрим.

(9) сервер крутой, ему нагрузка и в 100 раз больше должна быть нипочем... кстати, может проблема с рейдом?

(10) Проверили в первую очередь. Показывает, что работает.

Нашли очень интересный момент в админке.
Тормоза начались 23 сентября.
И в админе видим:
Продолжительность работы сервера 59 дней.
Продолжительность работы сервера MySQL 39д 16ч 12м 0с
Это как раз 22-23 сентября.
То есть после перезагрузки MySQL начались все эти проблемы.

(12) Пользуйтесь постгре

(12) может быть данных больше стало, а MySQL слишком "зажата" в настройках?

(14) + а может быть как раз перезагрузка связана с изменением конфигурации MySQL (или чего-то другого)

(15) в смысле админ поменял и перезагрузил)

(14) На одном сайте около 50 000 товаров и на другом тоже.
Но они были загружены на давно.
На первый сайт больше полугода назад, на второй больше года.

(15) Да это возможно, будем смотреть.

Решили проблему.
Напишу, может кому-то поможет.

Развернули тестовую базу.
В тестовой базе в разделе "Панель производительности" - База данных MySQL (запись) стояло значение 41, вместо эталонных 5600.
В реальной базе этого не было видно, так как там значение было 16 257. Поэтому через эту панель сразу не нашли.

Ответ разработчика:
MySQL в общем медленно записывал, хотя ругался вроде в обмене на распаковку файла - врал как оказалось.
Отредактировали одну строчку кода, строчка связана со сбрасыванием логов если они накапливаются. Если лог большой - то иногда записать в лог в 10-100 раз дольше чем сама операция.