всем привет, собственно сабж, файл имеет 150 колонок, и много много строк, средствами 1с файл читает примерно 6-7 часов, есть какой нибудь вариант по шустрее, может библиотека на С или что то похожее,

Да что там такого то?!

(0) загрузи его в СУБД какую-нибудь. будет легче

(0) перегони в dbf

(0) Вы криво читаете его 1С-ом, вот и всё.

(0) Для того чтобы проложить в точку Б, нужно знать где точка А, а вы не можете код привести :-/

интересно, как работать с таким файлом? Если это чисто БД, тогда и переводите в БД, если это какие-то операции для обменов, то бейте на части, грузите кусками, может в несколько потоков.

(0) Попробуй в Excel открыть.

(1) перепись населения Эстонии.

не получится (7) - грузи в SQL. SQL умеет загружать csv

(2) к сожалению нет времени, каждый день приходит новый файл, и нужно сравнивать  их.

(10)
может (2) все-таки и есть решение?

(10) я так понимаю, львиная доля это не чтение файла, а его обработка?

(6) сейчас так и происходит, при чтении в цикле покупаем по пакетам и отрабатываем в 50 потоков, но сам цикл при чтении медленный, поэтому хотим читать чем то сторонним.

(12) скорее всего обработка

(10) выгружать из 1С данные во внешнюю бд, и юзаеть некий внешний софт относительно 1С

ну или просто почитай уже про многопоточность и фоновые

(14) именно ЧТЕНИЕ, про многопоточность написал выше

кусок кода, хотя бы концепт вашего цикла скиньте, все 150 колонок расписывать не надо

(16) ну так отдавай чтение в какой-нибудь комбайн. https://www.sqlshack.com/importing-and-working-with-csv-files-in-sql-server/

Сам цикл
ЧтениеТекста.ПрочитатьСтроку()
Сколько выполняется?

(19) порядка 4-5 часов без обработки

(20) Так блин разбей на много потоков то чтение

(21)+ Сам файлик поделить на куски перед этим чем то внешним

(20) Что из этого пробовали? https://infostart.ru/1c/articles/1413866/

(23) "Для больших файлов нужно использовать Microsoft.Jet.OLEDB, а не построчное чтение средствами платформы. Понимает даты, числа и многострочные поля. Скорость: ~3000 строк в секунду." из той же ссылки

сколько у вас строк примерно?

(24) вот, спасибо, я как раз хочу найти самый эффективный способ, у меня примерно 6млн строк

(23) пока нет, тоже посмотрю

(26) стоило только вбить в яндексе "1с csv чтение" самая первая строчка)

(28) только  собираемся оптимизоровать, поэтому тут написал, чтоб не наступать на все грабли одновременно, хотя ситуация у меня не оч  стандартная

вот это попробуйте https://docs.microsoft.com/ru-ru/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15

ПоляСтроки = СтрРазделить(ЧтениеТекста.ПрочитатьСтроку(входнойфайл), ";", Истина)

Scripting.FileSystemObject

так csv нормально через ado читается. ну или внешние источники.

Во-первых,формат колонок имеет большое значение,т.к.даты,например,быстро не прочитаешь.

Быстрее Си ничего нет,но на Си нужно уметь записать.
Разгребание csv на Си получается где-то в районе гигабайт в секунду на нормальной машине.

Это,кстати,с учетом приколов с переводом строки в каввчках - без него быстрее.
Vbscript делает тоже самое где-то гигабайт в минуту.

его же можно разбить на части и почастям считывать. а потом пачкой добавлять записи в бд

(20) прогнал 7млн строк по 1500 символов :
Время записи 23 сек
Время чтения 119 сек
Размер файла 14,5 ГБ (15 618 486 907 байт) Кстати почему?

&НаСервере
Процедура Команда1НаСервере()
    
    ИмяФайла = ПолучитьИмяВременногоФайла("txt");
    Сообщить(ИмяФайла);
    
    Строка = "";
    Для инд = 1 По 150 цикл
        Строка = Строка + "01234596789";
    КонецЦикла;
    

    Нач = ТекущаяДата();
    ЗаписьТекста = Новый ЗаписьТекста(ИмяФайла);
    Для инд = 1 По 7000000 цикл
        ЗаписьТекста.ЗаписатьСтроку(Строка);
    КонецЦикла;
    ЗаписьТекста.Закрыть();
    Сообщить("Время записи " +(ТекущаяДата()-Нач) + " сек");
    
    
    Нач = ТекущаяДата();
    ЧтениеТекста = Новый ЧтениеТекста(ИмяФайла);
    Пока Строка <> Неопределено Цикл
        Строка = ЧтениеТекста.ПрочитатьСтроку();
    КонецЦикла;
    Сообщить("Время чтения " +(ТекущаяДата()-Нач) + " сек");

КонецПроцедуры

(38)
не замерял. скорее всего
>Строка = ЧтениеТекста.ПрочитатьСтроку();
(создание объекта типа строка)

(39) Не понял вопроса. Куда уходят 2 минуты?
В данном контексте это наверное не важно, 2 минуты это не 4-5 часов из (20)

(40)
>В данном контексте это наверное не важно, 2 минуты это не 4-5 часов из (20)
полностью согласен.

в (39) предположение о том куда уходят 2 минуты.
4-5 часов уходят на неоптимальную обработку строк. я так думаю (с)

(41) скорее всего, но ТС не сознается. А народ пытается решить проблему медленного чтения 1С, которой по факту нет

У автора может файл по сети открывается?

Перепись Эстонии, по определению не должна быстро открываться. :-)