Форум myROBOT.ru » Лаборатория » Алгоритмы » Задача проектирования - создание "компилятора"

Страниц (3): « 1 [2] 3 »
 

16. -dead- - 15 Мая, 2011 - 23:24:41 - перейти к сообщению
Пока все еще можно давать этот же ответ Улыбка

Какой примерно объем входных данных и какой - вычислений? Тип вход 10'000 чисел, объем вычислений примерно 50M операций. Или как? Лучший метод минимизировать время одного запроса при большом количестве вычислительных операций в нём - принять его, превратить в бинарник (скажем C++), скомпилировать, вернуть. Парсеры и компоновщики XML лучше держать готовыми в памяти, чтобы их каждый раз не компилировать и не подгружать, работать с ними через всякие TCP/IP прямо на этой же машине.

Вообще как вариант - держать в памяти мега-оптимизированные балансирующиеся вычислительные модули. Но вот с реализацией этих балансирующихся модулей большие вопросы.

И вообще - накидайте 3-5 примеров использования - программы и данные, тогда будет ясно о чем речь и что вам посоветовать.
17. killgur - 16 Мая, 2011 - 09:16:18 - перейти к сообщению
romeo пишет:
Агенты могут быть разными - это может быть другой сервер, который получает такие же запросы на вычисления, отдельный модуль на сервере приложений (например, специализирующийся на определенных функциях) и т.д.

Типичная задача - обработка экспериментальных данных методом наименьших квадратов для нескольких десятков тысяч измерений. Соответственно при получении ответа нужно обращать матрицу примерно такого же размера (десятки тысяч строк).

Требуется минимизировать время обработки запроса.


Еще раз повторюсь, что вопросы распределения нагрузки решаются на уровне ОС (кластеризация) и сервера причем весьма нетривиально.

В данный момент Вы на хобиистком форуме по домашней электронике задаете вопросы которые надо задавать на форуме программистов java под apache. И даже скорей на форуме каких то гуру по разработке вычислительных сетей типа яндекса, гугла и ему подобных.

Поверьте на слово что в таких вопросах, если хочешь чего то добиться, надо начинать кодить а не заниматься теоретическими исследованиями "сферического коня в вакууме".
По моему Вы пока слабо представляете даже как скрипты формируют html код на стороне сервера.

Если конечно это не курсовой Улыбка
18. -dead- - 16 Мая, 2011 - 09:28:43 - перейти к сообщению
На самом деле похоже, что топикстартер просто не дал примеров задачи и не видит как выглядит со стороны его постановка задачи, поэтому и такие непонятки. Такое ощущение, что задачи у него весьма специфичны и действительно есть что оптимизировать решая задачу именно с подходом "скриптовый язык", только надо убедиться в этом, увидев примеры.
19. killgur - 16 Мая, 2011 - 09:47:26 - перейти к сообщению
-dead- пишет:
На самом деле похоже, что топикстартер просто не дал примеров задачи и не видит как выглядит со стороны его постановка задачи, поэтому и такие непонятки. Такое ощущение, что задачи у него весьма специфичны и действительно есть что оптимизировать решая задачу именно с подходом "скриптовый язык", только надо убедиться в этом, увидев примеры.


Ничего там специфичного ... он просто ничего не делал и не в курсе сколько по времени займет выполнение каждой операции, по этому не зная узких мест занимается гаданием.

PS

Если по прочтении

http://www.opennet.ru/base/sys/b...cluster.txt.html

http://www.opennet.ru/cgi-bin/op...c&category=1

http://www.ccas.ru/mmes/educat/l...k/01/basics.html

все стало понятно, то срочно звонить в скорую психическую Улыбка
20. -dead- - 16 Мая, 2011 - 11:29:31 - перейти к сообщению
Я не думаю, что умножение или обращение матриц размером в десятки тысяч элементов это неспецифичная задача Улыбка
21. killgur - 16 Мая, 2011 - 11:59:11 - перейти к сообщению
-dead- пишет:
Я не думаю, что умножение или обращение матриц размером в десятки тысяч элементов это неспецифичная задача Улыбка


100*100 чтоли...
Если такая матрица не является плохо обусловленной то Maple ее осилит даже на бытовом компе.
22. -dead- - 16 Мая, 2011 - 12:30:53 - перейти к сообщению
Опечатка - не элементов, а строк. По крайней мере топикстартер о таких говорит:
<обращать матрицу примерно такого же размера (десятки тысяч строк)>
23. killgur - 16 Мая, 2011 - 12:44:48 - перейти к сообщению
-dead- пишет:
Опечатка - не элементов, а строк. По крайней мере топикстартер о таких говорит:
<обращать матрицу примерно такого же размера (десятки тысяч строк)>


Топикстартер пока ничего толком не говорит наверно убыл на форум по яве обчатся...
24. romeo - 16 Мая, 2011 - 20:58:35 - перейти к сообщению
Хотите задачи - пожалуйста
1. как я уже говорил, обработка экспериментальных данных с помощью адаптивных фильтров
Данных много, корреляционные матрицы большие (10000 * 10000 или больше)
2. та же задача - но используются рекурсивные, многогипотезные байесовские фильтры (типа количество гипотез n^m, где n - количество гипотез, m - количество измерений)
3. оптимизационные задачи - линейное и динамическое программирование, поиск экстремумов функций многих переменных (в том числе стохастических)
4. решение дифференциальных уравнений - уравнение теплопроводности, электродинамики и пр. (точек тоже очень много)
Идея использовать не мега-оптимизированные балансирующиеся вычислительные модули, а именно существующие пакеты/модули общего профиля - тот же Scilab, matlab и пр.
Почему именно так - объяснять долго, и учитывая это
Цитата:
Вы на хобиистком форуме

пустая трата времени :-)
Код на java пишу давно, спасибо
У джавистов пока спросил в одном месте (хотя до сих пор никто не ответил), спрошу еще.
Почему спросил здесь, а не здесь
Цитата:
И даже скорей на форуме каких то гуру по разработке вычислительных сетей типа яндекса, гугла и ему подобных

- надеялся услышать идеи людей со стороны.
Но спросить у профессионалов - спрошу.

P.S. Вы часто называете авторов сообщений - топикстартерами?
Может быть на этот форуме есть еще какие-нибудь аналогичные термины для обозначения слов на русском языке?

P.P.S. Некоторые люди работают в рабочее время, а не на форумах сидят :-)
25. -dead- - 16 Мая, 2011 - 21:29:40 - перейти к сообщению
romeo пишет:
Идея использовать не мега-оптимизированные балансирующиеся вычислительные модули, а именно существующие пакеты/модули общего профиля - тот же Scilab, matlab и пр.

Тогда вообще ничего не понял. Что нужно то? Распарсить XML-данные и XML-алгоритм на Java через scilab java api выполнить его и вернуть в XML результат? А в чем тогда вопрос?


romeo пишет:
Почему именно так - объяснять долго, и пустая трата времени :-)

Вопрос не в том почему так, вопрос пока в том, что именно вы хотите сделать Улыбка

romeo пишет:
P.S. Вы часто называете авторов сообщений - топикстартерами?

Топикстартер это не автор любого сообщения, а человек начавший обсуждение.
Русский язык постоянно развивается: http://ru.wiktionary.org/wiki/топикстартер и, к счастью, не только переставлением ударения в слове "договор"
26. romeo - 16 Мая, 2011 - 21:55:40 - перейти к сообщению
Цитата:
Что нужно то? Распарсить XML-данные и XML-алгоритм на Java через scilab java api выполнить его и вернуть в XML результат?

ДА! :-)
Вопрос - как спроектировать парсер(=компилятор), учитывая что запросы разные, большие и маленькие, простые и сложные, могут занимать много место в памяти и т.д.

Цитата:
Вопрос не в том почему так, вопрос пока в том, что именно вы хотите сделать Улыбка

Парсер(=компилятор) + вычислитель.
27. killgur - 16 Мая, 2011 - 22:13:10 - перейти к сообщению
Ну на форумах вы "профессионалов" по теме форума сейчас уже редко встретите, кому интересно торчать в интернете по работе то Подмигивающий все бльше "любители".
Разве тлько по отоплению вентиляции да электрики и, то одни киповцы там лаются чей датчик зачетней. Да студенты с этой самой теплопередачей через ограждающие конструкции.

Да и не скажут они ничего кроме как какую книжку почитать на сон грядущий.

Вот я так и сделаю

http://www.mat.net.ua/mat/Samars...ennye-metody.htm

про MPI приложения прочтите по ссылкам выше, там указан путь к решению задачи (правда нужен доступ к суперкомпьютеру но это детали)
28. romeo - 16 Мая, 2011 - 22:17:48 - перейти к сообщению
Спасибо Вам за все :-)
Книжку по последней ссылке правда мне стоило бы читать лет 6 назад, но все равно спасибо.
Доступ к суперкомпьютеру может и будет, но это тоже никому не интересные детали.

killgur пишет:
Ну на форумах вы "профессионалов" по теме форума сейчас уже редко встретите, кому интересно торчать в интернете по работе то Подмигивающий все бльше "любители".
Разве тлько по отоплению вентиляции да электрики и, то одни киповцы там лаются чей датчик зачетней. Да студенты с этой самой теплопередачей через ограждающие конструкции.

Да и не скажут они ничего кроме как какую книжку почитать на сон грядущий.

Вот я так и сделаю

http://www.mat.net.ua/mat/Samars...ennye-metody.htm

про MPI приложения прочтите по ссылкам выше, там указан путь к решению задачи (правда нужен доступ к суперкомпьютеру но это детали)
29. killgur - 16 Мая, 2011 - 22:32:17 - перейти к сообщению
romeo пишет:
Цитата:
Что нужно то? Распарсить XML-данные и XML-алгоритм на Java через scilab java api выполнить его и вернуть в XML результат?

ДА! :-)
Вопрос - как спроектировать парсер(=компилятор), учитывая что запросы разные, большие и маленькие, простые и сложные, могут занимать много место в памяти и т.д.

Цитата:
Вопрос не в том почему так, вопрос пока в том, что именно вы хотите сделать Улыбка

Парсер(=компилятор) + вычислитель.


Вашей системе назовем ее по нормальному "фильтром" скармливается некое задание пользователя набранное через интерфейс или в виде загруженного XML при разборе задания применяя вполне понятные критерии оценки уже можно определить сложность и распределить нагрузку.
И на выходе "фильтра" сформировать задание своей системе ... и выполнить его.

Что непонятного то.(или не понятно как определить сложность?)

Системы все уже есть их надо собирать и пользоваться т.е. вычислительная часть "вся придумана до нас"

Просто у Вас нет ни собраной системы ни пользовательского интерфейса, а охват задач описанный выше- вселенского масштаба... так в жизни не бывает.
Решите узкую задачу и поймете как действовать дальше, если захочется.
(Добавление)
romeo пишет:
Спасибо Вам за все :-)
Книжку по последней ссылке правда мне стоило бы читать лет 6 назад, но все равно спасибо.

Я ею пользовался в 1994-5 годах когда было актуально.
Щас уже не надо китайцы все "оборудования" изготовят из "сверхпрочной жести" по демпинговым ценам, расчеты "паровых пипок" от студентов китайского ПТУ прилагаются. Наша задача перечислить аванс и расслабиться в ожидании чуда.
30. romeo - 16 Мая, 2011 - 22:44:37 - перейти к сообщению
Что мне больше всего нравится, так это то, что вы делаете некорректные выводы самым уверенным образом.
Как говорится, так всегда и делайте.
Предлагаю закрыть тему.
Мне некогда отвлекаться, я код пишу :-)
P.S.
Цитата:
Наша задача перечислить аванс и расслабиться.

У нас как бе другая задача.

killgur пишет:
romeo пишет:
Цитата:
Что нужно то? Распарсить XML-данные и XML-алгоритм на Java через scilab java api выполнить его и вернуть в XML результат?

ДА! :-)
Вопрос - как спроектировать парсер(=компилятор), учитывая что запросы разные, большие и маленькие, простые и сложные, могут занимать много место в памяти и т.д.

Цитата:
Вопрос не в том почему так, вопрос пока в том, что именно вы хотите сделать Улыбка

Парсер(=компилятор) + вычислитель.


Вашей системе назовем ее по нормальному "фильтром" скармливается некое задание пользователя набранное через интерфейс или в виде загруженного XML при разборе задания применяя вполне понятные критерии оценки уже можно определить сложность и распределить нагрузку.
И на выходе "фильтра" сформировать задание своей системе ... и выполнить его.

Что непонятного то.(или не понятно как определить сложность?)

Системы все уже есть их надо собирать и пользоваться т.е. вычислительная часть "вся придумана до нас"

Просто у Вас нет ни собраной системы ни пользовательского интерфейса, а охват задач описанный выше- вселенского масштаба... так в жизни не бывает.
Решите узкую задачу и поймете как действовать дальше, если захочется.