Насколько я знаю есть три типа алгоритмов, которые отсекают лишнее или упрощают геометрию:
1. Frustum Culling, Octree и Occlusion Query
2. BSP и на его основе
3. И алгоритмы для Terrain: Geomipmapping, ROAM
Кроме первой группы, все остальные довльно сложны. Аппаратно не реализованы.
И не надо забывать, что порядок вывода объектов, тоже важен. В частности, после загрузки геометрии, один и тот же объект должен выводиться везде где можно. Т.е. нужна сортировка по объекта и шрейдерам.
Таких статей много на
www.gamedev.ru. Может качество изложения материалам там бывает и не очень, но хотя бы упоминание об алгоритмах есть.