NVIDIA Dory 4B permite que un solo modelo funcione con cuatro presupuestos de cálculo diferentes mediante la repetición de capas intermedias, ofreciendo un rendimiento flexible sin necesidad de volver a entrenar.
Resumen generado con IA. Consulta el original para comprobar el contexto y la precisión.
Este es el extracto disponible del feed. Puede estar abreviado o en el idioma original.
In this tutorial, we work with Dory 1.0 4B, a small reasoning model from NVIDIA’s Nemotron Labs whose middle layers form a shared block that can be applied once, twice, three, or four times for every token. Each extra pass, or loop, spends more computation per token without adding a single parameter, so one checkpoint can run at four different compute budgets with no retraining. We build the llama.cpp branch that NVIDIA’s model card pins, download the 3.7 GB GGUF, and read the architecture straight from the file to predict what each loop should cost in parameters and cache memory. We then check those predictions against the running server, measure decode speed at every loop count, test whether the cheaper last-loop cache changes the model’s predictions, and run a paired GSM8K evaluation to see how accuracy, answer length, and time per solved question move as the loops increase. Copy CodeCopiedUse a different Browserimport os import re import sys import json import time import math import random import signal import shutil import hashlib import platform import statistics import traceback import subprocess import collections import urllib.request from pathlib import Path RESULTS = {} # step -> one-line result, for the summary table CLAIMS = [] # (step, claim, held) CURRENT = ["1"] def banner(title): print("\n" + "=" * 78) print(title) print("=" * 78) def section(name): def wrap(fn): def run(*a, **kw): CURRENT[0] = name.split(".")[0] banner(name) t0 = time.time() try: out = fn(*a, **kw) RESULTS[name] = out if isinstance(out, str) else "ok" return out except Exception as e: RESULTS[name] = f"SKIPPED / FAILED -> {type(e).__name__}: {e}" print(f"\n[!] {name} did not complete: {type(e).__name__}: {e}") traceback.print_exc(limit=3) return None
Una ayuda automática para ordenar, basada en fuentes, palabras clave y entidades, en una escala de 1–12. Alta: 9–12; media: 6–8; baja: 1–5. No mide urgencia, verifica noticias ni representa respaldo editorial.
Las estrategias de enrutamiento MoE determinan qué expertos procesan cada token, lo que impacta directamente en la calidad del modelo, el equilibrio de carga y los costos de servicio en los principales modelos abiertos.
Arete-27B de Nous Research elimina el sesgo alineado con el estado chino de los modelos Qwen, ofreciendo a los desarrolladores una IA de alto rendimiento con pesos abiertos y sin propaganda.
Kinference simplifica la gestión del servicio de modelos de IA en Kubernetes al enrutar inteligentemente las solicitudes a los trabajadores de vLLM, optimizando el rendimiento y el uso de recursos para los equipos que implementan múltiples modelos.