전체 글
-
백준 10868 - 최솟값Algorithm/Tree 2024. 7. 7. 11:40
10868번: 최솟값 (acmicpc.net) 문제N(1 ≤ N ≤ 100,000)개의 정수들이 있을 때, a번째 정수부터 b번째 정수까지 중에서 제일 작은 정수를 찾는 것은 어려운 일이 아니다. 하지만 이와 같은 a, b의 쌍이 M(1 ≤ M ≤ 100,000)개 주어졌을 때는 어려운 문제가 된다. 이 문제를 해결해 보자.여기서 a번째라는 것은 입력되는 순서로 a번째라는 이야기이다. 예를 들어 a=1, b=3이라면 입력된 순서대로 1번, 2번, 3번 정수 중에서 최솟값을 찾아야 한다. 각각의 정수들은 1이상 1,000,000,000이하의 값을 갖는다.입력첫째 줄에 N, M이 주어진다. 다음 N개의 줄에는 N개의 정수가 주어진다. 다음 M개의 줄에는 a, b의 쌍이 주어진다.출력M개의 줄에 입력받은 순서..
-
Direct Preference Optimization: Your Language Model is Secretly a Reward Model 논문 리뷰LLM papers 2024. 5. 22. 16:17
[2305.18290] Direct Preference Optimization: Your Language Model is Secretly a Reward Model (arxiv.org) Direct Preference Optimization: Your Language Model is Secretly a Reward ModelWhile large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their ..
-
DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models 논문 리뷰LLM papers 2024. 5. 20. 11:29
[2306.11698] DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models (arxiv.org) DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT ModelsGenerative Pre-trained Transformer (GPT) models have exhibited exciting progress in their capabilities, capturing the interest of practitioners and the public alike. Yet, while the literature on the trustworthiness of GPT mo..
-
Scaling Data-Constrained Language Models 논문 리뷰LLM papers 2024. 5. 11. 15:12
[2305.16264] Scaling Data-Constrained Language Models (arxiv.org) Scaling Data-Constrained Language ModelsThe current trend of scaling language models involves increasing both parameter count and training dataset size. Extrapolating this trend suggests that training dataset size may soon be limited by the amount of text data available on the internet. Motivatearxiv.org AbstractLanguage Model을 스케..
-
QLoRA: Efficient Finetuning of Quantized LLMs 논문 리뷰LLM papers 2024. 5. 4. 17:03
[2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs (arxiv.org) QLoRA: Efficient Finetuning of Quantized LLMsWe present QLoRA, an efficient finetuning approach that reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance. QLoRA backpropagates gradients through a frozen, 4-bit quanarxiv.org AbstractQLoRA- 6..
-
ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings 논문 리뷰LLM papers 2024. 4. 28. 17:18
[2305.11554] ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings (arxiv.org) ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool EmbeddingsAugmenting large language models (LLMs) with external tools has emerged as a promising approach to solving complex problems. However, traditional methods, which finetune LLMs with tool demonstration data,..
-
백준 14502 - 연구소Algorithm/Graph 2024. 4. 4. 11:26
14502번: 연구소 (acmicpc.net) 14502번: 연구소 인체에 치명적인 바이러스를 연구하던 연구소에서 바이러스가 유출되었다. 다행히 바이러스는 아직 퍼지지 않았고, 바이러스의 확산을 막기 위해서 연구소에 벽을 세우려고 한다. 연구소는 크 www.acmicpc.net 문제를 살펴보면, 0인 곳으로 2(바이러스)가 퍼져나가는 시스템이다. 그렇다면 bfs를 이용해서 경로를 찾아나가면서 0을 따라서 2(바이러스)로 변경시켜주면 좋겠다는 생각을 우선 하게 되었다. 일단 먼저 바이러스를 퍼트리는 bfs 함수를 구현해보자. def bfs(temp): q = deque() for i in range(n): for j in range(m): if temp[i][j] == 2: q.append((i, j)) ..
-
Toolformer: Language Models Can Teach Themselves to Use Tools 논문 리뷰LLM papers 2024. 4. 2. 15:50
[2302.04761] Toolformer: Language Models Can Teach Themselves to Use Tools (arxiv.org) Toolformer: Language Models Can Teach Themselves to Use Tools Language models (LMs) exhibit remarkable abilities to solve new tasks from just a few examples or textual instructions, especially at scale. They also, paradoxically, struggle with basic functionality, such as arithmetic or factual lookup, where muc..